近年来，大数据引起了工业、科技、媒体和政府部门的高度关注。大数据本质上是一种基于数据处理的技术，通过大量的数据分析提取有价值的信息，预测未来的变化。它被认为是促进商业和技术创新和经济增长的新能源。大数据在各个领域都有许多优势和潜力，但也存在隐私保护、伦理问题、数据安全管理方法、个人信息保护和数据滥用[1]等诸多问题和挑战，特别是在互联网开放环境中销售和使用隐私信息共享数据，大数据安全保护迫在眉睫。
本文将分为上下文章，解释大数据生命周期各阶段的风险和各种安全保护技术。本文主要介绍了国际标准化组织制定的安全标准和大数据生命周期五个阶段（收集、存储、使用、使用和销毁）的风险，主要介绍了整个生命周期各阶段的风险响应安全技术。
1 . 背景介绍
1.1 大数据平台
大数据是新一代的技术，具有数据量大、产生速度快和数据种类繁多等多方面特点，这些数据以结构化和半结构化的多种形态呈现，当前分析和处理用户产生的海量数据已经成为政府和企业的主要任务。大数据各种组件也相继出现，如大数据框架Hadoop、CDH、HDP;集群管控Ambari、数据采集Flume;数据存储HBase;数据处理Flink、Spark和Storm;数据挖掘Mahout和Spark MLib等等，图1列出了大数据技术生态系统图，它们相互组合，以支持大规模数据的收集、分析和存储。
图1
1.2 大数据安全
由于高价值密度，大数据往往成为黑客攻击的目标，普遍存在巨大的安全需求。例如，全球互联网巨头雅虎已经被黑客攻破了用户账户保护算法，导致数亿用户账户被盗。根据2016年管理咨询公司埃森哲发布的一项研究调查结果，69%的208家企业在过去一年中“公司内部人员窃取数据或试图窃取数据”。传统的数据安全要求主要包括数据的机密性、完整性和可用性，其目的主要是防止数据在传输、存储和使用过程中被泄露和篡改。在大数据场景中，不仅要满足传统的信息安全需求，而且要处理大数据特性带来的技术挑战，主要有以下三个挑战，一个挑战是如何保护大数据的机密性，第二个挑战是如何实现大数据的安全共享，第三个挑战是如何实现大数据的真实验证和可信可追溯性。
通常，大数据平台有五种角色（数据提供商、数据收集者、存储经理、分析师和决策者），图2是大数据平台的简单应用场景。
图2 大数据简单应用场景
数据收集器通过物联网设备、社交网络服务和其他方式收集数据。收集到的数据可能包含敏感信息，因此必须采取适当的数据隐私处理安全措施。存储管理者通过云环境和分布式存储系统存储数据。存储阶段可能包含来自数据提供商的敏感信息。应使用各种安全技术来安全管理这些信息，以防止数据泄露。此外，数据删除应按照法律法规执行，以确保数据提供商的权利。数据分析师可以分析存储库中的数据，以获得适当的分析结果。在挖掘和分析过程中，可能会出现各种隐私数据挖掘问题。分析师应使用隐私保护技术来平衡数据的可用性和隐私之间的关系。决策者使用分析结果进行可视化。在许多情况下，这些结果只能显示给特定用户，需要隐私保护技术来防止无意的隐私泄露。
2 . 数据安全标准
数据安全标准分为法律标准和事实标准。法律标准由现有的标准化组织通过一定的程序和审查制定，包括ISO、ITU、ISO/IEC 单位JTC1、NIST、SAC和BSI等等。事实标准是由特定领域的公司和组织制定的标准，因其受欢迎程度而影响市场经济，其地位不断加强，制定了一系列与大数据相关的事实标准，包括组织者TTA、TM论坛、IEEE-SA和Apache等。
2.1 法律标准
国际标准化组织(ISO)是1947年成立的国际标准化组织，由国家标准组织的代表组成，旨在解决不同国家不同行业和商业标准可能出现的问题[2]。目前，开发了许多与大数据安全相关的参考架构和框架，如ISO/IEC 20547 Information technology-Big data- reference architecture和ISO/IEC 24668 Information technology-Artificial intelligence-Process management framework for big data analytics然而，在信息和通信技术快速发展的领域，这些标准往往跟不上市场趋势。
国家标准化委员会成立于2001年，是一家负责管理、监督和协调中国整体标准化，促进国际标准化领域国家利益的国家标准化机构。《GB/T 35274-2017信息安全技术大数据业务安全能力要求《GB/T 37973-2019[3]信息安全技术大数据安全管理指南。GB/T 35274-2017规定大数据服务提供商应具备与基本安全能力和数据生命周期相关的组织和数据安全能力。本标准根据数据生命周期（即获取、传输、存储、处理、交换和销毁）描述安全要求。《GB/T 37973-2019》还描述了大数据的安全要求、识别威胁、漏洞等安全风险。但对需求的描述只是一个粗略的描述，而详细的技术描述和必要性是不够的。
2.2 事实标准
电信技术协会(TTA)是1988年成立的信息通信领域标准化和标准产品测试机构，是韩国唯一指定的信息通信组织标准，制定了大数据相关标准takk . ko -10.0900大数据部署和使用指南。
IEEE在美国成立的电子电气工程及相关研究协会IEEE-SA通过“IEEE P7002Data隐私处理程序”、“IEEE P7006个人数据AI代理程序”大数据隐私保护标准正在制定中。IEEE P7002系统定义了系统/软件工程过程的要求，涉及产品、服务和使用员工、客户或其他外部用户的个人数据。IEEE P7006描述了创建和授权使用个性化人工智能所需的技术元素，包括个人控制的输入、学习、伦理、规则和价值观。
Apache它是一个非营利组织，专门支持开源软件项目，包括开源软件项目“基于大数据分析的分布式处理平台Hadoop”，大数据生态系统是通过结合多个开源项目生成的，Hadoop分布式文件系统项目提供认证和授权等安全[5]。
2.3 目前标准的展望和缺陷
数据安全和隐私是大数据需要解决的关键问题，但许多标准组织仍在发展或不涉及，虽然一些标准化组织正在制定与大数据相关的标准，但标准的制定和发布需要大量的时间，技术的快速发展使标准只包括过时的技术，没有详细描述这些技术。因此，法律和事实上的标准化组织需要共同发布适合市场的大数据安全和隐私标准。
3 . 安全和隐私挑战
如图3所示，大数据生命周期分为五个阶段：数据收集、存储、分析、使用和销毁。接下来，我们将介绍每个阶段的数据安全问题和隐私风险。
图3
3.1 数据收集
在数据收集阶段，数据从不同的来源收集，具有不同的格式，如结构化、半结构化和非结构化。大数据平台应优先考虑生命周期收集阶段的安全措施。平台最重要的是获取可靠的数据，以确保后续的大数据分析和安全设计是有意义的。因此，有必要采取适当的措施来确保收集的安全。
未经任何同意，数据收集器可能会不恰当地收集数据，从而侵犯供应商的数据主权。例如，许多人在社交媒体和购物等日常活动中缺乏同意识，无意中泄露了自己的隐私数据，也可能通过各种攻击（如欺骗、钓鱼和垃圾邮件）获得敏感数据，因此，有必要采取一些授权手段来访问和控制数据收集。此外，还需要采取额外的安全措施来防止数据泄露，如加密某些数据字段。目前，同态加密技术应用广泛。
3.2 数据存储
在数据存储阶段，收集到的数据存储在下一阶段（即数据分析阶段）的大型数据中心中。由于收集到的数据可能包含敏感信息，因此在存储数据时采取有效的预防措施是非常重要的。存储阶段面临的风险有很多方面，不仅包括外部黑客的攻击、内部人员的信息窃取，还包括不同利益相关者超越数据的使用。因此，存储阶段需要结合物理安全和数据保护技术来处理各种威胁。在数据不完全可靠的情况下，例如，在云环境中，通过隐私保护技术（如加密和屏蔽）来维护数据的完整性和机密性。由于数据规模巨大，数据存储业务需要坚持分布式存储，敏感数据只能通过访问控制提供给授权人员。如果敏感数据无意传输，必须立即销毁。
3.3 数据分析
数据采集和存储后，对数据进行处理和挖掘分析，生成有用的知识。在数据分析阶段，采用聚类、分类和相关规则挖掘等各种数据挖掘技术，为处理和分析提供安全的环境非常重要。数据挖掘者可以通过强大的挖掘算法识别敏感数据，使数据所有者容易受到隐私的侵犯。因此，数据挖掘过程和分析结果应保护不受基于挖掘的攻击，只允许授权人员参与。此外，在数据分析过程中，隐私保护的效率与数据处理的效率成反比，即在保护敏感数据的同时，难以提高处理效率。因此，这一关键问题正在开发中解决。
3.4 数据使用
数据使用阶段是利用分析阶段产生的重要信息，通过敏感信息的分析组合创建新信息，连接各领域收集的数据，帮助企业和个人识别和推断一些未来判断，大部分属于敏感信息，未经同意可用于其他目的。此外，决策者可以与第三方共享敏感数据，以追求商业利益，因此需要审计跟踪技术和隐私数据发布保护技术来解决这一风险。
3.5 数据销毁
一旦数据不再进行预期目的分析或数据所有者拒绝使用权，数据必须被销毁。数据销毁主要包括物理损坏硬盘或损坏存储内容来损坏数据。损坏硬盘是直接在外力的帮助下粉碎存储介质，一旦损坏就不能继续使用。如果损坏数据本身被多次覆盖，这就是有些方法涉及到存储数据的整个物理/逻辑空间的处理，很难只删除部分数据，也很难验证处理的有效性。一些组织仍然使用这些数据，以达到预期目的，用户撤回数据使用权，一些人将数据出售给第三方公司以换取利益，严重侵犯了用户的隐私。由于大数据本身的特点，在分布式环境中，数据通常使用覆盖写作和其他技术而不损坏硬盘，国防秘密将销毁硬盘。
4 . 小 结
在本文中，我们解释了国际标准组织制定的现行标准。对相关研究分析发现，目前的数据安全研究主要集中在存储和分析阶段，对数据收集和销毁的研究较少，但大数据生命周期的各个阶段都是相互关联的。解决大数据安全隐私问题不仅仅是存储和分析阶段，希望加强各阶段的安全，全面解决数据安全问题。本文将大数据生命周期分为五个阶段（收集、存储、分析、使用和销毁），释了大数据生命周期各个阶段的风险和挑战。在下一篇文章中，我们将介绍应对这些风险和挑战的安全技术。
参考文献
[1] Koo,J.,Kang,G.,& Kim,Y. G. (2020). Security and Privacy in Big Data Life Cycle: A Survey and Open Challenges. Sustainability,12(24), 10571.
[2] ISO—International Organization for Standardization. Available online:
https://www.iso.org/about-us.html(accessed on 27 October 2020).
[3] SAC—Standardization Administration of China—ISO. Available online:
https://www.iso.org/member/1635.html (accessed on 27 October 2020).
[4] IEEE SA—The IEEE Standards Association—Home. Available online: https://standards.ieee.org/ (accessed on27 October 2020).
[5] Apache Hadoop. Available online: https://hadoop.apache.org/ (accessed on 27 October 2020).
