在实际应用当中,“大数据”似乎经常被误解。大数据确实存储并处理大量的数据集合,但其特性体现远不止于此。而大数据架构和平台算是新事物,而且还在以一种非凡的速度不断发展着。商业和开源的">开发团队几乎每月都在发布其平台的新功能。
当今的大数据集群将会与将来我们看到的数据集群有极大不同。适应这种新困难的安全工具也将发生变化。如果安全成为大数据集群发展过程中的一种重要需求,集群就不容易被黑客破坏。
大数据现象由三个大趋势的交集所推动:包含宝贵信息的大量数据、廉价的计算资源、几乎免费的分析工具。如今,有很多特别重视不同数据类型的大数据管理系统。这些系统使用多种不同的查询模式、不同的数据存储模式、不同的任务管理和协调、不同的资源管理工具。虽然大数据常被描述为“反关系型”的,但这个概念还无法抓住大数据的本质。为了避免性能问题,大数据确实抛弃了许多关系型数据库的核心功能,却也没犯什么错误:有些大数据环境提供关系型结构、业务连续性和结构化查询处理。
传统的定义无法抓住大数据的本质,不妨根据组成大数据环境的关键要素思考一下大数据。这些关键要素使用了许多分布式的数据存储和管理节点。这些要素存储多个数据副本,在多个节点之间将数据变成“碎片”。这意味着在单一节点发生故障时,数据查询将会转向处理资源可用的数据。正是这种能够彼此协作的分布式数据节点集群,可以解决数据管理和数据查询问题,才使得大数据如此不同。节点的松散联系带来了许多性能优势,但也带来了独特的安全挑战。
大数据数据库并不使用集中化的“围墙花园”模式,内部的数据库并不隐藏自己而使其它应用程序无法访问。在这儿没有“内部的”概念,而大数据并不依赖数据访问的集中点。大数据将其架构暴露给使用它的应用程序,而客户端在操作过程中与许多不同的节点进行通信。
嵌入式安全:在涉及大数据的疯狂竞赛中,大部分的开发资源都用于改善大数据的可升级、易用性和分析功能上。只有很少的功能用于增加安全功能。多数系统提供最少的安全功能,但不足以包括所有的常见威胁。在很大程度上,你需要自己构建安全策略。
数据安全:存储在大数据集群中的数据基本上都保存在文件中。每一个客户端应用都可以维持其自己的包含数据的设计,但这种数据是存储在大量节点上的。存储在集群中的数据易于遭受正常文件容易感染的所有威胁,因而需要对这些文件进行保护,避免遭受非法的查看和复制。
规模、实时性和分布式处理:大数据的本质特征使得保障这些系统的安全更为困难。大数据集群具有开放性和自我组织性,并可以使用户与多个数据节点同时通信。验证哪些数据节点和哪些客户应当访问信息是很困难的。别忘了,大数据的本质属性意味着新节点自动连接到集群中,共享数据和查询结果,解决客户任务。
应用程序:面向大数据集群的大多数应用都是Web应用。它们利用基于Web的技术和无状态的基于REST的API。虽然全面讨论大数据安全的这个问题超出了本文的范围,但基于Web的应用程序和API给这些大数据集群带来了一种最重大的威胁。在遭受攻击或破坏后,它们可以提供对大数据集群中所存储数据的无限制访问。