在Hadoop中保护大数据安全的9个技巧

当企业转变为数据驱动的机器时,其潜力是巨大的:企业所拥有的数据可能成为获得竞争优势的关键。因此,企业的数据和基础设施的安全也变得比以往任何时候都重要。

在许多情况下,企业或组织都可能得到Forrester所说的“有毒的数据”。例如,一家无线公司正在收集谁登录哪一个天线塔、他们在线逗留多长时间、他们使用多少数据、他们是在移动还是处于静止状态等数据,这些数据可用来了解用户行为的状况。

这家无线公司也许有许多用户生成的数据:信用卡号码、社会保险号码、购买习惯数据和用户使用任何信息的方式等。关联这种数据和从这些数据中提取推断结果的能力是有价值的,但是,这种做法也是有害的,如果这种关联的数据泄露到机构外部并且落入他人手中,这将给个人和机构造成灾难性的损失。

应用大数据,不要忘记法规遵从和控制。下面是保证大数据安全的9个技巧。

1. 在启动大数据项目之前要考虑安全问题。不应该等到发生数据突破事件之后再采取保证数据安全的措施。组织的IT安全团队和参加大数据项目的其他人员在向分布式计算(Hadoop)集群安装和发送大数据之前应该认真地讨论安全问题。

2. 考虑要存储什么数据。在计划使用Hadoop存储和运行要提交给监管部门的数据时,可能需要遵守具体的安全要求。即使所存储的数据不受监管部门的管辖,也要评估风险,如果个人身份信息等数据丢失,造成的风险将包括信誉损失和收入损失。

3. 责任集中。现在,企业的数据可能存在于多个机构的竖井之中和数据集中。集中的数据安全的责任可保证在所有这些竖井中强制执行一致的政策和访问控制。

4. 加密静态和动态数据。在文件层增加透明的数据加密。SSL(安全套接层)加密能够在数据在节点和应用程序之间移动时保护大数据。安全研究与顾问公司Securosis的首席技术官和分析师阿德里安·莱恩(Adrian Lane)称,文件加密解决了绕过正常的应用安全控制的两种攻击方式。在恶意用户或者管理员获得数据节点的访问权限和直接检查文件的权限以及可能窃取文件或者不可读的磁盘镜像的情况下,加密可以起到保护作用。这是解决一些数据安全威胁的节省成本的途径。

5. 把密钥与加密的数据分开。把加密数据的密钥存储在加密数据所在的同一台服务器中等于是锁上大门,然后把钥匙悬挂在锁头上。密钥管理系统允许组织安全地存储加密密钥,把密钥与要保护的数据隔离开。

6. 使用Kerberos网络身份识别协议。企业需要能够管理什么人和流程可以访问存储在Hadoop中的数据。这是避免流氓节点和应用进入集群的一种有效的方法。莱恩说,这能够帮助保护网络控制接入,使管理功能很难被攻破。我们知道,设置Kerberos比较困难,验证或重新验证新的节点和应用可以发挥作用。但是,没有建立双向的信任,欺骗Hadoop允许恶意应用进入这个集群、或者接受引进的恶意节点是很容易的。这个恶意节点以后可以增加、修改或者提取数据。Kerberos协议是可以控制的最有效的安全控制措施。Kerberos建在Hadoop基础设施中,因此,请使用它。

7. 使用安全自动化。企业是在处理一个多节点环境,因此,部署的一致性是很难保证的。Chef和Puppet等自动化工具能够帮助企业更好地使用补丁、配置应用程序、更新Hadoop栈、收集可信赖的机器镜像、证书和平台的不一致性等信息。事先建立这些脚本需要一些时间,但是,以后会得到减少管理时间的回报,并且额外地保证每一个节点都有基本的安全。

8. 向Hadoop集群增加记录。大数据很自然地适合收集和管理记录数据。许多网站公司开始使用大数据专门管理记录文件。为什么不向现有的集群增加记录呢?这会让企业观察到什么时候出现的故障或者是否有人以为企业已经被黑客攻破了。没有一个事件跟踪记录,你就是一个瞎子。记录MR请求和其它集群活动是很容易的并且可以稍微提高存储和处理需求。但是,当有需要的时候,这些数据是不可或缺的。

9. 节点之间以及节点与应用之间采用安全通信。要做到这一点,需要部署一个SSL/TLS(安全套接层/传输层安全)协议保护企业的全部网络通信,而不是仅仅保护一个子网。就像许多云服务提供商一样,Cloudera等Hadoop提供商已经在做这件事。如果设置上没有这种能力,就需要把这些服务集成到应用栈中。(编译/胡杨)

(责任编辑:蒙遗善)

时间: 2024-11-08 22:06:44

在Hadoop中保护大数据安全的9个技巧的相关文章

构建Hadoop安全模型 让大数据安全落地

截至2012年12月,全球互联网用户达到24亿:2012年,智能手机出货量达到4.27亿部.在IT迅速变革的今天,看看一分钟之内会有 多少事发生吧:27.8万条Twitter信息发出,2.04亿封电子邮件被发出,15000条歌曲从iTunes上被下载,571个新网站被创建.今天,我们已经进入数据爆炸式增长期,而80%能访问到的数据都是过去2年生成.据预测,2020年,电子数据存储量将在2009年的基础上增加44倍,达到35万亿GB.进入大数据时代,我们就不能不提Hadoop.很多组织意识到,利用

Hadoop中的集群配置和使用技巧

其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天.Hadoop可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照Demo的运行说明直接执行命令即可.这里主要重点说一下集群配置运行的过程. 环境 7台普通的机器,操作系统都是Linux.内存和CPU就不说了,反正Hadoop一大特点就是机器在多不在精.JDK必须是1.5以上的,这个切记.7台机器的机器名务必不同,后续会谈

hadoop中一些常用的命令介绍_php技巧

假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop.启动与关闭启动Hadoop1.进入HADOOP_HOME目录.2.执行sh bin/start-all.sh 关闭Hadoop1.进入HADOOP_HOME目录.2.执行sh bin/stop-all.sh文件操作Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似.并且支持通配符,如*. 查看文件列表查看hdfs中/user/admin/aaron目录下的文件.1.进入HADOOP_HOME

ASP.NET中保护自定义的服务器控件_实用技巧

自定义服务器控件是扩展 ASP.NET Web 服务器控件的功能的一种方式.下文提供了针对自定义服务器控件的用户和开发人员的基本安全准则.有关创建自定义服务器控件的更多信息,请参见开发自定义 ASP.NET 服务器控件. IDE(如 Microsoft Visual Studio 2005)简化了自定义控件的使用及开发.但是,无论使用哪一 IDE,下面列出的安全准则均适用. 有关 ASP.NET Web 应用程序安全性的常规信息,请参见 ASP.NET Web 应用程序安全性. 针对自定义服务器

大数据安全还有哪些欠缺?

保持大数据安全的想法并不新鲜,提供这些服务的公司是否能够应对最新的网络威胁?如今,一系列严重的恶意软件和程序可能侵入企业的业务系统,并删除窃取数据.在一些领域中,大数据安全服务提供商需要开发应对网络勒索,弥补hadoop的安全堆栈的差距,以及阻止企业可能会违反的数据政策的服务.客户信任是在线业务交易中重要且不断增长的必需品.保护数据安全免受威胁,有助于保证客户的信息安全,也将为那些希望合作开展业务的企业带来安全. 大数据 即使在四年前,企业的首席执行官们并不太担心客户对他们的信任,实际上只有37

盘点:大数据安全面临的主要挑战

如今,大数据安全性似乎越来越得到人们的关注.事实上,"2015-2016世界质量报告"就指出,安全是全球IT部门考虑的头等大事.这是因为近年来,企业已经开始使用多种外部应用来执行公司流程,包括将移动设备整合到商业世界中,这显著增加了企业的安全挑战和大数据泄露的风险.因为几乎每个人(从企业主管到公司员工)都会带着他们的个人移动设备工作. 在某种程度上,这些设备都与企业的基础设施有关.即使工作人员遵循公司的每一个网络安全提示,并避免连接到公司的网络,也可能危及其安全性.如果手机,台式电脑或

风险隐患多,如何保卫大数据安全?

数字化生存时代,得数据者得天下,赢安全者赢未来. 大数据的风险隐患有哪些?给大数据"守门""上锁"靠什么技术?保卫大数据安全还需如何发力?26日在贵阳举办的中国国际大数据产业博览会上,多位大数据领域的权威专家.企业家就数字安全与风险防控畅所欲言. 近50%的数据可能被泄露 大数据风险隐患多 任何新技术都是一把双刃剑,大数据带来变革的机遇,也带来更多的风险. 2016年9月,雅虎公司因为自身的安全漏洞被网络黑客利用,5亿雅虎用户的信息被泄露.我国也曾发生多个招生考试院

企业大数据安全分析的四大关键要点

文章讲的是企业大数据安全分析的四大关键要点,ESG公布的一项研究表明,44%的企业认为其所采用的安全数据收集与分析机制可以被归类为"大数据"方案;另外44%的企业则认为其所采用的安全数据收集与分析机制在未来两年内将能够被归类为"大数据"方案.(备注:在此次调查中,大数据安全分析机制被定义为"安全数据集迅猛增长,总量之庞大已经很难利用现有安全分析工具进行处理".) 因此,企业很可能会在未来几年内开始尝试某些类型的大数据安全分析产品或者解决方案.也就

从东风号到和谐号,探秘启明星辰大数据安全分析平台

经过10年的发展,中国在高速铁路的建设和发展上取得了举世瞩目的成就,目前已经拥有全世界最大规模以及最高运营速度的高速铁路网.从最早的时速100公里的"东风号"内燃机车到最新的最高时速486公里的"和谐号"高速动车,中国铁路技术实现了快速跨越式发展,局部技术上已经走在了世界的前列. 同样,在信息安全领域,启明星辰公司也集安全分析和安全管理平台技术之大成,十年磨一剑,率先在国内推出了大数据安全分析平台,一举将中国信息安全分析和安全管理从"东风"号内燃