大数据发展所面临的四大安全挑战

  在实际应用当中,“大数据”似乎经常被误解。大数据确实存储并处理大量的数据集合,但其特性体现远不止于此。而大数据架构和平台算是新事物,而且还在以一种非凡的速度不断发展着。商业和开源的">开发团队几乎每月都在发布其平台的新功能。

  当今的大数据集群将会与将来我们看到的数据集群有极大不同。适应这种新困难的安全工具也将发生变化。如果安全成为大数据集群发展过程中的一种重要需求,集群就不容易被黑客破坏。

  大数据现象由三个大趋势的交集所推动:包含宝贵信息的大量数据、廉价的计算资源、几乎免费的分析工具。如今,有很多特别重视不同数据类型的大数据管理系统。这些系统使用多种不同的查询模式、不同的数据存储模式、不同的任务管理和协调、不同的资源管理工具。虽然大数据常被描述为“反关系型”的,但这个概念还无法抓住大数据的本质。为了避免性能问题,大数据确实抛弃了许多关系型数据库的核心功能,却也没犯什么错误:有些大数据环境提供关系型结构、业务连续性和结构化查询处理。

  传统的定义无法抓住大数据的本质,不妨根据组成大数据环境的关键要素思考一下大数据。这些关键要素使用了许多分布式的数据存储和管理节点。这些要素存储多个数据副本,在多个节点之间将数据变成“碎片”。这意味着在单一节点发生故障时,数据查询将会转向处理资源可用的数据。正是这种能够彼此协作的分布式数据节点集群,可以解决数据管理和数据查询问题,才使得大数据如此不同。节点的松散联系带来了许多性能优势,但也带来了独特的安全挑战。

  大数据数据库并不使用集中化的“围墙花园”模式,内部的数据库并不隐藏自己而使其它应用程序无法访问。在这儿没有“内部的”概念,而大数据并不依赖数据访问的集中点。大数据将其架构暴露给使用它的应用程序,而客户端在操作过程中与许多不同的节点进行通信。

  嵌入式安全:在涉及大数据的疯狂竞赛中,大部分的开发资源都用于改善大数据的可升级、易用性和分析功能上。只有很少的功能用于增加安全功能。多数系统提供最少的安全功能,但不足以包括所有的常见威胁。在很大程度上,你需要自己构建安全策略。

  数据安全:存储在大数据集群中的数据基本上都保存在文件中。每一个客户端应用都可以维持其自己的包含数据的设计,但这种数据是存储在大量节点上的。存储在集群中的数据易于遭受正常文件容易感染的所有威胁,因而需要对这些文件进行保护,避免遭受非法的查看和复制。

  规模、实时性和分布式处理:大数据的本质特征使得保障这些系统的安全更为困难。大数据集群具有开放性和自我组织性,并可以使用户与多个数据节点同时通信。验证哪些数据节点和哪些客户应当访问信息是很困难的。别忘了,大数据的本质属性意味着新节点自动连接到集群中,共享数据和查询结果,解决客户任务。

  应用程序:面向大数据集群的大多数应用都是Web应用。它们利用基于Web的技术和无状态的基于REST的API。虽然全面讨论大数据安全的这个问题超出了本文的范围,但基于Web的应用程序和API给这些大数据集群带来了一种最重大的威胁。在遭受攻击或破坏后,它们可以提供对大数据集群中所存储数据的无限制访问。

时间: 2024-10-23 00:34:33

大数据发展所面临的四大安全挑战的相关文章

大数据时代带来喜忧参半,数据发展正面临转折点

近年来,大数据已经覆盖了许多领域,包括互联网领域.许多应用和平台热衷于搜集用户的信息.而在近日举行的SXSW(South by Southwest,西南偏南)大会上,专家们却表达了对于数据会歧视用户的担忧. 会上,独立隐私安全专家Ashkan Soldani提及了IBM的一款能够计算"恐怖主义得分"的软件.这款软件的目的是通过用户数据,计算从叙利亚来到欧洲的人们参与恐怖活动的概率. 大数据(bigdata)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之

贵州发布大数据发展十方面成果

5月26日,2017数博会主题发布会在数博会新闻发布厅举行,贵州省发展研究中心在会上发布<贵州省大数据发展报告(2016)>白皮书(以下简称"白皮书"),总结了贵州大数据发展在十大方面取得的丰硕成果. 白皮书由贵州省政府发展研究中心和贵州省大数据发展管理局共同编撰,从十个方面总结了贵州省大数据发展主要做法及成效-- 顶层设计方面,形成"344533"的总体发展思路,出台<关于实施大数据战略行动建设国家大数据综合试验区的意见>等1+8系列文件,

大数据对智慧城市的四大作用

2014年8月19日中国国际大数据大会在北京国宾酒店举行,在大数据安全与智慧城市发展论坛上国家信息中心信息化研究研究部主任张新红做了题为<以大数据促进智慧城市健康发展>的演说. 张新红 大数据对智慧城市的四大作用 城市发展应该有三大功能即承载功能.经济功能和社会功能,而任何功能的实现都需要掌握最准确和最完整的的信息,这些都要大数据来支撑.没有信息化就没有现代化,没有大数据也就没有智慧城市. 大数据对于智慧城市应该在四个方面产生作用:科学规划,通过数据的支撑.公众参与.社会监督和客观评价这4个过

浅析大数据时代信息安全面临的挑战与机遇

"世界的本质是数据,大数据开启了一次重大的时代转型,也是一场生活.工作与思维的大变革".随着世界各大国在陆.海.空.天.电.网多维度战略的紧张部署,信息技术爆炸式发展.基于大数据发展对国家.社会的组织结构和治理模式,对商业.企业的决策方式和业务策略,对个人的生活思维方式等各方面产生的深刻影响,各界逐渐开始关注"信息"本身而不只是"技术"了.在大数据时代,人类信息管理准则也将面临重新定位,而在信息安全问题日益突出的当下,大数据给信息安全带来新挑战的

过分依赖大数据让乐高面临破产,让其转危为安的竟是一双旧鞋中的小数据

2003 年年初,乐高公司陷入困境,销售额同比下降了30% .2004 年,销售额又下降了10%.乐高CEO约恩·维格·克努德斯托普说:"我们一直亏本,都火烧眉毛了.公司还将面临债务违约的危险,很可能破产." 面对销售额的持续下滑,乐高找来了世界知名的营销大师马丁·林斯特龙,期待林斯特龙能够将乐高从低迷的业绩中拯救出来.林斯特龙从挖掘一双就运动鞋中的小数据出发,寻找用户需求,最终让乐高转危为安. 过分依赖大数据让乐高面临破产 这家丹麦玩具商怎么突然落到这步田地?乐高的问题大概要追溯到1

湖北省大数据发展行动计划(2016-2020年)

各市.州.县人民政府,省政府各部门: 现将<湖北省大数据发展行动计划(2016-2020年)>印发给你们,请结合实际,认真组织实施. 2016年9月14日 湖北省大数据发展行动计划(2016-2020年) 大数据是继云计算.物联网和移动互联网之后新一代信息技术革命的制高点,是当今社会重要的基础性战略资源,不仅代表着当前信息技术的新热点.产业发展的新方向,更是加快推动经济社会转型升级的新引擎.为贯彻落实<国务院关于印发促进大数据发展行动纲要的通知>(国发[2015]50号)精神,推动

大数据发展详解:从小样本到大数据,从理论到价值

从小样本到大数据:概念与误区 在最近这两年所产生并记录的数据总量已经占到了人类文明从开始以来的所有数据总和的90%.我们一直不停地记录着一切有价值的信息,世界和万物的变化数据形成了一座"自动生长"的金矿,数据挖掘技术则负责从矿山中挖出金子. "大数据"这个词早期是IBM和EMC鼓吹的一种商业概念,自诞生之日就有概念包装的商业基因.明白这一道理就不会过分纠结"到底什么是大数据","多大数据算大数据"之类的问题.这一概念包含了我们

魏凯:如何突破大数据发展的瓶颈

大数据已经上升成为国家战略,社会各界对大数据的期待上升到了前所未有的高度.如何务实推动大数据战略落地,成为接下来的政策重点.本文重温了大数据的内涵,分析了大数据的局限性,结合国内大数据发展面临的瓶颈,提出了相关的策略建议. 1引言 2015年,我国<促进大数据发展行动纲要>出台,十八届五中全会进一步提出要在"十三五"期间实施国家大数据战略,大数据一路上升成为国家战略,社会各界对大数据的期待上升到了前所未有的高度.如何推动大数据战略落地成为未来几年的政策重点.本文重温了大数据

【独家干货】马宁宇:贵州大数据发展的探索与机遇

演讲全文: 大数据是把我们召集在一起的一个主题,非常高兴今天在这里能见到这么多关注大数据,做大数据的校友.见到大家特别高兴,你们就是我的依靠.我们做研究,希望能够与社会各方面相关,所以我们的视角,甚至我们的语言体系能够跟需求方有结合. 我记得两年前杨斌老师跟我讲,学校筹建数据科学院的时候把"大"字去掉了.因为"大数据"是商业概念,而"数据"是从学术的角度来谈的,希望学校的老师.同学以严谨学风去对待它.同时,大数据又是落地的学科.关注社会的学科.贵