大数据平台安全建设方案分享

随着国家提出大数据促进经济社会转型发展的战略思路,大数据平台建设目前已经是政务信息化建设中的焦点内容,各省级政府依托强大的信息化体系率先做出尝试。大数据平台业务系统搭建之初,作为整个平台稳定、持续运行的基础,安全建设方案会是整个平台项目中重要的一环。

大数据平台整体安全建设,从数据采集到数据资产的梳理,再到平台的访问安全管控和数据存储安全,以及数据共享分发过程中的版权保护,整个安全方案如何形成数据访问和使用过程的闭环,并且能够实现安全策略的统一下发和协同配合,是摆在平台建设方面前的棘手问题,本文以某大数据平台安全建设方案为参考,抛砖引玉,共同探讨行之有效的安全建设思路,该方案已经初步得到建设方认可,具备可落地基础。

安全建设完整思路
1信息资源梳理建设业务需求:数据梳理
在进行安全建设之初,针对需要保护的信息资源,需要先进行状况摸底:

1)提供对部门的组织结构、业务角色、信息资源类别、信息化系统等的管理和维护功能;

2)能够对业务流程图和数据流程图进行管理,能够识别协同关系和信息共享需求,能够明确职责、挖掘、整合数据资源、规范数据表示;

3)能够对数据库的主题库、逻辑实体、实体关系图、数据映射图、数据元标准、信息分类编码进行管理。

技术实现:数据库漏扫、数据资产梳理
数据库漏扫:实现对数据库系统的自动化安全评估,能够有效暴露当前数据库系统的安全问题,对数据库的安全状况进行持续化监控。利用数据库漏扫产品覆盖传统数据库漏洞检测项;实现弱口令扫描、敏感数据发现、危险程序扫描、渗透测试等高端检测能力;通过预定义安全策略、自定义安全策略,实现高效、有针对性的安全状况扫描检测,和通过各种角度、各种专题、详略不一的报表直观呈现数据库系统的安全状况样貌。

数据资产梳理:实现数据资产的“静态+动态”梳理

静态梳理:实现数据库自动嗅探:自动搜索企业中的数据库,可指定IP段和端口的范围进行搜索,自动发现数据库的基本信息;按照敏感数据的特征或预定义的敏感数据特征对数据进行自动识别,持续发现敏感数据;根据不同数据特征,对常见的敏感数据进行分类,然后针对不同的数据类型指定不同的敏感级别。

动态梳理:对平台数据库系统中不同用户、不同对象的权限进行梳理并监控权限变化。监控数据库中用户的启用状态、权限划分、角色归属等基本信息;归纳总结用户访问情况,尤其针对敏感对象,能够着重监测其访问权限划分情况。数据流转梳理,对数据应用程序、运维工具、脚本等程序和人员对敏感数据的操作进行监控和分析,形成敏感数据内部流转路线图,展示敏感数据是如何被处理和流转的;监控异常流转情况,及时发现数据违规使用风险。

综上,通过安全风险扫描、检测和资产梳理可以明确信息资源的出口、入口,数据间关系,摸清各部门的业务需求、数据需求和集成需求,能够提供信息资源的文档的自动化生成(数据库设计文档、信息资源目录、实体关系图等),以及通过思维导图等方式展示信息资源。

2政务、互联网数据采集业务需求:采集过程中的数据共享
各政府职能单位信息汇聚采集(公安、民政、人社等)、互联网入口公众信息采集(政府网站、微信、社会学术库、企业信息等场景需求下,需要共享数据,但敏感数据不能全部开放。

技术实现1:动态脱敏
将动态脱敏系统部署在数据的共享、交换、应用、运维区,与数据库之间;形成自动化的敏感数据匿名化边界,防止隐私数据在未经脱敏的情况下从数据区流出。

提供基于数据库访问来源IP、数据库应用系统、应用系统账户、时间等因素的策略,对需要共享的敏感数据,可根据数据的敏感级别和应用的需要,灵活的配置动态脱敏策略,从而实现外部应用能够安全可控的使用共享的敏感数据,防敏感数据泄露。根据不同数据特征,内置丰富高效的动态脱敏算法,包括屏蔽、变形、替换、随机;支持自定义脱敏算法,用户可按需定义。

技术实现2:数据脱敏(静态)
数据脱敏(静态):利用对数据的静态脱敏技术,有效防止大数据平台内部对隐私数据的滥用,防止隐私数据在未经脱敏的情况下流出。既满足隐私数据保护,又满足开发、测试、模型训练等业务对数据的需求,同时也保持监管合规,满足企业合规性。

3大数据平台管控(基础、服务)业务需求:大数据平台的统一资源管控
大数据平台的数据使用管控需要实现资源管理、安全管理、运维管理、集群部署及监控、任务调度等功能,同时配备友好的管理界面。

技术实现:数据库审计、数据库防火墙、安全运维管控
数据库审计:通过对访问数据库的所有网络流量进行采集、解析、过滤、分析和存储,全面的审计所有对数据库的处理行为,满足大数据平台对数据处理进行监控、收集和记录的需求。

数据库防火墙:将数据库防火墙部署在应用系统和数据库之间,能够防护由于WEB应用漏洞、应用框架漏洞等原因造成的黑客攻击数据库,窃取敏感数据;确保大数据平台核心数据资产的共享安全。

数据库安全运维系统:基于角色管理的细粒度的数据库运维控制功能,精确到SQL语句,确保核心数据资产的合规使用;针对不同的数据库用户,提供操作权限、访问控制,限制NO WHERE更新和删除,避免大规模数据泄露和篡改;提供双因素鉴别和登录控制能力,防止数据库账户泄漏和滥用;提供用户权限细粒度管理,对敏感数据的操作进行严格管控;控制和审计动作、全面精细审计分析,提供实时访问统计图。

4大数据存储安全加固业务需求:存储安全
对于落地到大数据平台的数据资源,除了访问管控,需要对其中高密级数据增加存储加固手段,作为数据安全防护的底线。

技术实现:数据库加密
强化大数据平台数据安全,实现整体数据安全加固,防止数据外泄。加强对敏感数据的加密访问和存储,敏感数据呈现中对关键字段进行加密。安华金和的数据库加密产品DBCoffer可以针对表空间实现表空间级加密,对表空间内的所有数据全部进行加密,增强数据安全性;支持表级加密,增强安全的同时又兼具灵活性;在不影响数据库本身权限的同时,系统增强了权限控制,分别从数据库用户,客户端IP,应用系统等不同层面对权限增强,全面防止越权访问,防止数据泄露;安全服务组件实现对密钥的管理,让用户自己掌握密钥,即使数据被盗也无法查看明文。

5大数据运维分析业务需求:支撑大数据分析运算
通过从运维端进行大数据分析,实现对海量数据提供高效的分析和计算。数据分析挖掘引擎支持并行化统计算法和机器学习基础算法库,支持的并行化基础算法,能够处理大数据集。具体功能要求包括查询、关联分析、统计分析、报表展示、数据挖掘以及二次开发等。

技术实现:数据脱敏(静态)
针对海量数据进行分析计算,是典型的数据库脱敏系统面临的分析场景,在此场景下对将生产数据中的部分敏感数据进行脱敏处理,有效防止大数据平台内部对隐私数据的滥用,防止隐私数据在未经脱敏的情况下流出。针对数据分析这一应用场景,支持对目标数据库中部分数据进行脱敏,可根据指定的过滤条件对数据来源进行过滤筛选形成数据子集。在脱敏产品的使用过程中,面对生产环境中数据或数据结构频繁发生变化的场景,及时调整脱敏策略,防止敏感数据“漏网”现象,引发敏感数据泄露。

6大数据展现业务需求:政务部门的公开下载和服务
提供政务部门可公开各类数据的下载与服务,为企业和个人开展政务信息资源的社会化开发利用提供数据支撑,推动信息资源增值服务业的发展以及相关数据分析与研究工作的开展。

技术实现:数据脱敏(动、静)、数据水印
数据脱敏:使用动态+静态数据脱敏技术,实现对外数据公开下载以及开发利用等服务过程中的数据安全。

数据水印:通过系统外发数据行为流程化管理,对数据外发行为事前数据发现梳理、申请审批、事中添加数据标记、自动生成水印、事后文件加密、外发行为审计、数据源追溯等功能,避免外发数据泄露无法对事件追溯,提高了数据传递的安全性和可追溯能力。系统通过智能自动发现功能辅助用户发现敏感数据完成外发数据梳理;通过对原数据添加伪行、伪列、对原始敏感数据脱敏并嵌入标记等方式进行水印处理,保证分发数据正常使用。水印数据具有高可用性、高透明无感、高隐蔽性不易被外部发现破解。一旦信息泄露第一时间从泄露的数据中提取水印标识,通过读取水印标识,追溯数据流转过程,精准定位泄露单位及责任人,实现数据溯源追责。

整个大数据平台的安全建设工作,不是简单的安全产品的堆砌,它需要基于专业的安全建设思路来建立完整的数据安全防护体系,满足业务需求的同时,兼顾安全需求。

关于云上安全的话题,安华云安全将于17年12月12日在北京3W咖啡举办线下沙龙活动欢迎各位报名参加:

了解详情:http://www.dbscloud.cn/cloudsecurity.html 

时间: 2024-09-28 13:32:33

大数据平台安全建设方案分享的相关文章

建设大数据平台,从“治理”数据谈起

本文是大数据杂谈 6 月 15 日分享内容整理. 一.大数据时代还需要数据治理吗? 数据平台发展过程中随处可见的数据问题 大数据不是凭空而来,1981 年第一个数据仓库诞生,到现在已经有了近 40 年的历史,相对数据仓库来说我还是个年轻人.而国内企业数据平台的建设大概从 90 年代末就开始了,从第一代架构出现到现在已经经历了近 20 年的时间. 在这 20 年的时间里,国内数据平台实施者可以说是受尽折磨,数据项目一直不受待见,是出了名的脏活累活. 可以说,忽视数据治理给数据平台建设带来了不少问题

农行赵维平:农业银行自主可控的大数据平台建设

4月27日,中国大数据峰会上,农总行赵处的讲演,引得台下掌声雷动."大数据建设只有起点,没有终点,我们一直在路上.在国产化的道路上,希望民族工业无比强大,在国际市场上挺起腰杆!" 500-333文章照片-大数据推动金融创新- 赵维平 中国农业银行软件开发中心的专家赵维平 农总行赵处的讲演的数据着实令国人振奋!农业银行以国产数据库GBase 8a为基础的国内最大的金融大数据平台采用混搭融合架构.双活数据仓库.超大规模数据库集群这些先进技术全部应用其中.56是生产环境,现在实现了56环境的

大数据平台数据脱敏介绍

数据脱敏(Data Masking),又称数据漂白.数据去隐私化或数据变形.百度百科对数据脱敏的定义为:指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据 的可靠保护.这样,就可以在开发.测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集. 可以看到数据脱敏具有几个关键点:敏感数据.脱敏规则.使用环境. 敏感数据,又称隐私数据,常见的敏感数据有: 姓名.身份证号码.地址.电话号码.银行账号.邮箱地址.所属城市.邮编.密码类 ( 如账户查询密码.取款密码.登录密码等 ).组织

江西将构建生态环境监测大数据平台

江西日前出台<江西省生态环境监测网络建设实施方案>,提出构建江西省生态环境监测大数据平台. 根据方案,江西将加强生态环境监测数据资源开发与应用,开展大数据关联分析,构建江西省生态环境监测大数据平台,并与国家.市.县形成逐级贯通的生态环境监测数据传输网络. 按照方案,江西还将融合国土资源.环境保护等部门获取的生态环境质量.污染源.水资源.水土流失.农村饮用水源.地下水.耕地等生态环境监测数据,建立生态环境监测数据集成共享机制. 与此同时,江西将建立统一的生态环境监测信息发布机制,制定生态环境监测

通信行业用统一大数据平台破解“多租户”

源于互联网的大数据技术,现如今已经深入到传统行业之中.各行各业大都在积极使用大数据推动数字化转型,基于每个行业的特点和信息化水平的不同,在大数据的应用上也各不相同,其中金融.电信.政府.交通行业领跑大数据应用. 某电信运营商的大数据应用在运营商中属于第一梯队,早在3.4年前就开始了大数据平台的建设.但随着业务带动数据量的增长,也产生了多租户的问题,所以在大数据平台二期建设上,其考虑通过统一架构来解决多租户问题. 运营商的多租户挑战 在大数据应用上可以分为三个阶段,第一,实验期,非核心业务的应用:

【阿里在线技术峰会】李金波:企业大数据平台仓库架构建设思路

本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的<企业大数据平台仓库架构建设思路>的分享整理而成.随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化.半结构化.非结构化数据的产生,越来越多的企业开始在大数据平台下进行数据处理.分享中,李金波主要从总体思路.模型设计.数加架构.数据治理四个方面介绍了如何利用大数据平台的特性,构建更贴合大数据应用的数据仓库. 直播视频: (点击图片查看视频) 幻灯片下载:点此进入 以下为整理内容. 总体思路 随着互联网规模不断的扩大,数据也在爆炸式

企业大数据平台下数仓建设思路

免费开通大数据服务:https://www.aliyun.com/product/odps 介然(李金波),阿里云高级技术专家,现任阿里云大数据数仓解决方案总架构师.8年以上互联网数据仓库经历,对系统架构.数据架构拥有丰富的实战经验,曾经数据魔方.淘宝指数的数据架构设计专家. 与阿里云大数据数仓结缘 介然之前在一家软件公司给企业客户做软件开发和数仓开发实施,数仓开发和实施都是基于传统的基础架构.2008年加入阿里进入淘宝数据平台部后,他开始接触分布式计算平台Hadoop. 初始时在Hadoop平

首都科技大数据平台建设将启动

首都科技大数据平台建设方案昨天开始征集,政府部门将携手企业,建设一系列大数据共享共用平台,在推动科技产业发展的同时,也用于破解空气污染.水环境治理.交通拥堵等城市发展难题. 此次征集活动由市科委组织,京东.百度.用友.亿赞普等互联网龙头企业及长风联盟.市科技金融促进会等大数据领域相关联盟.协会代表共同发起."目前,在世界上一些发达国家,从星巴克咖啡到总统选举,都需要应用大数据分析."北京大数据研究院院长周海荣说,"大数据不仅是一项技术,也是一种国家战略." 用友软件

DockOne微信分享(九十九):海航生态科技舆情大数据平台容器化改造

本文讲的是DockOne微信分享(九十九):海航生态科技舆情大数据平台容器化改造[编者的话]海航舆情监控系统能够为海航集团内部提供监控网络舆情信息,对负面信息.重大舆情及时预警,研判具体舆情或者某一舆情专题事件的发展变化趋势,生成图标报告和各种统计数据,提高舆情工作效率和辅助领导决策.然而,随着项目的持续运行,许多问题逐渐暴露出来,为了解决这些难题,对整个项目重新规划设计,迁移到Hadoop.Spark大数据平台,引进持续化Docker容器部署和发布,开发和运营效率得到显著提升. 一. 舆情平台