文章讲的是DTCC2015：大数据行业应用及开源架构，以“大数据技术探索和价值发现”为主题的第六届2015中国数据库技术大会(以下简称大会)近日在京召开。大会吸引了近2500名技术爱好者参与，活动主办方除设置主会场外还开设了多个专场，在《专场19：大数据-商业与开源架构》上来自中海纪元数字技术公司技术总监任广坤，携程网高级架构经理赵俊，搜狐DBA赖亿，博晓通联合创始人董健将为我们带来一场精彩的大数据全方位的知识“盛宴”。
▲中海纪元数字技术公司技术总监任广坤
中海纪元数字技术公司技术总监任广坤首先介绍了大数据在智慧政务上的应用。他指出，在云计算已经遍布国内大江南北，各地都在建设云计算基地能够为大数据应用奠定基础。再说电子政务的发展，它与我们的生活是密切相关的，回顾整个电子政务的发展经历来看，它主要经历了几个阶段：
第一个阶段90年代左右其信息化是垂直的系统;第二阶段是从2000年到2005年是两网一站，四库十二金的应用;第三阶段是从2006年到2011年，面向业务协同提高办事效率主要推是标准化市民中心。第四阶段从2012年以后政务向是一站式智慧政务。所谓一站式主要是基于云计算、大数据等提供的服务。
▲新技术带来的行业变化
任广坤指出大数据带来了行业的变革，给政府行业大数据带来了六大转变：从粗放管理向精细化转变，从单相管制向政民互动转变，从各自为战向协作共享转变，从被动响应向主动预见转变，从行政主导的政府向以人为本服务型政府转变，从经验决策向基于大数据的科学决策转变。
▲业务新要求、IT新需求推动统一化
谈到电子政务的应用，其实电子政务与企业的架构有很高的相似性，过去企业建了很多的IT系统，形成“烟筒”式的架构，这些问题不仅仅是企业面对，对于电子政务而言，同样也面临相信的问题比如当有了新的业务需求时，同样也对IT提出了新的需求，这就要求必须统一化。以政务数据为例，政务的需求是纵向访问上级部门，纵向各业务之间要隔离，要求数据需要更强的稳定性、安全性、可靠性。 大数据是政务资源整合和业务协同的重要组成部分，对于政务的需求推荐使用面向电子政务领域的EDATA平台，它是基于大数据的采集、存储、分析与挖掘及可视化展示应用等全方位一体化解决方案，基于开放性架构的平台，可面向电子政务各行业应用进行具体业务需求快速实现。
▲平台系统架构设计
▲平台设计理念
▲平台设计功能
携程高级架构经理赵俊就《应用与DB的实时依赖分析与故障定位》作了主题分享。他指出，当网站访问量越来越大的时候，对于DB是一个“灾难”，大量报错需要花很久的时候才能定位。基于此，携程开发了DAP。DAP(Data Arch Portal)是基于Java开发的， 使用12种开源框架的实时应用与DB监控平台。它为携程提供了从架构到应用访问DB的全面监控服务和决策支持。
▲携程高级架构经理赵俊
现在DAP的现状是拥有16台物理监控肌群，1500+业务应用(包括.net，Java，和MS SQL)，4000+应用服务器，>10TB消息大小，>100亿消息(每天)，单机Max QPS 10w/S(生产环境)。一套好的监控系统指标不仅要具备对应用无影响，还能够具备实时性、吞吐量、开销低、可靠性、服务端处理100%的到达消息等元素。
▲DAP报表之系统报错大盘
▲DAP报表之应用与DB耦合依赖
▲DAP报表之架构总图
作者: 李伟
来源：IT168
原文链接:DTCC2015：大数据行业应用及开源架构