大数据理念的初步实践

"中关村大数据产业联盟"推出"大数据100分"论坛,每晚9点开始,于"中关村大数据产业联盟"微信群进行时长100分钟的交流.探讨. [大数据100分]何鸿凌:电信行业大数据应用案例的实践及思考 文:何鸿凌 主持人:中关村大数据产业联盟 副秘书长 陈新河 主讲人:何鸿凌 承办:中关村大数据产业联盟 何鸿凌,中国移动集团公司业务支撑系统部项目经理,高级工程师.1978年生人,2001年获得重庆邮电大学计算机应用学士学位,2014年获得重庆大学软件工程

随着普惠金融业务的深入,以及消费金融业务竞争的白热化,针对信用白户的风控显得尤为重要.如何面向信用白户进行快速有效的信用评级,卧龙大数据根据自己的实践经验,就电商.社交数据在风控上的应用价值与大家进行一些分享. 电商社交数据的数据覆盖度 卧龙和众多不同类型金融机构进行了数据匹配测试,下图为各类金融机构的互联网行为数据整体匹配情况. 可以看出: 传统的农商行主要面对线下人群,线上数据的匹配率很低,要利用电商社交数据做信用评估基本不可行,利用大数据引流获客倒是一个值得关注的方向; 对于大型股份制银行

本文根据阿里云大数据计算平台资深架构师林伟在大流量高并发互联网应用实践在线峰会上题为<MaxCompute大数据运算挑战与实践>的分享整理而成.分享中,他主要介绍了在大数据.大流量.高并发情况下MaxCompute所面临的挑战,以及应对这些挑战的实践经验. 直播视频:点击此处观看 幻灯片地址:点击此处下载 以下为在线分享观点整理. 什么是MaxCompute? 大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的PB/EB级数据仓库解决方案,具备万台服务器扩展能力和跨地域

山西省政府办公厅近日公布的<关于运用大数据加强对市场主体服务和监管的实施意见>提出,充分运用大数据,提高政府服务能力和水平,激发群众和市场主体的创业创新活力,推进大众创业.万众创新. 山西省将运用大数据理念.现代信息技术和数据资源,归集政府数据和社会数据,完善政府对市场主体的全方位服务,提高为市场主体服务的水平.有关部门将依托省电子政务外网和大数据技术,建设投资项目在线审批监管平台,实现跨部门.跨层级项目审批.核准.备案的"统一受理.同步审查.信息共享.透明公开",形成透明

随着IT技术的飞速发展,各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务.目前,医疗IT系统收集了大量极具价值的数据,但这些历史医疗数据并没有发挥出其应有的价值.为此,本文拟利用医院现有的历史数据,挖掘出有价值的基于统计学的医学规则.知识,并基于这些信息构建专业的临床知识库,提供诊断.处方.用药推荐功能,基于强大的关联推荐能力,极大地提高医疗服务质量,减轻医疗人员的工作强度.   二.Hadoop&Spark  目前大数据处理领域的框架有很多.   从计算的角度上看,主要有MapRed

随着IT技术的飞速发展,各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务.目前,医疗IT系统收集了大量极具价值的数据,但这些历史医疗数据并没有发挥出其应有的价值.为此 ,本文拟利用医院现有的历史数据,挖掘出有价值的基于统计学的医学规则.知识,并 基于这些信息构建专业的临床知识库,提供诊断.处方.用药推荐功能,基于强大的关联推荐能力,极大地提高医疗服务质量,减轻医疗人员的工作强度. 二.Hadoop&Spark 目前大数据处理领域的框架有很多. 从计算的角度上看,主要有MapReduce

ZD至顶网CIO与应用频道 07月08日 北京消息: 7月6日下午,由36大数据联合搜狐科技.物联中国.至顶网.人民网.泡泡网等多家媒体共同举办的"大数据商业应用与创新峰会"在北京火爆召开.这场行业盛会吸引了来自IBM.亚信数据.聚合数据.诸葛io.互利科技.神策数据.海云数据.万象等众多公司的业界 精英参与.与此同时,36大数据创始人刘金玲首次对外公布了公司新品牌LOGO--Datajoy. 图1 大数据商业应用与创新峰会在京举行 图2 活动现场座无虚位 随着去年国务院<关于促

2.6 本章小结 本章围绕数据体系提出了数据闭环的概念,对数据闭环的特征进行了描述,并且进一步介绍了构建数据闭环所涉及的方法和技术. 这里着重介绍了在数据闭环中扮演重要作用的"数据缓冲区"的设立理念和实现方式.通过设立数据缓冲区,可以实现系统解耦,让数据闭环具备良好的扩展性,让公司组织间职责更加分明,使数据环境更加安全等. 数据缓冲区中涉及的数据批量导出/导入技术,需要使用到各个RDMS系统的批量操作命令.另外在大数据平台中,需要使用hadoop shell和hive shell脚本来

1.2数据平台 数据平台是存放分析数据的平台,也是支持大多数数据分析和数据挖掘应用的底层平台,它使用了统一的数据清洗与处理规则,因而可以保证从基础平台上输出的数据内容是一致的. 传统的数据平台基本等同于大家熟悉的"数据仓库",但互联网浪潮让人们对数据采集.存储和应用提出了越来越高的要求,传统数据仓库平台独力难支,因此"现代化"的数据平台是多种数据库产品的融合.图1-3是一个精简化的现代数据平台架构图.   图1-3 数据平台架构示意图 现代的数据平台融合了传统数据仓