【观察】DT WORLD!站在同一起跑线思考大数据的未来

1月20日,2016云栖大会上海峰会在上海科技馆隆重举行。 随着大数据、云计算的发展,整个互联网正在从IT时代向DT时代演进,本次峰会通过60+场高浓度技术演讲、4场开放实验室动手实践、重磅产品大数据平台发布、多家战略伙伴合作计划阐述,以及近百位一线专家现场实力分享,用真实场景和实战解析下的大数据技术为企业和公众敲开了DT世界的大门。DT时代,互联网是基础设施,数据是生产资料,计算是公共服务,所有企业都在同一条起跑线上,迎来了新转型与发展的机会。


王坚:数据创业要学习小岗村

作为中国云计算技术最为坚实的布道者,王坚博士一直站在产业一线。他对于互联网、计算和数据的理解与分析,推动着产业的思考和认知。

会上,王坚表示,因为有了互联网+数据+计算产生了巨大的价值,使得人类有机会看到以前从来没有看到的东西,看到历史上没有的东西。正如伽里略发明天文望远镜,让人类突然意识到世界不是原来眼睛看到的那样,“我们不是因为知道世界是什么样而去发明了望远镜,而是因为我们有了望远镜,才知道世界是什么样。”也正如显微镜一样,“传统行业或者传统软件公司不觉得鼠标点击有意义有价值,不觉得那是一个活生生的世界,但是互联网是把它当生命来看。在互联网上点击鼠标就能知道用户的兴趣,能创造价值,这是互联网公司真正的能力,而不是别的东西,这是显微镜的作用。”同样,还有雷达的比喻。

在他看来,互联网、数据和计算就像人类历史上三个非常重要的工具——望远镜、显微镜和雷达的发明,让人类看见了原来看不见的世界。

这个世界是大数据的世界。尤其是在互联网基础设施已经完善的基础上,数据就像土地、石油、煤一样,成为DT时代的生产资料。为了利用好数据这一生产资料,发挥出数据的巨大价值,王坚号召在场近2000位与会者学习小岗村的农民,做互联网时代地球村的“数据农民”。

“关于数据这件事情,大家都处于像中国三十年前改革开放的起点,不知道土地上种什么,种的东西不知道是谁拥有的。”王坚强调,“在座的各位有一次机会,我们一起为全世界做一次小岗村农民做的事情,思考如何让土地产生价值,如何让数据产生价值,并且产生的价值不会有纠纷,所有权清晰。这是数据产业非常重要的机会。”

王坚认为,当互联网变成基础设施、数据成为生产资料、计算成为公共服务的时候,所有的企业、所有的行业又站在同一条起跑线上:个人创业者的影响力可以和一万人的大公司影响力相比,而一万人的大公司又具备了小公司的灵活性。

数加:20款产品覆盖数据生产全链条

如果统计现场拍照次数,集阿里巴巴十年大数据能力于一身的一站式大数据平台——“数加”最为吸睛。首批亮相20款产品,覆盖了数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。“在技术上至少领先业界三年”,阿里云大数据事业部资深总监徐常亮说,“数加”承载了阿里巴巴EB级别的数据加工计算,经历了上万名工程师的实战检验。

具体来看:

Datahub是数加上的一款数据采集产品,可为用户提供实时数据的发布和订阅功能。写入的数据可直接进行流式数据处理,也可参与后续的离线作业计算。Datahub同主流插件和客户端保持高度兼容。

大数据计算服务MaxCompute(原ODPS)、分析型数据库Analytic DB、流计算StreamCompute共同组成了底层强大的计算引擎。大数据计算服务可6小时处理100PB数据,相当于1亿部高清电影。单集群规模过万台,并支

持多集群联合计算。做到了速度更快,成本更低。经测算,自建Hadoop集群的成本是数加的1.5倍,国外计算厂商AWS 的EMR成本更是数加的5倍。阿里云当天还宣布,大数据计算服务再降价50%。

流计算擅长对实时流式数据进行分析,具有低延时、高性能的特点。每秒查询率可以达到千万级,日均处理万亿条消息、PB量级的数据。

计算引擎之上,“数加”提供了最丰富的云端数据开发套件,开发者可一站式完成数据加工。这些产品包含:数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。整体来看,大数据开发套件的优势包括:支持100人以上协同设计、开发、运维;具有良好的扩展性;提供各个产品功能模块的Open API,可二次开发;多个数据实例之间的数据授权机制,确保数据只能使用却不可见;提供白屏化的运维能力,以及字段级数据质量监控、机器预警、资源使用率监控等功能,让用户更好的掌控自己的数据及数据任务。

在数据分析方面,数加提供了3款产品供开发者使用:

  • 通过移动数据分析产品,开发者可快速搭建日志采集、分析系统,从而为用户提供个性化服务;
  • 通过数加BI报表产品,3分钟即可完成海量数据的分析报告。产品支持多种云数据源,提供近20种可视化效果。
  • 通过数据可视化产品DataV,一星期就能做出双11同款大屏。这款产品,曾支持了阿里巴巴多年的双11、双12作战指挥。

同时,基于DataV,数加还发布了面向政府的行业应用产品“郡县图治”。通过这款产品,县长可以在一个屏幕下统览全县各项经济民生数据,为政府决策提供辅助。

对于时下大热的机器学习,数加更是提供了全面支持。“数加”发布的机器学习工具,可基于海量数据实现对用户行为、行业走势、天气、交通等的预测。图形化编程让用户无需编码、只需用鼠标拖拽标准化组件即可完成开发。产品还集成了阿里巴巴核心算法库,包括特征工程、大规模机器学习、深度学习等。

为了能够帮助开发者更快捷在应用中集成大数据功能,“数加”同时提供了规则引擎、推荐引擎、文字识别、智能语音交互等数据应用产品。

  • 规则引擎是一款用于解决业务规则频繁变化的在线服务,可通过简单组合预定义的条件因子编写业务规则,并做出业务决策。比如,银行会设置如果10分钟内用户在两个省份交易,则需要电话确认。
  • 推荐引擎是一款用于实时预测用户对物品偏好的数据工具,它能够帮助客户发现众多物品中用户最感兴趣什么。
  • 文字识别提供自然场景下拍摄的图片中英文文字检测、识别以及常见的证件类检测和识别。
  • 智能语音交互基于语音和自然语言技术构建的在线服务,为智能手机,智能电视以及物联网等产品提供“能听、会说、懂你”式的智能人机交互体验。

产品惊艳之后,还有四家战略伙伴的深度合作解读,精准指向不同应用场景。

场景:混合云、深度学习、金融云和创客+

第一是OpenStack的混合云场景。OpenStack服务商九州云(99Cloud)与阿里云达成战略合作,将共同研发企业级混合云平台,向用户提供弹性、敏捷及安全可控的混合云解决方案。具体来看,在双方的合作中,阿里云将公共云具备的弹性伸缩、海量扩展的优势延伸至专有云,打造无缝连接、可弹性扩展升级的混合云部署方案。九州云将通过针对性的专用插件开发,实现在阿里云平台上OpenStack产品的深度集成,从而为企业客户提供一站式的混合云管理服务。未来,九州云还将结合阿里云便捷高效的网络服务——高速通道,让企业内部的专有云、线下数据中心,能够就近接入公共云,组建混合云架构,实现企业内部资源与混合云资源的打通与统一管理。

九州云董事长兼首席执行官张淳表示:“混合云与专有云就像租赁汽车与私家车一样,全方位满足用户在不同场景下的出行需求。此次九州云与阿里云的战略合作正是基于双方对市场发展的共识,强强联合能够更好地将九州云在OpenStack技术、专有云解决方案和行业用户市场开拓方面的资源、管理优势以及阿里云在云计算与大数据领域的优势带到企业级市场,更好地满足企业需求,增强企业在云平台应用中面临的现有资源优化利用、安全可控性和灵活敏捷性等方面的需求,进一步降低IT成本。”

阿里云资深总监李津也认为:“技术没有门派,服务没有边界,任何技术的诞生都是源于最终用户的需求。阿里云希望通过跟九州云等生态伙伴的合作,让所有用户能够分享到生态伙伴的服务能力,让公共云的海量

计算能力更便捷的去触达他们。这才是今天阿里云整个生态的价值,这也是云计算带给我们联结在一起的价值。”

第二是深度学习,尤其是在性能计算领域(HPC)场景。NVIDIA(英伟达)与阿里云签署战略合作协议,双方将共同推广阿里云高性能计算平台HPC,大力拓展深度学习市场,并建立联合实验室,进行高性能计算领域技术的联合攻关。

实际上,阿里云HPC于去年底正式对外商用,每个计算节点配备2颗专属NVIDIA Tesla K40 GPU和2颗CPU。用户可通过阿里云官网购买GPU服务器实例。这是中国首个云上高性能计算平台。阿里云首席科学家章文嵩表示:“深度学习领域的创业创新企业是阿里云HPC最重要的客户群之一,未来阿里云将发挥自身在公共云计算领域的优势和高性能计算领域积累的应用经验,与英伟达一起为深度学习的新兴企业提供更加强大的支持。”

NVIDIA全球副总裁Shanker Trivedi表示:“我们非常高兴能够基于中国最大的云服务平台——阿里云为客户提供GPU计算服务,用户不仅可以通过云体验到最新的GPU技术,NVIDIA也将发挥在技术平台、生态系统和全球用户经验,与阿里云一起为人工智能、深度学习等领域的新兴企业创新提供有力的支持。”

阿里云HPC负责人王琤介绍,阿里云不仅提供硬件和基本系统,更为HPC准备了Docker实例、调度系统、监控平台,以及针对深度学习的训练、预测中间件和工具。

据悉,阿里云将联合英伟达一起合作拓展深度学习市场,大力扶持深度学习创新企业,包括深度学习、人工智能、机器人等方向。阿里云也将成为英伟达官方推荐云上深度学习平台。尤其值得一提的是,阿里云开放了全世界唯一的NVIDIA Kepler架构GPU原生汇编器及NVIDIA CUDA(Compute Unified Device Architecture)占用计算器,这是阿里内部性能调优的“独门秘技”。阿里用这款汇编器优化出了目前在Kepler架构GPU上最快的卷积、矩阵乘法实现。

第三是金融多个性化的场景。润和软件与阿里云正式签署战略合作框架协议,将双方的产品与解决方案深度整合,为金融行业客户提供端到端的“一站式”金融信息化解决方案。润和软件将逐步把直销银行、移动金融业务平台、分支行创新特色业务端、供应链金融、小微贷及其风控平台、基金代销平台、新一代架构银行核心、巴塞尔III备注风控平台、财险核心及其业务系统迁移至云端,从而将自身的金融IT服务能力输出给上云的银行、保险、泛金融行业等机构。

润和软件高级副总裁钟峻表示:“过去,行业一直认为‘技术是银行的保障’,而未来将是‘技术引领银行的发展’。如果不了解、无法驾驭新的技术,就没法去构想未来金融王国的样貌。所以,云计算就是现阶段能够为金融机构带来切实改变的技术。也正是基于这样的共识,润和软件牵手阿里云,共同探索‘金融产品云端化、金融机构云端化、金融服务云端化、金融创新云端化、金融风险控制云端化’的行业发展方向。”

在阿里金融云总经理徐敏看来,二者合作所要达到的最终效果,就是解决银行客户的痛点,让他们在云上的业务创新能够像“拎包入住”那样简单。

第四是“创客+”。阿里云“创客+”与优客工场正式签约,宣布将共同推动阿里云“创客+”在优客工场基地落地,为创新创业者提供更多支持,赋能创业生态。此次合作的第一站将落地于高校云集的北京海淀区,双

方共同打造阿里云+优客工场。未来,在这栋总面积达11000平方米的四层通顶天井办公楼中,入驻阿里云+优客工场的创新创业者就能在拥有“有范儿有料有态度”为特色的自定义办公环境的同时,拥有其他全方位的

创业配套资源支持。优客工场创始人毛大庆表示:优客工场将与阿里云“创客+”一起,去通过“生态、社群、共享、大数据”把能量、资源、优势充分地赋能给创业者,成为创业者的后盾和战友。

报告和评选:绘制更丰富云计算生态

主题分享之外,还有一份重要发布——《2015-2016中国云栖创新报告》。在阿里云计算、大数据的全量在线数据分析的基础上,报告首次推出“中国云栖指数”,用于量化描述中国云上创新创业的进程。“中国云栖指数”由“云服务投资指数”、“云计算力指数”、“大数据指数”、“云应用创新指数”、“云应用需求指数”5 个子指数构成,并依照不同指数值形成中国云创城市排行榜、中国云创省份地图、中国云创行业地图、中国云服务投资地图、中国云计算力地图、中国大数据地图、中国云应用地图等专项分析。描绘出“中国 DT 经济图谱”,为全国各地的创业公司选址、行业人才招募、创新园区定位、投融资渠道,提供真实性高、可视化强、全面化的双创产业发展指南。

云栖联盟联合ITValue、钛媒体发起了2015首届云栖奖评选,旨在寻找更多善用云计算技术和资源,引领企业迈向DT时代的最佳CIO、CTO,来帮助云上创业创新项目迅速成长,在这个行业中具有榜样效应的孵化机构和伯乐。借由分享更多创新榜样的经历,来帮助更多企业借助云和大数据“弯道超车”,更快找到DT时代的入口。

大会虽然已经圆满落幕,但留给产业和企业用户的思考还有很多。

如果您对2016年云栖大会有任何建议,欢迎联系。

时间: 2024-12-04 01:21:37

【观察】DT WORLD!站在同一起跑线思考大数据的未来的相关文章

大数据的未来–个人信息/情报/认知服务的思考

1.未来大数据的一切都都关于人 -不论述 2.大数据收集困难和高风险 现在的大数据的来源,都是通过自有平台收集用户数据的,对于没有平台的企业很难有机制和渠道获取稳定的数据来源. 有说通过法律和制度来,规范关于人的大数据使用,在这之前,唯一可行的方向是,把用户大数据使用,做成服务的必选功能,要使用服务,必须接受隐私风险. 3.对大数据的利用方式 现在的大数据 都是由各种数据聚合出一类关于人的结论 然后拿给企业使用. 我想大数据应用还有另一类. 利用网上的大数据,告诉某类人.甚至某个人,世界发生着什

职场思考----大数据人才到底值钱在什么地方?

周未跟一做人才外包服务朋友聊天,提到自己正在学习大数据技术的时候.他直接就说到他现在有需求,但就是招不到合适的人才.然后提到说现在大数据人才的价值,收入,待遇方面.可以说基本上将近到IT行业的顶级了.不由得,就开始思考,大数据人才的价值到底在什么地方? 大数据思维 个人感觉,这是首先第一个需要有的.因为我们现阶段生活在一个数据爆炸的时代,掌握良好的数据思维是对你的商业决策,乃至IT架构有很大的帮助.比如说,我们现在的数据类型很多,数据量很大.但是我们用到的却很有限,而这些有限的数据又不能够让我们

冷思考“大数据”图书热

在经历了"蓝海战略""长尾理论"之后,对企业经营管理提出系统的观点,当属"大数据".与以往企业经营的战略思考不同的是,大数据更多的带有浓厚的技术色彩,是企业在经营与创新中,越来越重视理性分析和技术手段的结果,其背后的主要支撑点在于,互联网与电子商务行业的飞速发展,已经使得各行各业都开始思考,如何在营销中采用互联网思维,如何在信息时代对自己的企业进行精细化管理. IBM把大数据概括成3个V:大量化(Volume).多样化(Variety)和快速化(

DT观察 | DT化进程持续展开:未来十年科技是什么样子?

约100年前的1910年,有感于曼哈顿的灯火通明,美国意象派诗人埃兹拉-庞德这样赞颂新奇的电力:"这就是文明诗一样的美景,因为我们已把星星摘了下来,终于遂了心愿".无数的热议.想象.憧憬.幻想,同样发生于100年后的今天--DT时代! DT时代的模式升级与范式转移之产业篇 相关阅读: DT时代的模式升级与范式转移之范式篇 DT时代的模式升级与范式转移之模式篇 DT时代的模式升级与范式转移之文化篇 宋斐 潘永花 田丰  如果说IT时代类似工业时代的第一次工业革命,标志着信息文明的开端,那

【BDTC2014观察】大数据会与深度学习划等号么?

2014中国大数据技术大会在12月14日正式落下帷幕,近百位技术专家在这里分享了他们的最新研究与实践成果,本文来自中国经济网经营顾问杨静,主要解读了大数据与深度学习之间的联系,以及未来行业技术的发展. 以下是作者原文: 2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014

DT时代:财经媒体如何玩转商业数据

从2015年12月发布的一组"中国消费趋势报告2015",到2016年4月13日最新一份"2016进口食品消费趋势报告",成立不到半年的CBNData(第一财经商业数据中心)已经陆续发布了70多份行业数据报告.SMG与阿里巴巴在去年6月资本合作后的合力效应,正在通过"数据+"战略逐步显现. 4月13日,第一财经新媒体布局的重要一环"DT财经"品牌在2016新媒体创新峰会上正式亮相.这场由第一财经.DT财经主办的峰会搭建了国内最

“厚数据”,大数据的下一站

作者:王圣捷(PL Data公司创始人,她是名全球科技人类学家,也曾是 IDEO 上海的一名驻地专家) 当前,全世界各种规模的公司都在被告知需要大数据 -- 大数据是驱动下一轮创新的源动力.风投公司专门确立针对大数据的投资组合,初创公司对外宣称自己是 "大数据" 公司,成熟的巨头企业会成立专门做大数据项目的数字创新团队.面对先进的计算数据收集和分析能力,许多初创公司和大型企业不惜以牺牲人的洞察为代价,过度地专注于收集定量数据.这种把定量数字凌驾于定性洞察之上的做法着实令人担忧.我就曾亲

大数据时代DT+成为大趋势

文章讲的是大数据时代DT+成为大趋势,大数据已经成为整个社会的底层架构和标配,其上的一切都必须按照大数据的要求进行重构,大数据在解决大问题方面尤为有效,目前在语音搜索.智慧城市建设.互联网金融治理等方面取得了长足的进展,未来更多的领域都必将被大数据所革命和重构. 1989年,当万维网出现之后,给我们带来了第四次传播革命,互联网以其海量的空间.互动的方式,使得信息数量急剧增加,根据ZDNET的数据显示,2013年中国产生的数据总量超过0.8ZB,2倍于2012年,相当于2009年全球的数据总量,而

DT时代,大数据如何服务产业经济?

文章讲的是DT时代,大数据如何服务产业经济,信息技术正在从IT时代向DT(数字化.大数据)时代演进.在DT时代,大数据究竟有什么用?对于政府.企业和个人,大数据又将会给产业经济带来什么变化?数据又如何不被滥用?在中国,它所引领的整个产业链能否实现"弯道超车"? 日前,光明记者独家专访了被称为中国大数据行业的"数据之王"--王叁寿,从他的视角去诠释大数据该以何种状态服务整个产业链发展. 产业--大数据"唯快不破" 7月25日,刚刚从外地出差回京的王