阿里云飞天开放平台总监孙冰:海量流数据处理的服务化

第五届中国云计算大会于2013年6月5-7日在北京国家会议中心拉开帷幕。本次大会以国际视野,洞悉全球云计算发展趋势,并从应用出发,探讨云计算与大数据、云计算与移动互联网、云安全及云计算行业应用等焦点话题。大会还特别设立了云计算服务展示区域,交流国际云计算最新研究成果,展示国内云计算试点城市发展成就,分享云计算发展经验,促进全球云计算创新合作。

在《云计算核心技术架构专题论坛》上,阿里云飞天开放平台总监孙冰介绍了飞天开放平台在海量流数据处理的服务化取得的经验。

图:阿里云飞天开放平台总监 孙冰

孙冰介绍,要做好一项服务,要非常注重三个关键性的设计:扩展性,容错和实时。 阿里云的OSPS服务就是在这三个原则下开发的。

孙冰表示,对于OSPS这样一个系统来说,它是基于飞天平台的,这样做的好处在于,容错是用了非常直接的方法,如果没有飞天平台,没有一个非常好的既可以记普通文件,又可以记log文件,又高效又分布在每台机器上都能做的底层存储系统,这件事情就变得很复杂。由于我们做OSPS的时候已经有飞天平台,省了非常多的力气。接下来,我们在C++自主研发,写类似于SQL的脚本,优化在系统里做,保证数据不丢、不重,实现动态负载均衡。

孙冰表示,飞天平台设计目标是五千台物理机,每天处理PB级数据。

(责任编辑:蒙遗善)

时间: 2024-09-20 08:48:06

阿里云飞天开放平台总监孙冰:海量流数据处理的服务化的相关文章

【阿里飞天】阿里飞天平台总架构师唐洪:飞天开放平台

中国最具影响.规模最大的大数据领域盛会--2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行.数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL.NewSQL等技术方向,还对互联网.金融.电信.交通.医疗等创新案例,大数据资源的法律法规.大数据商业利用的政策管制等有深入讨论. 阿里飞天平台总架构师唐洪带来的分享是"飞天开放平台",唐洪认为大数据和云计算可以说

阿里云飞天技术总架构师唐洪:飞天技术与应用

一年一度的阿里技术论坛(Alibaba Technology Forum)已走进第7个年头,4月15日,阿里众多技术领军人走进清华校园.通过特设的三大技术论坛,参会人员近距离接触了阿里巴巴在云计算.大数据.金融.电商等方面的技术创新. 在云计算与大数据论坛上,来自阿里云飞天技术总架构师唐洪带来了以<飞天技术与应用>为主题的深度分享.下面是精彩内容内容整理. 图:阿里云发展历程 飞天是阿里云自主研发的大规模分布式云操作系统 飞天设计原则 在开始介绍飞天技术前,唐洪和现场观众分享了当初判断要做云计

飞天开放平台所面临的挑战分析

1. 飞天测试的挑战 飞天开放平台即飞天大规模分布式计算系统(简称飞天).飞天期望把几千台PC集合成一台"超级计算机",能够为上层多种不同的开放服务和云应用提供通用的计算分.布式存储和任务调度等多重服务功能.可以从中看出,飞天特性有平台化,通用性和大规模,于是飞天面临了一系列挑战. 挑战一:平台软件的复杂性同互联网发布节奏之间产生的矛盾. 飞天中有多个复杂的分布式模块.模块本身的复杂性乘以各模块之间的协议依赖,若根据传统软件开发流程计算,发布一个拥有可靠质量的稳定版本一般要一到两年.

IT步入云计算时代 浅谈阿里云“飞天”过程中经历的辛酸

中介交易 SEO诊断 淘宝客 云主机 技术大厅 IT步入云计算时代,在互联网发展中,在云计算发展领域里,它成就了诸多行业,尤其是行业巨头Amazon,它帮助这些行业实现了巨大创收,成就了例如Netflix.Dropbox等行业新贵的崛起.纵观中国云计算市场,能与这些行业巨头对抗的行业,似乎不复存在! 阿里云目标是打造成为互联网数据分享的第一平台,但自成立以来,起初阿里云并未在计算市场中有所成就,就在人们开始质疑,开始忘却之时,阿里云却带着新开发的产品体系强势回归.然而,以"飞天"为核心

【阿里云资讯】国家基因库投入运营:全球最大,采用阿里云飞天云计算操作系统

[9月25日讯]9月22日,位于深圳大鹏新区的中国首个.全球第四个国家级基因库正式投入运营.国家基因库是全世界最大的综合性基因库,1期建成后,综合能力世界第一.为了确保"干库"具备优良的数据吞吐能力和足够安全可靠,国家基因库运营方华大基因同阿里云达成战略合作,基于阿里云飞天操作系统构建了基因检测大数据分析平台,解决了生物大数据高性能计算难题.国家基因库执行主任.华大基因研究院院长徐讯介绍表示:我们希望打造中国乃至世界最大的生物信息数据中心,像是生命健康数据领域的谷歌. 国家基因库有多重

乌镇互联网大会 阿里云飞天当选世界互联网代表性领先科技成果

11月16日,阿里巴巴和蚂蚁金服联合研制的以飞天开放平台为基础的大规模分布式高可用电子商务交易处理平台入选世界互联网代表性领先科技成果,在第三届世界互联网大会上发布,并现场获得由大会组委会颁发的纪念奖杯. 18世纪瓦特改良蒸汽机引发了第一次工业革命.此后200多年,人类对物理资源的利用登峰造极,计算资源却一直得不到足够的重视和发展.阿里飞天操作系统在这场全球新技术新成果"竞技"中获此殊荣,意味着整个社会已将计算能力视作衡量企业互联网创新的重要指标,与基础理论.商业模式.硬件产品并列.

94期:阿里云宣布开放开源AliSQL数据库,性能可提升70%

本期头条   蚂蚁金服X阿里云在线金融技术峰会:绝对干货,首次公开 蚂蚁金服X阿里云在线金融技术峰会将于8月30日-31日在线举办.8位蚂蚁金服和阿里云技术大V,将从蚂蚁无线技术.大规模机器学习.金融领域大数据创新.云数据库OceanBase.蚂蚁开放平台等维度,分享蚂蚁从FinTech到FinLife的技术探索思考,展现技术在互联网及金融领域的创新实践应用.峰会议题首次公开,绝对干货!马上报名. • 阿里云宣布开放开源AliSQL数据库:性能可提升70% • 阿里巴巴2017财年第一季度财报:

小议阿里云&quot;数加&quot;平台对企业有何帮助?

文章讲的是小议阿里云"数加"平台对企业有何帮助,阿里云发布大数据平台"数加",让DT时代不再只是阿里巴巴鼓吹的一个概念,而是实实在在的落地了!通过数据倒推本质,意味着一个新的时代来临,而这对企业和个人开发者又意味着什么? 1月20日,阿里云在2016云栖大会上海峰会上发布了一站式大数据平台"数加",工欲善其事必先利其器,首批亮相的就有多达20款产品,覆盖数据采集.计算引擎.数据加工.数据分析.机器学习.数据应用等数据生产全链条. 阿里云大数据事业

阿里云飞天技术出海 eWTP落地马来西亚

本文讲的是阿里云飞天技术出海 eWTP落地马来西亚[IT168 资讯]3月22日,在马来西亚总理纳吉布.阿里巴巴集团董事局主席马云的共同见证下,马来西亚数字经济发展机构(MDEC)宣布与阿里巴巴集团达成战略合作,双方将联手在马来西亚打造中国以外的第一个eWTP"试验区",帮助马来西亚乃至整个东南亚地区的年轻人和小企业参与全球贸易. 据悉,阿里巴巴旗下云计算公司阿里云将输出世界领先的云计算.人工智能.物联网等互联网技术,以在线的模式为马来西亚各类企业和机构提供服务,并支持马来西亚培育本土