走进阿里云计算

2016年4月15日下午,我参加了阿里巴巴技术论坛的《云计算与大数据技术分论坛》。会议讨论主题涉及飞天技术与应用、大数据计算平台的研究与实践、大规模实时计算及应用和云上安全。阿里云飞天总架构师唐洪、资深专家林伟、高级专家钱正平、安全研究员吴瀚清向我们呈现了精彩的演讲。

何为云计算?

“云计算”对于我们来说,早已经不是一个陌生的词汇了。对云计算的定义有多种说法。对于到底什么是云计算,至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,
进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

阿里云飞天总架构师唐洪为我们揭示了云计算的三个本质问题:大规模,云计算是应互联网而生并且为互联网服务的;低成本,低成本不等于低价格,调度才是关键;服务运营,像公共服务一样按量计费。

云计算的作用很大,其中让我感触最深的是云计算能够降低创业的门槛。这主要体现在两个方面:一是可以降低成本门槛,二是可以降低技术门槛。随着云计算的逐渐发展和成熟,云主机已经可以基本替代传统的物理托管主机,并且具有弹性配置,按需自助服务,价格优惠等优势,近两年的趋势就是越来愈多的客户会选择云主机服务。现在的创业模式完全不同于以前,人们对传统IT资源的依赖性越来越小,但云端工具的依赖性却变得越来越大,这些工具可以帮助他们将脑中的想法变成现实、转换为成功的创业模式。在全民创业、万众创新的大趋势下,云计算让大小企业站在了同一个起跑线上,小公司通过云计算也拥有了大公司一样的能力,可以去做他们想做的创新。我们手机上各种APP的诞生不断见证着云计算的重要价值。云计算还有两个作用是赋能业务创新和支持传统产业升级。

飞天的了解和感受

飞天系统是阿里巴巴的大规模分布式操作系统。由于之前不了解分布式系统,所以自己在网上查找了一些分布式系统的概念和理解。通俗点说,分布式系统就是把服务器端程序分开部署到多台机器上。飞天的两个设计原则是:以大规模通用计算平台为基础,同一套系统支持离线和在线服务,多租户、资源共享、削峰填谷;以Web API方式提供服务,即时开通按量付费,集群边界、位置对用户透明。

通过了解飞天的历史,我真正感受到,没有创新就没有飞天,没有飞天就没有现在的阿里云。飞天系统的研究是在阿里巴巴IT费用的增长超过了业务的增长这个背景下提出的。经过阿里人的创新和努力,飞天的出现让用户感觉不到地域的边界,给阿里各种业务带来强力支持的同时给其他大小公司的发展也带来了希望。

一个感兴趣的算法

大数据系统的发展趋势由数据和计算规模转变为时效性和计算延时。大规模实时计算的特点包括:超大规模,每天处理几十亿事件、上千个计算节点;复杂计算,几十个计算阶段、复杂JOIN语义和几十TB内存状态;容错,从系统维护和异常故障中自动恢复。其系统架构为移动设备、传感器、云服务器、事件存储、在线服务通过实时计算平台将计算结果传给移动设备、监控终端、商业报表和实时大屏。

在实时计算分析的讲解过程中,我对阿里云高级专家钱正平讲的流计算比较感兴趣,钱老师通过通俗易懂的讲解和精心准备的示意图让我对流计算有了一定的理解。任何分布式计算都可以通过全局快照存下来。但使用全局快照的一个问题是,一个人出现问题时,所有人都得跟着回滚,这样就会造成系统的延时。在此基础上提出了无状态计算,即假设流计算没有状态,check输入输出的映射关系,建立依赖树。这个方法存在的问题是计算量太大,而且不能保证每个映射关系都找到,容易丢失信息。其中,容错面临的挑战包括三个方面:对上游依赖;重构计算状态;影响下游计算。更好的一种方法是迷你批处理(mini-batch),将输入流数据分批后通过批处理引擎得到输出流。这种方法也存在问题:批大小决定性能延时、容错粒度,存在不必要的耦合。这就需要进行上下游解耦,提供“持久化”管道。其实对于单个节点,可以利用计算快照的方法,这样就可以从任意一个快照重启计算,容错性得到了保证。其中,容错策略包括:基于数据依赖重算、检查点回放、持久化流状态。

通过这些算法的分析,我深深地体会到了实时计算正在加速创新、改变世界,我们需要新的计算机系统研究方法。

云安全感想小谈

其实,在平时的生活中,我们对云计算的安全问题并没有足够的重视,总会感觉这些不应该是我们需要考虑的问题,但是黑客的攻击确实离我们并不遥远,我们掌握在黑客手中的个人信息正在逐年增多。有些人会想通过只建立局域网来防止黑客入侵,但实际上物理隔绝并不能绝对安全。

在云安全方面,数据能力是核心竞争力,支撑云安全的是顶级的威胁情报、顶级的计算能力、顶级的响应和处理能力。其中一种防御的思路是根据信誉,借助大数据进行分析。

总结

今天下午的演讲有很多干货,对于我这个入门学生来说,有些地方仍有很多疑问,将来要通过自己的努力多学习一些这方面的相关知识。

每一个新事物的出现都不是一帆风顺的,阿里云也是如此。但是阿里云面对问题时,一直在努力不断的寻求解决方法,这些问题也不断促进云平台的成熟。如果听到批评的声音就放弃,才是最大的失败。批评是最容易的事情,而塌下心来解决问题并坚持才是王道。只有坚持走自己的路,不被别人的看法左右,才会有成功。

时间: 2024-10-28 04:11:32

走进阿里云计算的相关文章

阿里云计算公布工艺计划,为“污染地图”提供免费云服务

3月2日,阿里云计算公布了一项公益科技援助计划--"云公益".这一计划将为"污染地图"等公益组织提供免费云服务,帮助其通过互联网和大数据的方式开展创新公益活动. 近日,柴静的一部<穹顶之下>唤起了公众对环境污染的深度关注,也让一款环境监测APP"污染地图"走进了人们的视线.<穹顶之下>视频播出后,"污染地图"APP下载量激增上千倍. 2014年6月,公益组织IPE(公众环境研究中心)发布"污染

万网域名阿里云计算产业链上的关键一环

本文讲的是万网域名阿里云计算产业链上的关键一环,在阿里巴巴将旗下的阿里云与万网合并为新的阿里云公司,"万网"保留并成为阿里云旗下域名服务品牌之后,阿里云的云计算产业链得以进一步完善. 在近日召开的互联网名称与数字地址分配机构(ICANN)第46届会议上,围绕域名展开的一系列讨论再次引发了互联网行业的热议.域名作为互联网的第一入口,是云计算服务产业链中最为基础的一环,随着万网域名的加入,阿里云计算让用户可以从此体验一站式.更便捷和完整的云计算服务. 从1996年的"中国域名保护

阿里云计算宣布北京节点正式对外开放运营

4月29日,阿里云计算宣布北京节点正式对外开放运营,这是继杭州.青岛之外,阿里云在全球对外服务的第三个数据中心.阿里云方面表示,北京数据中心将更好地服务众多互联网公司和世界级企业总部. 北京云计算数据中心一期规模为1万台服务器,主要辐射以北京为中心的华北区域,满足该地区政府科研机构.金融机构以及创业公司对弹性计算能力的需求.目前,阿里云北京节点主要支持4款云产品:云服务器ECS(按量付费,包年包月);关系型数据库服务RDS(包年包月);开放存储服务OSS(按量付费);负载均衡服务SLB(按流量计

鸡蛋究竟宜不宜生吃——看阿里云计算怎么破?

9月12日虚拟化平台新产品的媒体沟通会上,不少记者对鸡蛋演示的demo很感兴趣也有一些疑惑.看看来自小白不菜的精彩分享吧. 鸡蛋究竟宜不宜生吃--看阿里云计算怎么破? 姐告诉你,算!鸡蛋里有一种物质,生吃会导致人早生华发,往小了说影响泡妞撩妹,甚至终身大事,往大了说,那可能会导致你光头谢顶,疾病缠身! 因为生鸡蛋清中含有一种抗生物素,叫"亲和素",是一种蛋白质,会防碍人体对鸡蛋黄等食物中所含的"生物素"的吸收.这个生物素非常重要,在脂肪合成.糖质新生等生化反应途径中

阿里云计算北京布点 全球第三个云数据中心开放

4月29日,阿里云计算宣布北京区域正式对外开放运营,这是继杭州.青岛之外,阿里云在全球对外服务的第三个数据中心.阿里云方面表示,北京数据中心将更好地服务众多互联网公司和世界级企业总部.   北京云计算数据中心一期规模为1万台服务器,主要辐射以北京为中心的华北区域,满足该地区政府科研机构.金融机构以及创业公司对弹性计算能力的需求.目前,阿里云北京区域主要支持4款云产品:云服务器ECS(按量付费,包年包月):关系型数据库服务RDS(包年包月):开放存储服务OSS(按量付费):负载均衡服务SLB(按流

阿里云计算宣布启动新一赛季的天池大数据竞赛

阿里云计算今日宣布启动新一赛季的天池大数据竞赛.大赛将吸引全球新生代数据科学家,为预测手机党购物喜好.余额宝资金流动.时尚穿衣搭配,提供更精准的数据分析模型. 本届天池黄金联赛将向全世界的科研人员和高校师生开放,从3月底一直持续到12月份.参赛选手可以免费使用:由阿里云计算提供的御膳房.ODPS(Open Data Processing Service)等大数据处理工具:由阿里巴巴.蚂蚁金服集团提供的,经过严格脱敏处理的海量商业数据.大赛采取积分晋级制,排名通过官网每天更新,总奖金可最高挑战10

阿里云计算向小微金融行业输出云服务

本文讲的是阿里云计算向小微金融行业输出云服务[IT168资讯]P2P网络借款平台在2014年继续高歌猛进.但据不完全统计,一年以来发生问题的平台就超过200家.在这些热门"死法"中,技术风险异常扎眼.显然,P2P行业已成为黑客们新的"掘金地",如何提升平台安全能力成为全行业面临的难题. ▲阿里云 1月13日,阿里云宣布金融云微金融专区正式上线,将面向P2P.小贷.典当.担保.众筹等小微金融企业提供定制化的云计算服务,其中金融级的安全保障成为最大"卖点&qu

阿里云计算推出聚宝盆项目 加速布局金融领域

新浪科技讯 11月27日下午消息,阿里云整合阿里巴巴集团旗下各方资源推出阿里金融云服务,该服务被其内部俗称为"聚宝盆",主要帮中小银行实现网上支付等功能. 阿里云介绍,该服务希望帮助包括区域银行在内的金融机构,从容面对互联网金融带来的庞大业务量和随之而来对IT技术架构的挑战.阿里云计算的布局已延伸到了对安全系数要求极高的金融领域. 从具体应用来看,已有东海银行.渤海银行,天津农商银行.华润银行.鹤壁银行.厦门银行等通过聚宝盆实现了网上交易支付的功能. 据银监会统计,2011年我国农村商

阿里云计算平台的环境监测APP“污染地图”上线,

6月13日阿里云计算平台的环境监测APP"污染地图"上线,近3685家废气排放企业的排放数据将可实时被查询,一旦有超标记录,将即时出现在公众面前.与阿里云相关的个股有望受到市场关注. 据报道,"污染地图"是由公益组织IPE(公众环境研究中心)发布,阿里云免费为其提供云计算资源.与其他环境监测软件单纯的空气质量监测功能不同,"污染地图"除可随时查询190个城市空气指数和污染物浓度,还首次汇总了多省市废弃污染源实时排放数据,地图将清晰地标注出超标排放