云计算一周热文回顾(4.9-4.14)

大数据从业者市场现状:薪酬持续增长 人才缺口巨大

在大数据时代,企业之间正在为了吸引并留住商业智能和信息管理的专业人才而展开战争。在InformationWeek每年公布的IT从业人员薪金调查中可以看出大数据从业人员面临巨大的缺口。

现今大数据呈现出“4V + 1C”的特点。既Variety:一般包括结构化、半结构化和非结构化等多类数据,而且它们处理和分析方式有区别;Volume:通过各种设备产生了大量的数据,PB级别是常态;Velocity:要求快速处理,存在时效性;Vitality:分析和处理模型必须快速变化,因为需求在变;Complexity:处理和分析的难度非常大。而IM专业让人才知道如何使用新兴的大数据平台(如Hadoop、NoSQL)来处理和分析大数据。

回顾InformationWeek多年的IT薪金调查报告,BI(Business Intelligence)和IM(Information Management)专业人才一直是IT领域中的高收入人群。Information2012年的调查报告显示BI从业者的平均薪金为90000美元,而2011年的数字为85000美元。BI管理者的平均薪水为119000美元,相比去年同期110000美元增长了9000美元。而在数据整合/数据仓库领域的薪金曾更高,普通从业者和管理者的薪金分别为97000美元和120000美元,相比2011年(普通从业者和管理者的薪金分别为98000美元和118000美元)变化不大。

大数据从业人员的平均薪金看起来已经相当不错,但还有哪项职位可以获得更多的薪水?大数据浪潮正在推进CEO寻找能够告诉他未来发展(在上周乃至上个月没有事情发生)的人才。

这类人才具备前瞻性和预见性的见解。埃森哲人才与组织绩效服务线下属的文化变革小组负责人Stacy Blanchard表示“他们通常是统计学家并且精通数据建模,同时他们知道如何在可用数据中使用最佳的算法,这极具技术含量”。他们帮助组织在大量信息中挖掘有价值的数据,并将数据转化为深入的认知和精准预测的模型。

大数据时代也迫使许多行业发生变革,当今制造商就在研究需求的数据和供应链信息,以便削减产品开发周期,提高制造和供应链的效率。同时向AOL、comScore、eHarmony等级与互联网的企业正在将客户的点击流数据进行分析,以提供有价值的个性化和定位服务,同时帮助找到最合适的客户进行精准营销。

从星巴克到沃尔玛,他们正在分析密集型数据,以便得出最合适的产品选型和定价。对于医疗。如哈佛医学院通过对临床资料的分析可为患者提高诊断、治疗的效率。总之企业和政府机构越来越看重通过数据驱动决策,这导致他们对分析和信息管理专业的需求不断增加。未来大数据领域从业人员将有“薪金将继续增长、大数据人才供不应求、雇佣外包、人才团队内出现分歧、大数据专业人士需要不断进步、精通大数据的专业人才将成为最重要的业务角色、大数据领域需要数据科学家、高校回应大数据人才缺口、数据驱动的工作令人满意并充满挑战、大数据专业人士将拥抱未来”等这十个方面的趋势。

在线视频王者YouTube的技术哲学

如果你想构建一个可以承载日访问量40亿次的网站,YouTube有许多值得借鉴的地方。本文是YouTube的工程师Mike Solomon在PyCon(PyCon是Python开源社区的开发者年度盛会)上关于YouTube扩展性演讲的摘要,相信会对大家有所启发。

许多团队都使得他们的基础架构越来越复杂,YouTube团队却尽量保持简单的风格。他们使用Python作为主要开发语言,使用MySQL开源数据库,并一直使用Apache作为Web服务器。对一个如此庞大的站点而言,许多重要特性都源于点点滴滴的Python代码。

这并不意味着YouTube不追求创新,他们更追求一种技术哲学,而非炒作。究竟是什么成就了世界上最大的视频网站?敬请阅读。

新量子加密技术可挫败“最老练”黑客

加拿大多伦多大学罗海光教授领导的一个研究小组发现,一种新的量子加密方法或可挫败那些“最老练”的黑客。此项发现刊载于最新一期《物理评论快报》上。

量子加密术原则上是一种阻止黑客的万无一失的方法,其可确保窃听者读取加密通信的任何尝试所引起的扰动都会被合法用户探测到,因此,在存在一个潜在黑客的情况下,量子加密术允许在两个用户之间传输一个绝对安全的密钥。该密钥使用光信号传输并用光子探测器接收。不过,黑客亦可拦截和操纵这些信号。

IBM公司研究员、量子加密术的共同发明者查尔斯·贝内特博士表示,光子探测器被证明是密钥分配的“阿喀琉斯之踵”,其在不经意间为难以捉摸的“旁门左道”式攻击——最著名的量子黑客行为开启了一扇门。

量子黑客行为发生时,光信号“颠覆”光子探测器,使他们仅能看到黑客想要对方看到的光子。事实上,罗教授的早期研究及挪威科技大学瓦迪姆·马卡罗夫博士的独立研究表明,一个聪明的量子黑客可以破解商业密钥分配系统。

十亿美元买了什么?Instagram架构揭秘

Instagram是一个在iPhone上基于社交网络的图片分享服务,创立之初的一年多时间就吸引了1400万用户,目前已经用户达到3000万。截至到去年八月,Instagram上总共有1.5亿张图片,所有的数据都建立在Amazon stack上。

Instagram的团队曾经撰文《Instagram:数百的实例 大量的技术》披露了其架构。

Instagram混杂了不同的技术和策略。团队虽然很小,但经验快速增长让他们赶上了社交和移动互联网大潮。他们采用了混合的SQL和NoSQL技术,这里有大量的开源项目,并选择了云服务,Amazon的服务提供了很高的杠杆率,这比他们自己建设要高的多,可靠性完全可用,按时间顺序异步的将组件链接起来,系统包含了足够多的服务,包括API和外部服务,这些都不用工程师重新开发。数据保存在内存中和云端,多数代码为动态语言,从新开发的后台传输服务将所有服务链接在一起,代码更新很快并保持简短。一个非常现代的架构。

IBM设计最强计算机:吞吐数据相当全球互联网2倍

据国外媒体报道,美国IBM公司正在设计史上最强的计算机,每天的数据吞吐数量相当于整个互联网,可用于对来自太空的无线电波进行分析,探索宇宙起源的奥秘。这台计算机将与占地1900平方英里(约合4920平方公里)的望远镜阵列——平方公里阵列相连,负责分析望远镜获取的数据。平方公里阵列能够观测到130亿年前的宇宙景象,当时刚发生大爆炸不久,正是宇宙的黎明时期。

IBM设计的最强计算机运算能力是当前速度最快的PC的数百万倍,负责处理的数据数量将达到大型强子对撞机所产生数据的100倍。IBM研发部门的汤恩-恩波森表示:“平方公里阵列每天获取的数据相当于当前全球每天互联网流量的两倍。”据悉,平方公里阵列将于2024年竣工,能够观测到130亿年前的宇宙景象,将用于研究星系演化、暗物质以及宇宙的起源。

IBM将采用3D芯片制造这台计算机,用以达到平方公里阵列需要的运算能力。平方公里阵列将安装数千个碟形天线,天线覆盖面积超过1平方公里,整个阵列的宽度相当于美国大陆。这个望远镜阵列的灵敏度是此前任何射电望远镜的50倍,速度是当前望远镜的1万倍。平方公里阵列每平方公里每天产生的数据估计可达到数EB(艾字节)。经过处理后,每年存储的数据估计在300到1500PB(拍字节)之间。相比之下,欧洲核子研究组织的大型强子对撞机每年产生的数据在15 PB左右。

云计算更适合小公司的八条原因

云计算为各种规模企业带来业务成本方面的降低,云计算提供的优势对于刚成立的小公司尤其明显。但同时也有相反的意见认为云计算只在大型公司效果显著。

一方面,云计算带来的经济效益在原本预算就不多的小公司显然体现不出优势,另一方面,大型公司云计算方面的安全性、集成度等常见问题在小公司也并不严重。但小公司的规模效益、企业级功能、成本、设备和应用、兼容性、安全问题、法律事务、可靠性等八个方面的特性证明了小公司更加适合采用云计算。

云计算似乎天生就是为中小公司准备的,并且几乎是无需自行开发或花大价钱购买就达到企业级IT水平的最佳方式。尽管这项技术羽翼未丰,但从建立一个新公司的角度来看,选择云计算未尝不是一个轻装上阵的明智之选。

时间: 2024-11-05 22:03:53

云计算一周热文回顾(4.9-4.14)的相关文章

云计算一周热文回顾:NoSQL数据库技术特性解析之文档数据库

NoSQL数据库技术特性解析之文档数据库 现今云计算的从业人员对NoSQL一词并不感到陌生,虽然很多技术人员都长期从事关系数据库的工作,但现在他们对NoSQL技术充满期待.对于企业来说,从关系型数据库到NoSQL数据库转变绝对是个需要深思熟虑的大改变.这涉及的不仅是软件的变化,更多的是对于数据存储上观念性的变化. 大多数非关系数据库都具有快速和可伸缩的特性.通过放弃关系存储模型和架构,关系数据库便可脱离由紧密结合的架构所带来对其施加的限制.应用程序也无需再链接数据库内表中的数据. MongoDB

云计算一周热文回顾:任正非首谈接班人制度

任正非首谈接班人制度:相信华为惯性 华为总裁任正非近期撰写一篇内部文章为轮值CEO鸣锣开道,在这篇文章中,他回顾了自己从个人英雄主义到相信团结就是力量的心路历程,回顾了公司的组织机构从无到有到现在实行轮值CEO的制度的演变,谈及接班人们,他说,"相信华为的惯性,相信接班人们的智慧." 去年,曾有传闻称,任正非为了让儿子任平顺利接班,以10亿元人民币的"分手费"逼走公司董事长孙亚芳,随后华为公司发声明予以否认. 在这篇文章中任正非特别提到在2002年公司内外交困时,&

云计算一周热文回顾:大数据成功预测美国大选

大数据成功预测美国大选 显然,"大数据"并不真正关心谁来当选下一届美国总统.不过所有的数据都显示:政治科学家和其他人相关人士都认为奥巴马获得连任可能性比较大.本次的成功预言,展示了大数据强大的能量. 统计模型在过去的几个星期里一直关注纽约时报FiveThirtyEight的博客作者和统计学家Nate Silver引导的热门话题(甚至可以说是争论).Silver已经成为本次争议的焦点人物,在"旋风般"地宣传他的新书的同时,他的模型预测:奥巴马有超过80%的机会赢得周二

云计算一周热文回顾:一网打尽18种主流数据库

一网打尽18种主流数据库:12种SQL+6种NoSQL 还记得两三年前仅有几家云计算平台供应商可供选择的时候,似乎市场上也没有多少云数据库.但是云蓬勃发展之后,云数据库也呈现雨后春笋之势.而哪些是真正可靠而易用的,对用户而言,并不好分析.所以,本文分析了18种数据库的可用性以及应用方向(注意,这里说的管理数据库服务,不是仍然需要用户管理和实施的数据库实例).仍有不足之处,希望听到大家更多的评论. 谷歌120美元光纤,让我100余元8M宽带情何以堪! 现在,互联网已成为我们生活中不可或缺的一部分,

云计算一周热文回顾(3.19—3.24)

Google骂微软夸 Facebook开源数据中心王国 与严格保密的Google不同,Facebook不仅全新设计的服务器和数据中心,并且将其设计方案开源,这简直是对Google莫大的蔑视.每一个Google员工都需要签署一份保密协议,而这在Facebook根本不需要.就连一向保守的微软也沉不住气,公布了都柏林数据中心的部分细节.不过,据Google前员工透露,Google的数据中心十分强大.但开放的Facebook却获得了更多拥护者,包括英特尔.Dell.华硕.Rackspace都加入了Ope

云计算一周热文回顾(3.12-17)

五大主流数据库模型 无论是关系型数据库还是非关系型数据库,都是某种数据模型的实现.本文将为大家简要介绍5种常见的数据模型,让我们来追本溯源,窥探现在流行的数据库解决方案背后的神秘世界. 1. 关系模型 关系模型使用记录(由元组组成)进行存储,记录存储在表中,表由架构界定.表中的每个列都有名称和类型,表中的所有记录都要符合表的定义.SQL是专门的查询语言,提供相应的语法查找符合条件的记录,如表联接(Join).表联接可以基于表之间的关系在多表之间查询记录. 2. 键值存储 键值存储提供了基于键对值

云计算一周热文回顾

观点:互联网海量数据蕴藏巨大"金矿" 根据IDC的调查报告显示,2010年底全球数据量已达到1.2ZB.到2020年全球电子设备存储的数据将暴增30倍,达到35ZB(相当于10亿块1TB的硬盘的容量).但对于有准备的企业来说这无疑是一座信息金矿,随着数据挖掘技术的进步,有价值的信息将变得容易获取. 随着大数据时代的到来,数据存储.数据挖掘以及处理和分析大数据的相关技术比以往任何时候都更受关注.大数据正成为企业发展的基石,并渐渐改变很多行业的商业模式.使用诸如Hadoop等非传统的数据筛

云计算一周热文回顾(2.13-2.18)

Tumblr:150亿月浏览量背后的架构挑战 和许多新兴的网站一样,著名的轻博客服务Tumblr在急速发展中面临了系统架构的瓶颈.每天5亿次浏览量,峰值每秒4万次请求,每天3TB新的数据存储,超过1000台服务器,这样的情况下如何保证老系统平稳运行,平稳过渡到新的系统,Tumblr正面临巨大的挑战. Tumblr最开始是非常典型的LAMP应用.目前正在向分布式服务模型演进,该模型基于Scala.HBase.Redis(著名开源K-V存储方案).Kafka(Apache项目,出自LinkedIn的

云计算一周热文回顾(2.6—2.10)

文件传输协议(FTP)必将消亡 文件传输协议(FTP)在RFC 959中定义,于1985年10月发布.文件传输协议(FTP)被设计成为一个跨平台的.简单且易于实现的协议. 文件传输协议(FTP)有一个漫长的演化史,是互联网上最重要的应用之一,但时至今日,却已江河日下.本文作者从各方面列举了一些文件传输协议(FTP)为人诟病的缺点. 1.数据传输模式不合理 不考虑文件自身的内容,一味使用ASCII模式传输数据是不合理的. 2.工作方式设计不合理 文件传输协议(FTP)可以在主动模式(PORT)或被