大数据从业者市场现状:薪酬持续增长 人才缺口巨大
在大数据时代,企业之间正在为了吸引并留住商业智能和信息管理的专业人才而展开战争。在InformationWeek每年公布的IT从业人员薪金调查中可以看出大数据从业人员面临巨大的缺口。
现今大数据呈现出“4V + 1C”的特点。既Variety:一般包括结构化、半结构化和非结构化等多类数据,而且它们处理和分析方式有区别;Volume:通过各种设备产生了大量的数据,PB级别是常态;Velocity:要求快速处理,存在时效性;Vitality:分析和处理模型必须快速变化,因为需求在变;Complexity:处理和分析的难度非常大。而IM专业让人才知道如何使用新兴的大数据平台(如Hadoop、NoSQL)来处理和分析大数据。
回顾InformationWeek多年的IT薪金调查报告,BI(Business Intelligence)和IM(Information Management)专业人才一直是IT领域中的高收入人群。Information2012年的调查报告显示BI从业者的平均薪金为90000美元,而2011年的数字为85000美元。BI管理者的平均薪水为119000美元,相比去年同期110000美元增长了9000美元。而在数据整合/数据仓库领域的薪金曾更高,普通从业者和管理者的薪金分别为97000美元和120000美元,相比2011年(普通从业者和管理者的薪金分别为98000美元和118000美元)变化不大。
大数据从业人员的平均薪金看起来已经相当不错,但还有哪项职位可以获得更多的薪水?大数据浪潮正在推进CEO寻找能够告诉他未来发展(在上周乃至上个月没有事情发生)的人才。
这类人才具备前瞻性和预见性的见解。埃森哲人才与组织绩效服务线下属的文化变革小组负责人Stacy Blanchard表示“他们通常是统计学家并且精通数据建模,同时他们知道如何在可用数据中使用最佳的算法,这极具技术含量”。他们帮助组织在大量信息中挖掘有价值的数据,并将数据转化为深入的认知和精准预测的模型。
大数据时代也迫使许多行业发生变革,当今制造商就在研究需求的数据和供应链信息,以便削减产品开发周期,提高制造和供应链的效率。同时向AOL、comScore、eHarmony等级与互联网的企业正在将客户的点击流数据进行分析,以提供有价值的个性化和定位服务,同时帮助找到最合适的客户进行精准营销。
从星巴克到沃尔玛,他们正在分析密集型数据,以便得出最合适的产品选型和定价。对于医疗。如哈佛医学院通过对临床资料的分析可为患者提高诊断、治疗的效率。总之企业和政府机构越来越看重通过数据驱动决策,这导致他们对分析和信息管理专业的需求不断增加。未来大数据领域从业人员将有“薪金将继续增长、大数据人才供不应求、雇佣外包、人才团队内出现分歧、大数据专业人士需要不断进步、精通大数据的专业人才将成为最重要的业务角色、大数据领域需要数据科学家、高校回应大数据人才缺口、数据驱动的工作令人满意并充满挑战、大数据专业人士将拥抱未来”等这十个方面的趋势。
在线视频王者YouTube的技术哲学
如果你想构建一个可以承载日访问量40亿次的网站,YouTube有许多值得借鉴的地方。本文是YouTube的工程师Mike Solomon在PyCon(PyCon是Python开源社区的开发者年度盛会)上关于YouTube扩展性演讲的摘要,相信会对大家有所启发。
许多团队都使得他们的基础架构越来越复杂,YouTube团队却尽量保持简单的风格。他们使用Python作为主要开发语言,使用MySQL开源数据库,并一直使用Apache作为Web服务器。对一个如此庞大的站点而言,许多重要特性都源于点点滴滴的Python代码。
这并不意味着YouTube不追求创新,他们更追求一种技术哲学,而非炒作。究竟是什么成就了世界上最大的视频网站?敬请阅读。
新量子加密技术可挫败“最老练”黑客
加拿大多伦多大学罗海光教授领导的一个研究小组发现,一种新的量子加密方法或可挫败那些“最老练”的黑客。此项发现刊载于最新一期《物理评论快报》上。
量子加密术原则上是一种阻止黑客的万无一失的方法,其可确保窃听者读取加密通信的任何尝试所引起的扰动都会被合法用户探测到,因此,在存在一个潜在黑客的情况下,量子加密术允许在两个用户之间传输一个绝对安全的密钥。该密钥使用光信号传输并用光子探测器接收。不过,黑客亦可拦截和操纵这些信号。
IBM公司研究员、量子加密术的共同发明者查尔斯·贝内特博士表示,光子探测器被证明是密钥分配的“阿喀琉斯之踵”,其在不经意间为难以捉摸的“旁门左道”式攻击——最著名的量子黑客行为开启了一扇门。
量子黑客行为发生时,光信号“颠覆”光子探测器,使他们仅能看到黑客想要对方看到的光子。事实上,罗教授的早期研究及挪威科技大学瓦迪姆·马卡罗夫博士的独立研究表明,一个聪明的量子黑客可以破解商业密钥分配系统。
十亿美元买了什么?Instagram架构揭秘
Instagram是一个在iPhone上基于社交网络的图片分享服务,创立之初的一年多时间就吸引了1400万用户,目前已经用户达到3000万。截至到去年八月,Instagram上总共有1.5亿张图片,所有的数据都建立在Amazon stack上。
Instagram的团队曾经撰文《Instagram:数百的实例 大量的技术》披露了其架构。
Instagram混杂了不同的技术和策略。团队虽然很小,但经验快速增长让他们赶上了社交和移动互联网大潮。他们采用了混合的SQL和NoSQL技术,这里有大量的开源项目,并选择了云服务,Amazon的服务提供了很高的杠杆率,这比他们自己建设要高的多,可靠性完全可用,按时间顺序异步的将组件链接起来,系统包含了足够多的服务,包括API和外部服务,这些都不用工程师重新开发。数据保存在内存中和云端,多数代码为动态语言,从新开发的后台传输服务将所有服务链接在一起,代码更新很快并保持简短。一个非常现代的架构。
IBM设计最强计算机:吞吐数据相当全球互联网2倍
据国外媒体报道,美国IBM公司正在设计史上最强的计算机,每天的数据吞吐数量相当于整个互联网,可用于对来自太空的无线电波进行分析,探索宇宙起源的奥秘。这台计算机将与占地1900平方英里(约合4920平方公里)的望远镜阵列——平方公里阵列相连,负责分析望远镜获取的数据。平方公里阵列能够观测到130亿年前的宇宙景象,当时刚发生大爆炸不久,正是宇宙的黎明时期。
IBM设计的最强计算机运算能力是当前速度最快的PC的数百万倍,负责处理的数据数量将达到大型强子对撞机所产生数据的100倍。IBM研发部门的汤恩-恩波森表示:“平方公里阵列每天获取的数据相当于当前全球每天互联网流量的两倍。”据悉,平方公里阵列将于2024年竣工,能够观测到130亿年前的宇宙景象,将用于研究星系演化、暗物质以及宇宙的起源。
IBM将采用3D芯片制造这台计算机,用以达到平方公里阵列需要的运算能力。平方公里阵列将安装数千个碟形天线,天线覆盖面积超过1平方公里,整个阵列的宽度相当于美国大陆。这个望远镜阵列的灵敏度是此前任何射电望远镜的50倍,速度是当前望远镜的1万倍。平方公里阵列每平方公里每天产生的数据估计可达到数EB(艾字节)。经过处理后,每年存储的数据估计在300到1500PB(拍字节)之间。相比之下,欧洲核子研究组织的大型强子对撞机每年产生的数据在15 PB左右。
云计算更适合小公司的八条原因
云计算为各种规模企业带来业务成本方面的降低,云计算提供的优势对于刚成立的小公司尤其明显。但同时也有相反的意见认为云计算只在大型公司效果显著。
一方面,云计算带来的经济效益在原本预算就不多的小公司显然体现不出优势,另一方面,大型公司云计算方面的安全性、集成度等常见问题在小公司也并不严重。但小公司的规模效益、企业级功能、成本、设备和应用、兼容性、安全问题、法律事务、可靠性等八个方面的特性证明了小公司更加适合采用云计算。
云计算似乎天生就是为中小公司准备的,并且几乎是无需自行开发或花大价钱购买就达到企业级IT水平的最佳方式。尽管这项技术羽翼未丰,但从建立一个新公司的角度来看,选择云计算未尝不是一个轻装上阵的明智之选。