Tumblr:150亿月浏览量背后的架构挑战
和许多新兴的网站一样,著名的轻博客服务Tumblr在急速发展中面临了系统架构的瓶颈。每天5亿次浏览量,峰值每秒4万次请求,每天3TB新的数据存储,超过1000台服务器,这样的情况下如何保证老系统平稳运行,平稳过渡到新的系统,Tumblr正面临巨大的挑战。
Tumblr最开始是非常典型的LAMP应用。目前正在向分布式服务模型演进,该模型基于Scala、HBase、Redis(著名开源K-V存储方案)、Kafka(Apache项目,出自LinkedIn的分布式发布-订阅消息系统)、Finagle(由Twitter开源的容错、协议中立的RPC系统),此外还有一个有趣的基于Cell的架构,用来支持Dashboard(CSDN注:Tumblr富有特色的用户界面,类似于微博的时间轴)。
Tumblr目前的最大问题是如何改造为一个大规模网站。系统架构正在从LAMP演进为最先进的技术组合,同时团队也要从小的创业型发展为全副武装、随时待命的正规开发团队,不断创造出新的功能和基础设施。
37signal创始人:SaaS开头容易收获难
作为曾经诞生了Ruby on Rails的应用开发公司,37signals已经13岁了。日前,37signals的创始人之一Jason Fried发布文章谈了SaaS经验。2006年,Jason Fried被麻省理工学院发行的期刊《Technology Review》列入了TR35(奖励给世界上最伟大的创新者,入选者年龄不得超过35岁,故此得名)名单。
黑客的方式:一切皆可自动化
拒绝重复劳动,以自动化的方式取而代之,这就是黑客的方式!
在许多公司,人力资源和财务部门每天将处理大量的电子表格。我想,每个月有数以万计的人重复着类似的事情,白白浪费着时间。如果他们有一点儿编程经验,我想他们会非常认同我的观点,并试图寻找一种更好的解决方案。这就是我所说的所谓招聘非开发人员职位时的心态。即使他们不能自己设计解决方案,也应该知道,一定有更好的解决方案存在!
解决思路
1.快速定义需求
记录每笔费用的详细信息,包括日期、金额和说明
可以按月或按人进行查询,生成报表
保留数据副本
2.考虑一下票据与工作流之间的关系,这是主要问题
发票可能是物理的,也可能是电子的
费用会随机产生
如果每个人自己保管一个月,票据可能会遗失
每个人都要按月填写费用条目,耗时太久,效率太低
3.多动动脑子,用智能的方式减少痛苦
要避免每个人长时间保管收据,以及从数以千计的邮件中痛苦地查找电子发票,我们可以考虑将发票以电子的方式进行集中存储。
NASA的大型电脑时代告终了,敬礼!
NASA 宣布他们的大型电脑时代正式完结了。而坚守岗位留到最后一刻才正式卸任的这部大型电脑型号为 IBM Z9,其位处于机构的 Marshall 航天飞行中心。NASA 表示它们并不是不好,仍然很可靠、强大且安全,只是它们的尺寸就像一台冰箱般庞大,这是一个「必须改变」的现况。但无论如何,这些的大型电脑毕竟也为人类的太空探究作出过不少贡献,所以我们一定要好好地记着它们。
超级计算机模拟显示核弹可引爆碰撞地球小行星
这张照片显示了一兆吨核爆炸给一个威胁地球的小行星造成的影响
科学家正在设计一个避免真实的世界末日的方法,他们认为,核弹可使地球避开与小行星的碰撞。这听起来像是一部灾难片的情节,但它是真实的。
物理学家在美国洛斯阿拉莫斯国家实验室用世界最强大的超级计算机估算出核爆炸给太空岩石造成的破坏力。虽然美国和其他国家宇航部门已将最近的小行星的位置绘制成图,但其中一个出其不意地撞到地球上就会造成巨大灾难,所以他们认为为这种潜在危险进行准备工作是很有必要的,是一个具有重大意义的计划。
洛斯阿拉莫斯国家实验室科学家用超级计算机Cielo完成了这个极其复杂的模拟实验。这部超级计算机共有3.2万个处理器,从而使它具有1350万亿次的计算能力。
免费云存储的秘密:贡献多余的存储
免费云存储听起来似乎不可能,不过新办企业Symform就可免费向用户提供一种新型的存储服务,只要用户提供本地多余的存储空间,它便可利用这些空间构建一个分布式存储网络。
在加入该网络并提供150GB本地空间之后,你就可以在网上任何地方使用100GB存储空间。从简单的计算来看,这似乎是一个不公平的交易。但是拥有一个云端存储点很具吸引力,这也促使很多企业和个人用户开始使用云存储服务。Morgan Stanley去年对云端用户的调查显示,所有类型的云服务一年的增长率达到60%,而云存储的使用增加到67%。
通过采用远程存储服务,企业简化了其备份和灾难恢复过程。如果你在数据中心以外的位置有一份数据备份,这将帮助你减轻本地灾难对企业的影响。有了远程数据备份,即使你的存储卷同时发生多个故障,你仍然可以安然自得。
揭秘Dell新罕布什尔的新办公室
在新罕布什尔州纳舒厄市戴尔的办公市内,这里有Facebook式的涂鸦墙,公司鼓励员工尽情创作,有员工画了准星对准了NetApp的名字。
Dell怀有远大的目标:要成为前三大存储供应商,但他们必须要超越排名第五的对手——NetApp,这家位于加利福尼亚太阳谷的公司。
作为600亿身家的Dell,这个目标并不算遥不可及。只不过在多数人的印象中,Dell还是和笔记本电脑联系更紧密,要成为领先的企业级存储供应商还有很多路要走。Dell位于新罕布什尔的办公室原来属于EqualLogic division,Dell在过去5年间收购的5家存储公司之一。曾经,这里还是电脑巨头Digital Equipment Corporation 1980年办公所在地。正如Dell频频发动的收购一样,Dell希望像鼎盛时期的Digital Equipment Corporation那么成功。
这里的员工希望通过在走廊内的布告帖重现Digital Equipment Corporation的历史。软件工程师主管Lazarus Vekiarides表示:“很快,你就能看到许多非常有趣的创新。”
正如哪些墙上的布告,抑或是NetApp名字上的准星,都像是一个图腾代表着新的Dell。Dell尽其所能将业务重点转向服务器和存储,通过收购是快速达到目标的好办法。
商业公司正在将数据中心转移到虚拟服务器,这必然减少物理服务器的需求,包括Dell在内的服务器制造商的市场被挤压。但是,虚拟化将带来更大的存储市场,所以Dell、HP和IBM在存储市场加倍努力。
印度Microsoft Store被黑 用户密码泄露
印度的微软在线商店今天突然被由黑客组织的页面所覆盖,网站上的个资安全也同样受到关注。根据 WPSauce 网站的报导,Microsoft Store 印度分站的登陆页,短暂地被一个名为 Evil Shadow Team 的黑客团队所占领,并在 Windows 商品页面中放上了他们的制作的诡异 V 怪客(电影,英译:V for Vendetta)页面。该团队还破解了用户数据库,并将用户的帐户密码等数据转存为文本文件,证明该网站已遭该团队破解,还宣称「不设防的系统将会得到净化」。
闪存时代来临:传统机械硬盘难满足云计算需求
闪存存储器将成为云计算和虚拟化的重要组成部分,现在是时候抛弃传统硬盘了。云计算和虚拟化已经极大地改变了服务器基础架构,但真正推动存储行业复兴则是固态硬盘和闪存的崛起。
闪存将继续为企业领域带来亟需的推动作用。从Fusion-io去年的IPO(首次公开招股),到Nutanix和Tintri等最近出现的一系列风险投资支持的创业公司,闪存的作用正在越来越大。
随着通过虚拟化和云计算部署的应用和数据库数量的增多,传统硬盘存储序列正在成为严重的性能瓶颈,逐渐被市场边缘化。虚拟化和云计算基础架构可以减少服务器的使用量,这将对基于机械硬盘的基础架构造成更大的打击。
尽管服务器、网络和处理器表现都遵循了摩尔定律,但硬盘的性能尚未发生太大变化。而另一方面,闪存则可以大幅提升性能。例如,常规固态硬盘的速度比机械硬盘快400倍。这也是亚马逊(微博)AWS云计算服务的新版DynamoDB数据库采用固态硬盘,而放弃机械硬盘的原因。