百万核心上的并行让你变得”更快“

给台式机或者笔记本选用4核处理器应该如何去应用,对于我们这些大部分都不怎么懂的人来说,其实4和处理器纯粹是一种浪费。当然这不是我们的问题,本来在编写并行执行的代码就是十分困难的事,所以大部分的应用(除下一些计算密集型电子游戏)也都只能在单核心上运行。然而最近一组来自斯坦福的研究者发布已经模拟出在百万核心上的并行处理。

随着并行处理被越来越多的人所熟知,在多个节点上运行应用程序可以比以往更快,这样你的工作量可以分配于多个节点进行并行处理,核心越多越快。这也是Hadoop诞生的原因,非常适合大体积数据的处理。MapReduce框架将作业分配到多个节点上进行处理,然后汇总出结果输出。

但是即使是Hadoop也只能够在上万个节点上运行,因为它关注的是节点 —— 在多核心处理器的利用上并不是很充分。IBM出品的Sequoia超级计算机(安置在劳伦斯利弗莫尔国家实验室),斯坦福团队用98304个处理器(或节点)构成;每个处理器封装了16个计算核心,总计1572864核心;研究员已经可以利用到大部分核心,他们称以开创许多类别上的记录。

不去管记录,这确实是件复杂到难以置信的任务;这个模拟实现了超过百万的任务在上万个节点(每个节点16核心)上的分配。因为如果这些进程中出现一处碰撞,都可能会导致系统变慢或者摧毁整个模拟。

即使在经常会出现几十万核心的超算世界中(其中可能还会有特殊用途搭载GPU的处理器),都缺少充分利用这些核心的解决方案。高性能计算世界正向着百万兆级运算迈进,但是比能源消耗更大的问题可能会出现 —— 应用程序需要更多的计算能力以及适应如此规模的算法。

【编辑推荐】

IBM2012年财报解读:云计算业务大涨80%Joyent和SkyTap分别推出云Hadoop服务Gartner:2015年65%高级分析产品将嵌入HadoopApache Hadoop集群的安全性架构【责任编辑:箫韵 TEL:(010)68476606】

时间: 2024-09-30 22:42:05

百万核心上的并行让你变得”更快“的相关文章

还驾驭不了4核? 别人已模拟出百万核心上的并行

你可能已经认识到给台式机或者笔记本选用4核处理器是一种浪费,但是这不是你的问题:编写并行执行的代码是相当困难的,所以大部分的应用(除下一些计算密集型http://www.aliyun.com/zixun/aggregation/21341.html">电子游戏)都只能在单核心上运行.然而一组来自斯坦福的研究者最近发布已经模拟出在百万核心上的并行处理. 随着并行处理的"家喻户晓",在多个节点上运行应用程序可以比以往更快 -- 工作量可以分配于多个节点进行并行处理,核心越多

PCR反应中的强大新技术:让基因分析变得更快更便宜

雷锋网AIHealth栏目按:DNA在高温时可以发生变性解链,当温度降低后又可以复性成为双链.因此,通过温度变化控制DNA的变性和复性,加入设计引物,DNA聚合酶.dNTP就可以完成特定基因的体外复制,此即为PCR体外扩增DNA的原理. 范德堡大学的研究人员开发了一种PCR反应中扩增DNA链的新方法,据称这种技术可以让基因分析变得更快更便宜,研究人员称之为适应性PCR技术(adaptive PCR ),该技术的核心是通过左旋DNA调节和监控PCR反应过程. 左旋DNA 正常DNA是右旋双螺旋结构

移动设计优化:让APP变得更快的设计方法

文章描述:我们都知道不管网页还是移动应用,响应速度都是最重要的体验指标之一,并且移动应用的网络环境不稳定,速度的体验显得尤为重要.其实速度优化不仅是程序员的事,设计,也能够让App变得更快. D.A:我们都知道不管网页还是移动应用,响应速度都是最重要的体验指标之一,并且移动应用的网络环境不稳定,速度的体验显得尤为重要.其实速度优化不仅是程序员的事,设计,也能够让App变得更快. 1.后台执行 这是一条很通用,也容易理解的方法.用户不会愿意盯着进度条傻傻地等待,除了"取消"没有其他选择.

路由卫士来为您把关让WiFi变得更快,更安全

  网络安全似乎一直是个热门话题,不过大家通常把注意力集中在如何防止黑客入侵服务器.数据库等敏感问题上,却经常忽视了家中的路由器.现今无线路由器在家庭中大幅普及,但是部分厂商对路由防火墙.攻击防护能力不够重视.路由器的安全问题已经日益凸显,黑客们肆无忌惮地窃取用户隐私.盗取银行账户,给网民的上网安全造成恶劣危害. 普通用户都是技术小白,不懂如何利用相关技术来扼制黑客,那么接下来小编就给大家推荐一款捍卫路由安全的软件,专治各种窃取,盗用. 就像的一句话描述:让路由器变得更快,更安全. 如何做到更快

Docker将会改变Hadoop,变的更快更容易

本文讲的是Docker将会改变Hadoop,变的更快更容易,[编者的话] 最近在San Jose,Clif开幕的hadoop峰会上会有关于Docker和Hadoop的话题讨论,越来越多的创业公司致力于使用Docker技术来简化hadoop应用开发部署的速度.目前有两个方向:1)使用Docker容纳Hadoop stack:2)通过YARN来部署基于Docker开发的容器化应用.  本周,hadoop峰会召开,其中着重讨论了新平台(例如docker)将会如何在hadoop环境下改变大数据分析行业.

如何让你的eclipse变的更快?

   当我们开始使用eclipse一段时间后,会发现它变的慢了起来.改善eclipse的性能让它更快,你可以使用如下方法. 1. 清理历史和索引 2. 去除文本验证 3. 不使用subeclipse插件 4. 配置适当的启动参数 1) 清理历史和索引 清理历史和索引减少负载RAM,以及整体硬盘使用. 这导致很高的对性能的影响. 删除索引和历史文件夹,请清理所有文件/文件夹里面这两个文件夹: 清理索引 {workspace path}\.metadata\.plugins\org.eclipse.

怎样让电脑速度变的更快

我们知道电脑的运行速度不仅跟电脑硬件配置高低有关,很电脑系统依旧也有较大的关联,以下是小编为大家总结的5条提升电脑速度的方法,有兴趣的朋友可以尝试下,以下涉及的方面理论上是可以提升一定的电脑性能,但至于到底能提速多少,这也与系统本身有一定关系,有兴趣的朋友一起来学习下吧. 1. 在"我的电脑"上点右键-属性-硬件-设备管理器-点击"IDE ATA/ATAPI"选项-双击"次要IDE通道"-高级设置-设备类型,将"自动检测"改为

迅雷小技巧,让你的下载速度变得更快

许多朋友下载东西都喜欢用迅雷进行下载,但是似乎大部分朋友只是机械式地点击网页,然后下载文件,其实迅雷还有许多你平时没有注意到的小技巧,掌握这些小技巧其实无论是对下载速度还是电脑安全都很有好处,下面,就让小编为大家讲解几个小技巧. 技巧一:让迅雷悬浮窗格给我们更多帮助 默认情况下,迅雷并没有出现类似于迅雷的悬浮窗格,给我们下载带来了不便.我们只要单击迅雷主窗口中的"查看"菜单,选中"悬浮窗"项,即可出现相应的图标.在浏览器中看到喜欢的内容,直接将其拖放到此图标上,即可

[译] 如何在无损的情况下让图片变的更小

本文讲的是[译] 如何在无损的情况下让图片变的更小, 原文地址:Making Photos Smaller Without Quality Loss 原文作者:Stephen Arthur 译文出自:掘金翻译计划 译者:Xat_MassacrE 校对者:meifans,windmxf 如何在无损的情况下让图片变的更小 Yelp(美国最大点评网站)已经有超过 1 亿张用户上传的照片了,其中不但有晚餐.理发等活动的照片还有我们的新特性照片 -- #yelfies(一种在拍摄时,加上自拍头像的一种新的