云扩展,第 2 部分: 查看高性能云系统设计进展情况

学习如何利用协同处理、非易失性存储器、互连和存储

要意识到缩小存取差距或使用协处理器将进程推进到 I/O 路径的潜在优势,突破设备技术要求系统设计师重新思考如何进行应用程序软件设计。探讨和考虑最新内存、计算设备、互联设备和子系统如何影响您的可扩展的、以数据为中心的、高性能云计算系统设备。设备技术中的突破被用于 “以计算为中心” 和更为平衡的 “以数据为中心” 的计算基础架构之间的转换。

作者调查了存储级内存,演示了如何填充 RAM 和旋转磁盘存储之间长期存在的性能差距,还详细介绍了 I/O 总线协处理器(处理相近的数据)的使用,说明了如何利用 InfiniBand 构建低成本高性能互连网络,并讨论了非结构化数据的可扩展存储。

计算系统工程历来都是由扩展处理器和动态 RAM (DRAM) 接口控制,以便进行内存工作,在数据驱动和计算算法之间留有一个巨大的间隙。人们对以数据为中心的计算兴趣正在快速增长,同新颖系统设计软件和硬件设备仪器一起支持大量数据集的数据变换。

专注于软件的数据毫无疑问是人们目前比较关注的应用程序,比如视频分析、传感器网络、社交网络、计算机视觉和增强现实、智能交通、机器对机器系统的大数据倡议,比如 IBM 的 智慧星球 和 智慧城市。

目前,引起人们关注的是关于收集、处理、转换和挖掘大数据集:

在非易失性存储器(存储级内存,SCM)中,数据焦点逐渐趋向于新的设备级突破,这使得大数据更需要进行处理。

与此同时,输入/输出协处理器使得处理更倾向于数据。

最后,InfiniBand 之类的低延迟、高带宽的现成互连支持研究人员快速构建 3D 圆环和胖树形集群,可用于限制最奇异和昂贵的自定义高性能计算 (HPC) 设计。

目前为止,系统软件,甚至系统设计仍然受到过时瓶颈和思想的影响。例如,考虑线程和多程序设计。整个理念源于慢磁盘驱动器访问;在等待数据时,程序除了运行另一个程序之外还能进行其他操作吗?当然可以,我们有独立磁盘冗余阵列 (RAID) 扩展和 NAND 闪存的固态磁盘 (SSD),但正如 IBM Almaden 研究表明的那样,存取时间间隙的时间尺度差异在人类语言中是巨大的。

对于每个设备来说,CPU、RAM 和存储之间的存取时间间隙能够以典型性能形式进行度量,但或许在采用人类语言时,间隙可能更容易理解(正如 IBM Almaden 为了便于说明而进行的研究所指出的那样)。

如果典型 CPU 操作类似于人类在数秒内所做的,那么 100 多倍的 RAM 存取延迟可能需要花费几分钟来访问信息。然而,经过类似比较,100 多倍延迟的磁盘存取与 RAM 相比大约是数月(100 天)。(参见图 1。)

图 1. 数据存取间隙

很多经验丰富的计算机工程师并没有认真思考过每秒进行 100 至 200 次随机 I/O 操作 (IOPS):这是磁盘驱动的机械边界。(当然,顺序存取每秒可高达数百兆字节,但是随机存取仍然和 50 多年前差不多,存在 15K RPM 搜寻和旋转访问延迟。)

最后,正如 Almaden 所指出的,磁带是极其缓慢的,就像冰川移动一样缓慢。既然如此,为什么我们还感到困惑呢?当然是因为容量。但是我们应该如何处理数据或者使数据处理更为高效?

我们再来看看图 1。用于移动设备的 NAND 快闪记忆体方面的改进以及更多近期 SSD 有助于缩小间隙;然而,人们普遍相信 NAND 闪存设备技术很快将到达极限,正如许多系统研究人员所指出的那样。使用的晶体管浮栅技术的应用已达到扩展极限,进一步扩展将会导致可靠性降低,所以,尽管这是一个权宜之计,以便使用进行以数据为中心的计算,但这可能并不是解决方案。

相反,几个新型非易失性 RAM (NVRAM) 设备技术可能是解决方案,这些设备技术包括:

相变 RAM (PCRAM):该内存使用一个加热元件将称为硫属化合物的材料变成一个结晶的或非结晶的玻璃态,从而存储两种可编程和读取的状态,即使不供电状态也能保持。对于 M 类同步非易失性存储器 (NVM),PCRAM 似乎兑现了近期的大部分承诺。

查看本栏目更多精彩内容:http://www.bianceng.cnhttp://www.bianceng.cn/Servers/cloud-computing/

时间: 2024-08-02 05:50:17

云扩展,第 2 部分: 查看高性能云系统设计进展情况的相关文章

三种云部署方式 助企业实现高性能云存储

用户把他们的基础设施移出数据中心以外,总是会涉及延迟问题,那些寄希望于云供应商能够提供高性能的云存储的用户,就不得不学会妥协,要么部分地放弃对高性能的要求,要么就只有选择内部部署. 高性能云存储曾经一度被认为是难以实施的,但是,现在有越来越多的新兴技术纷纷问世,它们可以让用户鱼与熊掌兼得,也就是说用户可以使用基于云的基础设施运行IO密集型和对延迟敏感型的应用. 高性能云存储可以让企业用户在受到云存储限制所制约的云中运行高要求的数据库应用.它不仅可以让用户实现应用的本地部署,而且能够通过广域网利用

云扩展,第 3 部分: 探索云中的视频分析

使用各种方法.工具和系统设计执行视频和图像分析.监视和安全保护 探索和分析通过云扩展来执行视频和图像分析的方法.工具和系统设计.本系列之前的文章已经介绍过,与传统的以计算为中心.可伸缩.高性能计算相比,视频分析需要一种更加平衡的"以数据为中心的计算架构".作者介绍了如何将 OpenCV 和类似工具用于数字视频分析和方法,以便使用集群和分布式系统设计来扩展此类分析. 前几期文章中讨论了专为视频分析和新的 OpenVX 硬件加速而设计的协处理器,可将它应用到本文中提供的计算机视觉 (CV)

探索云扩展中对视频和图像分析、监视和安全保护

作者介绍了如何将 OpenCV 和类似工具用于数字视频分析和方法,以便使用集群和分布式系统设计来扩展此类分析.前几期文章中讨论了专为视频分析和新的 OpenVX 硬件加速而设计的协处理器,可将它应用到本文中提供的计算机视觉 (CV) 示例中.这种新的以数据为中心的 CV 和视频分析技术需要系统设计人员反思应用软件和系统设计,以满足严苛的需求,比如对大型.公共设施和基础架构,以及一个更加娱乐化.交互式和更安全的世界的实时监视和安全保护. 使用标准(比如来自 Motion Picture Exper

.NET Core的文件系统[5]:扩展文件系统构建一个简易版“云盘”

FileProvider构建了一个抽象文件系统,作为它的两个具体实现,PhysicalFileProvider和EmbeddedFileProvider则分别为我们构建了一个物理文件系统和程序集内嵌文件系统.总的来说,它们针对的都是"本地"文件,接下来我们通过自定义FileProvider构建一个"远程"文件系统,我们可以将它视为一个只读的"云盘".由于文件系统的目录结构和文件内容都是通过HTTP请求的方式读取的,所以我们将这个自定义的FileP

差点错失整体跑分达到1062.7分的高性能云主机

7月20日左右,我接到一哥们儿的电话,邀请我参加他们研发的新一代高性能云主机的内部测试.这哥们儿多年前和我同一个公司做运维,后来被高薪挖去了某大型云计算企业,惹一帮人眼红,一年前辞了职,据说是加入了一个创业公司,立志要做新一代高性能云主机. 虽然,现在传统IT转云已经初露端倪,发展迅速,云计算替代传统IT是个大趋势.但是国内各家云,在圈子自嗨.TO-VC.玩概念热闹了几年后,终究没几个拿得出稳定可靠的产品.别看那么多云计算公司,找个靠谱的分布式快存储系统不容易,找个好用的云主机更不容易.我司算是

高性能云存储系列三:云计算vs. 本地存储

我们在第一部分<高性能云存储系列一:本地计算vs.云存储>中介绍了本地计算与云存储的关系,云存储能解决本地计算在技术支持.维护.员工.备份.数据中心运营和灾难恢复站点方面的巨资投入问题.第二部分继续介绍云计算与云存储之间的关系.<高性能云存储系列二:云计算vs. 云存储>中表示,如果你正在云中运行延迟敏感型数据库应用程序,最佳实践表明你应该使用云服务商所提供的块存储产品,比如AWS EBS.这里是高性能云存储系列三. 云计算vs. 本地存储 但是对于一些企业来说并不需要使用任何云存

高性能云存储已成为现实!

曾几何时,那些一度被认为即使不是不可能的,但想要实现的话,其困难程度也是相当高的高性能的云存储现在已然在一些企业组织的IT部门成为了现实.我们已经有了云存储,还有了高性能的存储,但真的有高性能的云存储这样一回事吗?很长一段时间以来,这一答案都是否定的. "任何时候,只要当您将您的基础设施迁移到数据中心以外的地方时,都会涉及到延迟,您将遭遇到以光的速度运行的问题."位于马萨诸塞州米尔福德的企业策略集团公司(Enterprise Strategy Group)的分析师斯科特·辛克莱表示说.

腾讯云限时秒杀游戏季 六月主推高性能云服务器

几度刷新http://www.aliyun.com/zixun/aggregation/13792.html">云服务器疯狂售卖记录的腾讯云将于6月4日开启第四轮"限时秒杀"活动.据了解,本次"限时秒杀"活动主要面向对服务器有着更高要求的游戏行业客户,并对参与促销的服务器进行全面升级,主打性能强劲的.适用于同时在线人数超过5000的4核4G游戏热销机型.据腾讯云相关负责人透露,整个六月将被打造为腾讯云游戏季,后续几轮"限时秒杀"活

云存储技术:让“安防云”应用不再飘渺

基于云技术的存储方案 云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念,是指通过集群应用.网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.随着网络技术的发展和带宽的提高,云存储在视频监控前景越来越广阔;云存储作为未来发展的风向标,主要有以下优势: 成本优势 云存储不是存储,而是服务;就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由