读图时代,图片容量大、传输难、打开慢怎么办?

当前世界已进入"读图"时代,图片数据占用了互联网数据中心巨大的存储资源,为此谷歌推出压缩比更高的WebP图像格式,但由于算法更复杂,WebP图像的转码时间更长。浪潮推出了WebP图像有损压缩FPGA异构加速方案,能够实现JPEG-WebP图片格式的快速转换,相比传统方案转换效率最高能提升14倍,能够支撑更高并发密度的图片实时检索、传输等任务。

这是一个"读图"的时代

随着移动互联网的发展,图片正在成为日常资讯中重要的组成部分,从一定程度上来讲我们已经进入了"读图"时代。根据研究表明,全球设备产生的互联网数据规模在2019年预计达到每月24.3EB,其中,60%的数据流量来源于图片。"读图时代"尤其是"大图时代",这么多高质量的图片存在哪?存储成本急剧上升怎么解?

用计算能力"换取"存储空间

目前,互联网主流的图片格式包括JPEG、GIF等,但是由于压缩比小,导致图片数据存储占用了过多的服务器存储资源。

WebP格式能够大大缩小图片文件大小

为此,谷歌发布了新的图片有损压缩格式--WebP,能在保证图像质量的前提下,数据大小相比JPEG降低39.8%,相比PNG降低26%,相比GIF降低64%。使用WebP格式图片后页面平均传输时间减少33%,网页加载时间降低10%。

在国内,腾讯的新闻客户端、QQ空间等也开始尝试向WebP切换,流量峰值带宽可以降低9GB,图片的延时和数据下载延时降低100ms。但是WebP的应用落地仍存在门槛,因为WebP其实是需要用计算能力"换取"存储空间。

由于采用了更复杂的压缩算法,与JPEG相比,WebP格式图片的编解码过程都需要消耗更多的计算资源,导致处理效率低10倍甚至更多。并且,CPU在处理高并行任务时并不那么高效,因此研发出一种更高效的图片编解码加速硬件是WebP快速落地的关键。

FPGA加速压缩算法,整体性能可提升14倍

单一图片的编解码对于计算设备而言是一种小计算量任务,但是这种任务并发很多,同一时间要处理的图片的数量多。如果使用串行计算的CPU来处理,处理效率就会受限于时钟频率。

因此,浪潮采用并行计算能力强的计算平台FPGA来进行图片编解码,通过把高性能计算算法中固有的并行运算部分硬件化来实现应用加速。在处理大规模并发任务时,可以提供更多管道,也就是说可以同时并行执行大量的指令。因而通过合理的配置,FPGA可以同时执行大量的数据吞吐操作,在这种情况下,该设备相当于多个传统CPU在同时工作。

浪潮WebP图像压缩FPGA异构加速方案,基于浪潮研发的业界最高密度的FPGA卡-F10A。并针对图片数据的压缩任务,嵌入基于FPGA计算环境下的WebP编解码优化算法,通过充分利用硬件流水设计和任务级并行,大大提升WebP图像压缩编码算法的处理性能。

浪潮实测数据显示FPGA方案相比传统方案效率提升14倍以上

根据浪潮实测,采用浪潮WebP图像压缩FPGA解决方案,与传统实现方式相比,在JPEG格式转WebP格式任务下,这一解决方案相比传统CPU方案,整体处理效率平均提高9.13倍左右,最高性能可比CPU提高14倍!这意味着,图片数据存储所需要的服务器数量减少近一半,且能够支撑更高并发密度的图片检索、传输等任务。

举个实测例子,输入1200张2048×1536分辨率的JPEG图片,使用双路Xeon E5-2690v3服务器来进行WebP格式转码,共需要33.4秒,每秒能够处理35张。而使用浪潮FPGA加速方案则只需要2.39秒,每秒能够处理502张,加速比达到14.37倍!

当今社会,图片已经成为互联网不可或缺的元素,在电子商务、即时通讯、图片搜索、生活服务、社交平台等领域,图片所占的比重也逐渐增大,图片存储和分发对于数据中心运营成本的压力也居高不下,采用浪潮WebP图像压缩FPGA方案,将能够有效提升WebP格式图片转码效率,进而提升网站、App的图片速度,降低后台存储所需硬件资源。

目前,浪潮已经在WebP图像压缩、Gzip数据压缩和残差网络-ResNet等方向推出了相应的FPGA解决方案,相比传统应用实现方式,浪潮FPGA方案具有极高的性能功耗比优势。后续,浪潮将继续深入研发基于FPGA的通用系统方案,包括深度学习、网络加速、存储优化等,并将方案推广到其它应用领域和客户。未来,CPU+FPGA或许将作为新的异构加速模式,被越来越多的数据中心、互联网深度学习等越来越多的应用领域采用。

原文发布时间为:2017年8月24日

时间: 2024-10-16 02:52:08

读图时代,图片容量大、传输难、打开慢怎么办?的相关文章

图片容量如何变小

  在很多时候,我们都需要对一些图片或者照片进行处理,比如在很多网站或则论坛上传图片都有大小限制,而我们日常使用手机或者相机拍摄出来的照片通常达到几M,另外有时候我们为了节省空间,也会需要将一些大的图片容量变小.那么图片容量太大怎么变小? 要将图片容量变小,我们就需要对图片进行处理器,很多朋友一提到图片处理器,可能就会想到需要用到专业的PS软件,而对于专业的P图软件,很多朋友又不会使用,那么怎么办呢?其实很简单,借助我们电脑中自带的画图工具,即可快速的把图片容量变小. 尽量将图片转换成jpg格式

如何实现高容量大并发数据库服务 | 数据库分布式架构设计

袋鼠学院和优云.阿里云联合举办的沙龙结束之后,总是有小伙伴们来问PPT内容,想要进一步了解Topic内容.(哦,对了对了,竟然还有小伙伴专门冲着袋鼠云去听沙龙,感动cry~~) 千呼万唤,忙成狗的袋鼠小妹终于把沙龙总结整理了出来(⊙o⊙) 本次沙龙的主题是"云时代下的运维管理实践",受邀请的演讲嘉宾,花名宏翊(经常关注袋鼠云的同学,肯定已经对这个名字很熟悉了),是袋鼠云首席数据库架构师,袋鼠学院数据库讲师. 呼应沙龙运维实践的主题,结合自己的专长领域,宏翊主要是从数据库领域来谈云时代下

#运维侠客行·杭州站# 如何实现高容量大并发数据库服务

运维侠客行杭州站·讲师 宏翊,袋鼠云首席架构师,袋鼠学院数据库讲师. 在2017运维侠客行·杭州站上,主办方优云软件特意邀请了来自袋鼠云的首席数据库架构师宏翊给大家带来了如何实现高容量大并发数据库服务.为什么数据库需要做分布式架构设计?在对数据库进行拆分设计和实施时,会遇到哪些坑?又该如何避免踩坑?一起来了解下吧. ▍摘要 数据库拆分要根据业务现状.模式,选择合适的拆分方式,紧密结合业务及应用架构设计,谨慎拆分,防止过度设计. ▍正文 一 为什么要做分布式数据库架构改造? 云计算大数据时代,传统

Android WebP 图片压缩与传输_Android

1. 简介 直到4g时代,流量依然是宝贵的东西.而移动网络传输中,最占流量的一种载体:图片,成为了我们移动开发者不得不关注的一个问题. 我们关注的问题,无非是图片体积和质量如何达到一个比较和谐的平衡,希望得到质量不错的图片同时体积还不能太大. 走在时代前列的谷歌给出了一个不错的答案--WebP. WebP是一种图片文件格式,在相同的压缩指标下,webp的有损压缩能比jpg小 25-34%.而在我自己的测试里,有时候能小50%. 2. 大企业背书 WebP在2010年发布第一个版本,到现在已经6年

英科学家开发“基因硬盘”:容量大数据不会丢失

英国研究人员用人工合成的脱氧核糖核酸(DNA)存储文本文档.图片和声音文件等数据,随后完整读取. 新介质仿碱基 位于欣克斯顿的欧洲生物信息研究所研究小组利用DNAhttp://www.aliyun.com/zixun/aggregation/17326.html">存储数据的关键是DNA碱基.DNA这种双螺旋结构上有4个化学基团,即核碱基,它们按照特定顺序排列,组成遗传信息,指导生物体生长发育. 研究人员开发的DNA数字存储系统同样利用这4个碱基"字母",开发定制代码,

【技术贴】Windows图片和传真查看器打开图片慢,正在生成预览的解决办法!

问:今天我打开桌面的图片好慢啊,Windows图片和传真查看器的,总是现有一句话是正在生成预览. 答:windows图片和传真查看器打开图片的速度很慢,不管图片是大是小,只是在桌面上的图片打开很慢,其目录下都很正常.      原因是因为桌面存在无效的快捷方式.windows图片和传真查看器在刚打开的时候会去检测这些地址是否有效,那么就会花很长的时间. ============================================== 最根本的办法,直接在桌面新建文件夹,命名为快捷方式

photoshop切图后图片过大压缩教程分享

给各位photoshop软件的使用者们来分享一下切图后图片过大的压缩教程. 教程分享: 首先如果只是压缩的话,建议使用 ImageAlpha(专门压缩PNG) 以网上的一副海报为例(侵删) 正常从PS导出的PNG大小:     原本是 1.1 MB     在 ImageAlpha 中打开后可以看到在默认参数下可压缩 65%.     压缩后 379 KB.而且是几乎无损画面细节的.我一般在输出切图资源的时候都是靠 ImageAlpha 来完成素材的压缩. 而且 ImageAlpha 还可以通过

手机电池待机时间短受诟病利润大标准难统一

调查显示,消费者对手机电池待机时间短最为不满,电池质量同样不容乐观.丰厚的利润吸引良莠不齐的厂商进入手机电池行业,制订行业统一标准是大势所趋 ■本报实习记者 易凌珊 手机,被称为消费者的贴心小秘书,消费者对手机满意度如何?近日,中国消费者协会发布2009年全国手机消费者满意指数测评情况,结果显示满意度为72.2分.其中,消费者对手机电池待机时间短最为不满. "手机电池标准的统一工作"作为一个方便用户且利于环保的新举措,已经推进三年有余,但是到目前为止仍然没有一个明确的进展时间表.据了解

专访易通贷康文:大资本难成P2P平台取胜砝码

中介交易 SEO诊断 淘宝客 云主机 技术大厅 尽管负面传闻不断,但P2P行业的火爆程度仍然没有丝毫减退.网贷之家最新数据显示,国内P2P网贷行业7月总成交量达209.59亿元,较6月环比上涨30.67%,增速与上半年相比尤为迅猛,预计2014年全年总成交量将突破2500亿元. 在经历了前期的蓬勃发展后,如今P2P行业正踩在变局的临界点上,随着监管态度日益明朗,大资本正不断向P2P网贷平台抛出橄榄枝,与此同时,上市公司和银行系也纷纷进驻这一领域.与早期的野蛮生长不同,各平台开始在激烈的市场竞争中