云存储:正在带动一场安防存储方式的革命

云存储,早已不是一个新鲜的词。随着平安城市等大型安防项目数量的日益增多,规模的日益庞大,云存储迅速从一个概念词汇,蜕变成一个又一个成熟的产品。环顾四周,业内主流安防厂商都已把云存储作为公司的重点产品,作为未来大型监控项目中的存储解决之道。

我们为什么需要云存储?

近年来,在网络化,高清化浪潮的席卷下,NVR存储,NAS存储,SAN存储成为当前安防视频监控行业的主流视频存储方案。其中,对于大中型视频监控系统而言,以iSCSI存储为主的SAN存储方案因技术成熟、存储效率高、部署灵活成为长期的热门选择。

然而,SAN存储终究到了瓶颈:D1、CIP早已是昨日黄花,720P、1080P已是市场主流,4K,甚至8K一跃成为新秀;单纯图像存储已是过去式,各类视频分析技术带来的结构化、半结构化数据,都在存储系统上叫嚣着一席之地。视频监控大联网、高清甚至超清化、智能分析的联合推动,促使视频监控系统的监控点数越来越多、视频码流越来越大,存储时间则要求保持不变甚至更长。相较于数字标清时代,一个视频监控系统要求上千TB的存储空间已不再是个例,容量的最佳单位从“TB”变为了“PB”。

存储容量要达到PB,用传统方法也可以实现,这就出现了通过部署更多的视频存储服务器(或模块)、视频转发服务器(或模块),获取更多流媒体数据存储和转发能力,从而实现系统业务容量扩展,IPSAN存储空间也伴随服务器(或模块)数量的扩展而不断增加的方法。可以说,IPSAN的扩容能力主要受制于存储业务服务器(或模块),从理论上来讲,只要存储业务服务器(或模块)数目足够多、能力足够大,IPSAN存储总能随之扩展。

因此,从业务能力上看,IPSAN存储似乎能够满足大中型视频监控系统对存储增长的需求。然而,随着存储阵列数量的增加,高清视频码流的增大,读写业务的增多,IPSAN存储系统的非功能性问题也逐步暴露出来,主要有如下4点:

1、存储设备的管理和维护越来越困难

在IPSAN存储系统中,存储设备之间相互独立,运维人员需要针对单台设备进行维护和管理。同时,由于其中的硬盘属于消耗品,长时间的高码率并发读写,硬盘故障率也逐步升高。为保证录像不被损坏丢失,必须对设备进行密切的状态监控并随时更换损坏的硬盘。面对几十台规模的存储设备,维护起来已经相当不容易,如果数量达到上百台,维护的工作量就不是一件简单的事情了。

2、数据存储的可靠性越来越难保证

IPSAN存储设备对数据的保护依赖于本机磁盘组的Raid技术。业界一般采用Raid5,能允许1块硬盘损坏,但如果同时有2块硬盘损坏,这个Raid组的数据就会丢失。所以,如果出现硬盘损坏,需要尽快更换硬盘进行Raid重构,恢复数据。而在数据重构期间,如果再出现一块硬盘损坏,数据就会丢失,因此Raid重构时间越短越好。然而,Raid重构的时间跟硬盘容量有关系,以3T磁盘为例,按照在线修复的模式,磁盘的平均写入速度在50MB/s左右,此时Raid5修复的时间长达16个小时,实际应用中,一般都在20个小时左右。随着当前的硬盘容量越来越大,3T硬盘已经成为主流,4T也已经普及,一些地方甚至用上了6T硬盘,这必将导致Raid的修复时间窗口越来越大,在这个窗口内,第二块盘损坏的概率也越来越大,再考虑到长时间高码率并发读写导致的硬盘故障率上升,存储设备数目庞大导致的维护响应时间延长,视频数据的可靠性越来越难以保证。

3、数据传输能力逐渐出现瓶颈

IPSAN方案中,单个监控点的视频录像一般都存储在一台阵列设备上。随着视频监控系统规模的扩大,各类用户增多,在加上视频码流的逐步提升以及上层图像综合应用的不断丰富,系统对于单台磁阵的吞吐能力也提出了更高的要求,特别是在应急联合作战的情况下,并发的视频录像调取、回放和实时调度的监控路数都快速增加,大量的业务可能都会集中到某一台存储设备上,面对这些日益增长的随机并发访问,单台设备的性能成为瓶颈。

4、数据共享能力不能满足业务需求

在目前大中型的IPSAN存储方案中,IPSAN设备虽然很多,但是彼此孤立,各自提供独立的存储空间给不同业务模块使用,其中的数据只能由挂载该存储空间的业务服务读写,其他非挂载该阵列设备的图像综合业务系统则很难直接访问到该存储空间中的特定数据,即使能通过网络文件方式访问,对于数目如此庞大的存储阵列,也需要业务系统进行数目庞大路径加载。因此,IPSAN的数据共享能力很差,从而也影响到了图像综合业务的发展。

上述的问题在IPSAN存储系统不是很庞大的情况下,表现的并不明显,然而随着监控系统规模的逐步扩大,存储数量的不断增加,大中型视频监控系统不得不面对这些问题并探寻新的存储系统和解决方案。

安防云存储的诞生

相较于上面所说的IPSAN无限扩容带来的不足,云存储的优势是显而易见的:

①服务性质更强

云存储系统由多台云存储设备构成,但是提供统一的虚拟存储空间,用户和业务系统在使用云存储时只感知空间,不感知节点,不用关心存储空间由哪些存设备构成,这些设备放在何处。这使得用户与应用提供者,无需为繁琐的细节而烦恼,能够更加专注于自己的业务;对于租用云服务的用户、应用开发尚而言,更是直接省去了自建存储系统的费用与设备维护成本。

②维护更简单

选择自建私有云模式的用户也不用台担心,云存储提供集群化管理模式,用户只需要登录到云存储系统的一个IP地址,就可以看到所有的存储设备状态、相应的磁盘状态以及整体存储空间的使用情况。系统还会针对不同的异常和故障问题及时的给出告警通知和日志记录,大大简化了管理员对存储系统的维护和管理工作。

③使用更安全

云存储系统采用基于纠删码的分布式离散存储策略,需要存储的数据信息都被条带化、离散化,直接拆分成多个数据块,然后计算冗余校验数据块,再分散存储到不同的云存储设备中,数据的分散程度和冗余程度可以通过系统进行灵活设置。通过纠删码的冗余校验机制,系统提供数据高可靠性保护,可以允许系统坏多块硬盘,甚至多个存储设备节点而不会造成数据丢失,或者只影响和丢失很小部分的数据,其他数据的读取不受影响,写入则完全不受影响。此外,由于采用系统级离散存储,多个存储节点中都有相应的数据块和校验块,在硬盘损坏后恢复硬盘数据时由多个存储节点在空闲的空间内同时进行重构,要比传统的基于磁盘的Raid快得多,重构速度可以达到1个小时以内。

④读取、输入更流畅

云存储系统采用纠删码离散存储策略,任何一段视频都被拆分成多个数据块分散并同时存储到多个存储节点中,因此,对该段视频的读取都由多台存储设备同时提供服务,避免了通过单台设备读取而造成的性能瓶颈。

⑤动态伸缩,扩容更方便

传统存储,业务系统直接跟每一台存储设备打交道,每扩容一次,都要识别和挂载新的存储设备,并进行原有数据的迁移,从而导致业务长时间中断。而云存储采用存储虚拟化技术,业务系统只感知整体容量的变化,不关心具体设备,并且扩容后原有数据会在新的存储空间中自动重组和均衡,业务不受任何影响。

⑥数据共享无障碍

传统存储接口封闭,一个存储系统只对接一套业务,视频监控、智能分析、图像侦查等每个业务都要建立自己的存储系统,互相之间数据共享效率十分低下。而云存储提供统一的存储空间、命名空间,不同的业务系统,对存储系统的访问是一致的,这些数据在权限控制下都可以通过统一的命名路径直接进行读取,从而提升了不同业务系统间数据信息的共享能力。

上面说过,目前安防主流厂商均已推出自己的云存储系统,而科达的“天际“云存储,在具备以上所有云存储优势的同时,还有几点独特之处:

①支持BBU电池。天际云存储在每个存储节点都配备了BBU电池,当某个存储节点发生异常断电时,存储节点会及时保存缓存中的数据到磁盘,确保数据不会丢失,并同时向控制节点发送告警通知,由控制节点操作,“屏蔽”该存储节点,将设备断电时期的业务迁移至其他存储节点,从而避免数据丢失。

②支持仲裁模式,极端容错。天际云存储支持仲裁模式,当所有控制节点(元数据节点)全部异常时,启动仲裁模式,视频存储的业务不会中断,数据不会丢失;当控制节点恢复后,存储节点会自动同步异常期间数据信息至控制节点,恢复整个系统。

③存储内容更多样。与一般安防云存储只支持视频和图片存储不同,天际云存储不仅可存放视频、图片数据,还可以存放多种类型的一般的文件数据。

④更加标准、开放。天际云存储具备多种开放的、标准的业务数据访问接口:支持NFS、S3、FTP等通用接口及基于SDK的专业服务接口,同时还支持HDFS接口服务,可与业界的云平台大数据系统进行对接。

云存储技术未来的发展方向

上面全是讲的云存储的优势,且不少安防厂商也有了自己的云存储应用案例,如科达天际云存储在柳州平安城市中的应用等等,但目前云存储技术还远非“完美”,仍有很多地方需要继续完善。

①提高可靠性与安全性。

为满足可靠性、安全性的要求,需要云存储系统提供更为可靠、安全的数据保护能力和访问控制机制,特别是对于互联网应用的情况,必须能够保证用户的数据安全性,提供多层面的数据服务保证。

此外,由于大规模数据存储对硬盘的读写能力要求较高,而硬盘恰恰是存储系统中最易损坏的设备。因此,云存储系统对硬盘的优化读写以及容错机制,还可以进一步优化,充分利用硬盘的最新技术在提升数据可靠性和读写性能的同时,降低硬盘损坏率,减少硬盘损坏对数据和系统的影响。

②数据与计算的进一步结合

云存储作为一个庞大的数据存储中心,一般都由很多存储节点组成,如果这些节点能够同时具备便捷计算的能力,直接在数据存储的节点上完成数据分析工作,那么计算的过程将不需要通过前端网络实现过多的数据存取调度业务,从而降低业务网络运输的压力,也提升了总体数据分析的速度。

③更高效的数据冗余

目前,很多云存储系统,特别是互联网上的云存储系统,都倾向于采用多副本方式实现数据冗余,提升数据的可靠性,但这必然会带来存储空间使用率低下的问题;而针对大规模视频监控系统的安防云存储来说,副本方式几乎是不能接受的,建设成本太高,性价比太低。因此,必须采用更为先进的技术,在降低数据冗余度的同时,能同时提高数据的可靠性,纠删码是其中一类技术,相信以后还会有更新的技术。

④高效异地容灾技术

异地容灾技术目前还主要针对计算机业务系统,和轻量级的数据存储(如银行数据库等),而像安防监控那样海量的数据存储系统,真正的数据异地容灾还无法很好的实现,其主要的原因是安防存储的数据流量太大,数据存储的体量也太大,传统异地容灾技术成本太高。因此,我们需要更新的技术,来实现此类海量安防视频数据的异地容灾机制,提高系统整体的可靠性。

⑤可针对特定专业用户的专业化数据存储服务定制能力

目前,针对通用市场的互联网云存储仍以单一的存储服务为主,不管是互联网云存储或是安防云存储,在专业化定制服务方面仍需加强,让存储系统与用户的各项业务结合更紧密,比如针对特定业务的数据存储管理优化,提升特定业务数据存储和调阅的效率;对存储内容提供更丰富的信息描述,以及数据标签等,充分发挥云存储自身的特性的同时提升专业服务能力。

讲了这么多,以云存储与当下谈得火热的“大数据”、“物联网”之间的关系结尾:当视频图像信息都集中存储在统一的云存储系统中时,对图像信息的调取、融合与联合分析会更全面、更快速,对信息的综合处理能力会更强,大数据云平台的效用才能得到淋漓尽致地发挥。直接反应在公安实际操作中就是,图像信息的检索、视频摘要分析、信息综合分析判断等操作速度会更快,应用于综合分析的信息会更多,最终得到的分析结论也就越准确。

总之一句话,云存储,正在带动一场安防存储方式的革命。

本文转自d1net(转载)

时间: 2024-11-03 21:13:01

云存储:正在带动一场安防存储方式的革命的相关文章

安防存储技术优势及在智能领域的应用

大数据在安防行业的应用使得安防更加智能化,大数据的技术一般分为数据采集.存储.挖掘和分析技术.其中,智能分析居于核心地位.而智能分析是安防大数据区别于IT大数据的重点之一,只有利用智能分析技术将安防大数据的非结构化数据转换为结构化数据,才能将IT大数据成熟的技术体系应用到安防大数据中,充分发挥安防大数据的作用. 安防存储技术发展现状 存储在安防行业的发展过程中经历了磁带存储.DVR.NVR.SAN直存等产品形态,新兴的软件定义.云存储等概念也是层出不穷,但无论怎样发展,存储起到的作用始终是是写入

关于安防存储市场发展 这里有话说

近几年来,随着科技的发展和技术水平的不断提升,高清化.网络化.智能化的多种安防监控产品层出不穷,大大丰富了各行各业对安防监控产品的需要.同时随着近年来"平安城市"."平安校园"等安防项目在全国范围的开展和深入,机场.地铁以及景区等用户对于视频监控覆盖范围.监控点数以及网络传输画面视频质量等要求的不断提升,网络监控正成为中国视频监控市场重要的拉动因素.网络监控设备厂商的视频监控整体解决方案,正得到越来越多用户的了解和认可. 关于安防存储市场发展 这里有话说 在国内大型

一场安防IPC模组方案发布会引发的吐槽风波与反思

安防芯片的价格,影响着摄像机的整机价格,安防价格战的爆发,便是从安防芯片商的杀价开始的.而发生在深圳的一场安防芯片的新品发布会,在低端芯片市场,仿佛又让人嗅到了疯狂杀价所弥漫的血腥味. 安防价格战 从"芯"开始 这场发布会后,一些深圳的芯片企业是如坐针毡,也有很多业内人士对这场发布会进行了吐槽. 安防芯片界的槽点 有从业资深人士表示,有些演讲内容,充满着对深圳安防行业市场尊严的挑衅,虽然安防的重心在杭州没有错,但深圳的创新.集成产业群和安防产业链还是非常完备的,不能用深圳的技术赚了深圳

云存储技术在安防监控系统中的运用

大数据在安防行业的应用使得安防更加智能化,大数据的技术一般分为数据采集.存储.挖掘和分析技术.其中,智能分析居于核心地位.而智能分析是安防大数据区别于IT大数据的重点之一,只有利用智能分析技术将安防大数据的非结构化数据转换为结构化数据,才能将IT大数据成熟的技术体系应用到安防大数据中,充分发挥安防大数据的作用. 安防存储技术发展现状 存储在安防行业的发展过程中经历了磁带存储.DVR.NVR.SAN直存等产品形态,新兴的软件定义.云存储等概念也是层出不穷,但无论怎样发展,存储起到的作用始终是是写入

安防业内人士对云存储未来的发展充满信心

近年来,全球数据量暴涨,世界进入大数据时代,存储系统面临严峻挑战,云存储(cloudstorage)概念应运而生.将目光聚焦于安防行业,随着数字安防技术的普及,监控技术逐渐往高清化.网络化及智能化发展,云存储以其高性价比的解决方案优势异军突起.云存储的出现会给存储行业带来哪些新的机遇与挑战?未来的发展将走向何方?纵观整个安防行业,业内对于云存储的未来发展,似乎都充满信心-- 看法一:平安城市.智慧城市等项目将成为安防云存储技术发展的助益 深圳市景阳科技股份有限公司产品经理胡宗进先生,对于云存储的

“话”安防云时代存储

随着目前智慧城市.平安校园等安防项目规模的不断扩大,监控后端存储技术也在与时俱进.不断发展. 目前在安防监控中,后端存储系统经历了从"模拟时代"到"数字时代"到如今的"云时代".模拟时代存储主要是DVR,模拟硬盘录像机,用于连接.管理和存储模拟前端视频.数字时代是以NVR和SAN/NAS/DAS为代表的数字存储设备,主要存储IP摄像机数据信息;云时代是以海量云存储为代表,针对海量数据(音视频.文本.图片等)进行存储.目前安防存储中有使用前端存储和

大数据时代 安防云存储的特征盘点

根据IDC预测,全球在2010年正式进入ZB时代,全球数据量大约每两年翻一番,意味着人类在最近两年产生的数据量相当于之前产生的全部数据量.爆炸式增长的数据,正推动人类进入大数据的时代. 维基百科全书的定义:"大数据是飞速增长的,用现有数据库管理工具难以管理的数据集合".这些数据包括:社交媒体.移动设备.科学计算和城市中部署的各类传感器等等,其中视频又是构成数据体量最大的一部分.据IMSResearch统计,2011年全球摄像头的出货量达到2646万台,预计到2015年摄像头出货量达54

云存储安防领域应用面广 系视频监控中不可或缺的一环

近些年来大数据.云计算.云存储在IT界可谓炙手可热,那其在视频监控行业的需求和应用又怎么样呢?不同行业.规模.应用需求的视频监控系统是否需要建设云存储呢?各行业的决策者们无疑还存在一些疑惑,但是随着视频监控系统对视频图像清晰度的不断追求.系统规模的不断扩大.应用需求不断趋向多样化,云存储应用是视频监控系统发展的必然需求. 监控的应用未来:云存储和智能监控缺一不可 监控云存储的出现,突破传统存储方式的性能和容量瓶颈,使云存储提供商能够联结网络中大量各种不同类型的存储设备形成异常强大的存储能力,实现

云存储技术助力安防监控 现实仍存阻隔

当前,安防监控的发展可谓是如火如荼,与此同时,云存储技术在安防监控的应用也日渐普遍,作为未来安防存储发展的一种趋势,目前,云存储厂商正在将各类搜索.应用技术和云存储相结合,以便能够向企业提供一系列的数据服务;但是,云存储的发展状况仍受限于一下几个因素: 1.网络带宽的限制,真正的云存储系统将会是一个多区域分布.遍布全国.甚至于遍布全球的庞大公用系统,使用者需要通过adsl.ddn等宽带接入设备来连接云存储.只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输