6月3日,七届中国云计算大会在京召开。作为大会的最后一天,5号上午中国大数据专家委员会副主任委员、中国工程院院士高文以“城市多媒体大数据高校存储与处理技术”为主题,对多媒体大数据在智慧城市里面的存储和处理有些什么瓶颈、需要做什么技术上的储备和处理进行了进一步的分析。
智慧城市核心要义
“智慧城市并不是简单的城市的信息化”,高文指出,以前城市的信息化大多数是领导先定下一个决策,有一个宏伟的规划,然后按照前期响应的目标不断逼近,但其实这个思路是错的。就像人一样,人更多的决策是反过来的,先对周围环境有一个感知,经过大脑的处理,最后决定这件事情要怎么做。所以现在的智慧城市或者智能城市应该按照和人比较类似的思路来进行管理和控制。
中国工程院院士高文
要想把智慧城市做好,高文举了个通勤的案例。1999年建设的大型社区天通苑相信很多人都听过,建设8平方公里,住90几万人,如此密集的区域很显然会遇到交通问题,很容出现拥堵状况。原来只知道拥堵,但究竟拥堵的具体位置区无法做到精确定位,所以只有一条地铁线是天通苑通往CBD。
但是现在的大数据显示,天通苑最主要的交通拥堵主要是天通苑最大的两个目的地——上地和中关村,恰恰原来在轨道设计的时候从天通苑没有到上地的直通车,上班族必须要换乘,此时这个设计就存在了问题。
难道不可以修一条直通车,从天通苑第一站停在上地,第二站停在中关村,这可以缓解20%的交通压力?其实这是非常困难的事情,重新设计、建设轨道需要很长的一段时间,智慧城市遇到了很大的难题。
既然没有办法修一条直通轨道,那我们可以用其他的次优、次次优、基于大数据和数据挖掘的办法办法解决,包括很多数学工具,例如动态规划、静态规划、免疫算法等,通过数据的输入进行挖掘。尽管从根本上没有办法解决,但是作为工程技术可以找到行之有效的解决方案。
智慧城市大数据中心
把感知网络所获得的数据全部送到数据中心去,这件事并不难。但是到中心的数据怎样形成决策,把海量的数据变成大数据这就需要有一个过程,高文认为这个过程里面最核心的要过三关,并不是海量数据就是大数据,经过整理可以使用的数据才叫大数据,否则就是海量数据简单的堆积。
形成能用的大数据有三关:
第一关,把所有搜集的数据存储过来,一般最大的系统也就只能保存三个月,然后由于数据量过大被覆盖掉。那么怎么样让它存得下,这是一个挑战,此时就需要一个办法,要么将数据压缩得很小,要么只是提取有用信息,废弃掉无用的数据。
第二关,表达关。表达的关键是怎样把特征提取出来,把存储的数据进行特征的抽取、比对、分析。据高文介绍,在表达方面国内很多团体已经做很不错,比如对于汽车的表达以及加强SIFT特征现在都具备了很先进的技术。用特征进行识别,通过在表达层面面进行压缩,效率可能是几千比一。
第三关,计算关。有了存储,有了表达,进行场景的分析就形成了对决策的辅助。处理最核心的是数据的关联,因为传感器的数据来自不同摄像头、不同地点、不同的传感器,怎么把时间、空间关联到一个空间上是非常难的问题,如果关联不准确的话后续会压力非常大。
智慧城市的生态链有三个比较重要的部分,一个是传感系统,一个是大数据中心,还有一个决策环节。最关键的是决策形成的流程。高文强调,必须要由政策的制定者、决策者基于大数据形成决策,最后形成智慧城市的管理模式,所以这一环怎么落实是很大的挑战。他希望中国做大数据的人,能够经常把这个理念向管理者灌输,使他们能够对第三个环节更重视,使得大数据真正用好。
原文发布时间为:2015-7-14
本文作者:孙博