摘要:随着中国经济的迅速腾飞,发展中的环境污染问题愈演愈烈,霾在全国各地区肆虐,PM2.5指数频频“爆表”,对百姓的日常生活造成了极大困扰,引发舆论的强烈关注。政府高度重视并将PM2.5监测工作摆在环保工作的重心。云创存储自主创新的PM2.5云监测平台破传统的研发方式,运用创新的设计理念,使环保与云计算高端技术有机结合,架构海量监测数据存储、处理平台,可微观上反映各区域的空气质量,为公众生活和城市治理带来便利。
关键字:PM2.5 PM2.5云监测平台 云创存储 环境保护
一、建设背景
今年初《中华人民共和国国家环境分析》报告称,中国500个大型城市中,只有不到1%达到世界卫生组织空气质量标准。多位专家接受《经济参考报》记者采访时表示,治理PM 2.5超标,应尽快在工业结构、能源结构、城市规划等方面采取措施,顶层设计治本之策。
目前国内环境监测中心站点较少,分布分散,环境监测的数据能够从宏观上反映城市整体的空气质量,但是不能从微观上反映局部区域、特定区域的空气质量的好坏,这就需要建设更多的环境监测站点,提供更多的实时的环境监测数据。
国内目前350米以下都有颗粒污染物,污染程度比较严重,加之公众对于PM2.5的关注度不断提升,使得PM2.5的监测重要性日益突出。国外一套PM2.5环境监测仪器价格在10万美金,国产价格在10万人民币,价格昂贵。建设更多的环境监测站点需要巨大的资金投入,成本太高。高性价比的PM2.5云监测平台能够解决资金投入问题,同时满足测量精度,和现有的空气环境自动监测系统形成互补,为环保部门服务。
可大规模部署的PM2.5云监测平台的物联网项目正是基于物联网技术,结合云计算存储、处理技术,结合自主研发的低成本PM2.5环境监测硬件系统,针对目前国内重点区域大气污染防治、改善城市空气质量的管理需求,结合天气状况、城市交通、人口密度、工业产值等元素,进行系统的研究,为保护环境,改善区域大气环境质量改善起到技术支撑作用,其作为大型监测设备的补充,重点解决PM2.5突出的区域大气污染问题,监控环境污染状况,正确分析评价环境质量,寻求改善大气环境的途径措施,具有非常广泛的应用价值,可为决策者带来科学决策的依据,从而系统全面的对本区域的环境进行监管。
二、国内外发展情况
1、国外PM2.5监测发展状况
PM2.5的标准,是由美国在1997年提出的,主要是为了更有效地监测随着工业化日益发达而出现的、在旧标准中被忽略的对人体有害的细小颗粒物。PM2.5指数已经成为一个重要的测控空气污染程度的指数。
到2010年底为止,除美国和欧盟一些国家将PM2.5纳入国标并进行强制性限制外,世界上大部分国家都还未开展对PM2.5的监测,大多通行对PM10进行监测。
美国国家航空航天局(NASA)2010年9月公布了一张全球空气质量地图,专门展示世界各地PM2.5的密度。地图全球空气质量地图由加拿大达尔豪斯大学的两位研究人员制作。他们根据NASA的两台卫星监测仪的监测结果,绘制了一张显示出2001年至2006年PM 2.5平均值的地图。 在这张图上红色(即PM2.5密度最高),出现在北非、东亚和中国。中国华北、华东和华中PM2.5的密度,指数甚至接近每立方米80微克,甚至超过了撒哈拉沙漠。在这张2001-2006年间平均全球空气污染形势图上,全球PM2.5最高的地区在北非和中国的华北、华东、华中全部。
图1 机动保有量200万辆以上城市PM2.5浓度值分布图
国际城市的空气质量监测点位通常较多,以伦敦为例,仅PM10(直径小于或等于10微米的颗粒物)的监测点就有103个。此外,巴黎、香港等国际城市均监测并公布道路两边地段的空气污染状况。
值得注意的是,2011年报告称,伦敦、巴黎、纽约等对PM2.5进行频密监测和发布的国际城市,与此同时,不少发展中国家的大城市如墨西哥城和新德里等城市,也早已开展了PM2.5的频密监测和发布。
2、我国PM2.5监测平台发展现状
据统计,我国目前有74个城市已经具备对PM2.5的监测条件,目前国内已有PM2.5监测点600余个,但与国际城市的PM2.5监测系统相比,我国城市的环境空气质量监测位点设置虽然也能反映整体环境质量状况,但监测位点少、代表性和覆盖面不足,监测项目、监测网、测点数目和位置设计不能满足重点区域人体健康影响暴露评价的需要。
目前,江苏环保云平台是国内最先进、集纳环境信息最多的一个环保云平台,“1831” 环保云平台不仅是观照江苏生态环保的“睛雨表”,更是江苏环境智慧决策的重要依据和手段。“1831”云平台采用国际先进的物联网传感器以及信息分析云技术,能够实时感知全省4万亿经济总量下10.26万平方公里区域内生态环境的安全与健康程度,并将人类社会与环境业务系统进行整合,从而以更加精细和动态的方式,实现环境管理与决策的智慧化。事实上,云平台云集的数据不仅包括重点污染源自动监控、流域水质自动监控等实时的数据,环保部门的作为情况、12369的举报信息、环境创建情况等均以数据形式集入了平台,每天平台集纳数据超过300万条。
由于经济技术条件的限制和我国环境空气监测工作发展的阶段性,我国许多地区环境空气质量监测网络还不够不成熟,而造价昂贵的PM2.5监测点位更让云平台无法起步,社会需要更多的像“1831”这样先进系统在全国遍地开花。
三、可大规模部署的PM2.5云监测平台
PM2.5云监测平台是由PM2.5云监测节点、云平台和Web界面及scervices组成的系统。PM2.5云监测节点由先进的PM2.5采集器来进行数据采集,通过GPRS进行无线数据传输,数据进入云平台通过云创存储自主研发的数据立方一体机进行历史数据汇总处理、实时数据入库系统、数据存储、数据查询分析和数据管理。PM2.5云监测平台利用cStor和cProc来构建应用PM2.5云监测平台。平台对外提供Web服务,可通过网页的形式展示当前部署环境的PM2.5值,并追踪污染源。下图2为PM2.5云监测平台总体架构。
图2 PM2.5云监测平台总体架构
1、PM2.5云监测平台前端方案
(1)前端技术架构
PM2.5前端设备主要是由电源模块、采集模块和通信模块组成,前端设备采集到相关的信息,通过GPRS进行无线数据传输,在有公网IP的服务器上进行数据接收和初步的处理,然后数据存入数据立方进行存储和计算,并且通过WEB服务器进行数据的最后处理和公布。具体的架构详见图3。
图3 PM2.5云监控平台前端设备架构
(2)部署方式
在城市的不同区域布局并有效使用PM2.5云监测平台,能够比较全面地掌握城市不同区域,在不同时间段、不同气候特点(包括气温、风向、季节)下的 PM2.5 的实时监测数据。
PM2.5云监测平台环境数据采集设备采用先进的传感器、低功耗单片机技术和网络通讯技术相结合,可提供方便的数据查询方式,直接通过浏览器可以直接访问测试数据。
目前环境监测站的监测设备一般部署在离地面高度20m-25m之间,而云创存储的PM2.5云监测平台环境监测设备根据实际的情况来进行部署。设备小巧,部署方式灵活,可以部署在电线杆等公共设施上。详见图4。
图4 部署在电线杆上前端设备
(3)采集通信方式
目前国内外环保部门监测PM2.5普遍采用滤膜称重、β射线吸收和微量振荡天平等方法。除了以上三种测试方法外,还有利用光散射的原理测定颗粒物浓度的方法。该测定方法的原理是:空气中的颗粒物浓度越高,对光的散射就越强。测定光的散射后,就可以算出颗粒物浓度。该测试方式测定速度快,自动化程度高,操作简单。
PM2.5云监测平台使用的是红外光散射法来进行测试相关的数据。通过相关的探头来进行采集相关的数据。通过采集的通道利用红外光散射来进行获取颗粒浓度。采集空气的通道有固定的加热源,通过加热源来进行空间的动态的采集。将相关的颗粒浓度转换成相关的数据通过无线通信进行数据传输。
前端设备的通信主要是通过GPRS进行数据的无线传输。具体的数据传输的网络示意图详见图5。
图5 GPRS数据传输
数据在前端设备基于TCP/IP协议,经过GPRS的数据传输,通过移动网络传输数据,利用公网的服务器接受数据,然后将数据入库后,进行数据的处理,最后通过WEB服务器将数据展现出来。
(4)供电方式
PM2.5云监测平台的供电方式有两种,一种是锂电池和市电互补的供电方式,另一种是太阳能供电供电方式。详见图6。
图6 太阳能供电方式的前端设备实物图
2、PM2.5云监测平台后端方案
(1)后端技术架构
PM2.5云监测平台是一个处于PM2.5数据采集与PM2.5数据监测应用之间的系统。从系统基本组成与构架上来看,该共享平台由以下主要部分组成:历史数据汇总处理系统,实时数据入库系统, PM2.5云监测平台数据存储系统,PM2.5云监测平台数据查询分析应用系统,数据管理系统。详见系统架构图7。
图7 系统总体架构图
(2)PM2.5云监测平台主要功能
实时数据入库系统
实时数据入库系统主要负责全市所有PM2.5监测点产生的数据实时存到PM2.5云监测平台数据存储中心。
l PM2.5云监测平台数据存储系统
原始PM2.5数据,将全部存储在PM2.5云监测平台分布式文件系统,用于存储海量的非结构化数据。为了满足和适应数据量、数据特征和查询处理的不同需求,部分存存储于关系型数据库中。
l PM2.5云监测平台数据查询分析应用系统
PM2.5数据查询分析应用提供包括实时监控空气质量PM2.5,查看历史记录和分析数据等功能。PM2.5历史查询处理时,由于PM2.5数据量巨大,需要调度使用多台服务器节点进行并行处理。
数据管理系统
在实际使用中,可能用户会对某一时间段或者类型的数据特别关心,就可以通过数据管理系统查询并导出这部分数据以供使用。
(3)后端平台特性
l 系统扩展性
PM2.5云监测平台充分运用云创自主研发的数据立方技术优势,加监测点只需要简单的配置即可连接到PM2.5云监测平台数据存储中心,统一规范标准,名称体现PM2.5云监测平台监测点理位置、PM2.5云监测平台监测点编号等信息,便于快速检索;客户需要随时更加存储设备和数据分析服务器只需要根据数据立方规范做简单修改配置即可。例如如果后续根据PM2.5云监测平台的存储数据量量增加的情况下可以动态的添加存储节点。查询速度变慢只需要动态的添加少量处理节点。最大程度的节省客户成本;与原有系统数据对接支持各个版本的数据库对接接入Oracle ,SQLServer, Mysql均可。
l 系统可靠性
随着系统越做越大越复杂,其可靠性越来越难保证。应用本身对系统运行的可靠性要求越来越高,在一些关键的应用领域,如航空、航天等,其可靠性要求尤为重要,在银行等服务性行业,其软件系统的可靠性也直接关系到自身的声誉和生存发展竞争能力。 特别是软件可靠性比硬件可靠性更难保证,会严重影响整个系统的可靠性。PM2.5云监测平台系统利用数据立方的可靠性机制保障和提高数据可靠性。
l 数据查询与统计分析子系统
cProc云处理是云创公司研发的处理海量数据的处理框架,特点是实时性高。主从式的管理节点监控着所有处理节点(slave),并接受任务,分配子任务,监控任务以及处理各类异常情况。处理节点(slave),接受子任务,监控子任务,向主节点汇报任务。数据查询子系统构架如下图8:
图8 数据查询子系统构架
对前台页面传来的json字符串信息进行解析并分析各个变量,得到需要查询的信息,然后把这些信息在封装成与数据库端相合的协议,调用数据库提供的接口对后台数据库进行查询。数据库端查询完毕后将byte形式的结果存放在指定文件中。接口服务器受到信号,读取文件,并将结果封装成字符串发送到前台界面显示。下图9、10是网页查看实时PM2.5监测平台数据。
图9 数据网页查询界面
图10 PM2.5监控数据地图
3、PM2.5云监测平台优势特性
(1)海量数据综合存储、处理、监测优势
大规模部署高性价比的监测点位形成的海量数据,利用云计算技术,进行高可靠存储、秒级处理,做到实时监测、分析数据,及时告警,帮助决策。
(2)高性价比优势
采用X86架构廉价计算机构建云计算平台,用软件容错替代硬件容错,大大节省成本。在目标性能和可靠性条件下,可比传统的小型机加商用数据库方案节省10倍左右的成本。即可满足PM2.5监测、数据传输功能,无需国外昂贵的监测设备,和现有的环境监测点形成有利互补,对PM2.5数据发布有参考意义。
(3)实时监控优势
平台在高效率并行分布式软件的支撑下,可以实时完成PM2.5数据入库、分析和管理工作,如数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等。测定速度快,自动化程度高。测试方法决定了测试的实时性,采集时间实现秒级响应,且采集时间可以任意设定,采集的数据实时入库,可实时查询,具有前所未有的高效性。
(4)高可靠优势
基于对云计算可靠性深厚的研究积累,彻底解决了当前分布式计算平台易出现的单点故障问题。任何一个节点出现故障,系统将自动屏蔽,而且不会出现丢失数据的现象。包括查询任务分配节点、计算任务分配节点、HDFS元数据节点、HDFS数据存储节点、MapReduce Job Tracker节点、MapReduce Worker节点、HBase管理节点、HBase Region节点等。
处理平台在不停机的情况下,增加节点,平台的处理能力自动增加;减少节点,平台的处理能力自动缩减,做到与云计算平台的无缝对接,根据计算和存储任务动态地申请或释放资源,最大限度地提高资源利用率。
PM2.5云监测平台前端设备可以根据需求进行增加设备,扩展整个系统的覆盖面积,但不需要继续复杂的操作,可以动态的增加PM2.5测试的节点,接入到该系统,并能自动组网,具有很强的扩容性。
(5)采集数据的准确性优势
采集的数据经过精确的校准,且灵敏度很高,和环保部分发布的PM2.5数据及趋势接近,数据真实有效。下图11为测试对比曲线图。
图11 PM2.5测试对比曲线图
综合上述,PM2.5云监测平台架构云计算海量数据处理平台,存储本区域海量数据,积累长期监测资料,为研究环境容量、实施总量控制、目标管理、预测预报环境质量、环境治理提供数据。
四、PM2.5云监测平台建设效益
中国正在加速工业化、城市化的建设步伐,自然环境变化对社会和公众的影响越来越大,政府和社会都对应急管理工作提出了更高的要求。为增强防灾救灾能力,提高气象灾害应急反应水平,迫切需要建立一个权威、客观、畅通、可信的信息发布渠道,使社会及公众及时了解各类灾害事件的现状、进展、趋势、原因等信息,采取有效防范措施,最大可能减轻和避免各类灾害对经济建设和人民生活的危害。PM2.5云监测技术在环保领域为政府与公众之间搭建了一个良好的沟通、监督平台,对循环经济发展和和谐社会建设大有裨益。
1、经济效益
PM2.5云监测平台的经济效益主要体现在平台建设、运维产生的直接经济效益和政府部门通过使用该平台所节约的资金转而投入核心业务发展而带来的间接经济效益。
目前PM2.5云监测平台已经运用在江苏省环保局固定风险源监测项目,已在昆山实施,并拟做为PM2.5监测平台示范工程,目前该平台已经在南京环保局做验证,误差率小于5%,已计划在南京市进行推广应用。今年9月, PM2.5云监测平台在秦皇岛市环境保护检测站、海港区环保局、北戴河区新华社疗养院、山海关区环境保护局监测站、北方玻璃工业园五个监控点完成部署,运营2年内,将实现年营业收入超过1000万元,年净利润达300万元,为环保部门节约监测点位部署投入1000万元。
项目实施3-4年,服务环保部门将达40家以上,实现年度营业收入超过3000万元,年净利润达1000万元,为环保部门节约监测点位部署投入3000万元。
未来5-6年内,完成长三角地区直至华东地区的平台扩容,形成点面结合的PM2.5云监测大平台局面,实现年营业收入超过3亿元,年净利润6000万元,为环保部门节约监测点位部署投入近亿元。
2、社会效益
目前PM2.5监测的产业化还存在很多缺口,如缺乏高可靠低成本的传感器、可进行大规模存储与处理的云计算技术等。
在上述背景下,南京云创存储科技有限公司自主开发的可大规模部署的PM2.5云监测平台,包括自主研发的高可靠低成本的传感器、目前国内领先技术的云存储与处理技术、尤其是在前端PM2.5监控小型化技术、后端数据云计算存储与处理技术等领域形成自主研发、精密制造和配套加工能力,将打破国外在PM2.5监控系统的垄断,有利于加快环保监控系统普通化、国产化和产业化的发展速度,配合城市现有的环境监测站点,准确、及时、全面地反映环境质量现状及发展趋势,为环境管理、污染源控制、环境规划等提供科学依据,并结合天气状况、城市交通、人口密度、工业产值等元素,进行系统的研究,为保护环境,改善城市的大气环境质量改善起到技术支撑作用,关键技术的突破将对行业技术进步具有较大的推动作用,促使PM2.5监测技术标准等重大技术国产化的突破,促进和带动我国关联产业的结构调整与发展,提升国内PM2.5云监测平台的国际竞争力,具有重要的战略意义。