阿里云工程师用机器学习破解雾霾成因

免费开通大数据服务:https://data.aliyun.com/m/experience

人们很早就知道硫酸盐是雾霾形成的重要原因。住宅及发电厂的燃煤释放大量二氧化硫,随后转化为硫酸颗粒造成污染。但困扰科学家的是,二氧化硫究竟是如何转化成硫酸的?

阿里云工程师的发现回答了这个问题,同是也从另一个角度佐证了最近中德两国研究人员一份研究成果:大气细颗粒物吸附的水分中二氧化氮与二氧化硫的化学反应是当前雾霾中硫酸盐的主要生成路径。该成果通过分析清华大学楼顶气溶胶成分得出。

文章中,工程师采集了公开的2016年全年北京天气数据,包含天、小时、PM2.5、PM10、二氧化硫、一氧化碳、二氧化氮(NO2)等数字。利用阿里云机器学习平台,通过随机森林、逻辑回归等算法寻找雾霾同某一项指标的相关性。

傲海介绍,他本人就在北京工作,同样深受雾霾困扰。因为自己是从事机器学习相关的工作,所以就想能否通过政府的公开数据做一些分析。“对抗雾霾,我们每个人都可以做出贡献”。

据了解,二氧化氮主要来自发电厂及汽车尾气。由此来看,限行政策将可缓解空气雾霾。

附工程师分析全文:

本次实验在阿里云机器学习平台上完成

底层计算引擎由阿里云数加MaxCompute完成

数据源:采集了2016全年的北京天气指标,采集的是从2016年1月1号以来每个小时的空气指标。

具体字段如下表:


数据探索流程

阿里云机器学习平台采用拖拉算法组件拼接实验的操作方式,先来看下整个实验流程:

我们把整个实验拆解成四个部分,分别是数据导入及预处理、统计分析、随机森林预测及分析、逻辑回归预测及分析。下面我们分别介绍一下这四个模块的逻辑。

1.数据导入及预处理

(1)数据导入:在“数据源”中选择“新建表”,可以把本地txt文件上传。数据导入后查看:


(2)数据预处理:通过类型转换把string型的数据转double。把pm2这一列作为目标列,数值超过200的情况作为重度雾霾天气打标为1,低于200标为0,实现的SQL语句如下:

select time,hour,(case when pm2>200 then 1 else 0 end),pm10,so2,co,no2 from ${t1};

(3)归一化

归一化主要是去除量纲的作用,把不同指标的污染物单位统一。


统计分析

我们在统计分析的模块用了两个组件:

(1)直方图:通过直方图可以可视化的查看不同数据在不同区间下的分布。通过这组数据的可视化展现,我们可以了解到每一个字段数据的分布情况,以PM2.5为例,数值区间出现最多的是11.74~15.61,一共出现了430次。

(2)数据视图:通过数据视图可以查看不同指标的不同区间对于结果的影响。

以二氧化氮为例,在112.33~113.9这个区间产生了7个目标列为0的目标,产生了9个目标列为1的目标。也就是说当二氧化氮为112.33~113.9区间的情况下,出现重度雾霾的天气的概率是非常大的。熵和基尼系数是表示这个特征区间对于目标值的影响,数值越大影响越大,这个是从信息量层面的影响。

3.随机森林预测及分析

本案其实是采用了两种不同的算法对于结果进行预测,我们先来看看随机森林这一分支。我们通过将数据集拆分,百分之八十的数据训练模型,百分之二十的数据预测。最终模型的呈现可以可视化的显示出来,在左边模型菜单下查看,随机森林是树状模型。


通过这个模型预测结果的准确率:

我们看到AUC是0.99,也就是说如果我们有了本文用到的天气指标数据,就可以预测天气是否雾霾,而且准确率可以达到百分之九十以上。

4.逻辑回归预测及分析

再来看下逻辑回归这一分支的预测模型,逻辑回归是线性模型:

模型预测准确率:

逻辑回归的AUC为0.98,比用随机森林计算得到的结果略低一点。如果排除调参对于结果的影响因素,可以说明针对这个数据集,随机森林的训练效果会更好一点。

结果评估

上面介绍了如何通过搭建实验来搭建针对PM2.5的预测流程,准确率达到百分之九十以上。下面我们来分析一下哪种空气指标对于PM2.5影响最大,首先来看下逻辑回归的生成模型:


因为经过归一化计算的逻辑回归算法有这样的特点,模型系数越大表示对于结果的影响越大,系数符号为正号表示正相关,负号表示负相关。我们看一下正号系数里pm10和二氧化氮最大。pm10和pm2只是颗粒尺寸大小不同,是一个包含关系,这里不考虑。剩下的二氧化氮对于pm2.5的影响最大。我们只要查阅一下相关文档,了解下哪些因素会造成二氧化氮的大量排放即可找出影响pm2.5的主要因素。

以下是网上是找到的关于二氧化氮排放的论述,文中说明了二氧化氮主要来自电厂和汽车尾气:《减少二氧化氮与氨或是抑制中国雾霾形成的关键》

时间: 2024-10-07 18:08:11

阿里云工程师用机器学习破解雾霾成因的相关文章

阿里云推出“污染地图”APP 涉足雾霾治理

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 阿里云推出"污染地图"APP 涉足雾霾治理 新浪科技讯 6月13日下午消息,阿里云计算平台的环境监测APP"污染地图"悄然上线,近3685家废气排放企业的排放数据将可实时被查询,一旦有超标记录,将即时出现在公众面前,接受社会监督,对污染企业等源头起到有效地遏制. "污染地图"是由公益

【机器学习PAI实践三】雾霾成因分析

一.背景 如果要人们评选当今最受关注话题的top10榜单,雾霾一定能够入选.如今走在北京街头,随处可见带着厚厚口罩的人在埋头前行,雾霾天气不光影响了人们的出行和娱乐,对于人们的健康也有很大危害.本文通过爬取并分析北京一年来的真实天气数据,挖掘出二氧化氮是跟雾霾天气(这里指的是PM2.5)相关性最强的污染物,从而为您揭秘形成雾霾的罪魁祸首. 这里我们是用阿里云机器学习平台来完成实验: https://data.aliyun.com/product/learn 登陆阿里云机器学习平台,即可在demo

国内首位!Node.js社区将阿里云工程师张秋怡吸纳为CTC成员

继去年MariaDB基金会将阿里云数据库高级专家彭立勋列为个人成员后,今年又有一位阿里云工程师在国际技术社区重要工作中有所担当,她就是张秋怡. 张秋怡,花名洗影,阿里云云应用服务团队工程师.2016年,她毕业于中山大学软件工程专业,现在在阿里云alinode团队参与 alinode  Node.js 应用服务解决方案的开发和维护,同时也对阿里内部和外部的客户提供技术咨询的服务. Node.js社区宣布将张秋怡吸纳为CTC的页面(@joyeecheung 为张秋怡在Github的账号) 近日Nod

快速在阿里云上构建机器学习应用

3月28日云栖大会开源专场,阿里云技术专家必嘫给大家带来了"在阿里云上构建机器学习应用"的演讲.本文主要从深度学习应用发展历史开始谈起,进而介绍了如何结合阿里云容器服务的机器学习解决方案快速打造一套深度学习应用的案例. 深度学习应用发展的介绍 深度学习在2016年有两款应用特别火爆,影响到每个普通人的生活.第一个是会下围棋的AlphaGo,它向大家证明了计算机不只有强大的运算能力,同时具备了自学能力,更厉害的是这种学习能力是可以纵向深入的,换句话说,不需要人赋予的逻辑,计算机可以通过大

【X-Pack解读】阿里云Elasticsearch X-Pack 机器学习组件功能详解

X-Pack Machine Learning 数据复杂多变,当出现基础设施问题.入侵者或业务问题时,几乎不可能利用规则或通过人工监视仪表板发现问题.阿里云Elaticsearch的X-Pack引入了机器学习功能machine learning,可以实时地自动模拟 Elasticsearch 数据的行为--趋势.周期等.从而更快地发现问题.简化问题根源分析.降低误报率. 透过数据表象 借助机器学习功能,Elasticsearch能够机敏地迅速回答 "上周各小时每秒请求数量是多少?" 等

【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类

伴随着今日阿里云机器学习PAI在云栖大会的重磅发布,快来感受下人工智能的魅力. 一.背景 随着互联网的发展,产生了大量的图片以及语音数据,如何对这部分非结构化数据行之有效的利用起来,一直是困扰数据挖掘工程师的一到难题.首先,解决非结构化数据常常要使用深度学习算法,上手门槛高.其次,对于这部分数据的处理,往往需要依赖GPU计算引擎,计算资源代价大.本文将介绍一种利用深度学习实现的图片识别案例,这种功能可以服用到图片的检黄.人脸识别.物体检测等各个领域. 下面尝试通过阿里云机器学习平台产品,利用深度

【玩转数据系列九】机器学习为您解密雾霾形成原因

一.背景 如果要人们评选当今最受关注话题的top10榜单,雾霾一定能够入选.如今走在北京街头,随处可见带着厚厚口罩的人在埋头前行,雾霾天气不光影响了人们的出行和娱乐,对于人们的健康也有很大危害.本文通过爬取并分析北京一年来的真实天气数据,挖掘出二氧化氮是跟雾霾天气(这里指的是PM2.5)相关性最强的污染物,从而为您揭秘形成雾霾的罪魁祸首. 这里我们是用阿里云机器学习平台来完成实验:https://data.aliyun.com/product/learn 登陆阿里云机器学习平台,即可在demo页

如何快速在阿里云上构建自己的机器学习应用

摘要:在2017云栖大会深圳峰会开源专场上,阿里云容器服务技术专家车漾做了题为<在阿里云上构建机器学习应用>的精彩演讲,车漾首先从2016年深度学习最火的两个应用AlphaGo与Prisma谈起,从宏观层面分享了机器学习以及深度学习所做的事情,并就Prisma的发展故事谈起,为大家介绍了应该学会以工程思想思考和解决问题,并着重介绍了阿里云基于容器服务的机器学习解决方案架构设计以及如何借助阿里云快速搭建自己的机器学习应用,精彩不容错过. 以下内容根据嘉宾演讲视频以及PPT整理而成. 在2016年

阿里云机器学习8月特别推荐

阿里云机器学习·简介 阿里云机器学习平台是一套基于MaxCompute(阿里云分布式计算引擎)的数据挖掘.建模.预测的工具.它提供算法开发.分享.模型训练.部署.监控等一站式算法服务,用户可以通过可视化的操作界面来操作整个实验流程,同时也支持命令,让用户通过命令行来操作实验. 8月特别推荐 众所周知,在很多业务场景的大数据处理中,经常需要挖掘海量数据背后的商业价值.阿里云数加平台推出机器学习开发工具大大提高了数据挖掘的效率,然而缺乏数据.缺乏场景成为大多数用户学习阿里云数加机器学习平台的难题.没