干货满满,阿里天池CIKM2017 Rank4比赛经验分享

这次比赛吸引了1395支队伍参赛,排行榜也已在阿里天池平台进行公示。

在这次比赛中,来自中国科学院的怀北村明远湖队(队员Zhang Rui, Qiao Fengchun, Guo Ran)在GitHub上分享了自己的代码和方法,他们在第一阶段获得第三名,第二阶段获得第四名。雷锋网 AI科技评论将他们发布的内容进行了整理,如下:

背景介绍

在这次比赛中,主办方提供了一组不同时间跨度(间隔为6分钟,共15个时间跨度)和不同高度下(0.5km、1.5km、2.5km、3.5km)测量的雷达图,每个雷达图都包含目标站点和目标站点周围区域的雷达反射率值。每个雷达图覆盖以目标站点为中心,面积为101 * 101平方公里的区域。该区域被标记为101×101格,目标站点位于中心,即(50,50)。

数据集中包含真实的雷达图和气象观测中心收集到的目标站点降水量。

比赛的任务是预测在未来1-2个小时内每个目标站点的总降雨量。

数据处理过程

Percentil Method百分位数法

他们采用统计的方法来降低雷达数据的维度。对于每个雷达图,他们对目标站附近到整个地图范围内不同大小的区域都选取了雷达反射率值的25、50、75、100百分位。

图:以目标站点为中心选取不同的区域

Wind法

他们首先将原始数据(15*4*101*101)压缩成稍小的数据(15*4*10*10),然后通过判断风向,将数据压缩到15*4*6*6个特征。整个预处理过程都是利用卷积神经网络的方法,特别是卷积运算和最大池化。

图:卷积计算表征

图:池化计算表征

他们利用第四层的数据来判断风向。然后,为了计算最终风向,用两种方法来选择有代表性的数据。第一种方法在每10*10单元中使用最大的值作为表征,第二种方法则采用最大的5个数据的平均值作为表征。

在选出有代表性的数据之后,通过每两个时间间隔之间数据的偏差值算出移动方向,最终基于给定的阈值统计不同移动方向的数目,按照数目最多移动方向的确定最终风向。

图:当风向为西、西北、西南时提取特征的方法

模型

在这次任务中,他们的模型结合了Random Forestry、XGBoost和双向GRU单元(Bidirectional Gated Recurrent Unit)等,得出了较为满意的结果。

运用的工具

Python 3.6

Keras

XGBoost

Sklearn

他们的代码:https://github.com/zxth93/CIKM_AnalytiCup_2017

本文作者:思颖

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-09-20 12:10:19

干货满满,阿里天池CIKM2017 Rank4比赛经验分享的相关文章

无惧:干货居上线两天的运营经验分享

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 干货居论坛于9月6号下午2点多仓促上线,到今天下午2点就整整2天了.宣传的时候论坛只分好了版块,一个帖子都没有.第一天(实际只有半天)帖子过万(因为举行了T楼活动),PV1.5W左右.第二天IP达到1200,新增注册人数200多人,帖子发了1400(因为运用了我的超强策略).我是怎么做到的呢?虽说才两天时间,但我要分享的经验绝对是干货哦,一如

阿里5位嘉宾3个分享:HBaseCon Asia 2017干货满满

HBaseCon是Apache HBase官方举办的技术会议,主要目的是分享,交流HBase这个开源分布式大数据存储的使用和开发以及发展.HBaseCon发起于2012年.通常HBaseCon的举办地是在美国,这是HBaseCon第一次在亚洲举行,命名为Apache HBaseCon 2017 Asia.而且这次会议举办地选择在中国深圳,也足以见得HBase在中国的火爆程度和中国开发者们对HBase社区所做的卓越贡献. Apache HBase是基于Apache Hadoop构建的一个分布式.可

【独家】阿里天池IJCAI17大赛第四名方案全解析(附代码)

1. 概述 背景:阿里巴巴和蚂蚁金服逐渐积累了来自用户和商家的海量线上线下交易数据.蚂蚁金服的O2O平台"口碑"使用这些数据为商家提供了包括交易统计,销售分析和销售建议等定制的后端商业智能服务. 赛题官网: 阿里天池IJCAI17(https://tianchi.aliyun.com/competition/introduction.htm?spm=5176.100067.5678.1.amifQx&raceId=231591),参赛队伍总数为4046队伍. 赛题目标:通过阿里

干货满满,Android热修复方案介绍

摘要:在技术直播中,阿里云客户端工程师李亚洲(毕言)从技术原理层面解析和比较了业界几大热修复方案,揭开了Qxxx方案.Instant Run以及阿里Sophix等热修复方案的神秘面纱,帮助大家更加深刻地理解了代码插桩.全量dex替换.资源修复等常见场景解决方案,本文干货满满,精彩不容错过. 以下内容根据演讲视频以及PPT整理而成. 视频分享链接,点击这里! 在传统的修复模式下,如果线上的App出现Bug之后进行修复所需要的时间成本非常高,这是因为往往需要发布一个新的版本,然后将其发布到对应的应用

【天池直播】O2O大赛冠军经验分享

直播主题:O2O大赛经验分享 直播时间:2017年11月8日 周三晚 20:00 直播地址:点击查看 直播嘉宾: 黄伟鹏 天池ID和网名都是wepon, 在蚂蚁金服实习期间花名元逸,参加过多次数据挖掘比赛,在天池举办的O2O.工业4.0大数据竞赛中取得第一名.现就读于北京大学,研三. 分享内容: 1.O2O大赛经验分享 2.参赛思路及方法 有奖互动 一.最佳分享 截止到11月10日18点,在天池技术圈分享你的<商场中精确定位用户所在店铺>经验,被直播嘉宾确认为有价值文章作者,即有机会获得<

怎样在双十一买到最实惠的阿里云产品?快来看网友们的经验分享!

双十一阿里云很多优惠很多活动,到底怎么购买才是最划算的呢? 以下是网友们的经验分享: 双十一,老用户怎么优雅的[薅阿里云羊毛]!  [干货分享] 双十一狂欢,教你怎么[薅阿里云羊毛]!新用户首购专享.  [薅阿里云羊毛]双11老用户ECS续费新购方案选择  [干货分享] [薅阿里云羊毛] 续费用户能省在哪里  [薅阿里云羊毛]你居然想从阿里云薅羊毛?  [薅阿里云羊毛]免费申请阿里云 - 赛门铁克 SSL 证书!  双十一再添新活动 整点欢乐送快来[薅阿里云羊毛]  双十一快来[薅阿里云羊毛]

【天池直播】机器学习平台赛经验分享

近年来随着机器学习慢慢进入企业,越来越多的算法需要与生产环境接轨,各大数据比赛平台也开始重视平台赛项目. 本次邀请的嘉宾会分享一些算法在工业级应用上的迁移方式,以及平台赛的经验. 直播主题:机器学习平台赛经验分享 直播时间:12月14日 20:30 直播链接:点击跳转 直播嘉宾: 应缜哲 天池昵称:bird827 bird,西安交通大学硕士,大数据仓库高级工程师.熟悉机器学习算法并多次参与国内外数据竞赛,同时擅长工程算法实现及建模. 曾获得2017滴滴DiTech无人驾驶大赛冠军.2017 Da

您还在参加阿里天池吗?

大家好 ,我叫May,是华侨大学的研究生,在福建泉州厦门哈 .我的论文是关于众包竞赛平台上面的参与者的,其中一个平台就是阿里天池的参与者为例.所以打扰各位了,耽误一两分钟填一下问卷,感激不尽.您的回答将对我们的研究十分百分千分有帮助,再次感谢.问卷链接是:https://sojump.com/jq/15983779.aspx 如果您对我的研究有兴趣,欢迎随时和我联系,后期的研究我也很乐意和大家共享. 最后为了感谢大家,填完可以截图给我和我说一声(我的QQ:435312383),我会给大家发随机红

远程接口设计经验分享

远程接口设计经验分享 写在前边 分布式架构是互联网应用的基础架构,很多新人入职以来就开始负责编写和调用阿里的各种远程接口.但如同结婚一般,用对一个正确的接口就如同嫁一个正确的人一样,往往难以那么顺利的实现,或多或少大家都会在这个上边吃亏. 每年双十一系统调用复盘的时候,我都会听到以下声音 你们调我的接口报错了竟然不会自己重试? 我的返回值应该从这里取 我返回isSuccess() == true,不代表业务成功,你还需要判断ERROR_CODE 这个ERROR_CODE没说全部都要重试啊! 这个