这才是真正的物流大数据挖掘思路!

物流大数据,都是哪些数据?

物流大数据主要包括运单信息的数据和车辆信息的数据,然而关于运单信息往往涉及商业机密,并且信息分布于不同行业企业内部,不宜公开。因此当前现实的数据条件来看,实业界和学术界的物流大数据主要是关于货运车辆信息的数据。其中包括:车辆id信息,驾驶员信息,车辆行驶轨迹坐标信息,车辆停车信息,车辆速度信息,车辆里程信息,车辆温度信息,车辆油耗信息,车辆其他状态信息等。轨迹数据挖掘来源通常是终端设备上产生的位置记录,然后位置信息传回数据中心以日志文件形式存放,如下表:

通过定位技术采集到的原始轨迹数据只是一系列的经纬度、时间、速度等信息,通过这些信息无法直接得到物流货运车的活动行为的特征信息,例如运送货物的起始点、途经哪些城市信息,以及更深层次的活动规律等。这些原始的北斗/GPS 数据必须经过一系列的处理步骤,才能获取到物流货运车的送货规律等特征信息。

这些数据都有哪些特点?

想要从海量数据中分析获取到有价值的知识信息,首先要了解物流货运车辆轨迹数据的特征。

数据海量性:物流车辆一般以10秒到30秒的间隔向数据中心发送当前位置信息,这些移动在全国各地路网中的物流车辆每天生成的北斗/GPS 数据都达到了GB甚至TB规模,并且还在不断增长中。这既是发展数据挖掘的驱动力,同时也是数据挖掘面临的难题。

数据稀疏性:虽然轨迹数据规模庞大,但由于地理因素、天气因素、设备故障等原因,并不能保证每一个路段都有完整的北斗、GPS信息,甚至有些错误的北斗/GPS数据。

数据复杂性:物流车辆在实际行驶过程中受各方面主客观因素影响,难以简单通过某个模型或者理论来进行评估和预测。其中包括,每个司机都有自己的驾驶习惯,即使同一个司机在驾驶过程中也会针对不同客观条件改变自己的驾驶行为,这些人为的改变无疑增加了轨迹数据挖掘的不确定性和复杂性。

数据丰富性:在海量的轨迹数据背后隐藏着全国实时路况信息、物流运输状态信息和我国不同区域经济发展水平以及供需关系的变化。对于我国道路基础建设、交通路径规划、物流车辆调度、经济指标预测等方面有着积极意义。

准备如何挖掘这些数据?

轨迹数据挖掘,是指从大量轨迹数据的集合 C 中发现隐含模式m 和知识 n 的结果 S。因此,轨迹数据挖掘的过程可以看作为一个函数:£ : C→S(m, n),输入是轨迹数据,输出是隐含模式 m 和知识 n。通过使用某些技术、理论,从大量的轨迹数据提取模式、发现庞大知识的一个过程。

轨迹数据挖掘发现的知识类型和所使用的方法密切相关,所发现的知识的价值受到数据挖掘算法的影响,目前常用的轨迹数据挖掘技术有规则归纳、概念簇集、关联发现等。目前的轨迹数据挖掘研究工作中主要为轨迹聚类、轨迹分类、离群点检测、兴趣区域、隐私保护、位置推荐等方面。

物流数据挖掘做什么用?

物流车辆的海量大数据中包含着许多关于交通路况、车辆运行甚至社会经济发展动态的信息。通过统计分析车辆行驶距离、停车时间、地理位置、车辆特征等多个维度的信息可以发现货运车辆的行为特征、区域物流的流量分布等,为物流公司提供基于时间、成本、路线等车辆调度的应用服务提供了可靠的理论依据和技术支持,同时也可以为政府提供物流运价指数、货运效率指数等优先经济指标。

本文作者:佚名

来源:51CTO

时间: 2024-09-17 04:26:15

这才是真正的物流大数据挖掘思路!的相关文章

一小时了解数据挖掘③:详解大数据挖掘の分类技术

接上2篇:一小时了解数据挖掘①:解析常见的大数据应用案例   一小时了解数据挖掘②:分类算法的应用和成熟案例解析 数据挖掘分类技术 从分类问题的提出至今,已经衍生出了很多具体的分类技术.下面主要简单介绍四种最常用的分类技术,不过因为原理和具体的算法实现及优化不是本书的重点,所以我们尽量用应用人员能够理解的语言来表述这些技术. 在我们学习这些算法之前必须要清楚一点,分类算法不会百分百准确.每个算法在测试集上的运行都会有一个准确率的指标.用不同的算法做成的分类器(Classifier)在不同的数据集

深入浅出:如何从0开始学习大数据挖掘分析?

最近有很多人咨询,想学习大数据,但不知道怎么入手,从哪里开始学习,需要学习哪些东西?对于一个初学者,学习大数据挖掘分析的思路逻辑是什么?本文就梳理了如何从0开始学习大数据挖掘分析,学习的步骤思路,可以给大家一个学习的建议. 很多人认为数据挖掘需要掌握复杂高深的算法,需要掌握技术开发,才能把数据挖掘分析做好,实际上并非这样.如果钻入复杂算法和技术开发,只能让你走火入魔,越走越费劲,并且效果不大.在公司实际工作中,最好的大数据挖掘工程师一定是最熟悉和理解业务的人.对于大数据挖掘的学习心得,作者认为学

安防大数据挖掘的利刃:模式识别和深度学习技术

人工智能的概念提出已经很多年,但最近一次大热是在"人机大战"战胜世界围棋高手李世石的Alpha Go.同样,近几年安防行业热门的深度学习和模式识别的概念也频频出现在公众的视野当中,那么它们是如何应用在安防领域中?目前最前沿的应用又有哪些?以下将为您一一解答. 安防大数据挖掘 平安城市从2010年在全国推广至今已经6年,目前各地平安城市建设即将进入扩容改建期,需要更加综合与智能的整体解决方案.公共安防已不再局限于扩张视频监控覆盖广度和密度以及清晰度,而是由扩密度的传统安防时代向注重视频大

大数据挖掘价值在哪里?

伴随着中国经济的迅速增长,大数据成为引领中国经济社会变革的关键,"互联网+""中国制造2025""一带一路"与"大数据"一脉相承,催生着中国产业结构与商业模式的变化. 一.互联网+ 所谓"互联网+",是指以互联网为主的一整套信息技术(包括移动互联网.云计算.大数据.物联网等配套技术)在经济.社会生活各部门的传播.应用,并不断促使数据流动释放价值的过程. "互联网+"之生产要素构成,数据资

利用大数据挖掘商机 三项铁规则需遵守

在日本除了诸如人力资源巨头Recruit和花王.H.I.S(大型综合旅行代理店).DeNA(移动互联网公司)以及三菱重工等大企业,包括一些地方的中坚企业和一般中小企业也不甘落后,纷纷开始利用大数据创造商机.可以肯定,在大数据的竞争时代,很多企业将竞相利用大数据,进入新的商务领域,创造出对手无法效仿的商务模式. 但是,如果只是漫无目的地收集大量的数据进行分析,也不可能发现宝藏.必须具有明确的目标和行动,才能够从大数据发现其商业价值. 一.利用大数据挖掘商机 拥有近300年历史的日本京都宇治茶老铺-

大数据挖掘在用友统一营销平台中的应用思考

用友的统一营销平台设计中,客户应该是最核心的,有客户才有一切.把大数据分析应用在客户管理上,会极大的提高效率.降低销售成本 目前,关于营销中客户客户应用的数据挖掘技术和方法的研究有很多,不同行业.不同环境下企业应用差异很大,应用到的具体数据挖掘技术和方法也会不同.数据挖掘技术和方法层出不穷,在这里也难以涵盖全部的技术和方法.虽然,不同的CRM应用到的数据挖掘技术很多,也很复杂.但是客户管理应用数据挖掘的目的主要在于以下四个方面:客户细分.获取新客户.提升客户价值和保持客户以防止流失等方面: 一.

大数据挖掘中的三种角色

我对数据挖掘和机器学习是新手,从去年7月份在Amazon才开始接触,而且还是因为工作需要被动接触的,以前都没有接触过,做的是需求预测机器学习相关的.后来,到了淘宝后,自己凭兴趣主动地做了几个月的和用户地址相关数据挖掘上的工作,有一些浅薄的心得.不管怎么样,欢迎指教和讨论. 另外,注明一下,这篇文章的标题模仿了一个美剧<权力的游戏:冰与火之歌>.在数据的世界里,我们看到了很多很牛,很强大也很有趣的案例.但是,数据就像一个王座一样,像征着一种权力和征服,但登上去的路途一样令人胆颤. 大数据挖掘中的

大数据挖掘带动的变迁

自大数据进入了人们的视线之后,它便逐渐成为人们普遍关注的焦点.大数据讲的是pb时代的科学,本质上大数据的挑战是pb时代的对科学的挑战,更是对包括数据挖掘在内的认知科学的挑战.那么,大数据时代怎么做数据挖掘呢? 在现今时代人们通常所说的大数据主要包括三个来源:第一是自然界大数据,也就是地球上的自然环境,很大很大.第二是生命大数据.第三也是最重要的,则是人们关心的社交大数据.这些数据普遍存在于人们的手机.电脑等设备中.今天一个报告在3分钟之内就可能被全世界的人们所知道. 奥巴马就职的社交场所,这么多

大数据挖掘,走精细化运作路线

2013年1月15日马云宣布,将于2013年5月10日起卸任CEO职务.近两个月的外界对阿里各种猜想,对于阿里未来的接任者和业务重心,更是众说纷纭.正当大家都以为未来人选是彭蕾之时,马云却在3月11日突然宣布陆兆禧出任阿里巴巴CEO,而彭蕾则出任阿里小微金融服务集团CEO. 一石激起千层浪,外界对于马云此举着实吃惊不小.在不久之前,阿里推出一系列被外界解读为染指银行的小额贷款.开放信用支付.成立融资性担保公司的金融业务.大家都以为身为支付宝CEO的彭蕾必然会成为阿里新的继任者,而金融银行业务也将