我不告诉你,我们是这样“玩”数据的!

数年前,“大数据”还是一个很潮的词,仅仅停留在概念阶段。可如今,“大数据”已经深入到了各行各业,要是不和大数据沾点儿边,都不好意思出门。大数据如火如荼的今天,如何恰如其分的展现这些数据的价值成了摆在众多开发者面前的一道难题。

传统的数据,只是经过简单的整理,以文字、列表的形式来展示,这种展示方式,信息量少,内在的关系不明显,在数据量少的情况下,还勉强可用。在现在社会,数据的量级跟以前不可同日而语,动辄百万千万量级的数据,用传统的列表展示显然已经不再合适,用户更关心的是这些数据中内在的联系,蕴含的规律。这就要求我们去探索一种全新的数据展示方式,以简洁明了的形式,展示用户关心的信息。

以农业大数据中的全国各地农贸市场中各个农产品零售价数据为例,传统数据关心的是某个时间点某地某种农产品的价格,如(图1),这些数据仅仅是一些微观的、零散的、看起来毫无规律的价格数据,密密麻麻的的数据堆放在一起,拉不到头的滚动条,看着就让人眼晕,不知道你看到这样的表格会怎么,反正我的密集恐惧病是犯了,苍天啊,谁能救救我啊。在大数据应用场景中,我们可能更关心一段时间某种农产品的价格走势及未来一段时间的价格预测等宏观数据。这就需要在海量数据中进行建模,查找出数据间的规律。通过地图来展示区域间价格的差别,如(图2),通过折线图来展示价格走势及价格指数,如(图3),行政部门可以提前做价格预警,指导农民合理种植农作物,解决农民和市场信息不对等的问题,避免资源的浪费。这样形象的图表,可以让人更容易理解数据所表达的含义,做到一目了然,简单易懂。

(图1)

(图2)

(图3)

大数据之间还可以“联姻”。影响事物发展的原因不可能是单一的,往往是各方各面相互作用的结果,几个相关方面的大数据结合在一起,通过建模,分析之间的相关性,找出之间的因果关系,可以提高模型的准确性,减小模型的误差,放大数据的价值。

目前,社交媒体、移动互联网、大数据分析、云计算、物联网等不再是孤立存在的,而是一个相互融合的应用和发展。在数字经济迅速崛起的趋势下,这种融合使得今天的IT行业不再像过去那样只是提供简单的服务,而是通过技术的不断发展与创新,以及在行业中的不断渗透,为客户创造更多价值。数据融合使行业间的界限变得越来越模糊,新技术、新模式不断涌现,推动了一批新型企业的出现,大放异彩。大数据可视化技术的发展与融合,在催生出一些新的行业与领域的同时,也给更多的传统行业带来了新生机。各种行业云的应用落地以及智慧城市、智慧金融、智慧医疗、智慧商务、智慧农业等一系列智慧产业的迅速崛起,也为更多的技术企业带来了新的发展机遇。

以旅游大数据和天气大数据为例,通过分析天气对旅游客流量的影响,构建客流量数据模型,输入未来一段时间的天气,可以预测未来一段时间客流量大小,做好宏观把控,衣食住行各方面提前做好应急准备。

(图4)

大数据可视化,可以让数据从冷冰冰的数字、文字转变为有温度,有热度的场景,让数据发光发热,生机勃勃,甚至有些俏皮好玩。九次方大数据可视化部门,现在有一套完整的开发流程,积累了大量的可视化图表,在多个项目中成功使用了大数据可视化技术,取得了良好的社会效益,降低了数据使用的门槛。让数据更好的为大众服务,最大的释放数据的价值,赋予数据生命,这是我们的理想,也是我们的使命。

本文作者:任新杰

来源:51CTO

时间: 2024-09-02 04:18:44

我不告诉你,我们是这样“玩”数据的!的相关文章

设计师如何玩数据

2017年2月22日云栖TechDay29期,阿里云交互设计师.用户体验研究专员行休/雩烜和大家一起谈谈设计师如何玩数据.本文主要从为什么要做MERIDIAN开始讲起,接下来分析了面对云产品售卖过程中设计师的复杂思考,包括核心算法的改变等,接着还介绍了微观力量,并解释了 Markov Chain Model,最后畅想了售卖线的诗和远方.   以下是精彩内容整理: 当面对一个复杂系统的设计挑战时,设计师除了利用自己的理性逻辑和感性同理来抽丝剥茧,还能如何利用千千万万用户的真实数据来辅助自己的决策?

在Twitter“玩”数据科学是怎样一种体验

◆ ◆ ◆ 引子  2015年6月17日是我在Twitter工作两周年的纪念日.回想起来,两年间,数据科学在Twitter的应用方式和范围发生了很大变化: 许多Twitter的非机器学习主导的核心产品中,机器学习的比重正在不断增加(例如"While you were away" 功能--Twitter把你下线时可能错过的头条推文推送到你的个人首页). 工具的智能化上,Pig已经过时了,现在的数据流水线都是用Scalding(建立在串联之上的Scala领域特定语言,便于详细描述Hadoo

不当漂亮花瓶:Word也能玩数据计算

平时,当我们需要编排出漂亮的报告.论文.信函.小册子等文档的时候, 首先会想到Word,而一旦涉及到http://www.aliyun.com/zixun/aggregation/14206.html">数据计算.汇总统计等问题时,专业电子表格软件Excel则成了 首选. 其实,Word可不是那种四肢发达.头脑简单的排版"花瓶",数据运算同样难不倒它.当你既想获得漂亮的版面设计,又需要实现一些数据运算的时候,不妨用"美貌与智慧并重"的Word来试试.

一份语言选择指南带你玩数据科学,选出你心中支持的语言

更多深度文章,请关注:https://yq.aliyun.com/cloud 随着大数据时代的到来,网络每天会产生大量的数据,一些行业会对这些数据进行分析并协助企业不断地发展新业务.创建运营模式等,比如电子商务.推荐系统等.那么谁对这些大数据进行分析呢?对应的工作领域是数据科学(Data Science),该领域需要结合先进的统计知识.定量分析能力和编程能力.涉及到编程,大家都会面临一个问题,有太多的编程语言可供选择,那么哪些编程语言适合数据科学领域呢?虽然没有正确答案,但想成为一名成功的数据科

对创业公司的忠告:这么玩数据才不会死

Matthew Coffman 首先,我们需要明确一个概念:什么是数据科学家? 一般的定义是:能够采用科学方法.运用数据挖掘工具对复杂多量的信息进行数字化重现与认识,并能从中找出新的数据洞察的工程师或专家.这里,从实际工程的角度,来自知名信息聚合平台 Slack 的首席数据工程师 Josh Wills 对数据科学家下了这样一个更精辟的定义:软件工程师里统计学最好的,统计学家里编程能力最强的那些人,就是数据科学家. 下面进入正题,作为一个初创公司的项目主管,怎样才能更好地应对数据科学挑战呢,有如下

打雷能玩电脑吗

打雷了该怎么办? 1.遇到打雷的时候,我们在玩电脑的话,应该马上关闭电脑,并且把电源插头拔掉,把网线也拔了最安全. 2.即使电脑没有开着,也应该检查一下电脑的电源插头是不是拔了,然后再把网线拔掉,这样就彻底安全了. 问题解答: 可以很负责任的告诉您,打雷不能玩电脑,即使不一定会烧坏电脑,但是肯定对电脑只有坏处,没有一丁点的好处.打雷时有4种可能发生的情况. 1.最衰: 打雷时,被雷顺着电线和网线信号劈死.等着收尸吧. 2.比较衰: 打雷时没被雷劈死,但是网可能一时上不了,并且屏幕会黑屏大约1秒钟

大数据处理:教你玩转千万级别的数据

文章讲的是大数据处理:教你玩转千万级别的数据,大数据处理是一个头疼的问题,特别当达不到专业DBA的技术水准时,对一些数据库方面的问题感到无赖.所以还是有必要了解一些数据库方面的技巧,当然,每个人都有自己的数据库方面的技巧,只是八仙过海,所用的武功不同而已.我把我最常用的几种方式总结来与大家分享. 方法1:采用表分区技术. 第一次听说表分区,是以前的一个oracle培训.oracle既然有表分区,就想到mssql是否有表的分区,当时我回家就google了一把,资料还是有的,在这我儿只是再作一次推广

阿里“玩”大数据

中国经济和信息化2013年第8期 当大数据开启一个时代时,拥有海量交易数据的阿里巴巴,已经认识到这是一座富矿,并开始摸着石头过河. ◎本刊记者 崔婧 | 文 500多年前哥伦布做环球航行时,最想得到的就是航海地图,要不然他不会把美洲大陆当成印度. 当大数据开启一个时代时,阿里巴巴集团(下称阿里)从海量交易数据中挖掘有价值的数据,犹如在大海中航行,马云的鸿鹄之志也是那张航海地图.只是哥伦布的目的地是印度,马云的目标是大数据. 马云宣称平台.金融和数据是阿里未来的三大战略方向.其实,"阿里未来本质上

职业玩拍学生居多

经常在淘宝上购物的网友们,对"淘宝差评师"和"淘宝刷钻商"两种职业一定不陌生.作为延伸职业,这两者给淘宝购物带来了许多不良的影响.无独有偶,这里要讲的"玩拍师"同样发生在电商行业. 笔者的朋友提供了这样一条线索:在全国最大的竞拍网站玩拍网,存在着一群以竞拍为职业的"玩拍师",这些人或三五成群,或团队作战,通过超低价"垄断"玩拍网的竞拍商品,再将之转手,赚取利润.其中有些用户甚至月入过万.为弄清其真实性,记者