你所未曾了解的大数据:人为力量

关于“大数据”你一定听滥了,但也没搞明白究竟是怎么回事。尽管你无时无刻不在感受到它带来的“某些”便利:

比如一周前你在某个社交网站上做面试测试题,当你面试完时才知道,那份测试题真正的意图是匹配你与团队性格的契合度有多高。又如,在十一黄金周前你接到某个购票应用推送的信息,上面提示你提前16天通过电话订火车票,要比同日在网上购票成功机率高。当你真的打过去时,发现电话预订系统正处于繁忙状态,而不得不等了2小时后再致电,才订票成功。但好过同一时刻被卡在12306网站上而付不了款。

大数据正在渗透各行各业,甚至能跟你考试能力测试、患上某种疾病的机率等非常生活化的场景应用都发生紧密的联系。今后大数据在我们的生活中就像是水和电一样,让社会整个信息质量更好、让信息利用效率更高效。

在这个系统中,数据的采样与后期分析仍需要靠人为力量去完成。

众包让数据采样更自动化

“今后人工干预会越来越不必要,至少在前端采集数据是这样。”产品经理James向腾讯科技谈到,现在很多数据的采集都来自与用户的交互行为,比如搜索、微博互动、又比如“喜欢”、“赞”、“丢掉废纸篓”这类在应用中小的设计,只要用户主动完成,在后台便可推算出数据质量。

洋葱价格的高涨起落决定了印度通货膨胀率的趋势,一家名为Premise的创业公司,每天通过700多个安装了自己开发应用的用户来实时上传各地区的不同洋葱零售价格。

该公司的联合创始人大卫-斯洛夫(David Soloff)认为,这是一种能够实时感知全球金融动态的有效渠道,因为当地商店一般都会根据经济环境的变化(其中包括批发价格和消费者信心等因素)及时调整商品售价。

“Premise所提出的分析方法已经证明,根据自己所收集的数据在部分经济环境中提前4-6周给出通胀指标预测。大家完全不必再等待此前那种每月一次的‘经济天气预报’了。”斯洛夫强调。

而对零售门店来说,货架上品牌的陈列直接决定着销量,如何让品牌在流动的顾客中一直占据较好的陈列位置,让这项工作既需要耗时耗力,也非常琐碎。

为此一家名为Quri的公司,通过开发一款名为EasyShift的应用,让用户有偿贡献时间去精力去完成这项数据的收集。用户只要领取应用下达的任务,在指定的地点拍指定场所的照片,上传到Quri的服务器上,便可领取相应微薄的报酬。

EasyShift的理念不难理解:现在大多数用户都随身携带智能手机。品牌商想要了解自己的商品在大型零售店的展示情况、评估竞争对手的动态、报告断货的产品和定价信息、监测促销和产品发布情况。EasyShift向消费者付费,让他们在购物时顺手收集这些信息。

在日本大地震中,意外地运用了某汽车品牌车载导航实时的可视化数据,打通“绿色生命通道”的项目“连接生命线”。

该项目负责人菅野熏是日本电通创意设计中心高级总监,在日本大地震前他接受了某汽车品牌的合作项目。该项目为在某路段行驶了哪一辆车,什么时间行驶,位于哪个经纬度,以多快的速度朝哪个方向行驶等,每分钟大约有十万条的动态数据都会记录在一个车载导航数据库中,菅野熏将这些数据集成一个程序内,并以日本地图的形式展现出来。

在日本发生地震时,这些导航数据都能临时派上用场。

“地震时,通讯信号都不太畅通,人们只能够通过网络确认亲人朋友是否平安,我们所面临的挑战就是如何将救援队去送往灾区。”菅野熏说道。

导航数据本来用于交通拥堵情况而搜集车辆的行驶数据。“从另一个角度来说,有车辆行驶的数据说明,道路是可通过的。”菅野熏谈到,地震后一旦有车辆行驶,就用绿色去进行标注,形成一条通行轨迹。

与此同时,团队还在Twitter上实时组织用户去发布目前全日本各地路况与路标信息,综合两类信息后,将绿色生命通道数据于地震发生20个小时后发布在网上公开下载。除了网页端外,编程人员也快速开发了移动端。在当时的危机之下,信息扩散的力度是极快的,很快在在网站和手机应用中,多条绿色的线路都逐一呈现,为救援队快速到达提供了参考。

大数据时代人工干预仍有必要

机器学习在大数据中确实占据主导作用,但真的不需要人为干预吗?例如,你已经习惯泛滥在身边网络营销,但你真的认可靠单纯的数学模型与规模数据分析的营销推荐吗?

ZestFinance是一个利用机器学习加大数据分析为 payday loan行业(发薪日贷款,类似高利贷的短期高利息借款)提供客户品质分析的平台。

与传统的分析方式不同,ZestFinance可同时运营多个模型对海量数据进行分析来判断各种可能性,再加上越来越多的数据来源和种类,然后这些信息被转化为几万个可对借贷者行为做出测量的指标,如诈骗几率、长期和短期内的信用风险和他的偿还能力。最后各模型的结果被整合成最终结果。这个平台可在几秒间为用户提供最可靠的结果。创始人Merrill 说:“我们更倾向于通过把机器学习机制和人工干预结合到一起。”

例如在医疗领域,机器学习基础上的数据分析就远远不够。“因为机器学习能推算出一定比例的概率,但无法达到精确、精准。”春雨掌上医生CTO曾柏毅向腾讯科技举例,如对于某种疾病模型的设计,是通过调取现有数据库中所有相似度90%以上提问,将问题结果分析汇总,制作疾病发生概率模型,并将每个问题医生的建议,总结出“无大碍”和“去医院“比例,为患者提供直观的数据参考。

“但这也是取一定比例的概率,是用于用户自查。可是否能精确到病人真的符合这种病症,还是需要人为分析(医生诊断),我们这些在后台的数据分析员也要去再排查、甄别数据的准确度。”上述人士谈到。

(责任编辑:蒙遗善)

时间: 2024-10-02 08:05:59

你所未曾了解的大数据:人为力量的相关文章

你所未曾了解的大数据:人工干预仍有必要

关于"大数据"你一定听滥了,但也没搞明白究竟是怎么回事.尽管你无时无刻不在感受到它带来的"某些"便利: 比如一周前你在某个社交网站上做面试测试题,当你面试完时才知道,那份测试题真正的意图是匹配你与团队性格的契合度有多高.又如,在十一黄金周前你接到某个购票应用推送的信息,上面提示你提前16天通过电话订火车票,要比同日在网上购票成功机率高.当你真的打过去时,发现电话预订系统正处于繁忙状态,而不得不等了2小时后再致电,才订票成功.但好过同一时刻被卡在12306网站上而付不

《纸牌屋》,让文化产业界意识到大数据的力量

摘要: 一部<纸牌屋>,让全世界的文化产业界都意识到了大数据的力量.<纸牌屋>的出品方兼播放平台Netflix在一季度新增超300万流媒体用户,第一季财报公布后股价狂飙26%,达到每股21 一部<纸牌屋>,让全世界的文化产业界都意识到了大数据的力量.<纸牌屋>的出品方兼播放平台Netflix在一季度新增超300万流媒体用户,第一季财报公布后股价狂飙26%,达到每股217美元,较去年8月的低谷价格累计涨幅超三倍.这一切,都源于<纸牌屋>的诞生是从3

大数据的力量来自“大成智慧”信息时代大数据的再认识

大数据已成为媒体与大众关注的新技术,大数据的应用也预示着信息时代将进入一个新阶段,但人们对大数据的认识有一个不断加深的过程.首先从"信息时代新阶段".数据文化和认识论的高度阐述了对大数据的理解:接着通过对驱动效益和大成智慧的解释,探讨了如何正确认识大数据的价值和效益,并从复杂性的角度分析了大数据研究和应用面临的挑战:最后对发展大数据应避免的误区提出几点看法. 1 大数据兴起预示"信息时代"进入新阶段 1.1 看待大数据要有历史性的眼光 信息时代是相对于农业和工业时代

车联网结合大数据的力量,催生诸多崭新商业模式

众所周知,物联网已经成为互联网创新发展的一大方向,而其中车联网.UBI(新型的车险定价和运营模式).大数据的概念也越来越火爆,备受资本和BAT巨头青睐.有相关预测显示,未来五年是车联网大数据发展的黄金增长期,汽车后市场也正因此迎来巨大变革.纵观智慧交通的内涵,各种最为关键的技术既是车联网,藉由布建在汽车或道路的大量传感器持续汇集数据,继而透过大数据分析,转化为有效信息,接着经由实时串联人.车.路三方,改善彼此互动关系,终至提高运输系统的安全.效率与舒适性. 在车联网大数据领域有七年技术经验积累的

锐捷网络:让“店商”感知“大数据”的力量

日前,第八届移动互联网国际研讨会(IMIC)在北京国际会议中心隆重举行,本次大会以"4G移动互联网时代的创新与变革"为主题,来自业内的专家学者和企业代表一同分析了4G网络技术及未来发展趋势中的热点问题.作为中国网络解决方案领导品牌,锐捷网络在"LTE时代的多样化终端分论坛"上,以"感知终端,丈量商业"为主题,展示了具备"商业智慧"的最新一代Wi-Fi解决方案,通过终端感知.云端应用.大数据分析的一体化Wi-Fi应用,将有助于商

大数据的力量

区域层面应该如何使用教育大数据实现精准管理?学校层面如何使用教育大数据实现精准教学?荆门市在推进教育信息化建设进程中交出了一份满意答卷. 日前,参加湖北省基础教育信息化应用经验交流暨工作推进会的300多名代表参观了位于荆门一中的荆门市教育评测大数据中心.在多媒体展示区,代表们倾听了荆门市教育评测大数据应用案例,观摩了义务教育办学条件及教育质量数据的采集.建模和挖掘分析过程,对我市用数据促进教育科学决策的做法称赞不已.在教学展示区,代表们深入了解了荆门一中教师使用阅卷系统进行客观题批改.生成个性化

详细解读你所不了解的“大数据”

进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新.它已经上过<纽约时报><华尔街日报>的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的证券公司等写进了投资推荐报告. 一.大数据出现的背景 进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新.它已经上过<

阿里金融日息百万:大数据的力量

阿里金融来势汹汹,今年阿里信贷业务向江浙地区普通会员放开,实现单日利息收入100万元,引发银行业震颤. 在这个年交易额过万亿元的中国最大的电子商务平台上,无担保.无抵押.纯信用的小贷模式不断刷新资金流转的速度.而阿里金融实现批量放贷的核心,正是阿里大数据. 阿里小贷的两种模式 阿里金融诞生于2010年,"如果银行不改变阿里,阿里将改变银行",马云的振臂一呼,击碎了当年的耻笑和白眼,如今不断引起金融体系地震. 阿里金融主要做小企业贷款,以日计息,随借随还,无担保无抵押.流动的资金不断为小

大数据,小数据,哪道才是你的菜?

美国著名科技历史学家梅尔文•克兰兹伯格Melvin Kranzberg曾提出过大名鼎鼎的科技六定律其中第三条定律是这样的[1]"技术是总是配"套"而来的但这个"套"有大有小Technology comes in packages, big and small". 这个定律用在当下是非常应景的.因为我们正步入一个"大数据big data"时代但对于以往的"小数据small data"我们能做到"事了