大数据科学家 听起来好听 干的是“搬砖”的活儿

  

  (原文来自The New York Times,虎嗅实习生苇岑 编译)

  “大数据”这个流行词包含了各类丰富的数码数据,从网络、感应器,到手机、电脑。用智能软件来挖掘这些数据,可以得到许多发现。它使得各领域的数据导向决策过程成为可能。这也是数据科学家成为热门职业的原因。但你知道数据科学家平时都做些什么吗?

整理数据

  事实上,数据科学家们百分之五十到八十的时间都在埋头整理无序的数据,直到它们能被用于挖掘,即所谓的“Data Mining”。这些精细而繁琐的工作,完全不像想象中那么信手拈来。这是因为我们正身处于大数据的现代蛮荒之中,数据从收集到可用,还需要某种程度的开垦。

  Timothy Weaver是德尔蒙食品公司的CIO(信息主管),他指出了大数据的“数据噪音”(data wrangling)中存在的“冰山效应”(iceberg)。人们只看到结果,却没有看到结果背后的大量劳动。

  不过,这也是一个问题与机会共生的问题。一些创业公司正在尝试通过开发自动收集、清理和管理数据的软件,来突破大数据的这种瓶颈。

  在未来,会有越来越多的数据来源能够用于揭示一家公司的运营情况。比如在食品产业,能够获取的数据有产量、产地和运输、天气、零售数据和社交网络评论。我们测量的是这些数据在情感和需求上的变化信号。结果是,我们能够比以往更加具象化地看到运营的每一个步骤,能够开始量身定制生产计划和存货。

  然而在集合不同类别数据的过程中,也会产生问题。传感器、文件、网络和传统数据库的数据存在不同的格式,必须把它们清理并转换成统一格式,才能加入算法。

人类语言

  数据格式只是一个问题,另一个挑战是人类语言的模糊性。Iodine是一家健康创业公司,它为顾客提供药品的副作用和交互作用信息。但对于相同的副作用,食品药品管理局使用的术语往往有细微差别。“困倦”,“嗜睡”和“瞌睡”同时使用。人类能够识别这些同义词,但软件算法必须通过编程才能获得这种解读能力。这种蛋疼的工作在数据项目中需要不断地重复。

  数据专家试图自动化这个过程中的每一步。“然而操作上,由于数据的复杂性,你得当好长一段时间的数据看门人,才能得到迷人的结果。” 数据科学家兼Iodine创始人Matt Mohebbi说。

  数据软件能够做到的不仅仅是节约科学家们的时间,它同时也可能成为大数据计算普及化的功臣。

  历史规律表明,一项新技术产生之初只被少数精英所掌握。然而随着时间推移,技术进步和投资增加,工具越来越强大,相关经济发展,商业运作开始适应,技术最终融入主流。在大数据时代,这条定律依然有用。

  硅谷数据科学的CTO,John Akred看到了现代数据世界发展与技术发展的相似之处。他说,“我们见证着革命的起源,它致力于使更大的人群获得解决数据问题的能力。”

  加州帕罗奥图市的一家初创企业ClearStory Data致力于开发识别、集合各种数据资源并通过表格和图表、数据地图来可视化结果的软件。它的目标就是通过软件来开发更大的用户市场。

  一个可视化报告通常包括六到八个数据源。比如一个提供给零售商的报告,可能包括扫描的销售点数据、天气预报、网站浏览量、竞争对手的定价数据、智能手机软件访问量和停车场车流量的视频监控。而这些数据如果手动整理,请多少人手也不一定够。

  算法仍旧没有替代手工劳动

  尽管如此,数据科学家们强调,手工劳动在数据准备中仍是必不可少的。“开始的时候你为了一个特定目标准备数据,但没过多久就发现了一些新东西,你的目标也会随之改变。”哥伦比亚新闻研究生院的一位数据科学家Cathy O’Neil说。

  但毫无疑问的是,在减轻数据统计压力方面,科学家们需要好好磨一磨他们的刀剑了。毕竟,工欲善其事,必先利其器嘛。

时间: 2024-11-10 07:30:48

大数据科学家 听起来好听 干的是“搬砖”的活儿的相关文章

大数据科学家,听起来好听,干的是搬砖的活儿

"大数据"这个流行词包含了各类丰富的数码数据,从网络.感应器,到手机.电脑.用智能软件来挖掘这些数据,可以得到许多发现.它使得各领域的数据导向决策过程成为可能.这也是数据科学家成为热门职业的原因.但你知道数据科学家平时都做些什么吗? 整理数据 事实上,数据科学家们百分之五十到八十的时间都在埋头整理无序的数据,直到它们能被用于挖掘,即所谓的"Data Mining".这些精细而繁琐的工作,完全不像想象中那么信手拈来.这是因为我们正身处于大数据的现代蛮荒之中,数据从收集

大数据科学家可不是那么好当的,五项专业特质你有吗?

大数据科学家有多牛?让我们从有史以来市值最高的科技公司苹果看起.为抢大数据科学家,苹果开出美金16万到20万(约合台币400万到600万)的年薪,以及任何你想得到的好福利:美味员工餐.健身中心.教育津贴甚至冻卵补助,但苹果不是唯一一个需要数据科学家的公司,打开领英(LinkedIn).上面至少有5万3千个数据科学家的职缺,而这还只是美国的统计数字. 美国专业招聘公司罗致恒富(Robert Halt)公布的<2015薪资指南>把大数据工程师列为今年薪资涨幅最大的六大行业之一,预计薪资年成长率9.

网络课堂毕业生速成大数据科学家

很多企业都纷纷开始关注大数据和数据分析,但是人才难寻啊!事实上,要把一个编程新人训练成一个能力卓越的数据科学家是一件很简单的事,只需要几台云计算服务器,然后再跟数据专家在网上学上几周机器学习就可以了. 最著名的数据科学家培养案例要数"企业预测解决方案平台"Kaggle上最近的一次大奖得主Carter S.这名Kaggle用户利用简单但是效率非常高的方法开发出了一款"过度杀伤型"分析工具来预测保险行业的风险. 这是一款让人感到惊奇的工具,Carter将自己在网络课堂上

3400位造型师,80位大数据科学家,这家美国女装公司这么做个性化定制

Stitch Fix有一支由80位数据科学家以及3400名造型师组成的团队,从合作的200多个服饰品牌中进行挑选和匹配,为顾客设计"私人穿搭".在Stitch Fix上,100%的购买行为都是通过推荐完成的,甚至所有的退货行为都被当做有价值的数据,让Stitch Fix的造型师们以此获得顾客的负面反馈,从而更好地调整造型风格或者商品描述. 作为硅谷极少数的女性CEO之一, Katrina Lake创建Stitch Fix之初,定位的受众就是那些和她一样忙于工作的女性.在不到六年的时间里

惠普:应把大数据科学家作为一种共享资源

大数据目前已经成为每一家企业级技术供应商摆在战略优先仪表板上的重要对象,但对于很多负责渠道销售工作的公司来说,召集拥有此类知识储备并能够处理复杂项目的人才在成本上太过高昂.甚至根本无法实现. 这类由具体实践领域所带来的投资难题早在过去就一直存在,惠普公司企业部门全球间接销售事务高级副总裁Sue Barsamian表示,她正努力帮助那些对分析有兴趣的用户找到适合自己的实现途径. "在某些时候,"她在接受采访时指出,"合作伙伴们确实需要一位数据科学家为其提出指导性意见.数据科学家

2015年50亿资金投进大数据,大数据创业公司都用来干嘛了?

2015年即将过去,大数据逐渐落地并不断诞生出各种商业模式.都说资本市场上半年火热,下半年寒冬,但对大数据行业来说,这句话并不成立,大数据的资本市场一直在升温.数据客分析了2015年获得融资的大数据创业公司,和大家一起回顾这一年来中国大数据创业公司的融资情况. 数据分析为主流,基础技术还不够 我们通过搜索网络公开资料,整理出51家(有两家公司今年融资两次)2015年在国内融资的大数据创业公司,总融资金额超过50亿人民币. 这50亿都投到哪些领域了呢?我们把这些大数据创业公司分为三类:数据资源.数

【干货】大数据创新驱动智慧民生

我简单介绍一下自己,我是清华硕士,在美国芝加哥大学读博士,后来在美国微软公司工作几年,主要做广告大数据平台.2012年和我们中心的林辉主任一起创立清华大学苏研院大数据处理中心,主要做央企,国家部委大型中央数据统计,后来做用户端行业大数据. 先讲一下大数据爆发原因.实际上数据的问题,包括大数据问题,是一直存在的.为什么最近大数据才在全球非常火爆? 这里面我们总结有好几个方面的原因. 第一是数据源种类和数量和整个容量在越来越大.现在,我们讲到的像互联网的数据非常大,每天像FACEBOOK,谷歌可能产

别被忽悠了, 6个问题揭露谁是大数据伪砖家

生火这一技术的由来在过去的一百万年间都很有趣,但是黑夜的结束,冬季的温暖以及炖出来的第一罐汤才真正改变了一切东西!我最近读了一些"大数据"方面的文章,发现了这个最新的科技泡沫中迷惑但是完全可预测的趋势.由于大数据很热门.时髦.并且性感,表面上看很有趣.每个人都加入进来,跃跃欲试,好像他们是专家一样.如果这让你开始觉得像是知识分子在Facebook上关于国际政治的演讲一样,这绝非意外.在大数据的讨论中掺杂的专业知识和经验,与Facebook上关于政治的空话一样.我想我可能会帮你判断自己的

名家定义大数据:啤酒与尿布

信息爆炸时代,大数据统计降临到商业.经济.政治等领域,成为备受推崇的决策工具.大数据成为一场基于时代发展的IT洞察,是基于人类生产生活所带来的数据和人机.机器与机器之间更紧密通讯带来的数据聚合.甚至有人说:得大数据者得天下. 但是,大数据到底离我们有多远,是不是只有决策者才需要大数据,或者说大数据只是为决策者服务的?答案显然是否定的,在这个大数据时代,我们每个人都是大数据的创造者,每个人也都是大数据分析福利的享用者. 随着互联网+,工业4.0等概念的提出,我们更要认清,国家正在加大力度让传统政府