Airbnb中的数据科学家团队做什么?

5年前 我加入Airbnb成为了一名数据科学家。那个时候,只有很少的人知道这家公司,而整个公司只有7个人。

把我招进来是我们创始人特别具有前瞻性的行为,大数据的热潮决定了数据是有竞争优势的,但这一般是公司到成熟期才会重视的部分。当时Airbnb希望可以快速发展,而我被这个公司的文化所吸引,即使那时候只有很少的数据,我也开始承担起数据相关工作。

硅谷的早期创业公司有着浪漫的特质:行动迅速、只做出基础决策,任何好的想法都有可能成功,我非常认同这些。

回到那时候,当我们对商业上开创性的业务还知之甚少的时候,数据基础设施的建设是快速稳定实施的。公司这么小,每个人都是一个决策循环。数据团队,也就是我,可以有自己的衡量标准和方法。

但当5年后Airbnb达到43000%的增长之后,事情变的有点复杂。我们利用数据的方式更加复杂,而且现在数据成倍增长。所以我认为是时候写下这篇文章,回顾我们的数据团队是如何伴随着公司的成长。

围绕如何连接数据科学与其他业务功能,我把它分为三个概念:我们如何定义数据科学,如何用它来做商业决策,以及如何通过它扩展到Airbnb的各方面。我不敢说我们的解决方案都完美的,但我们对每天的工作都保持兴奋。

数据不是数字,而是用户

数据科学团队建立的基础是数据在组织中的文化和观念,所以定义我们如何看待数据的先决条件就是数据在商业中的功能。

过去数据被认为是冰冷的数字,纯粹被看做是一个测量工具,根据要求提供统计数字。因此我们往往会被要求提供一些事实数据,例如:我们在巴黎有多少房源?在意大利排名前10的目的地是哪里?

回答这些问题和测量效果肯定是工作的一部分,但是在Airbnb有更加人性化的数据特征,这就是我们用户的声音。在网站上一个动作或者事件的记录,在大多数情况下反映了一个人做出的决定,如果你能找出做出这个决定之前用户的行为,这是用户在用间接的方式告诉你他们喜欢什么,不喜欢什么。

这种反馈可以帮助我们做社区发展的决策、产品开发以及资源的调配,但是前提是你要能够破译它。因此数据科学是一种解释,我们必须把用户的声音转换成更适合决策的语言。

在Airbnb,倾听客人和主人的声音是我们的企业文化。早期的时候我们团队去拜访社区成员,了解如何让我们的产品更好地满足他们的需求,现在依然是这样,只是用户规模不断扩大,我们和大家的链接无处不在。

所以数据成为我们的盟友。我们用统计数据来了解个人的经验,汇总这些经验,以确定整个社会的发展趋势,这些趋势告知我们该从哪来来驱动业务决策。随着时间的推移,我们其他部门的同事们认识到,数据团队代表的是所有用户的声音,这让数据科学在Airbnb的结构中占据重要的地位。

良好的伙伴关系与统计数据收集

一个好的数据科学家能发现谁在使用我们的产品,了解他们的需求。但是如果他们独自在森林里没有人来发现他们的洞察力,那他又有什么施展空间呢?

当一个决策者并不懂数据的作用时,他们就不会参与,当他们不参与时,数据的价值就会损失。我们希望的解决方案是链接数据科学家和决策者,在Airbnb跨职能协作是很正常的,关于在公司中数据科学团队的架构是集中式还是嵌入式的,已经有很多争论。

我们开始是集中式的,团队中提供互相学习的机会,保持一致的工作指标。但是我们在商业决策中发现我们数据团队不能孤立起来,因为其他同事不明白如何和我们互动,其他人对我们没有完全的理解。随着时间的推移,我们被看成一种资源,被要求提供数据,而没有能够主动思考未来的机会。所以我们决定用嵌入式的安排,我们仍然遵循集中的管理,但是我们打破了自己的小组,让数据团队的伙伴更直接同工程师、设计师、产品经理、营销人员等等沟通。

这样做增加了整个公司的数据利用率,也使数据科学家成为积极的合作伙伴,嵌入式的安排让我们成为一个核心可以帮助公司各方面互相学习。

决策由用户需求驱动

在一个团队中,需要解决的问题之一就是如何利用用户的声音来进行业务决策。通过与公司各方面合作,我们已经听到如何将数据整合到一个项目中的一些观点。有些人希望首先了解他们面临的问题,另一些人会先浏览数据然后进行规划,但这些人往往更侧重于用直觉驱动决策营销。

这两者观点都是ok的,但是在一个项目的生命周期中,数据在不同的阶段有着不同的作用。

我们确定了决策过程的四个阶段中,数据会在其中有什么影响:

  • 首先了解问题的背景,建立一个完整的计划简介。这更多是一个探索性的过程。
  • 简要理解计划,包括区分主次以及假设我们可以达到的结果。预测分析在这个阶段更为重要,当我们做出一个决定,是基于我们希望可以产生最大的影响。
  • 计划进行中时,我们要做一个控制实验。A/B 测试是最常用的,但我们的业务在各方面的合作可以让我们有更多的实验机会,以市场为基础的测试以及传统的网络环境的测试。
  • 最后我们测量实验的结果,确定结果的影响。如果成功,我们就从社区中推广出去,如果不成功我们就回到最初来重复这个过程。

有时候这个过程是简单的,但是更多时候我们需要挨个步骤来论证,确保这个决策对Airbnb的每一个用户都是有效的。最终我们将用这种方式来解决用户的需求。

民主化的数据科学

当一个数据科学家可以有足够精力和他人沟通时,可以产生一个良好的循环,但现实是一个公司的规模和速度将超过数据团队的成长速度。这在2011年尤为明显,因为Airbnb开始快速发展,年初我们还是一个在旧金山的小公司,我们三个数据科学家就可以有效地和大家合作,但是6个月之后我们开了10多个国际办事处,同时扩大了产品、营销和客户支持团队。

突然我们和每一位员工直接沟通的能力就消失了。正如它无法满足社区的每一个新成员,它是现在也不可能满足与每一位员工的工作,我们需要找到一种方式民主化工作扩大我们同其他同事甚至是整个社区的联系。

这里有一些的例子,我们是如何走近每一层的规模:

  1. 个人互动:这对于数据科学家快速的行动非常有效。在数据基础设施上的投资是重要的,这可以保证有更快更可靠的技术来传输数据。
  2. 授权团队:把报告和基本数据探索从数据科学家的工作中剥离开,让他们可以集中于更有效的工作,例如利用仪表板等工具。我们还开发了一个强大的和直观的数据仓库工具,来帮助人们查询作者。
  3. 除了个人的团队,我们更多思考数据文化在公司整体中的作用:我们告诉员工我们是如何思考Airbnb的生态系统,如何使用工具,(如Airpal),消除数据的壁垒,激发他们的好奇心,告诉他们每个人如何可以更好地利用数据。类似的行为有助于改变他们把统计当做是临时请求的思想,可以解放我们。
  4. 扩展数据团队:扩展数据科学团队并不容易,但这是可能的。特别是如果每个人都认为这不仅仅是必须的,而是一个公司的重要组成部分。

五年来,我们已经学到了很多东西。改善了如何利用我们收集的数据,如何与决策者互动,以及我们如何在公司进行民主化。但到什么程度了这些工作才算是成功的呢?

测量一个数据科学团队的影响是困难的,但一个信号是,现在大家一致认为数据需要由技术和非技术人员一起决定。我们的团队成员在决策过程中被视为合作伙伴,而不仅仅是统计采集。

另一个原因是,我们越来越有能力提炼我们工作的因果影响。这一直是比较棘手的,因为发现生活中的生态系统是复杂的,有多种因素的影响,例如网络效应,季节性强,交易频繁,但这些挑战,使工作更加精彩。在过去的几年中,我觉得我们仍然只是皮毛,还有巨大的潜力。

我们正处在一个爆发点,我们的基础设施稳定,工具有效,而且数据仓库干净可靠,我们已经准备好去解决那些令人兴奋的新问题。目前我们期待着从批量实时处理,到开发一种更强大的异常检测系统,加深我们对网络效应的理解,并提高我们个性化的匹配

但是,这些想法仅仅是个开始。数据是客户对我们的期望和声音,而无论我们以后做什么,都将由这些声音驱动。

原文发布时间为:2015-07-07

时间: 2024-09-21 05:25:40

Airbnb中的数据科学家团队做什么?的相关文章

c#-zedgraph 从数据库中获取数据 画图怎么做啊

问题描述 zedgraph 从数据库中获取数据 画图怎么做啊 在网上找的 也不知道对不对 但是不知道往下怎么做了 string sql = "select LOW_STAGE from POINT_STAGE where NAME = " + Didian ; DataSet ds = new DataSet(); SqlDataAdapter da = new SqlDataAdapter(sql, conn); da.Fill(ds, "POINT_STAGE"

Teradata专业服务:打造行业企业的“数据科学家”

随着如火如荼的大数据分析一起成长起来的,是千金难求的"数据科学家".Teradata专业服务团队的愿景就是成为帮助企业建起"数据科学家"团队. 计算与存储资源价格的持续降低,NewSQL.NoSQL数据库技术的持续演进,Hadoop等通用服务器平台上分布式处理系统的火爆,使得对庞大的非结构化数据进行统计处理的工作比以往更快速且更廉价.但是数据本身并没有价值,只有通过工具与分析,从数据中找到关联关系,并通过易于沟通和呈现的方式传达给管理者,最终才能实现业务的增值.这个

Airbnb数据科学团队进化论:如何由内而外实现数据驱动

虽然团队组织结构的演化允许数据科学家团队繁荣兴旺,但是公司的成功源于"精准定位"于两件事:发自肺腑地关爱员工,积极主动的数据驱动决策.不论是开发可持续利用的开源工具还是奋力改进数据科学部门的多样性,Airbnb数据科学团队负责人Alok很清楚,Airbnb追求的事都要贯彻这两个原则. ◆ ◆ ◆ 超级增长:短短几年,从5到70+数据科学家 在2013年,Airbnb只有一个5人数据科学团队,集中地为公司的数据需求提供服务.此后,他们成长为最大的.也是最有创意的创业团队之一,拥有超过70

国内不缺数据挖掘人才,但很难找到数据科学家

摘要: 为了迎接即将到来的大数据时代,各大互联网公司都在争分夺秒.阿里巴巴在公布大数据分享平台之后的半年中,也全面启动了攻势.但即使是这个行业的先行者,离大数据时代也还有 "为了迎接即将到来的大数据时代,各大互联网公司都在争分夺秒.阿里巴巴在公布大数据分享平台之后的半年中,也全面启动了攻势.但即使是这个行业的先行者,离大数据时代也还有不小的距离." 刚刚过去的2012年,秦予有个很大的遗憾,就是没能招聘到自己想要的数据科学家,浪费了公司给的招人名额.他是支付宝用户价值创新中心的负责人.

LinkedIn首席数据科学家谈数据分析

本文讲的是LinkedIn首席数据科学家谈数据分析,在互联网企业中,LinkedIn是一家出了名的"慢公司",但LinkedIn也是最成功的社交网络,用户品质.广告价值都是行业翘楚,秘密在于LinkedIn有一个高效的数据科学家团队. 作为社交网络,LinkedIn并不是最大的,也不是生长最快的.成立于2003年的LinkedIn, 花了500天, 才达到了100万用户.然而,作为全球最大的职业社交网络,LinkedIn的后劲十足.今天,LinkedIn每6天就新增100万用户.平均每

从世界冠军到数据科学家 他是如何炼成的? | 硬创公开课

大数据这个词我们听得太多了,可是很少有人意识到,随着互联网的发展,今时今日的这些"大"字究竟已经意味着一种什么样的量级.除去少数哗众取宠的使用这个词的公司外,那些真正拥有大数据的企业,经手和处理的都是一些普通人可能穷极一生也接触不到的数字:微信朋友圈每天会上传10亿张图片,支付宝日交易额峰值超过200亿元人民币,京东每天上传几百万张新的商品信息图-- 这些数字对于急需数据训练的人工智能算法来说是莫大的好消息.也意味着数据对于人工智能的重要性正在随着计算能力.算法的发展而呈直线上升.但是

想组建自己的数据科学团队?CEO们要先回答这几个问题

◆ ◆ ◆ Jeremy Stanley 是日用杂货当日送达初创企业 Instacart 主管数据科学的副总裁,Daniel Tunkelang 是前 LinkedIn 的数据主管.作为在数据科学领域身经百战的老将,他们在这篇文章中为那些想打造一支属于自己的数据科学团队的公司 CEO 们提供了一些建议,主要涵盖了这几个问题:数据科学为什么对很多创业公司如此重要?公司应该在什么时候在数据科学方面进行投入?应该将数据科学团队放在公司里的什么位置上?如何营造一个尊重数据科学的文化氛围? ◆ ◆ ◆ 你

一张图看懂数据科学家、数据工程师和软件工程师之间的区别

大家都知道,这三种角色各有不同定位,也知道他们之间有许多一致的地方,但是否能讲明白这其中的区别呢? 国外 ETL 服务商 Stitch 的 CEO Jake Stein,近日对这个话题进行了总结.他还绘制了一张工具图,来呈现他们在日常工具使用上的不同.对于新手,也可以通过这张图来看典型的"数据科学家"."数据工程师"和"软件工程师"都要掌握哪些工具. Jake Stein:随着数据的爆炸式增长,对数据处理的专家技能需求也随之井喷.这带来的结果之一

大数据工具,在数据科学家眼中是怎样的存在?

随着大数据工具数量的增长和计算能力的飞跃,数据科学家越来越多地发现,如果他们想从自己的模型中获得最佳性能,那就必须考虑所使用的数据管道. 数据科学工具的功能通常围绕着预测建模,机器学习和数据可视化.但这些工具还应该包括后端数据管道技术,因为这有助于加快分析的速度. 更强的计算能力 数据科学家们通常喜欢把后端技术扔给工程师来处理.当你的主要关注点是提高模型的预测精度或发现一个数据集中的未知相关性时,文件系统和资源管理工具通常情况下并不十分友好. 但随着大数据工具数量的增长和计算能力的飞跃,数据科学