Susan Athey：大数据如何改变商业管理
Intetix Foundation（英明泰思基金会）由从事数据科学、非营利组织和公共政策研究的中国学者发起成立，致力于通过数据科学改善人类社会和自然环境。通过联络、动员中美最顶尖的数据科学家和社会科学家，以及分布在全球的志愿者，我们创造性地践行着我们的使命：为美好生活洞见数据价值。
原文：https://www.gsb.stanford.edu/insights/susan-athey-how-big-data-changes-business-management
原作者：Kathleen O'Toole
斯坦福经济学家解释电子数据宝库如何为竞争开创新格局 ！
大量的数据收集正在改变着组织管理。（Steve Castillo拍摄）
电子数据的激增使得管理者能够量化并彻底了解他们的业务，也就是说他们此用于升级产品或制造出全新的产品。斯坦福大学商学院经济学教授同时也是微软和其他科技公司的咨询师Susan Athey，与《斯坦福商业杂志》讨论了大量数据的收集、廉价的储存和利用数据宝库中进行机器学习的这些方面是如何对受网络驱动的新兴行业以及传统商业的管理方式进行改革的。
以下是本次采访的节选。
问：您是如何看待大数据技术改变硅谷的管理技巧以及之后发展的？
答：“管理者需要理解并且评估分析师的研究结果，他们发现，如果自己不能直接参与管理，就会面临着遗忘或者遭到遗弃。” 在硅谷，大多数互联网相关领域的公司都存在着一个显著的特征：有着由大数据引起的对新且多样化技能集的巨大需求。明显地，必然有对数据分析的大量需求。在分析的范围内，需要有人撰写代码，从大量的数据源冲提取数据并整合成有用的数据格式。也需要有人对这些数据进行简单地分析，同时一些人做更加复杂的统计分析，这其中包含着机器学或计量经济学的知识，例如建造数据模型可以预测网页里的链接哪些会被点击或浏览网页时应该提供给消费者哪些产品。在高科技公司里，管理者需要理解并且评估分析师们的研究结果，他们发现，如果自己不能直接参与管理，就会面临着遗忘或者遭到遗弃。在商业常规业务中创造的分析数据之外，一个新领域涉及了管理的大规模实验平台以及从实验中的分析数据。
问：我听说谷歌的专家一年运行成千上万个实验，正是实验中的数据而不是管理人本身决定了公司的方向。事实上，在互联网公司的一些数据专家倾向于将那些不基于数据的想法和直觉不屑地称为河马观点（hippos），而这也代表着“高收入人群观点”。您认为这是准确的界定方法吗？
答：管理模式明显地正在改变。不仅是谷歌和微软这样的大公司，甚至是最小的公司都通过强制的实验过程改变搜索引擎的算法。这也意味着产品只有经过严格的统计检查才可能见到光明。因为公司的核心产品的建立是基于数据管理方式运行的，没有来自统计学家和数据科学家的评估研究和预测，管理者在财务和商业方面的计划无法实现其目的。因此，即使是代表数据分析师的MBA们仍需要吃透复杂的分析并且能够与工程师和产品团队进行交流，而他们的专业语言就是数据。
就我经验而言，MBA中能有好的商业直觉并且能够聪明地运用统计学家语言的都是“摇滚明星”。他们能够很好的理解数据能证明的什么、不能证明什么，并且如何高效地利用数据做决定。他们知道如何利用数据来证明一个观点，更加视觉化的呈现信息，将收集的案例放在一起，所有的用来支持主要的结论。拥有这些才能的管理者会被其他公司挖走或在本公司得到快速晋升。他们给予执行报告并且他们是任何重要战略项目的不可或缺人员。这也是其他行业期望的前进方向。
问：除了在线运行的实验，对于商业而言，大数据所带来的下一个大的改变是什么？
答：在监测设备或网站实时获取与用户进行相互作用的手机上的数据，并能及时进行机器学习，这也使得公司能够面对其竞争对手时，提高自身的业绩。互联网公司正在处在基于机器学习自动决策的前沿，但是它在其他领域的应用也会带来价值。
问：您能解释一下机器是如何利用大量数据集进行决策工作的吗？
答：考虑一下机器学习的最终算法—搜索引擎。人们查询的目的是随时间改变的。如果你今天输入Amanda Bynes到搜索框，搜索引擎会非常迅速的查找其他人在今天搜索Amanda Bynes时看到的网页并点击的内容。今天很重要是因为你想要的必然和昨天不同。
例如，当Michael Jackson逝世时，网络流量猛增，搜索引擎公司希望能够在最初的30秒内阻止发送给人们关于演出者的普通网页，取而代之的是开始发送给他们最新的新闻。通过使用最新的数据，一个你想要的众包数据，一个搜索引擎可以成为一个快速的学习者。
所有的搜索引擎都试着这样做，但是他们能做的多好关键取决于他们获得数据的速度有多快。因此Google会比Bing做的更好，因为更多人首选Google。Amazon可以击退小的零售运营商。如果你在Amazon中输入“婴儿车”，算法会为你个人找出最好的网页版本。该算法使用了一种联合方式，即确定你是哪种类型的消费者，以及像你这样的消费者在过去一段时间里的点击内容。
当我和在互联网以外的公司谈论机器决策时，他们常常没有意识到大量数据的重要性。实际上，多年来，人工智能研究专家认为，如果他们理解了互联网的链接结构和语言结构，就能够帮助人们获到更好的搜索结果。但实际上，拥有更多关于人们使用搜索引擎表现行为的数据也很关键。了解人们在输入特定的连续的三个字母时代表的最常见的东西可能比语义上的理解更有意义。这意味着在行业里，机器学习对于产品的质量十分重要，你将会看到公司会更加集中，同时新公司将会更难的取得进展。
问：这就是投资者愿意将数百万美元投入没有利润但是能增长宝贵数据的项目的原因吗？
答：拿移动手机服务作为例子。如果你能让更多手机使用者使用你的声音服务，你将会在声音识别上做得更好，也会为你的顾客带来高质量的产品。这是你核心产品所能达到的能力，同时也是差异化的来源。这个数据的价值在于如何在不同的投资环境中理解语音功能。你能想象到，能够收集一大堆数据的公司，在顾客需要语音识别时，将会没有能直接竞争的对手，并将它作为突出的产品卖出去。用户通过触摸屏接口的所有产品都将会有此功能。所以，如果人们试图通过打字、说话、使用触屏、写字或手势去连接一个设备，那么一个拥有大量输入的文本集的公司将会在用户的输入理解上会更快并且更准确。
一些互联网公司因为想要聚集更多数据，在很多方向上进行整合，而语音识别只是你看到的普遍现象中的一个例子。他们并不希望他们的竞争者拥有数据来使他们的产品更好，或让他们试着将数据用其他方式变现，例如通过更加个性化和更具有目标性的广告。
问：在哪个行业，您希望看到大数据打乱它的常规业务呢？
答：这将是有趣预测：哪个领域将会更快地有效地使用数据。例如，你会认为，当你的航班延误时，用一个自动航班预订系统来改变一个连接行航班预订会比调动车来开要方便更多。因为有来电显示，当你从停机坪上叫车时，航空公司会知道你是谁。然而，在这种情况下，许多乘客都被耗费时间的航空电话弄得十分沮丧，只是在最近，我们才看到航空公司在这方面的体验有真正的改善。另一方，汽车能自己安全的驾驶。另一个有吸引力的数据传感器的应用是用来监测复杂机器的零件，例如汽车或飞机，并学会如何提高机器安全性或决定何时替换损坏的零件。医疗诊断同样也是一个例子，机器仔细研读兆字节的数据会比医生更快更准确，仅仅是在极少的情况下，或是特定患者的治疗中有少见的副作用。
你可能会惊讶于一些案例。你可能会认为像出租车这样的行业会很难进入，因为它是被当地政府高度管制的敏感行业。然而，已有公司在很多城市成功进入，他们运用实时需求数据在供给短缺时提高价格，确保那些愿意支付更多钱的人找到出租车。
问：对于老数据可以找到新的用法吗？
答：这里有大量的方法来回答重要的政策问题，不仅有公共政策还有商业政策的问题，使用运营的或被动方式收集到的数据用于其他目的。所有的社会科学家积极主动地从社交媒体上挖掘数据来研究任何事情，例如推特，从幸福的事情到青少年社会准则再到社会动乱的基础。学术界和金融行业都有像Google Trends的资源，来寻找搜索模式，能够用来预测流感的爆发，可以用于失业的统计，同样适用于股票的回升情况。另一个增长趋势是学术界研究者与公司合作从而有获得大型数据，同时公司可以从研究者的专业知识中学习，并且研究者能够回答研究使用公司专用的数据集的各种问题。此公布的研究只显示总量的统计数据，从而保护数据的机密性。在这件事上，我已和微软研究院进行合作并且卓有成效，其他公司，如eBay和Yahoo也同样成功地与学术界进行合作。
想到一个较不明显的例子：城市。芝加哥、纽约，以及一些国家，现在都在做大规模的数据收集。因为这些数据正变得具有可获取性，它能有用于一些直接的目的，例如受数据驱使的政策或交通和交通流的管理。但是我们仅仅是开始看到数据的从属功用所带来的可能性，数据关注就像在对非常微小级别的噪音、能源利用和污染一样。你可以聚集噪音的数据来识别是否违反噪声条例，但之后你发现可以用它来研究噪音对儿童健康的影响。你可以收集关于出租车司机出行数据，用来监控其是否遵守各种规章制度，但在最后了解到通勤模式、公共交通的缺口、甚至是不同类型的顾客给小费的倾向。我期望也能在商业中看到。他们也许是被动地收集关于他们的顾客和汽车之间的关系。按照这种方式，他们也许会发现，顾客如何使用汽车的模式，对设计交通系统有着普遍的意义，对于城市规划，以及如何设计未来的汽车的用处。
对于公司和政府而言，能够全面利用他们所拥有的数据会很困难，因为保密性和数据安全的问题，但是令人更加惊喜的应用将必然出现。任何产业都可能会是下一个能够以令人瞩目的方式重新思量并进行创新的产业。
====================================分割线================================
本文转自d1net（转载）