《大数据分析原理与实践》一一1.3　什么是大数据分析

1.3　什么是大数据分析
1.大数据分析的定义
数据分析指的是用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
数据分析可以分为三个层次，即描述分析、预测分析和规范分析。
描述分析是探索历史数据并描述发生了什么，这一层次包括发现数据规律的聚类、相关规则挖掘、模式发现和描述数据规律的可视化分析。
预测分析用于预测未来的概率和趋势，例如基于逻辑回归的预测、基于分类器的预测等。
规范分析根据期望的结果、特定场景、资源以及对过去和当前事件的了解对未来的决策给出建议，例如基于模拟的复杂系统分析和基于给定约束的优化解生成。
顾名思义，大数据分析是指对规模巨大的数据进行分析。大数据分析是大数据到信息，再到知识的关键步骤。
2.大数据分析的应用
大数据分析有着广泛的应用，成为大数据创造价值的最重要的方面。下面举一些各个领域大数据分析应用的实例。
在宏观经济领域方面，淘宝根据网上成交额比较高的390个类目的商品价格来得出CPI，比国家统计局公布的CPI更早地预测到经济状况。国家统计局统计的CPI主要根据的是刚性物品，如食品，百姓都要买，差别不大；可是淘宝是利用化妆品、电子产品等购买量受经济影响较明显的商品进行预测，因此淘宝的CPI更能反映价格走势。美国印第安纳大学利用谷歌公司提供的心情分析工具，从近千万的短信和网民留言中归纳出6种心情，进而预测道琼斯工业指数，准确率高达87%。
在制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业的销售状况；一些企业利用大数据分析实现对采购和合理库存的管理，通过分析网上数据了解客户需求，掌握市场动向；美国通用电气公司通过对所生产的两万台喷气引擎的数据分析，开发的算法能够提前一个月预测和维护需求，准确率达70%。
在农业领域，硅谷有个Climate公司，利用30年的气候和60年的农作物收成变化、14 TB的土壤的历史数据、250万个地点的气候预测数据和1500亿例土壤观察数据，生成10万亿个模拟气候据点，可以预测下一年的农产品产量以及天气、作物、病虫害和灾害、肥料、收获、市场价格等的变化。
在商业领域，沃尔玛将每月4500万的网络购物数据，与社交网络上产品的大众评分结合，开发出“北极星”搜索引擎，方便顾客购物，在线购物的人数增加10%～15%。再如，有的电商平台将消费者在其平台上的消费记录卖给其他商家，商家得到这个消费记录对应的顾客IP地址后，就会留意其上网踪迹和消费行为，并适时弹出本公司商品的广告，这样就很容易做成交易，最终的结果是顾客、电商平台、商家，甚至相关网站都各有收益。
在金融领域，阿里巴巴根据淘宝网上中小型公司的交易状况，筛选出财务健康、诚信优良的企业，为他们免担保提供贷款达上千亿元，坏账率仅有0.3%；华尔街“德温特资本市场”公司通过分析3.4亿留言判断民众心情，以决定公司股票的买入和卖出，也获得了较好的收益。
在医疗卫生领域，一方面，相关部门可以根据搜索引擎上民众对相关关键词的搜索数据建立数学模型进行分析，得出相应的预测进行预防。例如，2009年，谷歌公司在甲型H1N1爆发前几周，就预测出流感形式，与随后的官方数据相关性高达97%；而百度公司得出的中国艾滋病感染人群的分布情况，与后期的卫生部公布结果基本一致。另一方面，医生可以借助社交网络平台与患者就诊疗效果和医疗经验进行交流，能够获得在医院得不到的临床效果数据。除此之外，基于对人体基因的大数据分析，可以实现对症下药的个性化诊疗，提高医疗质量。
在交通运输中，物流公司可以根据GPS上大量的数据分析优化运输路线节约燃料和时间，提高效率；相关部门也会通过对公交车上手机用户的位置数据的分析，为市民提供交通实时情况。大数据还可以改善机器翻译服务，谷歌翻译器就是利用已经索引过的海量资料库，从互联网上找出各种文章及对应译本，找出语言数据之间的语法和文字对应的规律来达到目的的。大数据在影视、军事、社会治安、政治领域的应用也都有着很明显的效果。总之，大数据的用途是十分广泛的。
当然，大数据不仅仅是一种资源，作为一种思维方法，大数据也有着令人折服的影响。伴随大数据产生的数据密集型科学，有学者将它称为第四种科学模式，其研究特点在于：不在意数据的杂乱，但强调数据的规模；不要求数据的精准，但看重其代表性；不刻意追求因果关系，但重视规律总结。现如今，这一思维方式广泛应用于科学研究和各行各业，是从复杂现象中透视本质的重要工具。