Intetix Foundation（英明泰思基金会）由从事数据科学、非营利组织和公共政策研究的中国学者发起成立，致力于通过数据科学改善人类社会和自然环境。通过联络、动员中美最顶尖的数据科学家和社会科学家，以及分布在全球的志愿者，我们创造性地践行着我们的使命：为美好生活洞见数据价值。
在大数据时代，人们很容易把一大堆数据定义为“大数据”，比如，大型制造企业和仓库可能存有多年积累下来的存货数据，或许高达几兆兆字节，但这并不能算大数据。同样，1500个PoS机的现金数据、一大份工作表中的数据也不是大数据。
企业需要行之有效的方法去储存、分析、使用数据，如果管理的不是大数据问题，那就没有必要建立数据池、雇佣数据科学家，也没有必要买一堆Hadoop产品去管理。说到底，辨别所管理的是大数据还是大量数据至关重要。以下推出五种辨别方法：
- 数据是否来源于多种不同渠道？
如果数据来源单一，即使数据量很大，也不太可能是大数据。
职业数据人会考虑大数据的三V（或4V）：数量，多样性，速度，（精确性）。本文讨论的就是第二种：多样性。一般来说，大数据往往不是来自于单一源头或系统，而是来自于许多不同的地方，不同的形式，以及不同的变量。例如，PoS数据尽管数量庞大但不是大数据，可是如果把从供应商处取得的数据与其整合以构建供应链，则它们就成了大数据。因此，问题在于是什么形成了大数据，而不是仅仅考虑数量因素。
- 数据是否需要被实时分析使用？
并不是所有的大数据都一定来源于多种不同渠道，当数据需要被实时分析使用，比如预防欺诈、股票交易，尽管数据缺乏多样性，但仍可被定义为大数据。在信用服务业，用于预防欺诈的数据来源并不复杂，但需要实时分析技术（通常用Spark,有时会同时使用Hadoop和Spark），这样若真的存在欺诈，也会被马上检测出并予以阻止。同样的，股票交易员所依赖的高频交易数据也并不是特别复杂的数据，但需要连续处理以做出买入或卖出股票的决定，Hadoop和Spark是被经常使用的分析工具。 - 你是否需要询问复杂问题？
当你开始针对数据询问更加复杂的问题的时候，比如确定因果关系，则该数据就成了大数据。当然，在这种情况下，最好还是使用多方面来源的数据。比如，当你想知道女性红色高跟鞋的四月份的市场情况的时候，你所要的数据就不仅仅是你自己的采购记录了，你还要整合社交媒体和其他外部市场数据以得到最佳答案。 - 数据集是否代表了许多不同的变量？
如果数据代表了一系列不同的难以界定模式和关联性的变量，那么即使数据是由单一系统或小型系统搜集而来，也可认定为是大数据。例如，气象数据仅从一些基础的系统取得（气温，气压，风速等），但数据关系却极为复杂，即使是最富经验的气象学家也不一定总能做出准确的气象预测，因此，他们会使用高度专业化的数据分析方法以作出更准确的预测（尽管还是有人会说他们并不比有关节炎的老人更准确）。 - 数据是未架构的，半架构的，架构的还是以上的综合？
诸如SQL等关系明确的数据库长时间以来成功的处理了组织良好的数据，但如今的多媒体世界为我们呈现了一系列未架构的和半架构的数据，这些数据在SQL中无法得到良好的处理。这些数据包括图像，视频，文本文件，电子邮件交流，社交媒体，音频文件以及其他。NoSQL数据库正在变得更受欢迎，Hadoop和其他大数据工具在处理这些多样化的数据类型的时候显得更为强大，特别是你所做的处理工作不仅仅是保存和找回图像等。
你的数据是大数据吗？如果是，那么就去找寻合适的工具处理你的数据，通过Syncsort你可以找到大数据处理办法；如果你需要处理主机上的大数据，现在Hadoop也能帮你解决这个问题了。
====================================分割线================================
本文转自d1net（转载）
时间： 2024-10-10 02:16:54