自从Pentaho公司首席技术官詹姆斯•狄克逊创造了“数据湖”这个词，至今已有五年多的时间。他当时提出这个建议，“如果你认为数据集市是一个经过清洗，方便消费的瓶装水商店的‘数据湖’，那么数据湖则是一个更自然状态的水体。”这个比喻很简单。但根据专家的经验，许多最终用户对这个的概念还有很多困惑。在这篇文章中，专家想澄清数据池是什么，组织是否会考虑使用数据湖，以及他们使用数据湖所面临的挑战，并概述了一些支持数据湖软件工具的发展。
数据湖提供了一个处理大数据的方法。数据湖结合任何格式和任何类型的数据的海量存储能力，以及改造和分析数据处理能力。通常，数据湖使用Hadoop技术实现。来自不同来源的详细原始的数据被加载到一个单一的综合信息库，可以看到提供给用户分析的任何数据。要理解为什么数据湖已成为流行的这种方法与企业数据仓库的对比是很有帮助的(EDW)。在某些方面，一个企业级数据仓库就类似于一个数据湖，可以作为整个组织的信息的集中存储库。然而，数据加载到一个企业级数据仓库一般概括为结构化数据。工程数据仓库系统是典型的基于关系数据库的技术，其目的是为了处理结构化信息。虽然已经在关系数据库的可扩展性有了一些进步，他们一般没有Hadoop那样的可扩展性。由于这些技术是不可扩展的，存储到组织中的所有原始数据，采用它是不实际的。因此，有必要总结。与之形成对比的是，一个数据湖包含了组织中产生的最详尽的数据。所述的数据可能是结构化的信息，如销售交易数据，或非结构化信息，例如在客户服务交互中交换的电子邮件。
Hadoop经常使用数据湖
Hadoop可以存储和管理大量后续分析处理的结构化和非结构化数据。Hadoop的出现使其存储大容量信息更加实惠和可行，并且组织开始收集和存储整个组织不同系统的原始细节。Hadoop也成为非结构化信息的存储库，如社交媒体和诸如日志文件的半结构化数据。事实上，人们的基准研究显示，社会化媒体数据是第二个最重要的来源，也在大数据分析中使用的外部信息。
除了处理更大的卷和更多种类的信息以外，数据湖能够更快地获得信息。由于数据是以原始形式聚集，不需要预处理。因此，一旦产生和收集，其信息可以被立即添加到数据湖。这种方法已经引起了一些争议，许多行业分析师甚至厂商都在担心数据湖会变成数据沼泽。一般情况下，围绕数据源缺乏治理的数据成为数据湖的焦点，这是一个适当的话题。这些数据集应该像组织内的任何其他信息资产一样被管理。所面临的挑战是，大多数的治理的工具和技术已经为关系数据库和EDWs开发。从本质上说，数据湖泊所使用的大数据技术已经超过了自己所需，而没有提供为企业部署所需的所有功能。
另外，也许围绕术语有一些轻微的争议。专家提出这个问题，这样，无论供应商选择的术语如何，人们可以识别数据湖和意识到的挑战。Cloudera的企业数据中心使用的术语来表示与数据湖本质上相同的概念。Hortonworks也包含数据湖的术语。IBM公司承认数据湖的价值以及其在这个岗位的挑战，但IBM公司的大数据传播者吉姆•库比拉斯说，质疑最近在LinkedIn所提到的职位的术语，“数据湖”术语并不是IBM网站上的突出特色。
尽管面临着争议和挑战，数据湖继续增长受到广泛欢迎。它们提供了数据科学的重要功能。首先，它们包含进行预测分析的必要的详细数据。其次，他们允许非结构化数据的有效访问，如社交媒体或客户交互等文字。对企业来说，该信息可建立客户和他们行为的一个更完整的轮廓。数据湖也比传统的EDW可用架构提供更快的数据。而通过云计算的基准研究数据和分析显示，五分之一(21%)的组织实时了他们的数据。该研究还表明，这些组织通常对整合他们的数据都比较满意，并在他们的结果方面更加自信。诚然，数据湖包含原始信息，它可能需要更多的分析和操作，因为数据还没有清洗掉，但时间就是金钱，速度更快的访问往往会导致新的收入机会。在参与基准研究预测分析的一半参与者表示，他们的分析已经创造了新的收入机会。
由于认识到缺乏治理和管理工具，一些机构毫不犹豫地采用数据湖，而其他公司也在采用。在这个领域的供应商在此期间已经显现出他们的能力。有些公司，例如Informatica公司为了数据湖泊获得世界EDW数据治理能力。专家最新发布了一篇关于Informatica的大数据功能，称之为智能数据湖。其他厂商正在提高自己的EDW能力。InformationBuilders公司和Teradata公司在今年春天都公布了数据湖。此外，新兴的供应商特别专注于数据湖泊。PodiumData表示，其提供了一个“企业数据湖管理平台。”
那么采用数据湖安全吗?好了，就像你不知道如何游泳就不应该跳进湖中一样，如果你没有管理其信息的计划就不应该采用数据湖。数据湖可以充分利用大数据，并创建新的收入机会。而组织采用合适的工具和培训之后，那么数据湖可能值得一试。
本文作者：Harris编译
来源：51CTO