2.5 数据集连接
本节，我们将介绍数据连接的技术，并讨论Spark处理数据连接的特有的特征，以及一些使工作更容易进行的数据连接解决方案。
学习完本节，我们将有能力按照各类机器学习需要做数据连接。
2.5.1 数据连接及其工具——Spark SQL
为机器学习项目准备数据集时，我们一般需要组合多个数据集。关系表通过主键和外键进行连接。
连接两个及以上的数据集听起来容易，但做起来非常有挑战，并且非常耗时。在SQL语句中，SELECT是最常用的命令。作为例子，下面是一个执行连接的典型的SQL代码：
为执行上面提到的表连接任务，数据科学家和机器学习从业者经常使用他们熟悉的SQL工具。在Spark环境中，Spark SQL就是为此开发的工具。
Spark SQL能够让用户在Spark开发环境中使用SQL或 DataFrame API查询结构化数据，这些在R notebook中依然可以使用。Spark SQL重用了Hive的前端和元数据，与Hive数据和查询完全兼容。
Spark SQL包含一个基于成本的优化器、列存储和代码生成器以生成快速的查询。同时，Spark SQL使用Spark引擎将查询扩展到几千个节点并耗费多个小时，它支持查询过程中的容错机制。
使用Spark SQL时，有两个主要的组件：DataFrame和SQLContext。
正如前面讨论的，DataFrame是一个组织成列的分布式数据集。它基于R语言的数据框，并与关系数据库的数据表类似。Spark SQL通过SQLContext封装了所有关系函数。
2.5.2 Spark中的数据集连接
这里，我们通过一些实例展示使用Spark SQL的方法和相关过程。
为便于分析，设想应用程序包含下面的4个数据表：
至少，我们需要将User和Events两个表连接起来，使用下面的代码完成连接：
Spark SQL的结果以RDD的形式存储，与Spark其他库交互比较少。上面返回的结果可以直接用于机器学习。
从上面的例子看到，Spark SQL使得为机器学习算法准备数据而进行的不同数据集连接非常方便。进一步讲，Spark SQL允许开发者简便地操作和连接机器学习算法的输出结果，从而生成想要的结果。
更多关于Spark SQL使用的信息，请访问：http://spark.apache.org/docs/1.0.0/sql-programming-guide.html。
2.5.3 使用R语言数据表程序包进行数据连接
相比以前，Spark已经使得数据操作更快、数据分析更容易了。
根据Spark开发团队的初衷，开发Spark SQL的目的是为了：
编写少量的代码
读取少量的数据
将一些困难的工作交给优化器完成
这都是通过使用DataFrame和Spark SQL命令sqlContext.read和 df.write实现的。
除了Spark SQL，data.table程序包功能非常强大，用户也可以使用R语言连接表。开发data.table程序包的主要目的是：
快速合并大量的数据（例如：内存中数据100GB），快速的排序连接
在不使用复制命令的情况下，按组快速增加/修改/删除列数据
按列进行数据表和快速的文件读取（fread）
该程序包为开发人员提供了自然和灵活的语法。
使用data.table进行连接，你首先需要创建data.frame，这非常容易。然后，使用X[Y]连接两个表。
这被称为末次观测值结转（Last Observation Carried Forward，LOCF) 或滚动连接。
X[Y]是data.table X和data.table Y 两个表之间的连接。如果Y有两列，第一列与X的第一列的key匹配，两个表的第二列也互相匹配。默认情况下执行equi-join，也就是值必须相等。
除了等值连接，还有滚动连接：
如前所述，Y的第一列与X的第一列匹配，也就是值相等。然而，Y中的最后一个连接列，即例子中的第二列，被特殊处理。在第一列匹配的情况下，如果未找到匹配项，将返回上一行的值。
其他控制包括：前滚、后滚、回滚至最近项和限时滚动。
在提示符下，输入下面的命令查看例子。
R语言data.table提供了增强版data.frame，包括：
快速合并大量数据——例如，100GB（查看一下高达20亿行的测试基准）。
快速的排序连接——例如，前滚、后滚、回滚至最近项和限时滚动。
快速的重叠范围连接——例如，GenomicRanges。
在2.2.3节，为便于分析我们给出了4个表：
在这个例子中，上一节我们获取了第一个数据的一个子集，然后与第四个数据汇集。现在，将它们连接在一起。如上一节，在R notebook上混合使用Spark SQL 和R语言，使数据连接更容易。