Apache Spark机器学习3.4　模型估计

3.4　模型估计

在上一节完成了特征集选择，接下来需要评估模型参数。我们可以使用MLlib或者R语言进行评估，并准备分布式的计算。

为了简化操作，我们使用Databricks的作业特性。具体来讲，在Databricks环境中，前往“Job”菜单，创建作业，如下图所示：

接着，用户可以选择notebook来运行，指定集群并且调度作业。一旦作业被调度，用户可以监视作业的执行，并收集结果。

在3.2节，我们为选择的3个模型准备了一些代码。现在，需要修改这些代码和上一节讨论的最终特征集，以创建最终的notebook。

换句话说，我们有1个因变量和通过PCA和特征选择得到的17个特征。因此，我们需要将这些变量插入到我们第2节开发的代码中，以建立我们的notebook。然后，我们将使用Spark作业特征以分布式的方式执行这些notebook。

3.4.1　MLlib实现

首先，我们为使用线性回归的因变量s1和使用逻辑回归的因变量s2，以及决策树准备数据。然后，将17个选择的特征加入进去形成可以使用的数据集。

对于线性回归，我们使用如下代码：

对于逻辑回归，我们使用如下代码：

对于决策树，我们使用如下代码：

3.4.2　R notebook实现

为了便于对比，将线性回归和SEM方法写在同一个R notebook中，将逻辑回归和决策树写在同一个R notebook中。

然后，主要的工作是为每个工作节点调度估算进程，使用Databricks环境中的JOB特征来收集计算结果。

对于线性回归和SEM方法，执行下面的代码：

对于逻辑回归和决策树方法，执行下面的代码：

我们为每个产品执行了模型的估计。为了简化讨论，我们聚焦在一个产品上完成模型评估和部署方面的讨论。