《R语言数据挖掘:实用项目解析》——第1章,第1.13节缺失值(NA)的处理

1.13 缺失值(NA)的处理
缺失值处理在标准数据挖掘场景中是一个重要的任务。在R语言中,缺失值显示为NA。NA既不是字符串也不是数值型变量,它们被当作缺失值的标识。在将数据集导入R语言平台之后,必须检查所有变量,看是否存在缺失值——可使用is.na()函数。示例如下:

在上面的代码中,对象x是一个数值型向量,其中包含了一些NA值。is.na()可用于验证是否存在缺失值,如存在,则输出结果为TRUE。如果在存在NA值的情况下做计算,最终会出错或者无结果。我们可以通过修改NA值来替换数据集,或者可以在执行计算时移除那些NA值。如上面的代码所示,在计算对象x的平均值时通过na.rm=TRUE移除NA值。
可以使用na.omit()删除数据集中的缺失值。即使数据集只缺失了一个变量,它也会删除那一整行。缺失值的处理方法有很多种:
平均值替换:对于数据向量中的缺失值,可以用该向量的平均值或中位数替代(不包括NA值)。
局部平均法:取缺失值的局部平均值,通过3或5个周期移动取平均,即取3个周期的缺失数据的平均值作为先验值,根据后验值可确定缺失值应该是多少。
分隔保留:有时替换法无法完成,客户也许会有意将缺失值分隔保留下来,从而隔离地考虑缺失行为。
基于模型:有一些基于模型的缺失值替换法,例如基于回归模型预测缺失值的方法。
聚类法:可使用和回归预测相类似的方法来替换缺失值,可以采用K均值聚类法替换数据集中的缺失值。

时间: 2024-10-31 14:08:24

《R语言数据挖掘:实用项目解析》——第1章,第1.13节缺失值(NA)的处理的相关文章

《R语言数据挖掘:实用项目解析》——1.13 缺失值(NA)的处理

1.13 缺失值(NA)的处理 缺失值处理在标准数据挖掘场景中是一个重要的任务.在R语言中,缺失值显示为NA.NA既不是字符串也不是数值型变量,它们被当作缺失值的标识.在将数据集导入R语言平台之后,必须检查所有变量,看是否存在缺失值--可使用is.na()函数.示例如下: 在上面的代码中,对象x是一个数值型向量,其中包含了一些NA值.is.na()可用于验证是否存在缺失值,如存在,则输出结果为TRUE.如果在存在NA值的情况下做计算,最终会出错或者无结果.我们可以通过修改NA值来替换数据集,或者

R语言数据挖掘

数据分析与决策技术丛书 R语言数据挖掘 Learning Data Mining with R [哈萨克斯坦]贝特·麦克哈贝尔(Bater Makhabel) 著 李洪成 许金炜 段力辉 译 图书在版编目(CIP)数据 R语言数据挖掘 / (哈)贝特·麦克哈贝尔(Bater Makhabel)著:李洪成,许金炜,段力辉译. -北京:机械工业出版社,2016.9 (数据分析与决策技术丛书) 书名原文:Learning Data Mining with R ISBN 978-7-111-54769-

《R语言数据挖掘》----第2章 频繁模式、关联规则和相关规则挖掘 2.1关联规则和关联模式概述

本节书摘来自华章出版社<R语言数据挖掘>一书中的第2章,第2.1节,作者[哈萨克斯坦]贝特·麦克哈贝尔(Bater Makhabel),李洪成 许金炜 段力辉 译,更多章节内容可以访问"华章计算机"公众号查看. 第2章 频繁模式.关联规则和相关规则挖掘 本章中,我们将首先学习如何用R语言挖掘频繁模式.关联规则及相关规则.然后,我们将使用基准数据评估所有这些方法以便确定频繁模式和规则的兴趣度.本章内容主要涵盖以下几个主题: 关联规则和关联模式概述 购物篮分析 混合关联规则挖掘

《R语言数据挖掘》——2.2 购物篮分析

本节书摘来自华章出版社<R语言数据挖掘>一书中的第2章,第2.2节,作者[哈萨克斯坦]贝特·麦克哈贝尔(Bater Makhabel),李洪成 许金炜 段力辉 译,更多章节内容可以访问"华章计算机"公众号查看. 2.2 购物篮分析 购物篮分析(Market basket analysis)是用来挖掘消费者已购买的或保存在购物车中物品组合规律的方法.这个概念适用于不同的应用,特别是商店运营.源数据集是一个巨大的数据记录,购物篮分析的目的发现源数据集中不同项之间的关联关系. 2

《R语言数据挖掘》----1.3 数据挖掘

本节书摘来自华章出版社<R语言数据挖掘>一书中的第1章,第1.3节,作者[哈萨克斯坦]贝特·麦克哈贝尔(Bater Makhabel),李洪成 许金炜 段力辉 译,更多章节内容可以访问"华章计算机"公众号查看. 1.3 数据挖掘 数据挖掘就是在数据中发现一个模型,它也称为探索性数据分析,即从数据中发现有用的.有效的.意想不到的且可以理解的知识.有些目标与其他科学,如统计学.人工智能.机器学习和模式识别是相同的.在大多数情况下,数据挖掘通常被视为一个算法问题.聚类.分类.关联

《R语言数据挖掘》----1.6 网络数据挖掘

本节书摘来自华章出版社<R语言数据挖掘>一书中的第1章,第1.6节,作者[哈萨克斯坦]贝特·麦克哈贝尔(Bater Makhabel),李洪成 许金炜 段力辉 译,更多章节内容可以访问"华章计算机"公众号查看. 1.6 网络数据挖掘 网络挖掘的目的是从网络超链接结构.网页和使用数据来发现有用的信息或知识.网络是作为数据挖掘应用输入的最大数据源之一. 网络数据挖掘基于信息检索.机器学习(Machine Learning,ML).统计学.模式识别和数据挖掘.尽管很多数据挖掘方法

《R语言数据挖掘》----1.9 机器学习

本节书摘来自华章出版社<R语言数据挖掘>一书中的第1章,第1.9节,作者[哈萨克斯坦]贝特·麦克哈贝尔(Bater Makhabel),李洪成 许金炜 段力辉 译,更多章节内容可以访问"华章计算机"公众号查看. 1.9 机器学习 应用于机器学习算法的数据集称为训练集,它由一组成对的数据(x, y)构成,称为训练样本.成对的数据解释如下: x:这是一个值向量,通常称为特征向量.每个值或者特征,要么是分类变量(这些值来自一组离散值,比如{S, M, L}),要么是数值型. y:

《R语言数据挖掘》----1.13 数据降维

本节书摘来自华章出版社<R语言数据挖掘>一书中的第1章,第1.13节,作者[哈萨克斯坦]贝特·麦克哈贝尔(Bater Makhabel),李洪成 许金炜 段力辉 译,更多章节内容可以访问"华章计算机"公众号查看. 1.13 数据降维 在分析复杂的多变量数据集时,降低维度往往是必要的,因为这样的数据集总是以高维形式呈现.因此,举例来说,从大量变量来建模的问题和基于定性数据多维分析的数据挖掘任务.同样,有很多方法可以用来对定性数据进行数据降维. 降低维度的目标就是通过两个或者多

《R语言数据挖掘》----1.10 数据属性与描述

本节书摘来自华章出版社<R语言数据挖掘>一书中的第1章,第1.10节,作者[哈萨克斯坦]贝特·麦克哈贝尔(Bater Makhabel),李洪成 许金炜 段力辉 译,更多章节内容可以访问"华章计算机"公众号查看. 1.10 数据属性与描述 属性(attribute)是代表数据对象的某些特征.特性或者维度的字段. 在大多数情况下,数据可以用矩阵建模或者以矩阵形式表示,其中列表示数据属性,行表示数据集中的某些数据记录.对于其他情况,数据不能用矩阵表示,比如文本.时间序列.图像.