《Hadoop与大数据挖掘》一2.3.2 动手实践:hdfs dfs命令实战

2.3.2 动手实践:hdfs dfs命令实战

在了解了一些Hadoop HDFS相关命令后,即可进行实验,加深对该类命令的认识。
实验步骤如下:
1)root账号登录master机器终端;
2)上传/root/anaconda-ks.cfg 文件到HDFS的/user/root/目录下;
3)复制或移动HDFS中/user/root/anaconda-ks.cfg 到/user/root/tmp/目录下;
4)下载HDFS中的/user/root/tmp/anaconda-ks.cfg 文件到linux /tmp目录下;
5)删除/user/root/tmp目录。
思考:
1)如果使用的不是root账号登录,那么可以操作吗?如何操作?
2)删除/user/root/tmp目录可以使用哪些命令?不同命令有什么区别?

时间: 2024-10-29 20:17:49

《Hadoop与大数据挖掘》一2.3.2 动手实践:hdfs dfs命令实战的相关文章

《Hadoop与大数据挖掘》一2.3.1 HDFS常用命令hdfs dfs

2.3.1 HDFS常用命令hdfs dfs 在讲解这个命令前,先对hdfs dfs.hadoop fs.hadoop dfs这3个命令进行区分. hadoop fs:通用的文件系统命令,针对任何系统,比如本地文件.HDFS文件.HFTP文件.S3文件系统等. hadoop dfs:特定针对HDFS的文件系统的相关操作,但是已经不推荐使用. hdfs dfs:与hadoop dfs类似,同样是针对HDFS文件系统的操作,官方推荐使用. 该命令的操作在代码清单2-18中列出. 代码清单2-18 h

《Hadoop与大数据挖掘》一2.4.1 HDFS Java API操作

2.4.1 HDFS Java API操作 Hadoop中关于文件操作类基本上是在org.apache.hadoop.fs包中,这些API能够支持的操作有:打开文件,读写文件,删除文件,创建文件.文件夹,判断是文件或文件夹,判断文件或文件夹是否存在等. Hadoop类库中最终面向用户提供的接口类是FileSystem,这个类是个抽象类,只能通过类的get方法得到其实例.get方法有几个重载版本,如图2-28所示. 比较常用的是第一个,即灰色背景的方法. FileSystem针对HDFS相关操作的

《Hadoop与大数据挖掘》一2.3.3 MapReduce常用命令mapred job

2.3.3 MapReduce常用命令mapred job MapReduce常用命令就是job相关命令,该命令相关参数及描述如代码清单2-20所示. 代码清单2-20 mapred job 命令 [root@master hadoop-2.6.0]# bin/mapred job Usage: CLI <command> <args> [-submit <job-file>] [-status <job-id>] [-counter <job-id&

《Hadoop与大数据挖掘》一2.3.4 YARN常用命令yarn jar

2.3.4 YARN常用命令yarn jar YARN常用命令就是yarn jar命令,即提交一个MapReduce任务的命令.使用该命令可以直接运行一个MapReduce任务.该命令描述如代码清单2-21所示. 代码清单2-21 yarn jar命令 [root@master hadoop-2.6.0]# bin/yarn jar RunJar jarFile [mainClass] args... 从上面的描述中可以看出,其实调用yarn jar命令还是比较简单的,只需要给出要执行的jar文

《Hadoop与大数据挖掘》一导读

前 言 为什么要写这本书 最早提出"大数据"时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:"数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素.人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来." 早在2012年,大数据(big data)一词已经被广泛提起,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新.那时就有人预计,从2013年至2020年,全球数据规模将增长10倍,每年产生的数据量将由当

《Hadoop与大数据挖掘》——2.3 Hadoop集群命令

2.3 Hadoop集群命令 一般操作Hadoop集群都是使用相关的Hadoop命令,比如文件上传.下载.删除,文件夹新建.删除.拷贝等:又或者提交MapReduce任务并执行.查看MapReduce任务执行状态等.那么Hadoop集群包含的相关命令有哪些呢? 大多数Hadoop集群的相关命令类别如表2-3所示. 下面针对每种集群命令,介绍其中常用的命令,为后面的操作打下基础. 2.3.1 HDFS常用命令hdfs dfs 在讲解这个命令前,先对hdfs dfs.hadoop fs.hadoop

《Hadoop与大数据挖掘》——第2章 大数据存储与运算利器—Hadoop 2.1 Hadoop概述

第2章 大数据存储与运算利器-Hadoop 本章主要介绍了Hadoop框架的概念.架构.组件.生态系统以及Hadoop相关编程,特别是针对Hadoop组件HDFS.MapReduce.YARN,Hadoop MapReduce编程做了较详细的介绍.在介绍各个知识点的同时,结合动手实践章节,帮助读者理解对应的内容. 2.1 Hadoop概述 2.1.1 Hadoop简介 随着现代社会的发展,各种信息数据存量与增量都非常大,很多情况下需要我们能够对TB级,甚至PB级数据集进行存储和快速分析,然而单机

《Hadoop与大数据挖掘》一1.2 大数据平台

1.2 大数据平台 大数据平台有哪些呢? 一般认为大数据平台分为两个方面,硬件平台和软件平台.硬件平台一般如Open-Stack.Amazon云平台.阿里云计算等,类似这样的平台其实做的是虚拟化,即把多台机器或一台机器虚拟化成一个资源池,然后给成千上万人用,各自租用相应的资源服务等.而软件平台则是大家经常听到的,如Hadoop.MapReduce.Spark等,也可以狭义理解为Hadoop生态圈,即把多个节点资源(可以是虚拟节点资源)进行整合,作为一个集群对外提供存储和运算分析服务. Hadoo

《Hadoop与大数据挖掘》一第2章

第2章 大数据存储与运算利器-Hadoop 本章主要介绍了Hadoop框架的概念.架构.组件.生态系统以及Hadoop相关编程,特别是针对Hadoop组件HDFS.MapReduce.YARN,Hadoop MapReduce编程做了较详细的介绍.在介绍各个知识点的同时,结合动手实践章节,帮助读者理解对应的内容.