hadoop教程(二) hadoop的常用命令

distcp 并行复制

相同版本的hadoop集群

hadoop distcp hdfs//namenode1/foo hdfs//namenode2/bar

不同版本的hadoop集群(hdfs版本),在写的一方执行

hadoop distcp hftp://namenode1:50070/foo hdfs://namenode2/bar

hadoop的归档

归档的标准命令:archive -archiveName NAME -p <parent path> <src>* <dest>

hadoop archive -archiveName archive.har -p / archive /output

递归查看

hadoop dfs -lsr har:///test/archive.har

查看块的信息

./hadoop fsck /

./hadoop fsck / -files -blocks

查看本栏目更多精彩内容:http://www.bianceng.cnhttp://www.bianceng.cn/webkf/tools/

时间: 2024-10-22 18:06:56

hadoop教程(二) hadoop的常用命令的相关文章

独家 | 一文读懂Hadoop(二)HDFS(下)

5.1 用户命令 hadoop集群用户的常用命令. 5.1.1 classpath 打印获取Hadoop jar和所需库所需的类路径.如果无参数调用,则打印由命令脚本设置的类路径,可以在类路径条目中包含通配符.其他选项在通配符扩展后打印类路径或将类路径写入jar文件的清单.后者在不能使用通配符且扩展的类路径超过支持的最大命令行长度的环境中非常有用. 5.1.2 dfs HDFS允许以文件和目录的形式组织用户数据.它提供了一个称为FS shell的命令行界面,允许用户与HDFS中的数据交互.此命令

Hadoop之一:Hadoop的安装部署

说到Hadoop不得不说云计算了,我这里大概说说云计算的概念,其实百度百科里都有,我只是copy过来,好让我的这篇hadoop博客内容不显得那么单调.骨感.云计算最近今年炒的特别火,我也是个初学者,记下我自学hadoop的一些经历和过程. 云计算(cloud computing)是基于互联网的相关服务的增加.使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源.云是网络.互联网的一种比喻说法.过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象.因此,云计算

第2讲 Redis常用命令与高级应用

目录 一.redis数据类型 5. sorted sets类型和操作 二.Redis常用命令 1.键值相关命令 2.服务器相关命令 三. redis高级应用 1. 给redis服务器设置密码 2.持久化 3.主从备份 一.redis数据类型 5. sorted sets类型和操作 sorted set是set的一个升级版本,它给集合中每个元素都定义一个分数,集合中的元素按照其分数排序. 1) zadd 键 分数1 值1 [分数2 值2-] 该命令添加指定的成员到key对应的有序集合中,每个成员都

Git常用命令(转)

目前开发的新项目使用的版本控制工具基本用的都是Git,老项目用的还是Svn,网上Git资源也很多,多而杂.我整理了一份关于Git的学习资料,希望能帮助到正在学习Git的同学. 一. Git 命令初识 在正式介绍Git命令之前,先介绍一下Git 的基本命令和操作,对Git命令有一个总体的认识 示例:从Git 版本库的初始化,通常有两种方式: 1)git clone:这是一种较为简单的初始化方式,当你已经有一个远程的Git版本库,只需要在本地克隆一份 例如:git  clone  git://git

Android模拟器常用命令收录

一.Linux命令 1.挂载/systme分区为读写状态 mount -o remount,rw -t yaffs2 /dev/block/mtdblock3 /system 2.切换为Root用户 su 二.模拟器常用命令 1.安装应用 adb install xxx.apk 2.重新安装应用(数据不变) adb -r install xxx.apk 3.从模拟器导出数据 adb pull 模拟器路径 本机路径 如:adb pull /mnt/sdcard/test.png c:\\ 4.查看

《Hadoop与大数据挖掘》一2.3.1 HDFS常用命令hdfs dfs

2.3.1 HDFS常用命令hdfs dfs 在讲解这个命令前,先对hdfs dfs.hadoop fs.hadoop dfs这3个命令进行区分. hadoop fs:通用的文件系统命令,针对任何系统,比如本地文件.HDFS文件.HFTP文件.S3文件系统等. hadoop dfs:特定针对HDFS的文件系统的相关操作,但是已经不推荐使用. hdfs dfs:与hadoop dfs类似,同样是针对HDFS文件系统的操作,官方推荐使用. 该命令的操作在代码清单2-18中列出. 代码清单2-18 h

《Hadoop与大数据挖掘》一2.3.3 MapReduce常用命令mapred job

2.3.3 MapReduce常用命令mapred job MapReduce常用命令就是job相关命令,该命令相关参数及描述如代码清单2-20所示. 代码清单2-20 mapred job 命令 [root@master hadoop-2.6.0]# bin/mapred job Usage: CLI <command> <args> [-submit <job-file>] [-status <job-id>] [-counter <job-id&

《Hadoop与大数据挖掘》一2.3.4 YARN常用命令yarn jar

2.3.4 YARN常用命令yarn jar YARN常用命令就是yarn jar命令,即提交一个MapReduce任务的命令.使用该命令可以直接运行一个MapReduce任务.该命令描述如代码清单2-21所示. 代码清单2-21 yarn jar命令 [root@master hadoop-2.6.0]# bin/yarn jar RunJar jarFile [mainClass] args... 从上面的描述中可以看出,其实调用yarn jar命令还是比较简单的,只需要给出要执行的jar文

求 大神 导入 hadoop 教程

问题描述 求 大神 导入 hadoop 教程 本人想将hadoop源码导入到 eclipse 或者其他的工具中, 求大神指教怎么将 hadoop源码导入 求 求,,,,,,,,,啊,啊,,啊,,啊,,啊,啊,啊, 所有币在这跪谢了 解决方案 Protocol Buffer compiler The version of Protocol Buffer compiler, protoc, must match the version of the protobuf JAR. If you have