Hadoop学习第四天之hadoop命令操作(上)

Hadoop命令操作

格式:hadoop  fs

可以在/etc/profile 中添加

alias  hf=’hadoopfs’ #简化每次命令的书写

-ls  <path> 表示对hdfs下一级目录的查看

-lsr <path>  表示对hdfs目录的递归查看

-mkdir <path> 创建目录

-put <src>  <des>  从linux上传文件到hdfs  (同-copyFromLocal)可以上传多个文件,最后一个为目的地址

-get <src>  <des>  从hdfs下载文件到linux (同-copyToLocal),可以在下载的时候重命名文件

-text <path>  查看文件内容

-rm  <path>  删除文件,显示红框内容显示删除成功,否则会显示删除不成功的错误提示

-rmr <path>  表示递归删除文件, 删除文件(夹)

-touchz  <path>  //创建一个空文件

-help [cmd]      //显示命令的帮助信息

-du <path>  //显示目录中所有文件大小,前面是文件(目录)大小,后面是完整的路径

-dus   <path>  //显示指定路径的空间大小

 

-count[-q] <path> //显示目录中目录数量、文件数量、空间大小、完整路径

-mv <src> <dst>    //移动多个文件到目标目录(都是hdfs目录)

-cp <src> <dst>      //复制多个文件到目标目录(都是hdfs目录)

-copyFromLocal    //同put

-moveFromLocal   //从本地文件移动到hdfs

-getmerge  <src>  <localdst>           //将源目录中的所有文件排序合并到一个文件中

-cat  <src>      //在终端显示文件内容,同-text

时间: 2024-10-02 08:13:21

Hadoop学习第四天之hadoop命令操作(上)的相关文章

Hadoop学习第四天之hadoop命令操作(下)

Hadoop学习第四天之hadoop命令操作(下) 1.   Hadoop dfsadmin #启动dfs admin客户端 -report  #报告当前集群的节点信息 -safemode  enter   #进入安全模式 -safemode  leave   #离开安全模式 -safemode  get    #获取安全模式状态 -safemode  wait   #等待,直到安全模式结束 -saveNamespace  #开启保存命名空间,必须开启安全模式 -refreshNodes  刷新

Hadoop 学习第三天之集群安装(上)

Hadoop 学习之集群安装(上) 将配置的伪分布模式的虚拟机克隆两份并更名为centos_node2和centos_note3 分别打开三个虚拟机,第一个基本不需要配置了,现在主要配置centos_note2和centos_note3的配置. 1.   首先修改IP地址和主机名 因为centos是hadoop1和192.168.100.11,在这里设置centos_note2和centos_note3的主机名和IP地址分别为:hadoop2/192.168.100.12和hadoop3/192

hadoop学习第一天之伪分布模式安装( 上)

Hadoop核心项目: 1.   HDFS:Hadoop Distributed File System 分布式文件系统 2.   MapReduce:并行计算框架   HDFS的架构: 主从结构:                    主节点:只有一个,namenode                    从节点:有很多歌,datanodes    Namenode负责: 3.   接收用户操作请求 4.   维护文件系统的目录结构 5.   管理文件与block之间的关系,block与da

Hadoop学习笔记(四):HBase

HBase是在一个HDFS上开发的面向列的分布式数据库.HBase不是关系型数据库,不支持SQL. HTable一些基本概念 Row key 行主键, HBase不支持条件查询和Order by等查询,读取记录只能按Row key(及其range)或全表扫描,因此Row key需要根据业务来设计以利用其存储排序特性(Table按Row key字典序排序如1,10,100,11,2)提高性能. Column Family(列族) 在表创建时声明,每个Column Family为一个存储单元.在上例

hadoop学习第二天之伪分布模式安装(下)

继续伪分布安装 7.   安装JDK 使用winscp将hadoop和jdk复制到linux目录下 a)     打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录 左边windows,右边linux.在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中. b)     解压hadoop-1.1.2.tar.gz #tar  –xzvf   hadoop-1.1.2.tar.gz c)    

Hadoop学习笔记之:Hadoop的两个部分

本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很多文章,对学习Hadoop中遇到的问题进行了归纳总结. 言归正传,先说一下Hadoop的来龙去脉.谈到Hadoop就不得不提到Lucene和Nutch.首先,Lucene并不是一个应用程序,而是提供了一个纯Java的高性能全文索引引擎工具包,它可以方便的嵌入到各种实际应用中实现全文搜索/索引功能.

hadoop详解(四) distcp

我们前几篇文章讲的都是单线程的操作,如果要并行拷贝很多文件,hadoop提供了一个小工具distcp,最 常见的用法就是在两个hadoop集群间拷贝文件,帮助文档很详尽,这里就不一一解释了,开发环境没有两个集 群,用同一集群演示: hadoop distcp hdfs://namenode:9000/user/hadoop/input hdfs://namenode:9000/user/hadoop/input1 完整的options列表: distcp [OPTIONS] <srcurl>*

Hadoop学习笔记二 安装部署

硬件环境 共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0.IP配置如下: dbrg-1:202.197.18.72 dbrg-2:202.197.18.73 dbrg-3:202.197.18.74 这里有一点需要强调的就是,务必要确保每台机器的主机名和IP地址之间能正确解析. 一个很简单的测试办法就是ping一下主机名,比如在dbrg-1上ping dbrg-2,如果能ping通就OK!若不能正确解析,可以修改/etc/hosts文件,如果该台机器作Namenode用,则需

Hadoop学习笔记一 简要介绍

这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很多文章,对学习Hadoop中遇到的问题进行了归纳总结. 言归正传,先说一下Hadoop的来龙去脉.谈到Hadoop就不得不提到Lucene和Nutch.首先,Lucene并不是一个应用程序,而是提供了一个纯Java的高性能全文索引引擎工具包,它可以方便的嵌入到各种