141.5. Hadoop - HDFS

141.5.1. 创建目录

$ hdfs dfs -mkdir /mydir
		

141.5.2. 文件列表

$ hdfs dfs -ls /mydir/
		

141.5.3. 显示文件

$ hdfs dfs -cat /mydir/LICENSE.txt
		

141.5.4. 上传文件

$ hdfs dfs -put LICENSE.txt /mydir
		

141.5.5. 下载文件

$ hdfs dfs -get /mydir/ ./
		

141.5.6. 用户权限

[hadoop@netkiller ~]$ hdfs dfs -chown -R hadoop:hadoop /
		

关闭权限

如果是测试环境,可以取消hadoop hdfs的用户权限检查。编辑配置文件 conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)。

141.5.7. 访问权限

[hadoop@netkiller ~]$ hdfs dfs -chmod -R 777 /
		

原文出处:Netkiller 系列 手札
本文作者:陈景峯
转载请与作者联系,同时请务必标明文章原始出处和作者信息及本声明。

时间: 2024-09-24 22:20:32

141.5. Hadoop - HDFS的相关文章

第 141 章 Hadoop

141.1. 单机安装(CentOS 7 + Server JRE 1.8 + Hadoop-2.8.0) 本章节介绍 CentOS 7 下安装Hadoop最新版本2.8.0. 创建一个 hadoop 用户,这个用户将用于hadoop的启动与管理 [root@localhost ~]# adduser hadoop [root@localhost ~]# passwd hadoop Changing password for user hadoop. New password: Retype n

Hadoop (HDFS)分布式文件系统基本操作

Hadoop HDFS提供了一组命令集来操作文件,它既可以操作Hadoop分布式文件系统,也可以操作本地文件系统.但是要加上theme(Hadoop文件系统用hdfs://,本地文件系统用file://) 1. 添加文件,目录 HDFS文件系统(需要加hdfs://): 因为我们在core-site.xml中配置了fs.default.name 所以所有和HDFS打交道的命令都不需要加上前缀hdfs://192.168.129.35:9000 比如我们要在Hadoop 文件系统中创建一个目录叫

HTTPFS: 基于HTTP操作hadoop hdfs文件系统

一.HTTPFS简介     1:httpfs是cloudera公司提供的一个hadoop hdfs的一个http接口,通过WebHDFS REST API 可以对hdfs进行读写等访问       2:与WebHDFS的区别是不需要客户端可以访问hadoop集群的每一个节点,通过httpfs可以访问放置在防火墙后面的hadoop集群       3:httpfs是一个Web应用,部署在内嵌的tomcat中       用这种方式在数据共享给其他系统时,网络安全上更容易实现,使用请参考: htt

Hadoop HDFS RPM包安装方案

文章出处:http://netkiller.github.io/storage/hdfs.html   5.2. Hadoop HDFS RPM包安装方案 你是不是感觉Hadoop 安装太复杂呢? 下面是无障碍,无门槛安装方案,非常适合不懂Java得系统管理. HDFS:       NameNode  :管理节点       DataNode  :数据节点       SecondaryNamenode : 数据源信息备份整理节点 MapReduce        JobTracker  :任

开源Hadoop HDFS高可用性介绍、安装与配置

那么 CAMP 服务器对开源 Hadoop 的高可用性是否支持?答案是 肯定的.本文将介绍如何在 CAMP 服务器上使用 PLinux 操作系统实现开源 Hadoop HDFS 的高可用性.Hadoop 是目前最热门的大数据计算系统,它实现了一个可扩展的分布式文件系统 HDFS 作为海量数据的存储系统.HDFS 是主从式的分布式系统(如图 1),NameNode 管理整个文件系统的元数据,负责数据的分配,并管理着 DataNode:而 DataNode 负责存储数据块,按块(用户可设置,默认是

基于key/value+Hadoop HDFS 设计的存储系统的shell命令接口

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;   对于hadoop HDFS 中的所有命令进行解析(其中操作流程是自己的想法有不同意见欢迎大家指正) 接口名称 功能 操作流程 get 将文件复制到本地文件系统 .如果指定了多个源文件,本地目的端必须是一个目录. (1)按照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名(或大文件元数据信息): (2)根据文件名(或大文件元数据信

输入输出-hadoop hdfs 挂载报错

问题描述 hadoop hdfs 挂载报错 hadoop hdfs挂载在linux上市报错fuse-dfs didn't recognize /hadoop/hdfs,-2,然后打开/hadoop/hdfs时报输入输出目录错误 解决方案 http://blog.csdn.net/knowledgeaaa/article/details/25896581

代码-java连接hadoop hdfs文件系统报错

问题描述 java连接hadoop hdfs文件系统报错 10C 报错信息:java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: ""localhost.local

org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block

Hbase依赖的datanode日志中如果出现如下报错信息:DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block  解决办法:Hbase侧配置的dfs.socket.timeout值过小,与DataNode侧配置的 dfs.socket.timeout的配置不一致,将hbase和datanode的该配置调成