hadoop新特性通过NFSv3挂载HDFS到本地目录

原理

NFS允许用户像访问本地文件系统一样访问远程文件系统,而将NFS引入HDFS后,用户可像读写本地文件一样读写HDFS上的文件,大大简化了HDFS使用,这是通过引入一个NFS gateway服务实现的,该服务能将NFS协议转换为HDFS访问协议,具体如下图所示。

Portmap和Nfs3进程是成功启动hdfs nfs网关后才有的进程

HDFS NFS Gateway安装配置详解

http://blog.csdn.net/rzliuwei/article/details/38388279

启动NFS Gateway 服务

官网链接

http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html

验证服务

如果不是可以查看/etc/exports文件

挂载HDFS

挂载HDFS文件系统到本地的/mnt/hdfs目录下

在NFS GATEWAY主机上输入

sudo mount -t nfs -o vers=3,proto=tcp,nolock 192.168.1.105:/ /mnt/hdfs

May  8 15:53:18 cdh1 rpc.mountd[3689]: refused mount request from 192.168.1.105 for / (/): unmatched host

如果报错因为机器默认没有打开NFSv3,修改/etc/sysconfig/nfs文件

把RPCNFSDARGS="-N 4"前面的#去掉(4兼容2和3),修改重启所有服务。

查看报错详细信息:
cat /var/log/messages|grep mount

成功挂载后如下所示,可以看到HDFS文件系统已挂载到本地目录

创建目录


可以看到HDFS系统上对应目录已创建成功

从本地上传文件到HDFS

文件大小为500m,测试性能

time  cp /opt/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz /mnt/hdfs/test

我的环境上耗时大概48s,10M/s的速度,还可以

解挂HDFS

报错umount.nfs: /mnt/hdfs: device is busy

fuser -m /mnt/hdfs,查看此文件系统正在被哪些进程访问

yum -y install  lsof 
查看此文件系统中正在被使用的文件,可以看到/data目录被正在使用

kill -9  15355 杀死访问进程就可以,输入umount /mnt/hdfs解挂成功。

补充:

linux下好用的命令:tree 

安装tree包 

yum -y install tree  

 安装后键入  tree  /mnt/hdfs/hbase,目录结构以树形的方式显示是不是很直观

本文出自 “点滴积累” 博客,请务必保留此出处http://tianxingzhe.blog.51cto.com/3390077/1650182

时间: 2024-11-05 12:15:16

hadoop新特性通过NFSv3挂载HDFS到本地目录的相关文章

JDK5.0新特性系列---7.使用ProcessBuilder执行本地命令

  import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.util.ArrayList; import java.

JDK5.0新特性系列---目录

  JDK5.0新特性系列---目录   JDK5.0新特性系列---1.自动装箱和拆箱   JDK5.0新特性系列---2.新的for循环 JDK5.0新特性系列---3.枚举类型 JDK5.0新特性系列---4.静态导入 JDK5.0新特性系列---5.可变长参数Varargs JDK5.0新特性系列---6.格式化输出 JDK5.0新特性系列---7.使用ProcessBuilder执行本地命令 JDK5.0新特性系列---8.泛型编程 JDK5.0新特性系列---9.注释功能Annota

【Hadoop Summit Tokyo 2016】Hadoop Common与HDFS中有什么新特性?

本讲义出自Tsuyoshi Ozawa在Hadoop Summit Tokyo 2016上的演讲,主要分享了Hadoop 3 Common与HDFS出现的新特性,因为新版本的Hadoop运行在JDK8上,在应用构建的过程中,所以需要使用JDK8编译源代码,并且新版本的Hadoop具有更好的库管理,并且支持Azure数据湖泊存储,最后还分享了关于脚本重写与Apache Kafka的metrics2插件的相关内容.

《Hadoop MapReduce实战手册》一2.10 挂载HDFS(Fuse-DFS)

2.10 挂载HDFS(Fuse-DFS) Hadoop MapReduce实战手册 Fuse-DFS项目使我们能够在Linux上挂载HDFS(也支持许多其他版本的Unix)作为标准的文件系统.这样做,可以允许任何程序或用户使用类似于传统的文件系统的方式访问HDFS和与HDFS交互. 准备工作 系统中必须安装以下软件: Apache Ant(http://ant.apache.org/): Fuse和fuse开发包.Fuse开发文件可以通过Redhat/Fedora安装fuse-devel RP

Hadoop 2.4.0新特性介绍

在http://www.aliyun.com/zixun/aggregation/33721.html">2014年4月7日,Apache发布了Hadoop 2.4.0 .相比于hadoop 2.3.0,这个版本有了一定的改进,突出的变化可以总结为下列几点(官方文档说明): 1 支持HDFS访问控制列表(ACL,Access Control Lists) 这个特性解决了在一定情况下,文件权限访问的权限问题.其机制是基于Linux文件访问权限的特征,如果你熟悉Linux的文件访问机制,你就不

【Hadoop Summit Tokyo 2016】Apache Hadoop 3.0 :YARN和MapReduce有什么新特性?

本讲义出自Junping Du在Hadoop Summit Tokyo 2016上的演讲,主要分享了在Apache Hadoop 3.0中YARN和MapReduce已经拥有和正在演进的新特性,并且对于Apache Hadoop 3.0 版本的时间轴进行了分享.

CDH4.5.0 新特性

Apache Flume 新特性: FLUME-2190 - 引入一个新的Twitter firehose的feed源 FLUME-2109 - HTTP输入源支持HTTPS. FLUME-1666 - 系统日志的TCP源现在可以保持时间戳和处理领域中的事件主体. FLUME-2202 - AsyncHBaseSink can now coalesce increments to the same row and column per transaction to reduce the numb

更多新特性,HPE Vertica8.0荣耀问世!

从零售业.银行业,到通信业.制造业,甚至公共部门,HPE Vertica凭借对数据的强大存储和处理能力,已经充分满足了各行各业的独特需求.作为为大数据量身打造的实时分析平台,它不仅创造了更快的分析速度,连接了更多的数据源,同时也加快了更多企业的业务转型. 不过,HPE Vertica的持续创新之路并不止于此.Vertica8.0现已荣耀问世,一起来看看它到底增添了哪些新特性,又将如何助力你我未来的新征程! 1.数据管理 在表级数据加载策略上,它可以不修改ETL和BI工具的数据处理脚本,就能够设置

Impala新特性

本文主要整理一下 Impala 每个版本的新特性,方便了解 Impala 做了哪些改进.修复了哪些 bug. Impala 目前最新版本为 1.4.0,其下载地址为:http://archive.cloudera.com/impala/redhat/6/x86_64/impala/ 不得不说的事情: 1.3.1 用于 CDH4 1.4.0 用于 CDH5 1.4.0 CDH5 中增加 DECIMAL 数据类型,可以设置精度,其语法为:DECIMAL[(precision[,scale])] CD