HDFS常用文件操作











put














上传文件    hadoop fs -put wordcount.txt   /data/wordcount/

text

查看文件内容   hadoop fs -text /output/wordcount/part-r-00000 

ls

hadoop fs -ls /   列出hdfs文件系统根目录下的目录和文件

hadoop fs -ls -R /   列出hdfs文件系统所有目录和文件

rm

hadoop fs -rm < hdfs file > ...

hadoop fs -rm -r < hdfs dir>...

每次可以删除多个文件或目录

mkdir

只能一级一级建目录，父目录不存在的话使用这个命令会报错
所创建的目录如果父目录不存在就创建该父目录

cp 



目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件还存在

hadoop fs -cp < hdfs file or dir >... < hdfs dir >


目标文件夹要存在，否则命令不能执行


mv



目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件不存在




源路径有多个时，目标路径必须为目录，且必须存在。


count



统计hdfs对应路径下的目录个数，文件个数，文件总计大小

显示为目录个数，文件个数，文件总计大小，输入路径


du

显示hdfs对应路径下每个文件夹和文件的大小


显示hdfs对应路径下所有文件和的大小


stat



返回对应路径的状态信息


tail



在标准输出中显示文件末尾的1KB数据


balancer



如果管理员发现某些DataNode保存数据过多，某些DataNode保存数据相对较少，可以使用上述命令手动启动内部的均衡过程


hdfs dfsadmin -safemode < enter | leave | get | wait >

enter：进入安全模式；leave：离开安全模式；get：获知是否开启安全模式；


wait：等待离开安全模式


distcp


用来在两个HDFS之间拷贝数据


setrep



改变一个文件在hdfs中的副本个数，上述命令中数字3为所设置的副本个数，-R选项可以对一个人目录下的所有目录+文件递归执行改变副本个数的操作
				


				
时间： 2024-10-02 14:57:56

		
		


		


	

	
	

		


		
HDFS常用文件操作的相关文章


								

		

			

                Ruby常用文件操作代码实例
			

		

		

									

				  这篇文章主要介绍了Ruby常用文件操作代码实例,如新建文件.输出文件内容.IO操作.输出文件路径.stringio使用等内容,需要的朋友可以参考下 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 6			

		

	

				

		

			

                Asp.net(c#)常用文件操作类封装 移动 复制 删除 上传 下载等
			

		

		

									

				Asp.net(c#)中常用文件操作类封装 包括:移动 复制 删除 上传 下载等 using System; using System.Configuration; using System.Data; using System.IO; using System.Text; using System.Threading; using System.Web; using System.Web.Security; using System.Web.UI; using System.Web.UI.Ht			

		

	

				

		

			

                php常用文件操作函数汇总_php技巧
			

		

		

									

				本文实例分析了php常用文件操作函数.分享给大家供大家参考.具体方法如下: 这里搜集了大量的php中文件操作函数如有文件打开,创建,删除,更变组,读取写文件,文件上传以及打开远程文件,把内容写入文件等实例. 复制代码 代码如下: $fp=fopen("test.txt","r"); //以只读方式打开文件,将文件指针指向文件头 $fp=fopen("test.txt","r+"); //以读写方式打开文件,将文件指针指向文件头			

		

	

				

		

			

                PHP常用文件操作函数和简单实例分析_php实例
			

		

		

									

				PHP最常用的文件操作就是读取和写入了,今天就主要讲解一下读取和写入函数,并且做一个页面访问的计数功能,来记录一个页面的访问量. fopen():PHP中没有文件创建函数,创建和打开文件都用fopen()函数,函数的形式为:resource fopen( string filename, string mode ) 参数filename为打开或创建并打开的文件名,参数mode为打开的模式,具体模式如下: fread():PHP中可用于读取文件,函数的形式为:string fread( resou			

		

	

				

		

			

                php笔记之常用文件操作_php技巧
			

		

		

									

				复制代码 代码如下: <?php //常用文件操作函数 //第一部分 文件读写 与创建 删除 重命名等 //在开始前操作文件前 我们先判断一下是否是个文件 文件是否可执行 可读 可写 $file="test.txt"; if(file_exists($file))//盘断文件是否存在 { echo "文件存在<br>"; }else { echo "文件不存在,已创建"; $fp=fopen($file,"w"			

		

	

				

		

			

                Python中shutil模块的常用文件操作函数用法示例_python
			

		

		

									

				os模块提供了对目录或者文件的新建/删除/查看文件属性,还提供了对文件以及目录的路径操作.比如说:绝对路径,父目录--  但是,os文件的操作还应该包含移动 复制  打包 压缩 解压等操作,这些os模块都没有提供. 而本文所讲的shutil则就是对os中文件操作的补充.--移动 复制  打包 压缩 解压, shutil函数功能:1  shutil.copyfileobj(fsrc, fdst[, length=16*1024]) copy文件内容到另一个文件,可以copy指定大小的内容 先来看看			

		

	

				

		

			

                php中常用文件操作函数介绍
			

		

		

									

				在对一个文件进行访问之前,一般我们都需要判断文件是否存在,以免调用了不存在的文件导致错误. php判断文件是否存在函数:file_exists(),结构形式如下: file_exist($string); 参数$string为一个指向文件或目录的字符型变量,如果文件或目录存在,则返回true,否则返回false. 实例:  代码如下 复制代码 <?php  /* 判断post.php是否存在 */  $file="post.php";  if(file_exists($file)			

		

	

				

		

			

                php中常用文件操作读写函数介绍
			

		

		

									

				用 PHP 内置函数 file_exists 可以检查某个文件或目录是否存在.如果文件或目录存在,file_exists 函数返回 TRUE,如果不存在,则返回 FALSE. 下面是一个简单的检查文件是否存在的实例代码:  代码如下 复制代码 <html><body><?php $filename = "C:\blabla\php\hello.txt"; if (file_exists($filename))  {echo "The file $			

		

	

				

		

			

                php 常用文件操作学习笔记
			

		

		

									

				1.获取文件名:basename(); 2.获取文件所在的目录:dirname(); 3.pathinfo()获取文件信息,返回结果为一个array,包括路径.文件全名.文件名和扩展名.例如:  代码如下 复制代码 $file = '/com/netingcn/error.log'; print_r(pathinfo($file)); 结果为: Array(     [dirname] => /com/netingcn     [basename] => error.log     [exte