HDFS常用Shell命令

Dagny ·

更新时间:2024-09-21

· 811 次阅读

本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发中可使用 bin/hadoop fs查看命令详情

使用HDFS基本语法: bin/hadoop fs	OR bin/hdfs dfs
	注:为帮助快速理解并使用本文中使用T表示target
基本命令
	1.启动hadoop集群
		HDFS相关组件: sbin/start-dfs.sh 
		YARN相关组件: sbin/start-yarn.sh
	2.显示目录信息
		-ls
		hadoop fs -ls $pdir
	3.在HDFS上创建目录
		-mkdir
		hadoop fs -mkdir -p $pdir/$fname
	4.从本地剪贴文件[目录]到HDFS
		-moveFromLocal
		hadoop fs -moveFromLocal $pdir/$fname $Tpdir
	5.追加文件到已存在文件的末尾
		-appendTOFile
		hadoop fs -appendToFile $pdir/$fname $Tpdir/$fname
	6.显示文件内容
		-cat
		hadoop fs -cat $pdir/$fname
	7.修改文件[目录]所属权限
		-chgrp -chmod -chown
		hadoop fs -chown $pdir/$fname
	8.HDFS拷贝文件[目录]
		-cp
		hadoop fs -cp $pdir/$fname $Tpdir/$fname
	9.HDFS移动文件
		-mv
		hadoop fs -nv $pdir/$fname $Tpdir/$fname
	10.从HDFS上下载文件[目录]到本地
		-get
		hadoop fs -get $pdir/$fname $Tpdir
	11.本地上传文件到HDFS
		-put
		hadoop fs -put $pdir/$fname $Tpdir
	12.合并下载目录下多个文件
		-getmerge
		hadoop fs -getmerge $pdir/$fanme $Tpdir/$newfname
	13.显示一个文件的末尾
		-tail
		hadoop fs -taile $pdir/$fname
	14.删除文件或文件夹
		-rm
		hadoop fs -rm [-r] $pdir/$fname
	15.统计文件夹的大小信息
		-du
		hadoop fs -du -s -h $pdir
		选项说明: -h 人们理解的方式查看信息 -s 该目录下所有文件合并在一起占用的空间大小
	16.设置HDFS文件的副本数量
		-setrep
		hadoop fs -setrep n $pdir/$fname
		注: 这里设置的副本数只是记录在NameNode的元数据中,实际是否会有这么多副本取决于DataNode的数量.

作者：我亦无它

shell hdfs

1024 个赞