Hadoop 命令参考

  • 命令

    还有很多更多的命令“$HADOOP_HOME/bin/hadoop fs”不是在这里表现出来,虽然这些基本的操作都将让你开始。在不使用其他参数的情况下运行./bin/hadoop dfs将列出可以在FsShell系统上运行的所有命令。此外,如果您遇到问题,$HADOOP_HOME/bin/hadoop fs -help 命令名称将显示有关操作的简短用法摘要。所有操作的表格如下所示。以下约定用于参数-
    
    "<path>" means any file or directory name. 
    "<path>..." means one or more file or directory names. 
    "<file>" means any filename. 
    "<src>" and "<dest>" are path names in a directed operation. 
    "<localSrc>" and "<localDest>" are paths as above, but on the local file system.
    
    所有其他文件和路径名均引用HDFS中的对象。
    命令 函数
    -ls <path> 列出由path指定的目录的内容,显示每个条目的名称,权限,所有者,大小和修改日期。
    -lsr <path> 行为类似于-ls,但递归地显示path的所有子目录中的条目。
    -du <path> 显示所有与路径匹配的文件的磁盘使用情况(以字节为单位); 文件名以完整的HDFS协议前缀报告。
    -dus <path> 与-du相似,但会打印路径中所有文件/目录的磁盘使用情况摘要。
    -mv <src><dest> 在HDFS中将src指示的文件或目录移动到dest。
    -cp <src> <dest> 在HDFS内将src标识的文件或目录复制到dest。
    -rm <path> 删除由路径标识的文件或空目录。
    -rmr <path> 删除路径标识的文件或目录。 递归删除所有子条目(即路径的文件或子目录)。
    -put <localSrc> <dest> 从localSrc标识的本地文件系统中复制文件或目录到DFS中的dest。
    -copyFromLocal <localSrc> <dest> -put 相同
    -moveFromLocal <localSrc> <dest> 从localSrc标识的本地文件系统中复制文件或目录到HDFS中的dest,然后在成功后删除本地副本。
    -get [-crc] <src> <localDest> 将src标识的HDFS中的文件或目录复制到localDest标识的本地文件系统路径。
    -getmerge <src> <localDest> 检索与HDFS中的路径src匹配的所有文件,并将它们复制到localDest标识的本地文件系统中的单个合并文件中。
    -cat <filen-ame> 在标准输出上显示文件名的内容。
    -copyToLocal <src> <localDest> -get 相同
    -moveToLocal <src> <localDest> 与-get相似,但成功删除HDFS副本。
    -mkdir <path> 在HDFS中创建一个名为path的目录,在该路径中创建所有丢失的父目录(例如Linux中的mkdir -p)。
    -setrep [-R] [-w] rep <path> 为通过rep路径标识的文件设置目标复制因子。 (随着时间的推移,实际的复制因子将向目标移动)
    -touchz <path> 在包含当前时间作为时间戳的路径上创建一个文件。如果文件在路径中已经存在,则失败,除非该文件的大小为0。
    -test -[ezd] <path> 如果路径存在,则返回1;否则返回1。长度为零;或为目录,否则为0。
    -stat [format] <path> 打印有关路径的信息。格式是一个字符串,它接受以块(%b),文件名(%n),块大小(%o),复制(%r)和修改日期(%y,%Y)为单位的文件大小。
    -tail [-f] <file2name> 在stdout上显示文件的最后1KB。
    -chmod [-R] mode,mode,... <path>... 更改与由路径标识的一个或多个对象关联的文件许可权。...使用R递归执行更改。模式是3位数的八进制模式,即{augo} +/- {rwxX}。假定是否未指定范围,并且不应用umask。
    -chown [-R] [owner][:[group]] <path>... 设置由路径...标识的文件或目录的所有者用户和/或组。如果指定了-R,则递归设置所有者。
    -chgrp [-R] group <path>... 设置路径标识的文件或目录的拥有组。...如果指定了-R,则递归设置组。
    -help <cmd-name> 返回上面列出的命令之一的用法信息。您必须在cmd中省略开头的“-”字符。