hadoop hdfs命令_hadooplinux命令

--config--loglevel

指定一个默认的配置文件目录，默认值是： ${HADOOP_PREFIX}/conf. 重载Log级别。有效的日志级别包含：FATAL, ERROR, WARN, INFO, DEBUG, and TRACE。默认是INFO。

GENERIC_OPTIONS

YARN支持表A的通用命令项。

COMMAND COMMAND_OPTIONS

YARN分为用户命令和管理员命令。

-archives

用逗号分隔计算中未归档的文件。 仅仅针对JOB。

-conf

制定应用程序的配置文件。

-D =

使用给定的属性值。

-files

用逗号分隔的文件,拷贝到Map reduce机器，仅仅针对JOB

-jt or

指定一个ResourceManager. 仅仅针对JOB。

-libjars

将用逗号分隔的jar路径包含到classpath中去，仅仅针对JOB。

--webservice https_address

使用HTTP端口代替RPC

fileName

存储token的文件名。

path

指定诊断的路径（既可以是文件也可以是目录）

-delete

删除损坏的文件。

-files

打印被诊断的文件。

-files -blocks

打印被诊断的文件的块信息。

-files -blocks -locations

打印每个块的位置信息。

-files -blocks -racks

打印数据块的网络拓扑结构

-includeSnapshots

如果给定的路径包含快照的路径或者快照在该路径下，则包含快照的数据。

-list-corruptfileblocks

打印丢失的块列表以及块所属的文件。

-move

移动损坏的文件到/lost+found目录。

-openforwrite

打印正在被写入的文件。

-namenodes

在集群中获取NameNode列表。

-secondaryNameNodes

在集群中获取secondaryNameNode列表

-backupNodes

在集群中获取backup node节点列表。

-includeFile

获取dfs.hosts配置的值，该值定义了哪些DataNode加入到集群。

-excludeFile

获取dfs.hosts.exclude配置的值，该值定义了哪些DataNode排除在集群之外。

-nnRpcAddresses

获取Namenode的RPC地址

-confKey [key]

获取配置文件中的值。

-help

打印帮助

-help

打印帮助信息

-localVM ConnectorURL

连接到同一台机器上的虚拟机

-port mbean server port

指定的Mbean服务端口，如果找不到，则尝试连接本地的虚拟机。

-service

指定JMX服务，DataNode 或者 NameNode。

-i,--inputFile arg

需要处理的edits file。以xml扩展的就是xml格式的，其他的都是二进制格式的。

-o,--outputFile arg

输出文件的名字，如果指定的输出文件存在，则会被覆盖，文件的格式由-p选项定义。

-f,--fix-txids

s

-h,--help

打印使用的帮助信息。

-r,--ecover

当读取二进制编辑日志时，使用recovery模式。这将给你机会跳过编辑日志的损坏部分。

-p,--processor arg

选择应用于image file处理器的类型，当前支持的处理有：binary (hadoop使用的二进制类型), xml (默认XML格式), stats (打印关于edits file的统计数据)

-v,--verbose

打印更相信的输出，包含输入和输出的文件名，处理器写入到文件，并打印在屏幕上。如果是大的image file文件，会大大的加大处理时间。（默认是false）

-i,--inputFile arg

处理edits file，xml (区分大小写) ，二进制格式。

-h,--help

打印使用信息和退出。

-o,--outputFile arg

文件的输出名，如果指向的文件存在，将覆盖它，文件的格式由-p参数决定。

-p,--processor arg

选择应用于image file处理器的类型，当前支持的处理有：binary (hadoop使用的二进制类型), xml (默认XML格式),
stats (打印关于edits file的统计数据)

-policy

datanode (default) ：如果集群每个DataNode节点是平衡的，运行该命令将各个DataNode均衡。blockpool: 在每个DataNode的每个Block Pool是均衡的，集群也会均衡。

-threshold

硬盘容量的百分比，默认的阀值会被覆盖。

-exclude -f |

balancer不包括指定的数据节点，用逗号分隔

-include -f |

balancer指定的数据节点，用逗号分隔

-idleiterations

退出前的最大空闲迭代次数，默认值是5。

-regular

正常的DataNode启动（默认）

-rollback

回滚datanode到上一个版本。.

-rollingupgrade rollback

回滚更新操作。

-report [-live] [-dead] [-decommissioning]

报告文件系统的信息和统计，其他的选项可以用来过滤节点。

-safemode enter|leave|get|wait

安全模式维护命令。NameNode安全模式： 1. 不接受更改命名空间（只读） 2. 不复制和删除块。 安全模式在NameNode启动的时候自动进入，也会自动退出，详情请看：Hadoop之机房down机后…
安全模式可以手动进入，但是也只能手动退出。

-saveNamespace

将当前命名空间保存到存储目录和重置编辑日志。需要安全模式。

-rollEdits

在活动的NameNode中，Roll EditLog文件。

-restoreFailedStorage true|false|check

这个选项打开或关闭自动尝试存储失败的副本。

-refreshNodes

重新读取在Namenode中，哪些DataNode是包含或者是排除在外的。哪些是应该退役的或者是重新启动。

-setQuota …

-clrQuota …

-setSpaceQuota …

-clrSpaceQuota …

-setStoragePolicy

对一个文件或者目录设置存储策略。

-getStoragePolicy

从一个文件或者目录中获取存储策略。

-finalizeUpgrade

完成升级的HDFS。Datanode将删除前一个版本的工作目录。接下来NameNode也一样。这个升级就完成了。

-rollingUpgrade [||<finalize>]</p> </td> <td style="text-align:left"> <p> </p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-metasave filename</p> </td> <td style="text-align:left"> <p> </p><p>保存NameNode主数据结构到filename中，目录是由hadoop.log.dir property配置参数指定的，filename如果存在会被覆盖。包含下列信息： 1。DataNode和NameNode的心跳。 2。等待复制的块 3。目前正在复制的块 4。等待被删除的块</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-refreshServiceAcl</p> </td> <td style="text-align:left"> <p> </p><p>新装入服务级别的授权策略文件。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-refreshUserToGroupsMappings</p> </td> <td style="text-align:left"> <p> </p><p>刷新用户和组的对应关系。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-refreshSuperUserGroupsConfiguration</p> </td> <td style="text-align:left"> <p> </p><p>刷新超级用户代理组的对应关系。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-refreshCallQueue</p> </td> <td style="text-align:left"> <p> </p><p>从配置中加载Call Queue。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-refresh <host:ipc_port> <key> [arg1..argn]</p> </td> <td style="text-align:left"> <p> </p><p>触发在指定的<host:ipc_port>上指定的<key>上做运行时刷新。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-reconfig <datanode |…> <host:ipc_port> <start|status></p> </td> <td style="text-align:left"> <p> </p><p>开始重新加载配置或者获取重新加载配置的状态。第二个参数是指定节点的类型。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-printTopology</p> </td> <td style="text-align:left"> <p> </p><p>打印哪些有在Namenode报告的节点的网络拓扑结构。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-refreshNamenodes datanodehost:port</p> </td> <td style="text-align:left"> <p> </p><p>对于给定的节点，重新加载配置文件，停止服务删除块池和启动服务新块池。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-deleteBlockPool datanode-host:port blockpoolId [force]</p> </td> <td style="text-align:left"> <p> </p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-setBalancerBandwidth <bandwidth in bytes per second></p> </td> <td style="text-align:left"> <p> </p><p>在块平衡期间，使用这个命令可以改变每个DataNode的网路带宽。<bandwidth>定义了DataNode的每秒的流量。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-allowSnapshot <snapshotDir></p> </td> <td style="text-align:left"> <p> </p><p>允许在一个目录创建快照，如果操作成功完成，这个目录将变成快照目录。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-disallowSnapshot <snapshotDir></p> </td> <td style="text-align:left"> <p> </p><p>取消被创建的快照目录，所有的快照目录都会被删除。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-fetchImage <local directory></p> </td> <td style="text-align:left"> <p> </p><p>下载最新的fsimage，保存在本地的目录中。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-shutdownDatanode <datanode_host:ipc_port> [upgrade]</p> </td> <td style="text-align:left"> <p> </p><p>对给定的DataNode提交一个关闭请求。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-getDatanodeInfo <datanode_host:ipc_port></p> </td> <td style="text-align:left"> <p> </p><p>获得给定的DataNode的信息</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-triggerBlockReport [-incremental] <datanode_host:ipc_port></p> </td> <td style="text-align:left"> <p> </p><p>触发一个给定的DataNode块报告，如果带了-incremental参数，则将是一个完整的块报表。</p> </td> </tr><tr><td style="text-align:left"> <p> </p><p>-help [cmd]</p> </td> <td style="text-align:left"> <p> </p><p>如果没有带参数，则打印所有命令参数的说明。</p> </td> </tr></tbody></table><p>示例：</p> <p></p><pre><code style="margin-left:0">[hadoop@hadoopcluster78 bin]$ hdfs dfsadmin -printTopology Rack: /default-rack 10.0.1.80:50010 (hadoopcluster80) 10.0.1.82:50010 (hadoopcluster82) 10.0.1.83:50010 (hadoopcluster83) 10.0.1.84:50010 (hadoopcluster84)</code>

journalnode

使用: hdfs journalnode

做NameNode高可用，使用该命令启动journalnode。

namenode

使用：

<code style="margin-left:0">  hdfs namenode [-backup] |
          [-checkpoint] |
          [-format [-clusterid cid ] [-force] [-nonInteractive] ] |
          [-upgrade [-clusterid cid] [-renameReserved<k-v pairs>] ] |
          [-upgradeOnly [-clusterid cid] [-renameReserved<k-v pairs>] ] |
          [-rollback] |
          [-rollingUpgrade <downgrade |rollback> ] |
          [-finalize] |
          [-importCheckpoint] |
          [-initializeSharedEdits] |
          [-bootstrapStandby] |
          [-recover [-force] ] |
          [-metadataVersion ]</code>

运行NameNode。

实例：

<code style="margin-left:0">[hadoop@hadoopcluster78 bin]$ hdfs namenode -metadataVersion
15/08/18 19:16:46 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = hadoopcluster78/10.0.1.78
STARTUP_MSG:   args = [-metadataVersion]
STARTUP_MSG:   version = 2.4.1
STARTUP_MSG:   classpath = /home/hadoop/apache/hadoop-2.4.1。。。省略</code>

nfs3

Usage: hdfs nfs3

和网络文件系统有关的命令。

portmap

使用: hdfs portmap

和网络文件系统有关的命令。

secondarynamenode

使用: hdfs secondarynamenode [-checkpoint [force]] | [-format] | [-geteditsize]

运行HDFS的secondary namenode。

zkfc

使用: hdfs zkfc [-formatZK [-force] [-nonInteractive]]

该命令在启动Zookeeper高可用的时候使用。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/185955.html原文链接：https://javaforall.cn

未经允许不得转载：木盒主机 » hadoop hdfs命令_hadooplinux命令