永久免费网站建设方案tool站长工具

Hadoop数据迁移distcp

准备工作

1. 确认源集群（a）,目标集群（b）
2. 确认a集群的主节点和b集群的主节点
3. 确认两个集群的网络相通
4. 确认迁移模式（全量迁移还是增量迁移），这里选择全量迁移

迁移文件

5. 迁移test目录下的文件至目标目录下
   命令：hadoop distcp -p -m 并行度 -bandwidth 带宽 源目录 目标目录
   示例：

hadoop distcp -p -m 5 -bandwidth 10 hdfs://源master:8020/test /

注意：源master为主namenode；命令行在目标主namenode上执行。