4.18. Hadoop 3.x的适配
Hadoop 2.X 到 Hadoop 3.X 不能简单的 binary swap, 需要特殊升级步骤。⽬前不建议直接升级。 对 于新⽤户, 可以考虑使⽤ Hadoop 3.X。
⽬前 Lava 不⽀持 Hadoop3.X 部署,所以在发布的 Software tarball 中暂时不能放 3.X。
在原来的 Tarball 中将 3.X 替换原来的 Hadoop folder 之后, 安装步骤和原来的保持⼀致。在配置上注意 以下变化:
• 需要将下⾯配置到 hadoop-env.sh
export JAVA_LIBRARY_PATH=/usr/local/lib:/usr/hdp/3.1.2.04/hadoop/lib/native
• 有些参数名字发⽣变化⽐如:
原来是 HADOOP_DATANODE_OPTS 和 HADOOP_NAMENODE_OPTS 现在是 HDFS_DATANODE_OPTS 和 HDFS_NAMENODE_OPTS
• 端⼝发⽣变化
Namenode ports: 50470 --> 9871, 50070 --> 9870, 8020 --> 9820
Secondary NN ports: 50091 --> 9869, 50090 --> 9868
Datanode ports: 50020 --> 9867, 50010 --> 9866, 50475 --> 9865, 50075 --> 9864