hadoop使用openJ9报错：unable to find LoginModule class: com.ibm.security.auth.module.LinuxLoginModule解决

为了节约内存，使用IBM J9 JDK跑Hadoop 2.10.2，出现以下错误

org.apache.hadoop.security.KerberosAuthException: failure to login: javax.security.auth.login.LoginException: unable to find LoginModule class: com.ibm.security.auth.module.LinuxLoginModule

除了改源码，还有一个比较简单的处理方式，就是打补丁。使用：

-javaagent:

配置etc/hadoop/hadoop-env.sh

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
#适配OPENJ9
export HADOOP_OPTS="$HADOOP_OPTS -javaagent:/opt/jdk-openj9-8/setvendor8.zip"

配置etc/hadoop/yarn-env.sh

YARN_OPTS="$YARN_OPTS -Dhadoop.root.logger=${YARN_ROOT_LOGGER:-INFO,console}"
YARN_OPTS="$YARN_OPTS -Dyarn.root.logger=${YARN_ROOT_LOGGER:-INFO,console}"
#openj9适配
YARN_OPTS="$YARN_OPTS -javaagent:/opt/jdk-openj9-8/setvendor8.zip"

然后start-all.sh 跑起来跑起来，内存占用相当舒适

setvendor8.zip下载地址 https://download.csdn.net/download/applebomb/88639890

MapReduce的错误

按照以上的方式，可以跑起来了，但是执行操作的时候还是会报错。MR操作是子进程进行的，所以一直找子进程怎样实现。经过数小时折腾，终于找到了办法，不确定是哪个OPTS的作用，索性把所有的OPTS都加上了，最后mapred-site.xml长这样：

    
        mapreduce.framework.name
        yarn
    
    
        mapred.child.java.opts
        -javaagent:/opt/jdk-openj9-8/setvendor8.zip
    
    
        yarn.app.mapreduce.am.command-opts
        -javaagent:/opt/jdk-openj9-8/setvendor8.zip
    
    
        yarn.app.mapreduce.am.admin-command-opts
        -javaagent:/opt/jdk-openj9-8/setvendor8.zip
    

然后可以配置hive，hive没有什么特别的，直接就可以跑起来

【2023-12-21】新增

如果要配置flink的继续看：

flink的配置主要是修改config.sh来适配，关键的改动点头部添加export环境导出javaagent：

#  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
#  See the License for the specific language governing permissions and
# limitations under the License.
################################################################################

export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export JVM_ARGS="$JVM_ARGS -javaagent:/opt/jdk-openj9-8/setvendor8.zip"

constructFlinkClassPath() {
    local FLINK_DIST
    local FLINK_CLASSPATH

这样在执行sql-client.sh embedded shell的时候就不会有报错了