hadoop项目

项目来源：https://github.com/monsonlee/BigData

project2：分析日志

1.把baidu.log上传hdfs

2.本地编译TimeUtil.java和MR_WLA.java

•     问题：javac MR_WLA.java 报错找不到包和类

            解决方式：修改/etc/profile里的classpath，添加一行

export CLASSPATH=.:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.7.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.7.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar:$CLASSPATH

•    问题：编译MR_WLA.java时找不到TimeUtil类

           解决方式：注释掉两个文件中第一行package XXX，参考https://blog.csdn.net/octopusflying/article/details/53791661

•    问题：打包时出现 invalid header field

           解决方式：参考https://segmentfault.com/a/1190000004428950 使用打包命令 jar cfm MR_WLA.jar MR_WLA-manifest.txt MR_WLA.class TimeUtil.class,参数cfm要指定配置文件。另外：manifest文件中的每个标签冒号后都跟上一个空格，最后一行需要有一个回车键，否则后面那一行是不能打包进去的