宙斯 安装部署

http://central.maven.org/maven2/com/google/guava/guava/18.0/guava-18.0.jar  版本太老

HADOOP_CONF_DIR

1. 一定要在linux  设置hadoop hive 环境变量，否则找不到配置文件，执行时候还报错没有执行权限，这个错误很容易误导人。

2. 拷贝 hadoop2.5.2 jar 到 工程lib下面（hadoop-core 在2x版本已经不存在了）。

guava-18.0.jar

hadoop-auth-2.5.2.jar

hadoop-client-2.5.2.jar 

hadoop-common-2.5.2.jar

hadoop-hdfs-2.5.2.jar 

hadoop-mapreduce-client-hs-2.5.2.jar

hadoop-mapreduce-client-app-2.5.2.jar  

hadoop-mapreduce-client-common-2.5.2.jar

 hadoop-mapreduce-client-core-2.5.2.jar

hadoop-mapreduce-client-hs-2.5.2.jar

hadoop-mapreduce-client-hs-plugins-2.5.2.jar

hadoop-mapreduce-client-jobclient-2.5.2.jar 

hadoop-mapreduce-client-jobclient-2.5.2-tests.jar

 hadoop-mapreduce-client-shuffle-2.5.2.jar

hadoop-mapreduce-examples-2.5.2.jar

protobuf-java-2.5.0.jar

3.修改核心类，xxxxbase 那个类

Protocol 内部类继承自定义BaseeneratedMessage（2.5,2.3  protobuf差异太大）

class BaseeneratedMessage extends com.google.protobuf.GeneratedMessage

4. 却少protobuf cahce包。

5. 替换2.3版本的protobuf-java 到2.5版本

6.要特别注意配置上传路径等等，很容易遇到权限问题，（宙斯是将上次的资源放到hdfs的）

7. 要注意配置 hive 远程模式，启动metasote服务（hive-site.xml 配置）

 

  hive.metastore.uris  

  thrift://taonongyuan.com:9083  

 

8.防止遇到 file:///异常要在core-site.xml配置(貌似不需要，如果有问题可以配置看看)

fs.hdfs.impl

org.apache.hadoop.fs.LocalFileSystem.class.getName

The FileSystem for hdfs: uris.

9. web.xml 配置也容易忘记：

  

                hdfsLibPath

                /user/hive/zesu_upload

       

 

http://central.maven.org/maven2/com/google/protobuf/protobuf-java/2.6.0/protobuf-java-2.5.0.jar


fs.file.impl=org.apache.hadoop.fs.LocalFileSystem.class.getName


Server IPC version 9 cannot communicate with client version 4


2.x系列已经没有hadoop-core的jar包了，变成一个个散的了，像下面这样


http://taonongyuan.com:8080/partition_download.do?path=hdfs://h001:9000/user/hive/warehouse/test_d&table=test_d HTTP/1.1


http://taonongyuan.com:8080/zeus_platform/table.rpc


必须设置 hive hadoop 环境变量




    private UnknownFieldSet unknownFields =
        UnknownFieldSet.getDefaultInstance();