使用dubbo框架的一些坑记录

以下记录都基于dubbox的使用

1.autowired一个服务失败

服务引用配置，明明就已经声明了xxx的服务，但service bean通过autowried引用，总提示xxx不存在，原因是xxx 服务少了id的设置，查看官网文档，dubbo:reference表签，id属性为必填项。但dubbo启动时却没有发出警告，导致问题被隐含了。

2.超时(timeout)与重试机制(retires)

dubbo通过设置短的超时机制＋重试次数，马上将当前超时服务提供者provider切换到其他可用的provider，通过这种思路实现快速响应。但对于一些新增记录的操作来说，有可能因为设定时间内，provider无法响应，客户端执行n次重试，导致新增记录操作的请求发了n次，数据库里这时候保存了n条记录数据。暂时解决方式是将那些响应时间相对旧一些的服务，它的超时时间设置长一点，并将重试次数retries设置为0
。

3.timeout设置问题
最近发现用于设置默认值的标签 跟 无法 为对应的标签和设置默认值timeout。
不能进行全局配置，而只能单独在和上设置timeout。
还在看源码找出问题.......,知道的麻烦告诉我一下

4.占用内存问题：

内存满了以后常见影响：

• A.导致接口异常（如数据请求失败）


• B.导致程序启动国漫

项目拆由原来单一个应用（可以看成单一个provider）按照业务功能便捷，拆分成好几个provider, 但不是全部都拆了出来，还保留了一个原始比较大的provider。

基本上每个provider 至少占用100M 的内存，有的还会占用300M,对于原始provider 会用上500M内存!!!

也就是说比如原来单一个provider 跑程序可能占用 500M以上的内存，经过拆分若干过以后，就会变成 500M + ( 100M~300M ) * N。

我们这边服务器配置比较低，基本上要两台服务器才能把所有provider部署下来，不然全部部署同一个服务器，最后一个启动的provider有可能因为内存满了，而加载很慢，从而影响整个应用服务不能正常运作。

PS:内存相关检测工具提示 top命令、jmap命令、MAT(memory analyzer tool)工具。

3.多个Provider更新维护脚本
关键词 : svn + maven + shell
另外一点:由于拆分了好多个服务，所以如果要一次批量全部更新的话，要在linux上不断的cd 、 nohup java -jar ......

A.svn搭建
搭建一个专门用来 存放各个环境(如开发环境、测试环境)的运行目录所需要的程序，包括provider, web部署目录。
更新的时候，先本地把包提交到svn ,然后登上运行的服务器进行svn checkout。
PS:如果是生产环境的包就不能这样做，有可能需要新建一个目录然后checkout。

B.运行脚本startup.sh
为每一个provider 编写startup.sh 脚本:

 
 
! /bin/sh
 
 
jar=find . -iname "*.jar" -maxdepth 1
 conf=pwd
 conf=$conf/spring-config.xml
 echo "using spring config file:$conf"
 nohup java -Ddubbo.container=spring -Ddubbo.spring.config=spring-config.xml -jar $jar &
 

放在maven 项目 src, 即与main 、test目录同一级:

dir.png

现在有了每个provider 的startup.sh了，为了一件启动，所以还需要写一个总运行的脚本,
startup_all.sh :

 
 
! /bin/sh
 
 
echo 'please run this shell using command "source"'
 
 
echo "shell start...";
 
 
cur=pwd
 
 
modules=("providerA"
 "providerB");
 
 
for module in ${modules[*]}; do
 
 
binpath="$module/bin/"
 
 
echo "$module starting..."
 
 
cd $cur;
 temp=pwd
 
 
echo "cd $temp "
 
 
cd $binpath;
 temp=pwd
 echo "cd $temp"
 ./startup.sh;
 done;
 

由于开发环境或测试环境服务器内存不够，有可能要将不同的provider部署到不同的服务器上，这时就要把startup_all.sh 文件拆分成两个文件来运行。

C.Maven 处理
自动将所有项目输出目录 指向同一个 目录下,目录结构例如
buildAll
buildAll/ProviderA
buildAll/ProviderB
只需要在pom文件 build标签中设定directory的值即可

 
 cn-jufuns-residences-origin-provider
 ../../buildAll/${build.env}/${artifactId}
 

其中${build.env} 可选的值为dev 、test、 production,分别表示开发环境、测试环境、生产环境。由parent 项目（定义所有子项目的依赖）里的pom 文件定义。

另外由于maven 输出包含一些多余文件，所以我利用maven resources插件将需要的文件 或目录 ，如jar,lib目录,properties文件,shell文件，拷贝到输出目录底下的bin目录:

dir2.png

maven 插件配置:

 
 
 org.apache.maven.plugins
 maven-resources-plugin
 
 
 copy-resources
 install
 
 copy-resources
 
 
 
        
            ${build.directory}/bin
            
                
                    src/sh
                    
                        *.*
                    
                
                
                    src/main/resources/
                    
                        *.*
                    
                
                
                    ${build.directory}
                    
                        *.jar
                        lib
                    
                
            

        
    
    
    
        copy-lib
        install
        
            copy-resources
        

        
            ${build.directory}/bin/lib
            

                
                    ${build.directory}/lib
                    
                        *.*
                    
                
            

        
    



 
 

 

这里要主要这个插件一定要放到最后，所以要注意下phase 这个值。

4.聚合日志Flume 使用

A.版本升级
dubbo 官方原始版本，包括dubbox 使用的还是log4j 1.X版本，为了使用Flume日志器，需要将dubbo升级为log4j2 版本。
(如果直接使用log4j 1.X版本 + Flume Appender 会报异常，提示Flume Appender 不能占用当前线程进行工作,而log4j2 是支持异步日志器 AsyncLogger,所以升级到log4j2版本)
如果没记错,由于spring 3.x 对log4j2 版本不支持,所以同时也把spring 3.x 升级到4.0。

B.Flume搭建一些bug
配置好Flume以后，客户端log4j2 远程传送日志到Flume时，提示"拒绝连接",
百度了一下,说是avroSource 绑定IP 不能指定localhost 或127.0.0.1 或0.0.0.0，改了以后就正常使用了。下面是Flume properties配置文件信息:

 a1.sources = r1
 a1.channels = memoryChannel
 a1.sinks = fileRollSink
 
 
seqSource
 
 
a1.sources.seqSource.type = seq
 
 
agent.sources.seqSource.channels = fileChannel
 
 
avro source for log4j
 
 
a1.sources.r1.type = avro
 a1.sources.r1.channels = memoryChannel
 a1.sources.r1.bind = 172.16.3.213
 a1.sources.r1.port = 44446
 
 
sink configuration
 
 
fileRollSink
 
 
a1.sinks.fileRollSink.type = file_roll
 a1.sinks.fileRollSink.sink.serializer = TEXT
 a1.sinks.fileRollSink.sink.directory = /opt/app_logs/
 a1.sinks.fileRollSink.sink.pathManager = ROLLTIME
 a1.sinks.fileRollSink.sink.pathManager.prefix = all-app-
 a1.sinks.fileRollSink.sink.pathManager.extension = log
 a1.sinks.fileRollSink.sink.rollInterval = 3600
 a1.sinks.fileRollSink.batchSize = 100
 a1.sinks.fileRollSink.channel = memoryChannel
 
 
loggerSink
 
 
a1.sinks.loggerSink.type = logger
 a1.sinks.loggerSink.channel = memoryChannel
 
 
channels configuration
 
 
fileChannel
 
 
a1.channels.fileChannel.type = file
 
 
a1.channels.fileChannel.dataDirs = /Users/IssacChow/workstation/apache/flume/apache-flume-1.7.0-bin/datadir
 
 
a1.channels.fileChannel.checkpointDir = /Users/IssacChow/workstation/apache/flume/apache-flume-1.7.0-bin/checkpointdir
 
 
memoryChannel
 
 
a1.channels.memoryChannel.type = memory
 a1.channels.memoryChannel.capacity = 1000
 a1.channels.memoryChannel.transactionCapacity = 100
 

运行脚本startup.sh :

 
 
! /bin/sh
 
 
nohup ./bin/flume-ng agent -n "a1" --conf "./conf" -f "./conf/flume-conf.properties" &