lanxuezaipiao

在Hadoop 2.3上运行C++程序各种疑难杂症（Hadoop Pipes选择、错误集锦、Hadoop2.3编译等）

首记

感觉Hadoop是一个坑，打着大数据最佳解决方案的旗帜到处坑害良民。记得以前看过一篇文章，说1TB以下的数据就不要用Hadoop了，体现不出太大的优势，有时候反而会成为累赘。因此Hadoop的使用场所一般有两：一是有一定规模的公司，数据流一般是TB级别的，这样的公司其实不多；二是各大高校的实验室，作为研究使用。不幸的我也走上了这条路，仅为研究之用。而且我的使用需求还不是一般的在Hadoop下开发应用程序，而是开发好的C++程序要放到Hadoop平台下进行测试。Hadoop是基于Java的数据计算平台，当然对Java支持的最好，如果要运行C++程序，有三种解决方案：

使用JNI/JNA/JNR技术。这三种Java外部函数接口技术都是解决在Java程序中运行C++功能函数的需求，从而使得在Hadoop平台下开发Java程序且能调用C++函数完成在Hadoop Java版应用中运行C++程序的目的。早期（大概11年）阿里就是使用该技术将C语言实现的分词软件成功部署到Hadoop平台下运行，详情请看参考资料1。用过JNI的都知道JNI实在不好用，所以后来有人开发了另外两种Java外部函数接口，即JNA和JNR，具体介绍和使用实例请看参考资料2和参考资料3。
使用Hadoop Streaming技术。这项技术可以使得除了Java之外的多种其它语言如C/C++/Python/C#甚至shell脚本等运行在Hadoop平台下，程序只需要按照一定的格式从标准输入读取数据、向标准输出写数据就可以在Hadoop平台上使用，原有的单机程序稍加改动就可以在Hadoop平台进行分布式处理。
使用Hadoop Pipes技术。该技术只专注于在Hadoop平台下运行C++程序，只允许用户使用C++语言进行MapReduce程序设计。它采用的主要方法是将应用逻辑相关的C++代码放在单独的进程中，然后通过Socket让Java代码与C++代码通信。从很大程度上说，这种方法类似于Hadoop Streaming，不同之处是通信方式不同：一个是标准输入输出，另一个是socket。

对于这三种技术我都做了相关调研和比较分析，首先排除了方法1，因为我不想写Java程序来调用C++功能，有些累赘，调试非常不方便，那么是用Hadoop Streaming技术还是Hadoop Pipes技术呢？两种方式各有优缺点，具体可看参考资料4（说的不太准确，仅供参考），为了准确选择，我需要将两种方法都试验一下，看哪个适合自己的需求再做最终决定。

首先选择了仅专注C++的Hadoop Pipes技术，于是就开启了下面一系列的过程……

Hadoop 2.3环境配置安装

我之前配置过Hadoop环境（看参考资料5），但那时用的版本是1.1.2，比较老的版本，一堆bug，为了避免遗留bug的困扰我选择了最新版2.3，因此需要重新配置（主要借鉴参考资料6），由于2.3版本使用的是新MapReduce框架yarn，因此配置与之前有所差异。

配置成功后，用自带的经典案例wordcount测试下运行是否正常（已上传数据）：

hadoop jar ./hadoop-2.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar wordcount wc_input.txt out

结果出现了下面错误：

  
  
  
  
   
   
   
   2014-04-03 21:19:40,847 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager
  
  
  
  
  
  
  
  
   
   
   
   org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.ConnectException: Call From Slave1/192.168.1.152 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:185)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:121)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:199)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:354)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:401)
  
  
  
  
  
  
  
  
   
   
   
   Caused by: java.net.ConnectException: Call From Slave1/192.168.1.152 to 0.0.0.0:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
  
  
  
  
  
  
  
  
   
   
   
    at sun.reflect.GeneratedConstructorAccessor8.newInstance(Unknown Source)
  
  
  
  
  
  
  
  
   
   
   
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
  
  
  
  
  
  
  
  
   
   
   
    at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:783)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:730)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.ipc.Client.call(Client.java:1410)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.ipc.Client.call(Client.java:1359)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
  
  
  
  
  
  
  
  
   
   
   
    at com.sun.proxy.$Proxy23.registerNodeManager(Unknown Source)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.yarn.server.api.impl.pb.client.ResourceTrackerPBClientImpl.registerNodeManager(ResourceTrackerPBClientImpl.java:68)
  
  
  
  
  
  
  
  
   
   
   
    at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
  
  
  
  
  
  
  
  
   
   
   
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  
  
  
  
  
  
  
  
   
   
   
    at java.lang.reflect.Method.invoke(Method.java:606)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
  
  
  
  
  
  
  
  
   
   
   
    at com.sun.proxy.$Proxy24.registerNodeManager(Unknown Source)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.registerWithRM(NodeStatusUpdaterImpl.java:247)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:179)
  
  
  
  
  
  
  
  
   
   
   
    ... 6 more
  
  
  
  
  
  
  
  
   
   
   
   Caused by: java.net.ConnectException: Connection refused
  
  
  
  
  
  
  
  
   
   
   
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
  
  
  
  
  
  
  
  
   
   
   
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:708)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:529)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:493)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:601)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:696)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.ipc.Client$Connection.access$2700(Client.java:367)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1458)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.ipc.Client.call(Client.java:1377)
  
  
  
  
  
  
  
  
   
   
   
    ... 18 more

是连接拒绝问题，连接了“0.0.0.0:8031”这个地址，这显然是某个选项没配置连接地址，导致使用了默认的错误地址。经过查资料，是 yarn-site.xml文件没配置好，其中的yarn.nodemanager.address没有配置，默认是0.0.0.0。正确的配置如下（可能有些项不需要配置，但为了保险还是大部分都配置了）

<configuration>
  
  
  
  
   
   
   
   <property>
  
  
  
  
  
  
  
  
   
   
   
   　　<name>yarn.resourcemanager.address</name>
  
  
  
  
  
  
  
  
   
   
   
   　　<value>192.168.1.137:8032</value>
  
  
  
  
  
  
  
  
   
   
   
   </property>
  
  
  
  
  
  
  
  
   
   
   
   <property>
  
  
  
  
  
  
  
  
   
   
   
   　　<name>yarn.resourcemanager.scheduler.address</name>
  
  
  
  
  
  
  
  
   
   
   
   　　<value>192.168.1.137:8030</value>
  
  
  
  
  
  
  
  
   
   
   
   </property>
  
  
  
  
  
  
  
  
   
   
   
   <property>
  
  
  
  
  
  
  
  
   
   
   
   　　<name>yarn.resourcemanager.resource-tracker.address</name>
  
  
  
  
  
  
  
  
   
   
   
   　　<value>192.168.1.137:8031</value>
  
  
  
  
  
  
  
  
   
   
   
   </property>
  
  
  
  
  
  
  
  
   
   
   
   <property>
  
  
  
  
  
  
  
  
   
   
   
   　　<name>yarn.resourcemanager.admin.address</name>
  
  
  
  
  
  
  
  
   
   
   
   　　<value>192.168.1.137:8033</value>
  
  
  
  
  
  
  
  
   
   
   
   </property>
  
  
  
  
  
  
  
  
   
   
   
   <property>
  
  
  
  
  
  
  
  
   
   
   
          <name>yarn.resourcemanager.webapp.address</name>
  
  
  
  
  
  
  
  
   
   
   
   　　<value>192.168.1.137:8088</value>
  
  
  
  
  
  
  
  
   
   
   
   </property>
  
  
  
  
  
  
  
  
   
   
   
   <property>
  
  
  
  
  
  
  
  
   
   
   
       <name>yarn.nodemanager.aux-services</name>
  
  
  
  
  
  
  
  
   
   
   
       <value>mapreduce_shuffle</value>
  
  
  
  
  
  
  
  
   
   
   
   </property>
  
  
  
  
  
  
  
  
   
   
   
   <property>
  
  
  
  
  
  
  
  
   
   
   
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  
  
  
  
  
  
  
  
   
   
   
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  
  
  
  
  
  
  
  
   
   
   
   </property>
  
  
  
  
  
  
  
  
   
   
   
   </configuration>

然后就运行成功了。开始以为环境就这样配好了，直到我测试Hadoop pipes程序……

Hadoop pipes运行错误集锦

Hadoop 2.3发布版本没有自带Hadoop pipes的wordcount例子，于是我就在老的1.1.2版本中找来了wordcount-simple.cc例子，修改了头文件路径（新版本与旧版本路径完全不一样），并参考资料7使用下面的makefile编译（其中的-lssl也许非必需）：

HADOOP_INSTALL=/opt/hadoop

CC = g++
CCFLAGS = -I$(HADOOP_INSTALL)/include

wordcount :wordcount-simple.cc
        $(CC) $(CCFLAGS) $< -Wall -L$(HADOOP_INSTALL)/lib/native -lhadooppipes -lhadooputils -lpthread -lcrypto -lssl -g -O2 -o $@

编译成功后，上传到HDFS上，用下面的命令测试运行：

hadoop pipes -D hadoop.pipes.java.recordreader=true -D hadoop.pipes.java.recordwriter=true  \
                       -D mapred.job.name=wordcount -input /data/wc_in -output /data/wc_out2  -program /bin/wordcount

开始一直卡在”map 0% reduce 0%“，不知道过了多久，报出了下面一系列错误：

DEPRECATED: Use of this script to execute mapred command is deprecated.
  
  
  
  
   
   
   
   Instead use the mapred command for it.
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:48 INFO client.RMProxy: Connecting to ResourceManager at /192.168.1.137:8032
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:49 INFO client.RMProxy: Connecting to ResourceManager at /192.168.1.137:8032
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:50 WARN mapreduce.JobSubmitter: No job jar file set. User classes may not be found. See Job or Job#setJar(String). 
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:50 INFO mapred.FileInputFormat: Total input paths to process : 2
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:51 INFO mapreduce.JobSubmitter: number of splits:2
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:51 INFO Configuration.deprecation: hadoop.pipes.java.recordreader is deprecated. Instead, use mapreduce.pipes.isjavarecordreader
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:51 INFO Configuration.deprecation: mapred.job.name is deprecated. Instead, use mapreduce.job.name
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:51 INFO Configuration.deprecation: hadoop.pipes.java.recordwriter is deprecated. Instead, use mapreduce.pipes.isjavarecordwriter
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:52 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1396578697573_0004
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:52 INFO mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:53 INFO impl.YarnClientImpl: Submitted application application_1396578697573_0004
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:53 INFO mapreduce.Job: The url to track the job: http://Master:8088/proxy/application_1396578697573_0004/
  
  
  
  
  
  
  
  
   
   
   
   14/04/03 23:59:53 INFO mapreduce.Job: Running job: job_1396578697573_0004
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:00:26 INFO mapreduce.Job: Job job_1396578697573_0004 running in uber mode : false
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:00:26 INFO mapreduce.Job: 
   
   
   
   map 0% reduce 0%
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:10:53 INFO mapreduce.Job: map 100% reduce 0%
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:10:53 INFO mapreduce.Job: Task Id : attempt_1396578697573_0004_m_000001_0, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   AttemptID:attempt_1396578697573_0004_m_000001_0 Timed out after 600 secs
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:10:54 INFO mapreduce.Job: Task Id : attempt_1396578697573_0004_m_000000_0, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   AttemptID:attempt_1396578697573_0004_m_000000_0 Timed out after 600 secs
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:10:55 INFO mapreduce.Job: map 0% reduce 0%
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:21:23 INFO mapreduce.Job: map 100% reduce 0%
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:21:24 INFO mapreduce.Job: Task Id : attempt_1396578697573_0004_m_000000_1, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   AttemptID:attempt_1396578697573_0004_m_000000_1 Timed out after 600 secs
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:21:24 INFO mapreduce.Job: Task Id : attempt_1396578697573_0004_m_000001_1, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   AttemptID:attempt_1396578697573_0004_m_000001_1 Timed out after 600 secs
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:21:25 INFO mapreduce.Job: map 0% reduce 0%
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:31:53 INFO mapreduce.Job: Task Id : attempt_1396578697573_0004_m_000000_2, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   AttemptID:attempt_1396578697573_0004_m_000000_2 Timed out after 600 secs
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:31:53 INFO mapreduce.Job: Task Id : attempt_1396578697573_0004_m_000001_2, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   AttemptID:attempt_1396578697573_0004_m_000001_2 Timed out after 600 secs
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:42:24 INFO mapreduce.Job: map 100% reduce 0%
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:42:25 INFO mapreduce.Job: map 100% reduce 100%
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:42:26 INFO mapreduce.Job: Job job_1396578697573_0004 failed with state FAILED due to: Task failed task_1396578697573_0004_m_000000
  
  
  
  
  
  
  
  
   
   
   
   Job failed as tasks failed. failedMaps:1 failedReduces:0
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 00:42:27 INFO mapreduce.Job: Counters: 9
  
  
  
  
  
  
  
  
   
   
   
    Job Counters
  
  
  
  
  
  
  
  
   
   
   
     Failed map tasks=8
  
  
  
  
  
  
  
  
   
   
   
     Launched map tasks=8
  
  
  
  
  
  
  
  
   
   
   
     Other local map tasks=6
  
  
  
  
  
  
  
  
   
   
   
     Data-local map tasks=2
  
  
  
  
  
  
  
  
   
   
   
     Total time spent by all maps in occupied slots (ms)=5017539
  
  
  
  
  
  
  
  
   
   
   
     Total time spent by all reduces in occupied slots (ms)=0
  
  
  
  
  
  
  
  
   
   
   
     Total time spent by all map tasks (ms)=5017539
  
  
  
  
  
  
  
  
   
   
   
     Total vcore-seconds taken by all map tasks=5017539
  
  
  
  
  
  
  
  
   
   
   
     Total megabyte-seconds taken by all map tasks=5137959936
  
  
  
  
  
  
  
  
   
   
   
   Exception in thread "main" java.io.IOException: Job failed!
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:836)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Submitter.runJob(Submitter.java:264)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Submitter.run(Submitter.java:503)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Submitter.main(Submitter.java:518)

通过网上各种资料（之所以在网上找解决方案是因为在namenode、datanode及yarn的日志里都没能找到错误信息及有效信息，所以很不解到底是什么原因导致的错误），解决方案都不靠谱，都没能解决该问题。最后自己一阵捣鼓，最终在一个很隐蔽的日志里看到了错误提示，该日志在 datanode的Hadoop安装路径下logs目录下的 userlogs文件夹里，开始以为这是个无用的文件夹，后来发现这个文件夹解决了我所有的问题，该文件夹下面包含了很多application子文件夹，而子文件夹下面又包含了很多container子文件夹，container下面就是标准的三个输出日志”stderr“、”stdout“和”syslog“，也就是这样的目录结构（ datanode的container logs）：

|-- Hadoop安装路径

|-- logs

|- -userlogs

|-- application_XXXXXXXX

|-- container_XXXXXXXX

|-- stderr

|-- stdout

|-- syslog

其中stderr是最重要的文件，具体的错误原因就保存在这个文件里面。比如上面的错误信息在该文件里找到了这样的错误提示（...表示省略无关信息）：

.../application_1396607014314_0001/container_1396607014314_0001_01_000002/wordcount: 
error while loading shared libraries: libcrypto.so.10: cannot open shared object file: No such file or directory

在datanode上用”locate libcrypto.so.10“搜了下的确没找到，但在namenode上找到了这个共享库文件，于是就将namenode下的该文件拷贝到了datanode的/usr/lib下面，重新运行程序，还是同样的问题，卡住了最后报出了那样的错误，于是到datanode下面的container logs里找原因，发现了新的问题：

/usr/lib/libstdc++.so.6: version `GLIBCXX_3.4.11' not found (required by .../wordcount)

同样的还是namenode里有而datanode里没有，因此还是将namenode的libstdc++.so.6拷过去了，再次运行，错误依旧，这时原因是：

error while loading shared libraries: /usr/lib/libstdc++.so.6: ELF file OS ABI invalid

这时候我没有去搜相应的解决方案，我似乎知道了问题的症结所在，每次问题都是datanode没有相关的库文件而namenode都有，将namenode上的拷过去还可能造成与系统不匹配无效的后果，那么问题就应该出在： namenode(master)和datanode(slave)云节点系统内核的不匹配。我的master节点是Ubuntu 13.04而slave节点是特别旧的Ubuntu 9.11，虽然都是Ubuntu但是内核已经不一样，各个库文件已经得到升级和改动，而Hadoop在运行程序时需要master和slave之间的通信互动，采用的请求机制是一样的，比如master在请求一个动作时用到了libcrypto.so.10这个版本的库文件，那么slave答复或请求master时也会去自己的系统上找这样的库文件，结果自己的系统上没有，根据Hadoop运行机制就有个timeout和继续重新请求的过程，但是一直请求不到，所以就一直卡在那个地方，直到最终在限定的时间里没有完成任务导致的”Job failed“。可想而知，如果你master用的是Ubuntu而slave用的是Fedora，那么这样的错误也非常可能发生。那么为什么之前运行普通的Java版wordcount程序没有发生错误呢？这我就不清楚了，毕竟不知道其具体的内部运行机理。我猜测可能是Hadoop pipes采用的是socket通信方式，所以需要用到那些库文件，而普通的Java版程序不需要这样的过程，因此没有发生错误，当然也不排除运行稍复杂的涉及通信的Java程序也发生这样的错误。

因此，我也得出这样一个结论：

Hadoop环境的master节点和所有slave节点的系统环境最好一模一样（同一个系统同一个版本号），对于Hadoop pipes而言就是必须一模一样。

由于我用的都是虚拟机系统，因此需要环境一样的最简单方式就是——克隆（clone）虚拟机，使用链接link方式即可。然后重新配置Hadoop 2.3环境，重新运行，以为问题就此解决，可是新的问题又来了：

14/04/06 01:11:49 INFO mapreduce.Job: Running job: job_1396756477966_0002
  
  
  
  
   
   
   
   14/04/06 01:12:04 INFO mapreduce.Job: Job job_1396756477966_0002 running in uber mode : false
  
  
  
  
  
  
  
  
   
   
   
   14/04/06 01:12:04 INFO mapreduce.Job: map 0% reduce 0%
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 09:59:02 INFO mapreduce.Job: Task Id : attempt_1396618478715_0002_m_000000_0, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   Error: java.io.IOException
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.OutputHandler.waitForAuthentication(OutputHandler.java:186)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.waitForAuthentication(Application.java:195)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.<init>(Application.java:150)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:69)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
  
  
  
  
  
  
  
  
   
   
   
    at java.security.AccessController.doPrivileged(Native Method)
  
  
  
  
  
  
  
  
   
   
   
    at javax.security.auth.Subject.doAs(Subject.java:415)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 09:59:02 INFO mapreduce.Job: Task Id : attempt_1396618478715_0002_m_000001_0, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   Error: java.io.IOException
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.OutputHandler.waitForAuthentication(OutputHandler.java:186)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.waitForAuthentication(Application.java:195)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.<init>(Application.java:150)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:69)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
  
  
  
  
  
  
  
  
   
   
   
    at java.security.AccessController.doPrivileged(Native Method)
  
  
  
  
  
  
  
  
   
   
   
    at javax.security.auth.Subject.doAs(Subject.java:415)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 09:59:14 INFO mapreduce.Job: Task Id : attempt_1396618478715_0002_m_000000_1, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   Error: java.io.IOException
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.OutputHandler.waitForAuthentication(OutputHandler.java:186)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.waitForAuthentication(Application.java:195)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.<init>(Application.java:150)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:69)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
  
  
  
  
  
  
  
  
   
   
   
    at java.security.AccessController.doPrivileged(Native Method)
  
  
  
  
  
  
  
  
   
   
   
    at javax.security.auth.Subject.doAs(Subject.java:415)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 09:59:15 INFO mapreduce.Job: Task Id : attempt_1396618478715_0002_m_000001_1, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   Error: java.io.IOException
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.OutputHandler.waitForAuthentication(OutputHandler.java:186)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.waitForAuthentication(Application.java:195)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.<init>(Application.java:150)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:69)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
  
  
  
  
  
  
  
  
   
   
   
    at java.security.AccessController.doPrivileged(Native Method)
  
  
  
  
  
  
  
  
   
   
   
    at javax.security.auth.Subject.doAs(Subject.java:415)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 09:59:26 INFO mapreduce.Job: Task Id : attempt_1396618478715_0002_m_000000_2, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   Error: java.io.IOException
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.OutputHandler.waitForAuthentication(OutputHandler.java:186)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.waitForAuthentication(Application.java:195)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.<init>(Application.java:150)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:69)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
  
  
  
  
  
  
  
  
   
   
   
    at java.security.AccessController.doPrivileged(Native Method)
  
  
  
  
  
  
  
  
   
   
   
    at javax.security.auth.Subject.doAs(Subject.java:415)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 09:59:27 INFO mapreduce.Job: Task Id : attempt_1396618478715_0002_m_000001_2, Status : FAILED
  
  
  
  
  
  
  
  
   
   
   
   Error: java.io.IOException
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.OutputHandler.waitForAuthentication(OutputHandler.java:186)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.waitForAuthentication(Application.java:195)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Application.<init>(Application.java:150)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:69)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
  
  
  
  
  
  
  
  
   
   
   
    at java.security.AccessController.doPrivileged(Native Method)
  
  
  
  
  
  
  
  
   
   
   
    at javax.security.auth.Subject.doAs(Subject.java:415)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 09:59:40 INFO mapreduce.Job: map 100% reduce 100%
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 09:59:41 INFO mapreduce.Job: Job job_1396618478715_0002 failed with state FAILED due to: Task failed task_1396618478715_0002_m_000000
  
  
  
  
  
  
  
  
   
   
   
   Job failed as tasks failed. failedMaps:1 failedReduces:0
  
  
  
  
  
  
  
  
   
   
   
   14/04/04 09:59:41 INFO mapreduce.Job: Counters: 13
  
  
  
  
  
  
  
  
   
   
   
    Job Counters
  
  
  
  
  
  
  
  
   
   
   
     Failed map tasks=7
  
  
  
  
  
  
  
  
   
   
   
     Killed map tasks=1
  
  
  
  
  
  
  
  
   
   
   
     Launched map tasks=8
  
  
  
  
  
  
  
  
   
   
   
     Other local map tasks=6
  
  
  
  
  
  
  
  
   
   
   
     Data-local map tasks=2
  
  
  
  
  
  
  
  
   
   
   
     Total time spent by all maps in occupied slots (ms)=88669
  
  
  
  
  
  
  
  
   
   
   
     Total time spent by all reduces in occupied slots (ms)=0
  
  
  
  
  
  
  
  
   
   
   
     Total time spent by all map tasks (ms)=88669
  
  
  
  
  
  
  
  
   
   
   
     Total vcore-seconds taken by all map tasks=88669
  
  
  
  
  
  
  
  
   
   
   
     Total megabyte-seconds taken by all map tasks=90797056
  
  
  
  
  
  
  
  
   
   
   
    Map-Reduce Framework
  
  
  
  
  
  
  
  
   
   
   
     CPU time spent (ms)=0
  
  
  
  
  
  
  
  
   
   
   
     Physical memory (bytes) snapshot=0
  
  
  
  
  
  
  
  
   
   
   
     Virtual memory (bytes) snapshot=0
  
  
  
  
  
  
  
  
   
   
   
   Exception in thread "main" java.io.IOException: Job failed!
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:836)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Submitter.runJob(Submitter.java:264)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Submitter.run(Submitter.java:503)
  
  
  
  
  
  
  
  
   
   
   
    at org.apache.hadoop.mapred.pipes.Submitter.main(Submitter.java:518)

注意这里并没有一直卡在”map 0% reduce 0%“而是很快返回了错误结果，说明之前的问题已经解决，这次肯定不是系统的问题，而是IO问题。同样检查container logs，发现了问题原因：

Server failed to authenticate. Exiting

然后搜索解决方案，最后发现原因竟然是Hadoop 2.3自身的原因，需要我们自己编译Makefile里所需要的libhadooppipes.a和libhadooputils.a这两个静态库文件以适应自己系统的需求（官网说预编译的是32位库，如果你是64位的才需要重新编译，可是我主机虽是64位但虚拟机系统是32位的，不知道为什么也不行需要重新编译）。这个要求真是很不注重用户体验的要求，于是就来到了重新编译Hadoop 2.3本地库的地狱世界……

编译Hadoop 2.3 Native Library

首先当然是先下载Hadoop 2.3的源码了，解压后根据里面的BUILDING.txt使用下面命令进行编译获得本地库：

mvn package -Pdist,native -Dskiptests -Dtar

期间出现了各种错误，基本上所有的错误都出现在参考资料9中，解决方案就是安装编译前所需要的各种依赖库和依赖程序，比如 protobuf、cmake、zlib-devel和openssl-devel，都安装好了过后就”BUILD SUCCESS“了，真是不易，其实官网也给出了这些提示，说需要提前安装所依赖的东西，只是一开始懒得看，具体看参考资料10。

编译成功后，在

HADOOP_PATH/hadoop-tools/hadoop-pipes/target/native/

路径下可以看到我们所需要的libhadooppipes.a和libhadooputils.a了，将它们拷贝到master和所有slave机器上的lib/native文件里（最好事先备份一下自带的库文件，避免该方案失败），然后重新make编译wordcount程序，然后Hadoop pipes运行，最终看到这样的结果：

14/04/06 01:22:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/04/06 01:22:28 INFO client.RMProxy: Connecting to ResourceManager at /192.168.1.137:8032
14/04/06 01:22:28 INFO client.RMProxy: Connecting to ResourceManager at /192.168.1.137:8032
14/04/06 01:22:29 WARN mapreduce.JobSubmitter: No job jar file set.  User classes may not be found. See Job or Job#setJar(String).
14/04/06 01:22:29 INFO mapred.FileInputFormat: Total input paths to process : 2
14/04/06 01:22:30 INFO mapreduce.JobSubmitter: number of splits:2
14/04/06 01:22:30 INFO Configuration.deprecation: hadoop.pipes.java.recordreader is deprecated. Instead, use mapreduce.pipes.isjavarecordreader
14/04/06 01:22:30 INFO Configuration.deprecation: mapred.job.name is deprecated. Instead, use mapreduce.job.name
14/04/06 01:22:30 INFO Configuration.deprecation: hadoop.pipes.java.recordwriter is deprecated. Instead, use mapreduce.pipes.isjavarecordwriter
14/04/06 01:22:30 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1396756477966_0004
14/04/06 01:22:31 INFO mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.
14/04/06 01:22:31 INFO impl.YarnClientImpl: Submitted application application_1396756477966_0004
14/04/06 01:22:31 INFO mapreduce.Job: The url to track the job: http://Master:8088/proxy/application_1396756477966_0004/
14/04/06 01:22:31 INFO mapreduce.Job: Running job: job_1396756477966_0004
14/04/06 01:22:40 INFO mapreduce.Job: Job job_1396756477966_0004 running in uber mode : false
14/04/06 01:22:40 INFO mapreduce.Job:  map 0% reduce 0%
14/04/06 01:22:56 INFO mapreduce.Job:  map 67% reduce 0%
14/04/06 01:22:57 INFO mapreduce.Job:  map 100% reduce 0%
14/04/06 01:23:09 INFO mapreduce.Job:  map 100% reduce 100%
14/04/06 01:23:11 INFO mapreduce.Job: Job job_1396756477966_0004 completed successfully
14/04/06 01:23:12 INFO mapreduce.Job: Counters: 51
    File System Counters
        FILE: Number of bytes read=118
        FILE: Number of bytes written=260641
        FILE: Number of read operations=0
        FILE: Number of large read operations=0
        FILE: Number of write operations=0
        HDFS: Number of bytes read=266
        HDFS: Number of bytes written=86
        HDFS: Number of read operations=9
        HDFS: Number of large read operations=0
        HDFS: Number of write operations=2
    Job Counters 
        Launched map tasks=2
        Launched reduce tasks=1
        Data-local map tasks=2
        Total time spent by all maps in occupied slots (ms)=30171
        Total time spent by all reduces in occupied slots (ms)=10914
        Total time spent by all map tasks (ms)=30171
        Total time spent by all reduce tasks (ms)=10914
        Total vcore-seconds taken by all map tasks=30171
        Total vcore-seconds taken by all reduce tasks=10914
        Total megabyte-seconds taken by all map tasks=30895104
        Total megabyte-seconds taken by all reduce tasks=11175936
    Map-Reduce Framework
        Map input records=8
        Map output records=9
        Map output bytes=94
        Map output materialized bytes=124
        Input split bytes=190
        Combine input records=0
        Combine output records=0
        Reduce input groups=8
        Reduce shuffle bytes=124
        Reduce input records=9
        Reduce output records=8
        Spilled Records=18
        Shuffled Maps =2
        Failed Shuffles=0
        Merged Map outputs=2
        GC time elapsed (ms)=764
        CPU time spent (ms)=2490
        Physical memory (bytes) snapshot=384413696
        Virtual memory (bytes) snapshot=3685318656
        Total committed heap usage (bytes)=258613248
    Shuffle Errors
        BAD_ID=0
        CONNECTION=0
        IO_ERROR=0
        WRONG_LENGTH=0
        WRONG_MAP=0
        WRONG_REDUCE=0
    WORDCOUNT
        INPUT_WORDS=9
        OUTPUT_WORDS=8
    File Input Format Counters 
        Bytes Read=76
    File Output Format Counters 
        Bytes Written=86
14/04/06 01:23:12 INFO util.ExitUtil: Exiting with status 0

心里真是五味杂陈，这个配置环境的过程真是太痛苦了，当然也锻炼了发现问题和解决问题的能力，也懂得了 遇到问题后，LOG永远是最佳解决途径。

谨以此文来记录Hadoop pipes运行环境的配置经历，同样也给那些与我遇到类似问题的小伙伴们指明一条明路……

参考资料

1. 如何在Hadoop集群运行JNI程序

2. JNI的替代者—使用JNA访问Java外部函数接口

3.JNI的又一替代者—使用JNR访问Java外部函数接口(jnr-ffi)

4. Hadoop Streaming和Pipes理解

5. 一步步教你Hadoop多节点集群安装配置

6. Hadoop 2.3.0 分布式集群搭建图文

7. Hadoop Tutorial 2.2 -- Running C++ Programs on Hadoop

8. Hadoop 新 MapReduce 框架 Yarn 详解

9.编译hadoop 2.3的native library

10. Native Libraries Guide

你可能感兴趣的:(C++,hadoop,大数据,library,pipes,natvie)

c++ 的iostream 和 c++的stdio的区别和联系黄卷青灯77 c++算法开发语言 iostream stdio
在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
【JS】执行时长(100分) |思路参考+代码解析（C++） l939035548 JS 算法数据结构 c++
题目为了充分发挥GPU算力，需要尽可能多的将任务交给GPU执行，现在有一个任务数组，数组元素表示在这1秒内新增的任务个数且每秒都有新增任务。假设GPU最多一次执行n个任务，一次执行耗时1秒，在保证GPU不空闲情况下，最少需要多长时间执行完成。题目输入第一个参数为GPU一次最多执行的任务个数，取值范围[1,10000]第二个参数为任务数组长度，取值范围[1,10000]第三个参数为任务数组，数字范围
基于CODESYS的多轴运动控制程序框架：逻辑与运动控制分离，快速开发灵活操作 GPJnCrbBdl python 开发语言
基于codesys开发的多轴运动控制程序框架，将逻辑与运动控制分离，将单轴控制封装成功能块，对该功能块的操作包含了所有的单轴控制（归零、点动、相对定位、绝对定位、设置当前位置、伺服模式切换等等）。程序框架由主程序按照状态调用分归零模式、手动模式、自动模式、故障模式，程序状态的跳转都已完成，只需要根据不同的工艺要求完成所需的动作即可。变量的声明、地址的规划都严格按照C++的标准定义，能帮助开发者快速
C++ | Leetcode C++题解之第409题最长回文串 Ddddddd_158 经验分享 C++Leetcode 题解
题目：题解：classSolution{public:intlongestPalindrome(strings){unordered_mapcount;intans=0;for(charc:s)++count[c];for(autop:count){intv=p.second;ans+=v/2*2;if(v%2==1andans%2==0)++ans;}returnans;}};
C++菜鸟教程 - 从入门到精通第二节 DreamByte c++
一.上节课的补充(数据类型)1.前言继上节课,我们主要讲解了输入,输出和运算符,我们现在来补充一下数据类型的知识上节课遗漏了这个知识点,非常的抱歉顺便说一下,博主要上高中了,更新会慢,2-4周更新一次对了,正好赶上中秋节,小编跟大家说一句:中秋节快乐!2.int类型上节课,我们其实只用了int类型int类型,是整数类型,它们存贮的是整数,不能存小数(浮点数)定义变量的方式很简单inta;//定义一
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
ES聚合分析原理与代码实例讲解光剑书架上的书大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
Java面试题精选：消息队列(二) 芒果不是芒 Java面试题精选 java kafka
一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
C++ lambda闭包消除类成员变量 barbyQAQ c++c++java 算法
原文链接：https://blog.csdn.net/qq_51470638/article/details/142151502一、背景在面向对象编程时，常常要添加类成员变量。然而类成员一旦多了之后，也会带来干扰。拿到一个类，一看成员变量好几十个，就问你怕不怕？二、解决思路可以借助函数式编程思想，来消除一些不必要的类成员变量。三、实例举个例子：classClassA{public:...intfu
2021 CCF 非专业级别软件能力认证第一轮（CSP-J1）入门级C++语言试题（第三大题：完善程序代码） mmz1207 c++csp
最近有一段时间没更新了，在准备CSP考试，请大家见谅。（1）有n个人围成一个圈，依次标号0到n-1。从0号开始，依次0，1，0，1...交替报数，报到一的人离开，直至圈中剩最后一个人。求最后剩下的人的编号。#includeusingnamespacestd;intf[1000010];intmain(){intn;cin>>n;inti=0,cnt=0,p=0;while(cnt#includeu
《 C++ 修炼全景指南：九》打破编程瓶颈！掌握二叉搜索树的高效实现与技巧 Lenyiin C++修炼全景指南技术指南 c++算法 stl
摘要本文详细探讨了二叉搜索树（BinarySearchTree,BST）的核心概念和技术细节，包括插入、查找、删除、遍历等基本操作，并结合实际代码演示了如何实现这些功能。文章深入分析了二叉搜索树的性能优势及其时间复杂度，同时介绍了前驱、后继的查找方法等高级功能。通过自定义实现的二叉搜索树类，读者能够掌握其实际应用，此外，文章还建议进一步扩展为平衡树（如AVL树、红黑树）以优化极端情况下的性能退化。
20个新手学习c++必会的程序输出*三角形、杨辉三角等（附代码） X_StarX c++学习算法大学生开发语言数据结构
示例1:HelloWorld#includeusingnamespacestd;intmain(){coutusingnamespacestd;intmain(){inta=5;intb=10;intsum=a+b;coutusingnamespacestd;intfactorial(intn){if(nusingnamespacestd;voidprintFibonacci(intn){intt
C++八股 Petrichorzncu 八股总结 c++开发语言
这里写目录标题C++内存管理C++的构造函数，复制构造函数，和析构函数深复制与浅复制：构造函数和析构函数哪个能写成虚函数，为什么？C++数据结构内存排列结构体和类占用的内存：==虚函数和虚表的原理==虚函数虚表（Vtable）虚函数和虚表的实现细节==内存泄漏==指针的工作原理函数的传值和传址new和delete与malloc和freeC++内存区域划分C++11新特性C++常见新特性==智能指针
WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Java java 爬虫开发语言
文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
【2022 CCF 非专业级别软件能力认证第一轮（CSP-J1）入门级 C++语言试题及解析】汉子萌萌哒 CCF noi 算法数据结构 c++
一、单项选择题(共15题，每题2分，共计30分；每题有且仅有一个正确选项)1.以下哪种功能没有涉及C++语言的面向对象特性支持：()。A.C++中调用printf函数B.C++中调用用户定义的类成员函数C.C++中构造一个class或structD.C++中构造来源于同一基类的多个派生类题目解析【解析】正确答案:AC++基础知识，面向对象和类有关，类又涉及父类、子类、继承、派生等关系，printf
《 C++ 修炼全景指南：十》自平衡的艺术：深入了解 AVL 树的核心原理与实现 Lenyiin C++修炼全景指南技术指南 c++数据结构 stl
摘要本文深入探讨了AVL树（自平衡二叉搜索树）的概念、特点以及实现细节。我们首先介绍了AVL树的基本原理，并详细分析了其四种旋转操作，包括左旋、右旋、左右双旋和右左双旋，阐述了它们在保持树平衡中的重要作用。接着，本文从头到尾详细描述了AVL树的插入、删除和查找操作，配合完整的代码实现和详尽的注释，使读者能够全面理解这些操作的执行过程。此外，我们还提供了AVL树的遍历方法，包括中序、前序和后序遍历，
Python实现TIFF 文件转换为 PNG 和 JPG 格式 sand&wich python 开发语言
在日常的图像处理工作中，可能会遇到需要将TIFF格式的图像转换为其他格式的情况，例如PNG和JPG。下面，本文将介绍如何使用Python和GDAL库实现这一功能。准备工作在开始之前，请确保已经安装了必要的库：GDAL（GeospatialDataAbstractionLibrary）可以使用以下命令安装GDAL：pipinstallgdal代码实现以下是一个将TIFF文件转换为PNG文件的示例代码
GenVisR 基因组数据可视化实战(三) 11的雾
3.genCov画每个突变位点附件的coverage，跟igv有点相似。这个操作起来很复杂，但是图还是挺有用的。可以考虑。由于我的referencegenomebuild是hg38BiocManager::install(c("TxDb.Hsapiens.UCSC.hg38.knownGene","BSgenome.Hsapiens.UCSC.hg38"))library(TxDb.Hsapien
JAVA学习笔记之23种设计模式学习 victorfreedom Java技术设计模式 android java 常用设计模式
博主最近买了《设计模式》这本书来学习，无奈这本书是以C++语言为基础进行说明，整个学习流程下来效率不是很高，虽然有的设计模式通俗易懂，但感觉还是没有充分的掌握了所有的设计模式。于是博主百度了一番，发现有大神写过了这方面的问题，于是博主迅速拿来学习。一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器
c++ opencv4.3 sift匹配图像处理大大大大大牛啊图像处理 opencv实战代码讲解 opencv sift c++opencv4 特征点
c++opencv4.3sift匹配main.cppintmain(){vectorkeypoints1,keypoints2;Matimg1,img2,descriptors1,descriptors2;intnumF
免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
《 C++ 修炼全景指南：四》揭秘 C++ List 容器背后的实现原理，带你构建自己的双向链表 Lenyiin 技术指南 C++修炼全景指南 c++list 链表 stl
本篇博客，我们将详细讲解如何从头实现一个功能齐全且强大的C++List容器，并深入到各个细节。这篇博客将包括每一步的代码实现、解释以及扩展功能的探讨，目标是让初学者也能轻松理解。一、简介1.1、背景介绍在C++中，std::list是一个基于双向链表的容器，允许高效的插入和删除操作，适用于频繁插入和删除操作的场景。与动态数组不同，list允许常数时间内的插入和删除操作，支持双向遍历。这篇文章将详细
c++ 内存处理函数 heeheeai c++开发语言
在C语言的头文件中，memcpy和memmove函数都用于复制内存块，但它们在处理内存重叠方面存在关键区别：内存重叠:memcpy函数不保证在源内存和目标内存区域重叠时能够正确复制数据。如果内存区域重叠，memcpy的行为是未定义的，可能会导致数据损坏或程序崩溃。memmove函数能够安全地处理源内存和目标内存区域重叠的情况。它会确保在复制过程中不会覆盖尚未复制的数据，从而保证数据的完整性。效率:
如何利用大数据与AI技术革新相亲交友体验 h17711347205 回归算法安全系统架构交友小程序
在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
【Python】已解决：ModuleNotFoundError: No module named ‘PIL’ 屿小夏 python 开发语言
文章目录一、分析问题背景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：ModuleNotFoundError:Nomodulenamed‘PIL’一、分析问题背景当你在Python环境中尝试导入PIL（PythonImagingLibrary）模块时，可能会遇到“ModuleNotFoundError:Nomodulenamed‘PIL’”的错误。这通常发生在尝试使用PIL
【c++基础概念深度理解——堆和栈的区别，并实现堆溢出和栈溢出】 XWWW668899 C++基本概念 c++c语言开发语言青少年编程
文章目录概要技术名词解释栈溢出和堆溢出小结概要学习C++语言，避免不了要好好理解一下堆（Heap）和栈（Stack），有助于更好地管理内存，以及如何写出一段程序“成功实现”堆溢出和栈溢出。技术名词解释理解东西最快的方式是根据自己目前能理解的词语去关联新的概念，不断的纠正，向正确的深度理解靠近，当无限接近的时候也就理解了想要理解的概念。我们经常说堆栈，把这两个名词放到一起。其实，堆是堆，栈是栈，两种
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
C++常见知识掌握 nfgo c++开发语言
1.Linux软件开发、调试与维护内核与系统结构Linux内核是操作系统的核心，负责管理硬件资源，提供系统服务，它是系统软件与硬件之间的桥梁。主要组成部分包括：进程管理：内核通过调度器分配CPU时间给各个进程，实现进程的创建、调度、终止等操作。使用进程描述符（task_struct）来存储进程信息，包括状态（就绪、运行、阻塞等）、优先级、内存映射等。内存管理：包括物理内存和虚拟内存管理。通过页表映
metaRTC5.0 API编程指南(一) metaRTC metaRTC c++c语言 webrtc
概述metaRTC5.0版本API进行了重构，本篇文章将介绍webrtc传输调用流程和例子。metaRTC5.0版本提供了C++和纯C两种接口。纯C接口YangPeerConnection头文件:include/yangrtc/YangPeerConnection.htypedefstruct{void*conn;YangAVInfo*avinfo;YangStreamConfigstreamco
sublime个人设置 bawangtianzun sublime text 编辑器
如何拥有jiangly蒋老师同款编译器(sublimec++配置竞赛向）_哔哩哔哩_bilibiliSublimeText4的安装教程（新手竞赛向）-知乎(zhihu.com)创建文件自动保存为c++打开SublimeText软件。转到"Tools"（工具）>"Developer"（开发者）>"NewPlugin"（新建插件）。在打开的新文件中，粘贴以下代码：importsublimeimport
knob UI插件使用换个号韩国红果果 JavaScript jsonp knob
图形是用canvas绘制的 js代码 var paras = { max:800, min:100, skin:'tron',//button type thickness:.3,//button width width:'200',//define canvas width.,canvas height displayInput:'tr
Android+Jquery Mobile学习系列(5)-SQLite数据库白糖_ JQuery Mobile
目录导航 SQLite是轻量级的、嵌入式的、关系型数据库，目前已经在iPhone、Android等手机系统中使用,SQLite可移植性好，很容易使用，很小，高效而且可靠。因为Android已经集成了SQLite，所以开发人员无需引入任何JAR包，而且Android也针对SQLite封装了专属的API，调用起来非常快捷方便。我也是第一次接触S
impala-2.1.2-CDH5.3.2 dayutianfei impala
最近在整理impala编译的东西，简单记录几个要点：根据官网的信息（https://github.com/cloudera/Impala/wiki/How-to-build-Impala）： 1. 首次编译impala，推荐使用命令： ${IMPALA_HOME}/buildall.sh -skiptests -build_shared_libs -format 2.仅编译BE ${I
求二进制数中1的个数周凡杨 java 算法二进制
解法一：对于一个正整数如果是偶数，该数的二进制数的最后一位是 0 ，反之若是奇数，则该数的二进制数的最后一位是 1 。因此，可以考虑利用位移、判断奇偶来实现。 public int bitCount(int x){ int count = 0; while(x!=0){ if(x%2!=0){ /
spring中hibernate及事务配置 g21121 Hibernate
hibernate的sessionFactory配置：  <bean id="sessionFactory" class="org.springframework.orm.hibernate3.LocalSessionFactoryBean"> <
log4j.properties 使用 510888780 log4j
log4j.properties 使用一.参数意义说明输出级别的种类 ERROR、WARN、INFO、DEBUG ERROR 为严重错误主要是程序的错误 WARN 为一般警告，比如session丢失 INFO 为一般要显示的信息，比如登录登出 DEBUG 为程序的调试信息配置日志信息输出目的地 log4j.appender.appenderName = fully.qua
Spring mvc-jfreeChart柱图（2）布衣凌宇 jfreechart
上一篇中生成的图是静态的，这篇将按条件进行搜索，并统计成图表，左面为统计图，右面显示搜索出的结果。第一步：导包第二步；配置web.xml(上一篇有代码) 建BarRenderer类用于柱子颜色 import java.awt.Color; import java.awt.Paint; import org.jfree.chart.renderer.category.BarR
我的spring学习笔记14-容器扩展点之PropertyPlaceholderConfigurer aijuans Spring3
PropertyPlaceholderConfigurer是个bean工厂后置处理器的实现，也就是BeanFactoryPostProcessor接口的一个实现。关于BeanFactoryPostProcessor和BeanPostProcessor类似。我会在其他地方介绍。 PropertyPlaceholderConfigurer可以将上下文（配置文件）中的属性值放在另一个单独的标准java
maven 之 cobertura 简单使用 antlove maven test unit cobertura report
1. 创建一个maven项目 2. 创建com.CoberturaStart.java package com; public class CoberturaStart { public void helloEveryone(){ System.out.println("=================================================
程序的执行顺序百合不是茶 JAVA执行顺序
刚在看java核心技术时发现对java的执行顺序不是很明白了,百度一下也没有找到适合自己的资料,所以就简单的回顾一下吧代码如下; 经典的程序执行面试题 //关于程序执行的顺序 //例如： //定义一个基类 public class A(){ public A(
设置session失效的几种方法 bijian1013 web.xml session失效监听器
在系统登录后，都会设置一个当前session失效的时间，以确保在用户长时间不与服务器交互，自动退出登录，销毁session。具体设置很简单，方法有三种：（1）在主页面或者公共页面中加入：session.setMaxInactiveInterval(900);参数900单位是秒，即在没有活动15分钟后，session将失效。这里要注意这个session设置的时间是根据服务器来计算的，而不是客户端。所
java jvm常用命令工具 bijian1013 java jvm
一.概述程序运行中经常会遇到各种问题，定位问题时通常需要综合各种信息，如系统日志、堆dump文件、线程dump文件、GC日志等。通过虚拟机监控和诊断工具可以帮忙我们快速获取、分析需要的数据，进而提高问题解决速度。本文将介绍虚拟机常用监控和问题诊断命令工具的使用方法，主要包含以下工具: &nbs
【Spring框架一】Spring常用注解之Autowired和Resource注解 bit1129 Spring常用注解
Spring自从2.0引入注解的方式取代XML配置的方式来做IOC之后，对Spring一些常用注解的含义行为一直处于比较模糊的状态，写几篇总结下Spring常用的注解。本篇包含的注解有如下几个： Autowired Resource Component Service Controller Transactional 根据它们的功能、目的，可以分为三组，Autow
mysql 操作遇到safe update mode问题 bitray update
我并不知道出现这个问题的实际原理,只是通过其他朋友的博客,文章得知的一个解决方案,目前先记录一个解决方法,未来要是真了解以后,还会继续补全. 在mysql5中有一个safe update mode,这个模式让sql操作更加安全,据说要求有where条件,防止全表更新操作.如果必须要进行全表操作,我们可以执行 SET
nginx_perl试用 ronin47 nginx_perl试用
因为空闲时间比较多，所以在CPAN上乱翻，看到了nginx_perl这个项目(原名Nginx::Engine)，现在托管在github.com上。地址见：https://github.com/zzzcpan/nginx-perl 这个模块的目的，是在nginx内置官方perl模块的基础上，实现一系列异步非阻塞的api。用connector/writer/reader完成类似proxy的功能（这里
java-63-在字符串中删除特定的字符 bylijinnan java
public class DeleteSpecificChars { /** * Q 63 在字符串中删除特定的字符 * 输入两个字符串，从第一字符串中删除第二个字符串中所有的字符。 * 例如，输入”They are students.”和”aeiou”，则删除之后的第一个字符串变成”Thy r stdnts.” */ public static voi
EffectiveJava--创建和销毁对象 ccii 创建和销毁对象
本章内容： 1. 考虑用静态工厂方法代替构造器 2. 遇到多个构造器参数时要考虑用构建器（Builder模式） 3. 用私有构造器或者枚举类型强化Singleton属性 4. 通过私有构造器强化不可实例化的能力 5. 避免创建不必要的对象 6. 消除过期的对象引用 7. 避免使用终结方法 1. 考虑用静态工厂方法代替构造器类可以通过
[宇宙时代]四边形理论与光速飞行 comsci
从四边形理论来推论为什么光子飞船必须获得星光信号才能够进行光速飞行？一组星体组成星座向空间辐射一组由复杂星光信号组成的辐射频带，按照四边形-频率假说一组频率就代表一个时空的入口那么这种由星光信号组成的辐射频带就代表由这些星体所控制的时空通道，该时空通道在三维空间的投影是一
ubuntu server下python脚本迁移数据 cywhoyi python Kettle pymysql cx_Oracle ubuntu server
因为是在Ubuntu下，所以安装python、pip、pymysql等都极其方便，sudo apt-get install pymysql，但是在安装cx_Oracle（连接oracle的模块）出现许多问题，查阅相关资料，发现这边文章能够帮我解决，希望大家少走点弯路。http://www.tbdazhe.com/archives/602 1.安装python 2.安装pip、pymysql
Ajax正确但是请求不到值解决方案 dashuaifu Ajax async
Ajax正确但是请求不到值解决方案解决方案：1 . async: false , 2. 设置延时执行js里的ajax或者延时后台java方法！！！！！！！例如： $.ajax({ &
windows安装配置php+memcached dcj3sjt126com PHP Install memcache
Windows下Memcached的安装配置方法 1、将第一个包解压放某个盘下面，比如在c:\memcached。 2、在终端（也即cmd命令界面）下输入 'c:\memcached\memcached.exe -d install' 安装。 3、再输入： 'c:\memcached\memcached.exe -d start' 启动。（需要注意的: 以后memcached将作为windo
iOS开发学习路径的一些建议 dcj3sjt126com ios
iOS论坛里有朋友要求回答帖子，帖子的标题是：想学IOS开发高阶一点的东西，从何开始，然后我吧啦吧啦回答写了很多。既然敲了那么多字，我就把我写的回复也贴到博客里来分享，希望能对大家有帮助。欢迎大家也到帖子里讨论和分享，地址：http://bbs.csdn.net/topics/390920759 下面是我回复的内容：结合自己情况聊下iOS学习建议，
Javascript闭包概念 fanfanlovey JavaScript 闭包
1.参考资料 http://www.jb51.net/article/24101.htm http://blog.csdn.net/yn49782026/article/details/8549462 2.内容概述要理解闭包，首先需要理解变量作用域问题内部函数可以饮用外面全局变量 var n=999; 　　functio
yum安装mysql5.6 haisheng mysql
1、安装http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 2、yum install mysql 3、yum install mysql-server 4、vi /etc/my.cnf 添加character_set_server=utf8
po/bo/vo/dao/pojo的详介 IT_zhlp80 java BO VO DAO POJO po
JAVA几种对象的解释 PO:persistant object持久对象,可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作. VO:value object值对象。通常用于业务层之间的数据传递，和PO一样也是仅仅包含数据而已。但应是抽象出的业务对象,可
java设计模式 kerryg java 设计模式
设计模式的分类：一、设计模式总体分为三大类： 1、创建型模式（5种）：工厂方法模式，抽象工厂模式，单例模式，建造者模式，原型模式。 2、结构型模式（7种）：适配器模式，装饰器模式，代理模式，外观模式，桥接模式，组合模式，享元模式。 3、行为型模式（11种）：策略模式，模版方法模式，观察者模式，迭代子模式，责任链模式，命令模式，备忘录模式，状态模式，访问者
[1]CXF3.1整合Spring开发webservice——helloworld篇木头.java spring webservice CXF
Spring 版本3.2.10 CXF 版本3.1.1 项目采用MAVEN组织依赖jar 我这里是有parent的pom，为了简洁明了，我直接把所有的依赖都列一起了，所以都没version，反正上面已经写了版本 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht
Google 工程师亲授：菜鸟开发者一定要投资的十大目标 qindongliang1922 工作感悟人生
身为软件开发者，有什么是一定得投资的？ Google 软件工程师 Emanuel Saringan 整理了十项他认为必要的投资，第一项就是身体健康，英文与数学也都是必备能力吗？来看看他怎么说。（以下文字以作者第一人称撰写））你的健康无疑地，软件开发者是世界上最久坐不动的职业之一。每天连坐八到十六小时，休息时间只有一点点，绝对会让你的鲔鱼肚肆无忌惮的生长。肥胖容易扩大罹患其他疾病的风险，
linux打开最大文件数量1,048,576 tianzhihehe c linux
File descriptors are represented by the C int type. Not using a special type is often considered odd, but is, historically, the Unix way. Each Linux process has a maximum number of files th
java语言中PO、VO、DAO、BO、POJO几种对象的解释衞酆夼 java VO BO POJO po
PO:persistant object持久对象最形象的理解就是一个PO就是数据库中的一条记录。好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作。 BO:business object业务对象封装业务逻辑的java对象