pinpoint全链路监控系统安装配置

#1 Pinpoint安装
pinpoint是开源在github上的一款APM监控工具，它是用Java编写的，用于大规模分布式系统监控。它对性能的影响最小（只增加约3％资源利用率），安装agent是无侵入式的，只需要在被测试的Tomcat中加上3句话，打下探针，就可以监控整套程序了。
我安装了两台Linux服务器，一台主要部署pinpoint的主程序，一台模拟中放agent端采集数据，分别是：

IP	                操作系统	           安装项	                                        描述
xxx.xxx.xxx.141   	Centos7	          pinpoint-collector-1.7.3.war(用于接收agent端数据)   pinpoint的web展示端，逻辑控制机，以及Hbase存储
                                      pinpoint-web-1.7.3.war（用于数据可视化）	
xxx.xxx.xxx.249	    Centos7	          pinpoint-agent(采集信息端，作为探针)	             主要用来采集数据，发送给pinpoint-collector处理

其中pinpoint的githup地址是：https://github.com/naver/pinpoint
其中支持的模块有：

•	JDK 6+
•	Tomcat 6/7/8, Jetty 8/9, JBoss EAP 6, Resin 4, Websphere 6/7/8, Vertx 3.3/3.4/3.5
•	Spring, Spring Boot (Embedded Tomcat, Jetty)
•	Apache HTTP Client 3.x/4.x, JDK HttpConnector, GoogleHttpClient, OkHttpClient, NingAsyncHttpClient
•	Thrift Client, Thrift Service, DUBBO PROVIDER, DUBBO CONSUMER
•	ActiveMQ, RabbitMQ
•	MySQL, Oracle, MSSQL, CUBRID,POSTGRESQL, MARIA
•	Arcus, Memcached, Redis, CASSANDRA
•	iBATIS, MyBatis
•	DBCP, DBCP2, HIKARICP
•	gson, Jackson, Json Lib
•	log4j, Logback

下载Pinpoint，下载地址：https://github.com/naver/pinpoint/releases，下载最新的1.7.3版本

安装参考地址：https://www.cnblogs.com/yyhh/p/6106472.html
https://blog.csdn.net/u013793732/article/details/63684929

pinpoint官方安装地址：http://naver.github.io/pinpoint/installation.html

下面是官方的一些截图：

##1.1 环境配置
参考网址：http://naver.github.io/pinpoint/quickstart.html#install--start-hbase
###1.1.1 获取需要的依赖包
进入home目录，创建一个"pp_res"的资源目录，用来存放需要安装的包（xxx.xxx.xxx.141机器）

1.	Jdk8 --- Java运行环境
2.	hbase-1.0 --- 数据库，用来存储监控信息
3.	tomcat8.0 --- Web服务器
4.	pinpoint-collector.war --- pp的控制器
5.	pinpoint-web.war --- pp展示页面
6.	pp-collector.init --- 用来快速启动pp-col，不要也可以【本示例中没有】
7.	pp-web.init --- 用来快速启动pp-web，不要也可以【本示例中没有】

进入141机器的pp_res目录，目录中的内容如下：

[root@bigdata2 pp_res]# ll
总用量 142216
-rw-r--r-- 1 root root  9353658 7月  30 16:28 apache-tomcat-8.5.12.tar.gz
-rw-r--r-- 1 root root    15763 7月  30 17:28 hbase-create.hbase
-rw-r--r-- 1 root root 48343632 7月  30 16:28 pinpoint-collector-1.7.3.war
-rw-r--r-- 1 root root 78999706 7月  30 16:28 pinpoint-web-1.7.3.war
[root@bigdata2 pp_res]#

###1.1.2 配置jdk1.8
略

##1.2 安装Hbase
###1.2.1 解压Hbase
略
###1.2.2 修改Hbase的配置
略
###1.2.3 启动Hbase
略
###1.2.4 初始化HBASE的pinpoint库
执行pinpoint提供的HBASE初始化语句，这时会初始化一会儿。

./hbase shell /home/pp_res/hbase-create.hbase

其中hbase-create.hbase 可以从源码中的pinpoint-master\pinpoint-master\hbase\scripts中获取

执行完成之后，进入HBASE进行查看

./hbase shell
hbase(main):001:0> status 'detailed'

也可以登录web，来查看HBASE的数据是否初始化成功
http://bigdata1:16010/tablesDetailed.jsp

##1.3 安装pinpoint-collector(141机器)
###1.3.1 部署war包
解压Tomcat，将Tomcat重命名移动到指定位置

cd /home/pp_res/
tar -zxvf apache-tomcat-8.5.12.tar.gz
mv apache-tomcat-8.5.12.tar.gz/ /data/service/pp-col

修改pp-col的Tomcat的配置，主要修改端口，避免与pp-web的Tomcat的端口冲突。我在原本默认的端口前都加了1，下面是替换的shell命令。
比如pp-col：

【注意】最后一条是将tomcat的私有ip开放，需要将localhost替换成本机的ip，我本机的网卡是默认的，如果你本机的网卡不是eth0，需要进行相关的修改。或者直接用"vi"进去，修改localhost,例如网络上的一个配置如下（下面的命令只是粘贴出来供参考）：

cd /data/service/pp-col/conf/
sed -i 's/port="8005"/port="18005"/g' server.xml
sed -i 's/port="8080"/port="18080"/g' server.xml
sed -i 's/port="8443"/port="18443"/g' server.xml
sed -i 's/port="8009"/port="18009"/g' server.xml
sed -i 's/redirectPort="8443"/redirectPort="18443"/g' server.xml
sed -i "s/localhost/`ifconfig eth0 | grep 'inet addr' | awk '{print $2}' | awk -F: '{print $2}'`/g" server.xml

部署pinpoint-collector.war包
【注意：如果没有unzip命令，可以 “yum install unzip” 】

cd /home/pp_res/
rm -rf pp-col/webapps/*
unzip pinpoint-collector-1.7.3.war -d pp-col/webapps/ROOT

启动tomcat

cd /home/pp_res/pp-col/bin
./startup.sh

查看日志，是否成功启动

tail -f ../logs/catalina.out

###1.3.2 配置快速启动
略

##1.4 安装pinpoint-web（141机器）
###1.4.1 部署war包
解压Tomcat，将Tomcat重命名移动到指定位置

cd /home/pp_res/
tar -zxvf apache-tomcat-8.5.12.tar.gz
mv apache-tomcat-8.5.12/ /data/service/pp-web

修改pp-web的Tomcat的配置，主要修改端口，避免与pp-col的Tomcat的端口冲突。我在原本默认的端口前都加了2，下面是替换的shell命令
【注意】最后一条是将tomcat的私有ip开放，需要将localhost替换成本机的ip，我本机的网卡是默认的，如果你本机的网卡不是eth0，需要进行相关的修改。或者直接用"vi"进去，修改localhost
我配置的如：

如果通过Linux命令进行替换，参考：1.3.1

初始化数据库
到数据库mysql所在机器初始化（142机器）

CREATE DATABASE pinpoint DEFAULT CHARACTER SET utf8;
USE pinpoint

[root@bigdata2 sql]# pwd
/home/pp_res/pp-web/webapps/ROOT/WEB-INF/classes/sql
[root@bigdata2 sql]# ll
总用量 8
-rw-r--r-- 1 root root 2054 5月   3 15:20 CreateTableStatement-mysql.sql
-rw-r--r-- 1 root root 3898 5月   3 15:20 SpringBatchJobRepositorySchema-mysql.sql
[root@bigdata2 sql]#

修改

[root@bigdata2 classes]# pwd
/home/pp_res/pp-web/webapps/ROOT/WEB-INF/classes
[root@bigdata2 classes]# ls jdbc.properties 
jdbc.properties

[root@bigdata2 classes]#
jdbc.driverClassName=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://bigdata2:3306/pinpoint?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&transformedBitIsBoolean=true&useSSL=false&allowMultiQueries=tr
ue&autoReconnect=true
jdbc.username=root
jdbc.password=123456

部署pinpoint-collector.war包
【注意：如果没有unzip命令，可以 “yum install unzip” 】

cd /home/pp_res/
rm -rf /data/service/pp-web/webapps/*
unzip pinpoint-web-1.7.3.war -d /data/service/pp-web/webapps/ROOT

查看war包是否解压成功

[root@localhost conf]# ll /data/service/pp-web/webapps/ROOT/WEB-INF/classes/
total 88
-rw-rw-r--. 1 root root 2164 Apr  7  2016 applicationContext-cache.xml
-rw-rw-r--. 1 root root 3649 Apr  7  2016 applicationContext-dao-config.xml
-rw-rw-r--. 1 root root 1490 Apr  7  2016 applicationContext-datasource.xml
-rw-rw-r--. 1 root root 6680 Apr  7  2016 applicationContext-hbase.xml
-rw-rw-r--. 1 root root 1610 Apr  7  2016 applicationContext-websocket.xml
-rw-rw-r--. 1 root root 6576 Apr  7  2016 applicationContext-web.xml
drwxrwxr-x. 2 root root 4096 Apr  7  2016 batch
-rw-rw-r--. 1 root root  106 Apr  7  2016 batch.properties
drwxrwxr-x. 3 root root 4096 Apr  7  2016 com
-rw-rw-r--. 1 root root  682 Apr  7  2016 ehcache.xml
-rw-rw-r--. 1 root root 1001 Apr  7  2016 hbase.properties
-rw-rw-r--. 1 root root  153 Apr  7  2016 jdbc.properties
-rw-rw-r--. 1 root root 3338 Apr  7  2016 log4j.xml
drwxrwxr-x. 2 root root 4096 Apr  7  2016 mapper
-rw-rw-r--. 1 root root 1420 Apr  7  2016 mybatis-config.xml
drwxrwxr-x. 3 root root 4096 Apr  7  2016 org
-rw-rw-r--. 1 root root  630 Apr  7  2016 pinpoint-web.properties
-rw-rw-r--. 1 root root  141 Apr  7  2016 project.properties
-rw-rw-r--. 1 root root 3872 Apr  7  2016 servlet-context.xml
drwxrwxr-x. 2 root root 4096 Apr  7  2016 sql

这里说明一下：

•	hbase.properties 配置我们pp-web从哪个数据源获取采集数据，这里我们只指定Hbase的zookeeper地址。
•	jdbc.properties pp-web连接自身Mysql数据库的连接认证配置。
•	sql目录 pp-web本身有些数据需要存放在MySQL数据库中，这里需要初始化一下表结构。
•	pinpoint-web.properties 这里pp-web集群的配置文件，如果你需要pp-web集群的话。
•	applicationContext-* .xml 这些文件在后续的调优工作中会用到。
•	log4j.xml 日志相关配置。

启动Tomcat

cd /data/service/pp-web/bin/
./startup.sh

查看日志，Tocmat是否启动成功
###1.4.2 配置快速启动
http://bigdata2:9999/#/main/MyTestPP@STAND_ALONE/5m/2018-08-01-10-52-34

其它的快速启动方式参考网址：https://www.cnblogs.com/yyhh/p/6106472.html

##1.5 安装pinpoint-agent（249机器）
上传以下内容到/home/pp_test

[root@localhost pp_test]# ll
total 16820
-rw-r--r--. 1 root root 9277365 Nov  9 02:25 apache-tomcat-8.5.12.tar.gz   (此处tomcat可以使用项目的tomcat)
-rw-r--r--. 1 root root 6621915 Nov  9 02:25 pinpoint-agent-1.7.3.tar.gz

###1.5.1 部署pp-agent
解压pp-agent

cd /home/pp_test
tar -zxvf pinpoint-agent-1.7.3.tar.gz
mv pinpoint-agent-1.7.3 /data/pp-agent

编辑配置文件

cd /data/pp-agent/
vim pinpoint.config

profiler.collector.ip=xxx.xxx.xxx.141

主要修改IP，只需要指定到安装pp-col的IP就行了，安装pp-col启动后，自动就开启了9994，9995，9996的端口了。这里就不需要操心了，如果有端口需求，要去pp-col的配置文件(“pp-col/webapps/ROOT/WEB-INF/classes/pinpoint-collector.properties”)中，修改这些端口。

在要在监控的tomcat的catalina.sh中增加探针。如下：

CATALINA_OPTS="$CATALINA_OPTS -javaagent:/data/pp-agent/pinpoint-bootstrap-1.7.3.jar"
CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.agentId=pp20161122"
CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.applicationName=MyTestPP"

重新启动要监控的tomcat
这时候我们在访问pp-web，可以发现它的下拉框中，多了一个app