CJ21
CJ21

大数据框架安装教程

一、架构

大数据框架安装教程_第1张图片

二、框架部署

2.1 准备

准备三台虚拟机，操作系统为CentOS 7.x，每台内存至少8G以上。

步骤：

  1. 关闭防火墙
  2. 创建hxr用户，设置密码，创建文件夹更改用户为hxr
  3. 配置ssh免密登录
  4. 安装jdk，设置环境变量
  5. 选择上海时间，并通过ntp同步互联网时间，通过crontab指令同步集群服务器时间

2.1.1 关闭防火墙

关闭防火墙并停止开机自启(CentOS7)

firewall-cmd --state  # 查看防火墙状态

systemctl start firewalld  # 开启防火墙

systemctl stop firewalld  # 关闭防火墙

systemctl disable firewalld  # 禁止防火墙开机启动

systemctl enable firewalld  # 设置防火墙开机启动

2.1.2 创建hxr用户

创建新用户hxr

useradd hxr

设置密码

passwd hxr

设置用户权限

在/etc/sudoers文件中添加 hxr ALL=(ALL) NOPASSWD:ALL
表示该用户或组执行来自任何计算机的所有用户和所有组的命令都不需要密码。
执行visudo -c检查文件是否正常

创建文件夹用于框架安装

mkdir -p /opt/module /opt/software   # 在/opt 目录下创建两个文件夹module和software
chown hxr:hxr /opt/module /opt/software   #并将所有权给hxr

2.1.3 配置ssh免密登录

登录到hxr用户，配置免密登陆。

  1. 生成密钥对
ssh-keygen -t rsa
  1. 发送公钥到本机
    将公钥发送到user@host上，即可免密登陆该host节点。该命令会将公钥写到指定节点host的.ssh/authorized_keys文件中，拥有该文件中的公钥对应私钥的节点都允许远程登录。
ssh-copy-id bigdata1
  1. 分别ssh登陆一下所有虚拟机
ssh bigdata2
ssh bigdata3
  1. 把/home/hxr/.ssh 文件夹发送到集群所有服务器
xsyncmy /home/hxr/.ssh

需要创建自定义xsyncmy脚本：见 [第四章 4.5 shell脚本]，在/usr/bin目录下创建脚本。

2.1.4 安装jdk，设置环境变量

将JDK的安装包放入到/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf [安装包] -C [目标路径]

在/etc/profile.d文件夹中添加脚本env.sh （好处就是shell登录和ssh登录都会加载该环境变量）

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

2.1.5 节点间时间同步

选择上海时间，并通过ntp同步互联网时间，通过crontab指令同步集群服务器时间。

时间服务器配置

  1. 安装ntp
yum –y install ntp

  1. 修改ntp配置文件 vim /etc/ntp.conf

    • 修改1（授权192.168.1.0-192.168.32.255网段上的所有机器可以从这台机器上查询和同步时间）

      #restrict 127.0.0.1  # 注销语句
restrict 192.168.32.0 mask 255.255.255.0 nomodify notrap   # 添加语句

    • 修改2（集群在局域网中，不使用其他互联网上的时间）

      #server 0.centos.pool.ntp.org iburst  # 注销语句
#server 1.centos.pool.ntp.org iburst  # 注销语句
#server 2.centos.pool.ntp.org iburst  # 注销语句
#server 3.centos.pool.ntp.org iburst  # 注销语句

    • 添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

      #将本机作为时钟源
server  127.127.1.0   # 添加语句
fudge  127.127.1.0  stratum  10# 添加语句

  2. 修改ntpd配置文件 vim /etc/sysconfig/ntpd

    增加内容如下（让硬件时间与系统时间一起同步）

    # 让硬件时间与系统时间一起同步
SYNC_HWCLOCK=yes

  1. 启动ntpd服务

    systemctl enable ntpd
systemctl restart ntpd
  1. 选择Shanghai时区作为节点时区

如果在/usr/share/zoneinfo/这个目录下不存在时区配置文件Asia/Shanghai，就要用 tzselect 生成。

tzselect

拷贝该时区文件，覆盖系统本地时区配置

rm /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

其他节点配置

安装组件

 sudo yum install -y ntpdate

在其他机器配置10分钟与时间服务器同步一次

crontab -e

输入如下文本后保存(设置每10秒同步一次)

*/10 * * * * /usr/sbin/ntpdate bigdata1

为了验证时间同步是否生效，可以设置

date -s "2008-8-8 8:8:8"

修改时间，date观察时间是否同步。

2.2 核心框架

Bigdata1 Bigdata2 Bigdata3
HDFS NameNode
DataNode		 DataNode DataNode
SecondaryNameNode
Yarn NodeManager Resourcemanager
NodeManager		 NodeManager
Zookeeper QuorumPeerMain QuorumPeerMain QuorumPeerMain
Flume Application Application
Kafka Kafka Kafka Kafka
Hive RunJar
RunJar
Sqoop Sqoop
Azkaban AzkabanExecutorServer
AzkabanWebServer
Hbase HMaster
HRegionServer		 HRegionServer HRegionServer
Flink YarnSessionClusterEntrypoint
YarnTaskExecutorRunner		 FlinkYarnSessionCli
YarnTaskExecutorRunner		 YarnTaskExecutorRunner
Clickhouse
Atlas Atlas
Ganglia ganglia
Zabbix zabbix-server
zabbix-agent		 zabbix-agent zabbix-agent
Solr jar jar jar
MySQL MySQL
Spark-session YarnCoarseGrainedExecutorBackend YarnCoarseGrainedExecutorBackend YarnCoarseGrainedExecutorBackend

2.2.1 Hadoop 2.7.2

安装应用

将hadoop-2.7.2.tar.gz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf hadoop-2.7.2.tar.gz -C /opt/module/

重命名解压后的文件为hadoop-2.7.2

定义环境变量

修改/etc/profile.d/env.sh文件

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

# HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#设置pid的存储路径，避免tmp清理时将pid删除，导致集群关闭脚本失效。
export HADOOP_PID_DIR=${HADOOP_HOME}/pids

配置文件

在bigdata1节点上的 /opt/module/hadoop-2.7.2/etc/hadoop 路径下修改如下配置文件

  • core-site.xml 添加如下配置

      
  
      fs.defaultFS
      hdfs://bigdata1:9000
  
   
  
      hadoop.tmp.dir
      /opt/module/hadoop-2.7.2/data/tmp

  • hdfs-site.xml 添加如下配置

      
  
      dfs.replication
      3
  
  
  
      dfs.namenode.secondary.http-address
      bigdata3:50090

  • yarn-site.xml 添加如下配置

        
    
            yarn.nodemanager.aux-services
            mapreduce_shuffle
    
    
    
        yarn.resourcemanager.hostname
        bigdata2
    
    
    
        yarn.log-aggregation-enable
        true
    
    
    
        yarn.log-aggregation.retain-seconds
        604800

  • mapred-site.xml 添加如下配置

      
  
      mapreduce.framework.name
      yarn
  
  
  
      mapreduce.jobhistory.address
      bigdata3:10020
  
  
  
      mapreduce.jobhistory.webapp.address
      bigdata3:19888

  • hadoop-env.sh 修改如下配置

    export JAVA_HOME=${JAVA_HOME}

  • yarn-env.sh 修改如下配置

    export JAVA_HOME=${JAVA_HOME}

  • mapred-env.sh 修改如下配置

    export JAVA_HOME=${JAVA_HOME}

  • slaves 添加如下配置

    bigdata1
bigdata2
bigdata3

    注：需要注意不能出现空行，否则集群启动会有问题

分发Hadoop到其他节点

xsyncmy /opt/module/hadoop-2.7.2

启动集群

在bigdata1节点上格式化NameNode

bin/hdfs namenode –format

在bigdata1节点上启动hdfs

sbin/start-dfs.sh

在bigdata2节点上启动yarn

sbin/start-yarn.sh

在bigdata3节点上启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

对hadoop集群的操作：
start-dfs.sh stop-dfs.sh 打开和关闭dfs
start-yarn.sh stop-yarn.sh 打开和关闭yarn
hadoop-deamon.sh start或stop namenode或datanode 在本机上操作后台进程
yarn-deamon.sh start或stop resourcemanager或nodemanager 在本机上操作进程
hadoop-deamons.sh start或stop namenode或datanode 在集群上操作后台进程
yarn-deamons.sh start或stop resourcemanager或nodemanager 在集群上操作进程

正常情况下各节点进程如下

  • bigdata1:
    NameNode
    NodeManager
    DataNode
  • bigdata2:
    ResourceManager
    NodeManager
    DataNode
  • bigdata3:
    Secondary NameNode
    NodeManager
    DataNode
    JobHistoryServer

如果出现问题，先停止所有hadoop进程

sbin/stop-dfs.sh
sbin/stop-yarn.sh

对集群进行格式化

rm –rf /opt/module/hadoop-2.7.2/data /opt/module/hadoop-2.7.2/logs   # 删除数据和日志文件
bin/hdfs namenode -format   # 格式化集群

检查配置文件等有无错误，找到并修复问题后重启集群。

验证集群是否正常工作

在/opt/module/hadoop-2.7.2目录下执行如下命令

hadoop fs –put README.txt /   # 将需要进行处理的文件上传到集群中

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /README.txt /output   # 调用hadoop自带的wordcount程序对文件中的单词进行wordcount

hadoop fs –get /output /opt/module/hadoop-2.7.2   # 从集群中下载输出的文件

查看下载下来的输出文件是否正常，正常则集群可以正常工作。

Web界面

bigdata1:50070 hdfs页面

bigdata2:8088 yarn页面

bigdata3:19888 历史服务器页面

hadoop的最终配置文件

core-site.xml



    
        fs.defaultFS
        hdfs://bigdata1:9000
    
    
        hadoop.tmp.dir
        /opt/module/hadoop-2.7.2/data/tmp
    

    
        io.compression.codecs
        
        org.apache.hadoop.io.compress.GzipCodec,
        org.apache.hadoop.io.compress.DefaultCodec,
        org.apache.hadoop.io.compress.BZip2Codec,
        org.apache.hadoop.io.compress.SnappyCodec,
        com.hadoop.compression.lzo.LzoCodec,
        com.hadoop.compression.lzo.LzopCodec
        
    
    
        io.compression.codecs.lzo.class
        com.hadoop.compression.lzo.LzoCodec
    

    
        hadoop.proxyuser.hxr.groups
        *
    
        
        hadoop.proxyuser.hxr.hosts
        *

hdfs-site.xml


    
        dfs.replication
        3
    
    
        dfs.namenode.secondary.http-address
        bigdata3:50090

mapred-site.xml



    
        mapreduce.framework.name
        yarn
    
    
        mapreduce.jobhistory.address
        bigdata3:10020
    

    
        mapreduce.jobhistory.webapp.address
        bigdata3:19888
    

    
    
    　　mapreduce.map.memory.mb
    　　1536
    
    
    　　mapreduce.map.java.opts
    　　-Xmx1024M
    
    
    　　mapreduce.reduce.memory.mb
    　　3072
    
    
    　　mapreduce.reduce.java.opts
    　　-Xmx2560M

yarn-site.xml




    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.resourcemanager.hostname
        bigdata2
    

    
        yarn.log-aggregation-enable
        true
    
    
        yarn.log-aggregation.retain-seconds
        604800
    

    
        yarn.nodemanager.vmem-check-enabled
        false
    
    
        yarn.nodemanager.pmem-check-enabled
        false
        是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true 
    
    
        yarn.log-aggregation-enable
        true
    
         
        yarn.log.server.url  
        http://bigdata3:19888/jobhistory/logs

2.2.2 Zookeeper 3.4.10

安装应用

将zookeeper-3.4.10.tar.gz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

重命名解压后的文件为zookeeper-3.4.10

配置文件

  1. 重命名/conf这个目录下的zoo_sample.cfg为zoo.cfg

    mv /opt/module/zookeeper-3.4.10/conf/zoo_sample.cfg  /opt/module/zookeeper-3.4.10/conf/zoo.cfg

    • 修改文件中的dataDir路径

      dataDir=/opt/module/zookeeper-3.4.10/zkData

    • 新增如下

      server.1=bigdata1:2888:3888
server.2=bigdata2:2888:3888
server.3=bigdata3:2888:3888

      server.2是id号，只要不重复就可以。

  2. 在 /opt/module/zookeeper-3.4.10/ 目录下创建zkData，在/opt/module/zookeeper-3.4.10/zkData目录下创建myid的文件，将本机的server号写入

    1

  3. 日志输出位置
    在bin/zkEnv.sh中的开头添加一行

ZOO_LOG_DIR=/opt/module/zookeeper-3.4.10/logs

分发Zookeeper到其他节点

xsyncmy /opt/module/zookeeper-3.4.10

注意：需要修改其他节点的/opt/module/zookeeper-3.4.10/zkData/myid文件，为每个节点分配不同的server号(对应server.1/server.2/server.3)。

启动集群

在每个节点上启动zookeeper进程

bin/zkServer.sh start

检查每个节点的状态

bin/zkServer.sh start

关闭节点的zookeeper进程

bin/zkServer.sh stop

2.2.3 Flume 1.7.0

安装应用

将apache-flume-1.7.0-bin.tar.gz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module/

重命名解压后的文件为flume-1.7.0

配置文件

  1. 修改flume-1.7.0/conf中的flume-env.sh文件

    export JAVA_HOME=${JAVA_HOME}
export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

    -Xms和-Xmx推荐设置为一样大小，避免内存抖动。

  2. conf中的log4j.properties配置文件。

    flume.log.dir=/opt/module/flume-1.7.0/logs  # 指定输出日志位置

    log4j.root.logger指定了输出模式，将flume.root.logger改了也就改了输出模式。默认输出到log4j文件中，可以在配置文件中改为输出到console中（INFO，console）。也可以在命令中加上-D参数，将输出目的地改为控制台（-Dflume.root.logger=INFO，console）。

任务文件

针对不同的业务逻辑需要配置不同的文件。在启动时作为需要作为配置参数传入内存。

例：创建/opt/module/flume-1.7.0/job/file-kafka-hdfs.conf文件

# agent
a1.sources = r1
a1.channels = c1 c2


#source
a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1 c2
a1.sources.r1.positionFile = /opt/module/flume-1.7.0/taildir_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /tmp/logs/q6/.*log
a1.sources.r1.fileHeader = false
a1.sources.r1.maxBatchCount = 1000

#设置拦截器
a1.sources.r1.interceptors = i1 i2
a1.sources.r1.interceptors.i1.type = com.hxr.flume.LogETLInterceptor$Builder
a1.sources.r1.interceptors.i2.type = com.hxr.flume.LogTypeInterceptor$Builder

#设置选择器
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = topic
a1.sources.r1.selector.mapping.Log_Q6 = c1
a1.sources.r1.selector.mapping.Log_E5 = c2


#channel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = BigData1:9092,BigData2:9092,BigData3:9092
a1.channels.c1.kafka.topic = Log_Q6
a1.channels.c1.parseAsFlumeEvent = false

a1.channels.c2.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c2.kafka.bootstrap.servers = BigData1:9092,BigData2:9092,BigData3:9092
a1.channels.c2.kafka.topic = Log_E5
a1.channels.c2.parseAsFlumeEvent = false


#sink
a1.sinks = k1 k2

a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = /origin_data/device_model_log/logs/q6/%Y-%m-%d
a1.sinks.k1.hdfs.filePrefix = q6-
a1.sinks.k1.hdfs.rollInterval = 3600
a1.sinks.k1.hdfs.rollSize = 134217728
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.useLocalTimeStamp = true

a1.sinks.k2.type = hdfs
a1.sinks.k2.channel = c2
a1.sinks.k2.hdfs.path = /origin_data/device_model_log/logs/e5/%Y-%m-%d
a1.sinks.k2.hdfs.filePrefix = e5-
a1.sinks.k2.hdfs.rollInterval = 3600
a1.sinks.k2.hdfs.rollSize = 134217728
a1.sinks.k2.hdfs.rollCount = 0
a1.sinks.k2.hdfs.useLocalTimeStamp = true

#压缩格式
a1.sinks.k1.hdfs.codeC = lzop
a1.sinks.k1.hdfs.fileType = CompressedStream

a1.sinks.k2.hdfs.codeC = lzop
a1.sinks.k2.hdfs.fileType = CompressedStream


#拼装
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

单点启动

/opt/module/flume-1.7.0/bin/flume-ng agent -n a1 -c /opt/module/flume-1.7.0/conf -f /opt/module/flume-1.7.0/job/file-kafka-hdfs.conf

参数解释

-n：任务名称
-c：指定配置文件
-f：指定任务文件

2.2.4 Kafka 2.11

安装应用

将kafka_2.11-0.11.0.2.tgz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf kafka_2.11-0.11.0.2.tgz -C /opt/module/

重命名解压后的文件为kafka-2.11

配置文件

修改kafka-2.11/config/server.properties文件

#broker的全局唯一编号，不能重复
broker.id=0

#删除topic功能使能
delete.topic.enable=true #是否真正删除topic


#kafka运行日志存放的路径
log.dirs=/opt/module/kafka-2.11/logs

#配置连接Zookeeper集群地址
zookeeper.connect=bigdata1:2181,bigdata2:2181,bigdata3:2181 #所有的kafka相关节点  都会存储在zookeeper的根目录下，可以在后面加上节点名称，将所有节点存储在该节点下。

真正删除topic
找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除。被标记为marked for deletion的topic可以在zookeeper客户端中通过命令获得：ls /admin/delete_topics/【topic name】，如果你删除了此处的topic，那么marked for deletion 标记消失。

分发Kafka到其他节点

xsyncmy /opt/module/kafka-2.11

注意：需要修改其他节点的/opt/module/kafka-2.11/config/server.properties文件中的broker.id名，不能重复。

压测

写入消息

./kafka-producer-perf-test.sh --topic test --num-records 1000000 --record-size 1000 --throughput 20000  --producer-props  bootstrap.servers=bigdata1:9092

--num-records 总共需要发送的消息数，本例为1000000
--record-size 每个记录的字节数，本例为1000
--throughput 每秒钟发送的记录数，本例为20000

消费消息

bin/kafka-consumer-perf-test.sh --zookeeper bigdata1:2181 --topic test --fetch-size 1048576 --messages 1000000 --threads 1

--fetch-size 指定每次fetch的数据的大小，本例为1048576，也就是1M
--messages 总共要消费的消息个数，本例为1000000，100w

启动集群

bin/kafka-server-start.sh -daemon config/server.properties

bin/kafka-server-stop.sh

常用命令

对topic的增删改查

  • 查看所有的topic

    bin/kafka-topics.sh  --zookeeper bigdata1:2181  --list

  • 创建一个名为first，分区数为3，副本数为2的topic

    bin/kafka-topics.sh  --zookeeper bigdata1:2181  --create --topic first  --partitions 3  --replication-factor 2

  • 查看名为first的topic的具体参数

    bin/kafka-topics.sh  --zookeeper bigdata1:2181  --describe  --topic first

    分别表示topic名、分区号、该分区leader所在的brokerid、副本号、副本所在brokerid、可以同步的副本所在的brokerid


    image.png

  • 修改分区数或副本数（分区数只能增不能减，副本数可增可减）

    bin/kafka-topics.sh  --zookeeper bigdata1:2181  --alter  --topic first  --partitions 5

    在bigdata1的logs文件夹中可以查看该节点存储的副本文件first-n（n表示分区号）。分区0存储在broker0、1上，分区2存储在broker2、0上，分区3存储在broker0、2上、分区4存储在broker1、0上。综上，bigdata1存储了分区0、2、3、4的副本，与logs中的first副本文件对应。

    image.png
    大数据框架安装教程_第2张图片
    image.png

  • 删除topic

    bin/kafka-topics.sh  --zookeeper bigdata1:2181  --delete  --topic first

    如果在server.properties中将 delete.topic.enable=true，那么删除时就会将原数据删除。否则只会删除zk上的节点，原数据不会删除。

  • 生产数据到topic中

    bin/kafka-console-producer.sh --broker-list bigdata2:9092,bigdata3:9092  --topic first

  • 从topic中读取数据

    bin/kafka-console-consumer.sh --bootstrap-server bigdata1:9092 --topic first [from-beginning]

    可以指定消费组的offset，默认是latest

  • 展示当前正在消费的消费者组的信息

    bin/kafka-consumer-groups.sh  --bootstrap-server  bigdata1:9092   --list
    image.png

  • 监控某一消费者消费了哪些topic（一个消费者组可以消费多个topic）

    bin/kafka-consumer-groups.sh  --bootstrap-server hadoop102:9092  --describe  --group id
    大数据框架安装教程_第3张图片
    image.png

    这两个脚本直接从服务器上获取元数据，得到leader的信息；底层也是调用生产者和消费者的api。



不常用命令

  • 如新增了节点，需要重新分配分区，将数据均衡。资源消耗很大。

    reassign-partitions.sh

  • 每一个partition的leader的重新选举。

    preferred-replica-election.sh

    将leader分布在不同节点上，缓解压力。一台leader挂了，其他副本会成为leader，可能会在同一个broker有多个leader，原leader上线后变成follower，需要重新选举，将leader的分别变为均匀状态（这两个指令需要json格式的文件指定分配计划）。

2.2.5 Hive 2.3.6

安装应用

  1. 先在bigdata3上安装MySQL

    docker run -d --restart always --name mysql -p 3306:3306 -v /root/docker/mysql/conf:/etc/mysql -v /root/docker/mysql/log:/var/log/mysql -v /root/docker/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=hxr mysql:5.6

  1. 将apache-hive-2.3.6-bin.tar.gz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

    tar –zxvf apache-hive-2.3.6-bin.tar.gz -C /opt/module/

    重命名解压后的文件为hive-2.3.6。

配置文件

默认配置文件为hive-default.xml，用户自定义配置文件为hive-site.xml

  1. 配置/opt/module/hive-2.3.6/conf/hive-env.sh文件

    # 配置HADOOP_HOME路径
export HADOOP_HOME=${HADOOP_HOME}

# 配置HIVE_CONF_DIR路径
export HIVE_CONF_DIR=/opt/module/hive-2.3.6/conf

  2. 新建hive-site.xml
    配置hive-site.xml文件

    


 
     javax.jdo.option.ConnectionURL
     jdbc:mysql://bigdata3:3306/metastore?createDatabaseIfNotExist=true
     JDBC connect string for a JDBC metastore
 

 
     javax.jdo.option.ConnectionDriverName
     com.mysql.jdbc.Driver
     Driver class name for a JDBC metastore
 

 
     javax.jdo.option.ConnectionUserName
     root
     username to use against metastore database
 

 
     javax.jdo.option.ConnectionPassword
     hxr
     password to use against metastore database
 
    
    
    
         hive.metastore.warehouse.dir
         /user/hive/warehouse
         location of default database for the warehouse（默认default数据库所在hdfs位置）
    
    
    
        hive.cli.print.header
        true
         显示查询的头信息
    

    
        hive.cli.print.current.db
        true
         显示当前数据库
    
    
    
    
        hive.metastore.schema.verification
        false
    
    
    
        datanucleus.schema.autoCreateAll
        true 
    

    
     hive.metastore.uris
     thrift://bigdata1:9083

Hive 运行日志信息配置
修改/opt/module/hive/conf/hive-log4j.properties.template文件名称为hive-log4j.properties，修改 log 存放位置hive.log.dir=/opt/module/hive/logs

  1. beeline远程登陆配置
    在hadoop的core-site.xml文件中配置代理用户
        
                hadoop.proxyuser.hxr.groups
                *
        
        
                hadoop.proxyuser.hxr.hosts
                *

在hive的hive-site.xml文件中配置远程链接地址端口和账号密码

    
        hive.server2.thrift.bind.host
        bigdata1
    

    
    
        hive.server2.thrift.port
        10000

测试

启动metastore和hiveserver2

nohup ./hive --service metastore &
nohup ./hive --service hiveserver2 &

①本地连接
进入hive客户端

bin/hive

如果成功进入，则hive运行正常。
②beeline远程连接

beeline -u jdbc:hive2://bigdata1:10000 -n hxr

③可以通过DataGrip等数据库管理工具远程连接
连接URL为 jdbc:hive2://192.168.32.242:10000

2.2.6 Sqoop 1.4.6

安装应用

将sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

重命名解压后的文件为sqoop-1.4.6

配置文件

  1. 重命名sqoop-env-template.sh文件为sqoop-env.sh

    mv /opt/module/sqoop-1.4.6/conf/sqoop-env-template.sh /opt/module/sqoop-1.4.6/conf/sqoop-env-template.shsqoop-env.sh

    修改文件sqoop-env.sh

    export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_MAPRED_HOME=${HADOOP_HOME}

# 以下配置可以不写
export HIVE_HOME=/opt/module/hive-2.3.6
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf
export HBASE_HOME=/opt/module/hbase

  2. 拷贝JDBC驱动

    将MySQL版本对应的驱动程序解压到/opt/module/sqoop-1.4.6/lib/ 目录下。

    tar -zxvf mysql-connector-java-5.1.27.tar.gz   # 解压驱动包
cp mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6/lib/   # 复制驱动包

测试

  1. 通过某一个command来验证sqoop配置是否正确

    bin/sqoop help

    出现一些Warning警告，并伴随着帮助命令的输出。

  2. 测试Sqoop是否能够成功连接数据库

    bin/sqoop list-databases --connect jdbc:mysql://bigdata3:3306/ --username root --password hxr

    如果打印出mysql中的所有数据库，则运行正常。

    需要预先在bigdata3节点上安装完mysql

2.2.7 配置LZO格式压缩

hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。

配置

  1. 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/

  2. core-site.xml增加配置支持LZO压缩

     
     io.compression.codecs
     
        org.apache.hadoop.io.compress.GzipCodec,
        org.apache.hadoop.io.compress.DefaultCodec,
        org.apache.hadoop.io.compress.BZip2Codec,
        org.apache.hadoop.io.compress.SnappyCodec,
        com.hadoop.compression.lzo.LzoCodec,
        com.hadoop.compression.lzo.LzopCodec
     
 

 
     io.compression.codec.lzo.class
     com.hadoop.compression.lzo.LzoCodec

  3. 同步hadoop-lzo-0.4.20.jar 文件和core-site.xml文件

    xsyncmy /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

重启集群

sbin/start-dfs.sh
sbin/start-yarn.sh

测试

查看本地库支持的

hadoop checknative -a

创建索引：LZO压缩文件的可切片特性依赖于其索引，故我们需要手动为LZO压缩文件创建索引。

hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo

测试输出使用lzop进行压缩

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.output.fileoutputformat.compress=true -Dmapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec /README.txt /outputlzo

2.2.8 TEZ 0.9.1

安装应用

将apache-tez-0.9.1-bin.tar.gz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf apache-tez-0.9.1-bin.tar.gz -C /opt/module/

重命名解压后的文件为tez-0.9.1

配置文件

  1. 需要在hive的hive-env.sh中引入tez的所有jar包。

    # Set HADOOP_HOME to point to a specific hadoop install directoryHADOOP_HOME=${HADOOP_HOME}
export HADOOP_HOME=$HADOOP_HOME
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=$HIVE_HOME/conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:
# export HIVE_AUX_JARS_PATH=

export TEZ_HOME=/opt/module/tez-0.9.1
export TEZ_JARS=""
for jar in `ls $TEZ_HOME | grep jar`;do
        export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done

for jar in `ls $TEZ_HOME/lib`;do
        export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done

export HIVE_AUX_JARS_PATH=$HADOOP_HOME/share/hadoop/common/hadoop-lzo-0.4.20.jar$TEZ_JARS

  2. 在hive-site.xml中设置引擎为tez。

        
        hive.execution.engine
        tez

  3. 在Hive的/opt/module/hive/conf下面创建一个tez-site.xml文件，添加如下内容

    


    
        tez.lib.uris
        ${fs.defaultFS}/tez/apache-tez-0.9.1-bin.tar.gz
    
    
        tez.use.cluster.hadoop-libs
        true
    
    
        tez.history.logging.service.class
        org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService

  4. 将/opt/module/tez-0.9.1上传到HDFS的/tez路径，使所有的hdfs节点都可以使用tez。

     hadoop fs -mkdir /tez
 hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz /tez
 hadoop fs -ls /tez

    放置的路径需要与tez-site.xml中配置的路径对应

如果是hadoop3.1.3版本，可以下载Tez 0.10.1版本进行配置.

测试

  1. 启动Hive

    nohup hive --service metastore 1>/dev/null 2>&1 &
nohup hive --service hiveserver2 1>/dev/null 2>&1 &

bin/hive

  2. 创建LZO表

    hive (default)> create table student(id int,name string);

  3. 向表中插入数据

    hive (default)> insert into student values(1,"zhangsan");

  4. 查询数据，如果没有报错就表示成功了

    hive (default)> select * from student;

优化

运行Tez时检查到用过多内存而被NodeManager杀死进程问题：

Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1546781144082_0005 failed 2 times due to AM Container for appattempt_1546781144082_0005_000002 exited with  exitCode: -103

For more detailed output, check application tracking page:http://hadoop103:8088/cluster/app/application_1546781144082_0005Then, click on links to logs of each attempt.

Diagnostics: Container [pid=11116,containerID=container_1546781144082_0005_02_000001] is running beyond virtual memory limits. Current usage: 216.3 MB of 1 GB physical memory used; 2.6 GB of 2.1 GB virtual memory used. Killing container.

这种问题是从机上运行的Container试图使用过多的内存，而被NodeManager kill掉了。

解决方法：

  • 方案一：或者是关掉虚拟内存检查。修改yarn-site.xml，修改后一定要分发，并重新启动hadoop集群。

      
      yarn.nodemanager.vmem-check-enabled
      false

  • 方案二：mapred-site.xml中设置Map和Reduce任务的内存配置如下(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)

      
      mapreduce.map.memory.mb
      1536
  
  
      mapreduce.map.java.opts
      -Xmx1024M
  
  
      mapreduce.reduce.memory.mb
      3072
  
  
      mapreduce.reduce.java.opts
      -Xmx2560M

2.2.9 Azkaban 2.5.0

应用安装

将azkaban-web-server-2.5.0.tar.gz，azkaban-executor-server-2.5.0.tar.gz，azkaban-sql-script-2.5.0.tar.gz 安装包放入bigdata1节点的/opt/software文件夹下；

创建/opt/module/azkaban-2.5.0文件夹；

通过如下命令将安装包解压到/opt/module/azkaban-2.5.0文件夹下

tar –zxvf azkaban-web-server-2.5.0.tar.gz -C /opt/module/azkaban-2.5.0
tar –zxvf azkaban-executor-server-2.5.0.tar.gz -C /opt/module/azkaban-2.5.0
tar –zxvf azkaban-sql-script-2.5.0.tar.gz -C /opt/module/azkaban-2.5.0

重命名解压后的文件夹

mv /opt/module/azkaban-2.5.0/azkaban-web-2.5.0/ /opt/module/azkaban-2.5.0/server
mv /opt/module/azkaban-2.5.0/azkaban-executor-2.5.0/ /opt/module/azkaban-2.5.0/executor

创建数据库

mysql -uroot -phxr

mysql> create database azkaban;
mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql

注：source后跟.sql文件，用于批量处理.sql文件中的sql语句。

生成密钥对和证书

Keytool是java数据证书的管理工具，使用户能够管理自己的公/私钥对及相关证书。

  1. 生成 keystore的密码及相应信息的密钥库

    keytool -keystore keystore -alias jetty -genkey -keyalg RSA

    -keystore 指定密钥库的名称及位置(产生的各类信息将存在.keystore文件中)
    -genkey(或者-genkeypair) 生成密钥对
    -alias 为生成的密钥对指定别名，如果没有默认是mykey
    -keyalg 指定密钥的算法 RSA/DSA 默认是DSA

    输入完成后即生成秘钥对，可以通过如下命令查看秘钥库中的秘钥信息，有私钥和证书(存有公钥)。

    keytool -keystore keystore -list

    注意：
    密钥库的密码至少必须6个字符，可以是纯数字或者字母或者数字和字母的组合等等
    密钥库的密码最好和 的密钥相同，方便记忆

  1. 将keystore 拷贝到 azkaban web服务器根目录中

    mv keystore /opt/module/azkaban-2.5.0/server/

配置文件

  1. Web服务器配置，修改/opt/module/azkaban-2.5.0/server/conf/azkaban.properties文件

    #Azkaban Personalization Settings
#服务器UI名称,用于服务器上方显示的名字
azkaban.name=Test
#描述
azkaban.label=My Local Azkaban
#UI颜色
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
#默认web server存放web文件的目录
web.resource.dir=/opt/module/azkaban/server/web/
#默认时区,已改为亚洲/上海 默认为美国
default.timezone.id=Asia/Shanghai
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
#用户权限管理默认类（绝对路径）
user.manager.xml.file=/opt/module/azkaban/server/conf/azkaban-users.xml
#Loader for projects
#global配置文件所在位置（绝对路径）
executor.global.properties=/opt/module/azkaban/executor/conf/global.properties
azkaban.project.dir=projects
#数据库类型
database.type=mysql
#端口号
mysql.port=3306
#数据库连接IP
mysql.host=bigdata3
#数据库实例名
mysql.database=azkaban
#数据库用户名
mysql.user=root
#数据库密码
mysql.password=hxr
#最大连接数
mysql.numconnections=100
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
# Jetty服务器属性.
#最大线程数
jetty.maxThreads=25
#Jetty SSL端口
jetty.ssl.port=8443
#Jetty端口
jetty.port=8081
#SSL文件名（绝对路径）
jetty.keystore=/opt/module/azkaban/server/keystore
#SSL文件密码
jetty.password=000000
#Jetty主密码与keystore文件相同
jetty.keypassword=000000
#SSL文件名（绝对路径）
jetty.truststore=/opt/module/azkaban/server/keystore
#SSL文件密码
jetty.trustpassword=000000
# Azkaban Executor settings
executor.port=12321
# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache

  2. Web服务器用户配置，修改/opt/module/azkaban-2.5.0/server/conf/azkaban-users.xml 文件，增加管理员用户

  3. 执行服务器配置，修改/opt/module/azkaban-2.5.0/executor/conf/azkaban.properties

    #Azkaban
#时区
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins
#jobtype 插件所在位置
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=/opt/module/azkaban-2.5.0/executor/conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=bigdata3
mysql.database=azkaban
mysql.user=root
mysql.password=hxr
mysql.numconnections=100

# Azkaban Executor settings
#最大线程数
executor.maxThreads=50
#端口号(如修改,请与web服务中一致)
executor.port=12321
#线程数
executor.flow.threads=30

单点启动

  • 启动executor服务器

    /opt/module/azkaban-2.5.0/executor/bin/azkaban-executor-start.sh

  • 启动web服务器

    /opt/module/azkaban-2.5.0/server/bin/azkaban-web-start.sh

注意：先执行executor，再执行web，避免Web Server会因为找不到执行器启动失败

Web界面

启动完成后，访问https://bigdata1:8443，即可访问azkaban服务了。

在登录中输入刚才在azkaban-users.xml文件中新添加的户用名及密码，点击 login。

2.2.10 Flink 1.12.0

安装应用

将flink-1.12.0-bin-scala_2.12.tgz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf flink-1.12.0-bin-scala_2.12.tgz -C /opt/module/

重命名解压后的文件为flink-1.12.0

分发Flink到其他节点

xsyncmy /opt/module/flink-1.12.0

启动集群

必须保证hadoop集群正常运行。

  1. 添加环境变量

    export HADOOP_CLASSPATH=`hadoop classpath`

  2. 启动yarn-session

    yarn-session.sh -n 2 -s 2 -jm 1024 -nm test -d

    如果调度器中创建了多个队列，需要指定队列

    nohup ./yarn-session.sh -s 2 -jm 1024 -tm 2048 -nm flink-on-yarn -qu flink -d 1>/opt/module/flink-1.12.0/yarn-session.log 2>/opt/module/flink-1.12.0/yarn-session.err &

    -n（--container）：TaskManager的数量（建议不指定，会动态添加，且flink1.10中已经不再支持）；
    -s（--slots）：每个TaskManager的slot数量，默认一个slot一个sore，默认每个taskmanager的slot个数为1，有时可以多一些taskmanager，做冗余；
    -jm：JobManager的内存（MB）；
    -tm：每个taskmanager的内存（MB）；
    -nm：yarn的appName（yarn的ui上的名字）；
    -d：后台执行。

  1. 关闭yarn-session

    # 找到flink集群任务的id，然后kill
yarn application -kill application_1616059084025_0002

  1. 提交任务(和standalone模式一样)

    bin/flink run -c com.iotmars.wecook.StreamWordCount -p 2 /opt/jar/flink-demo-0.0.1-SNAPSHOT-jar-with-dependencies.jar --host localhost --port 6666
    • -c 表示类路径
    • -p 表示并行度
    • 然后加上启动jar路径
    • 最后添加参数
      注意：如果slot不够，会导致卡死在分配资源阶段导致最后超时失败。

    查看任务状态：去yarn控制台查看任务状态
    取消yarn-session：

    yarn application --kill job_id

Web界面

可以通过http://192.168.32.243:37807访问Web页面（每次启动都会变，具体查看/opt/module/flink-1.12.0/yarn-session.log）

2.2.11 HBase 1.3.1

安装应用

将hbase-1.3.1-bin.tar.gz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf hbase-1.3.1-bin.tar.gz -C /opt/module/

重命名解压后的文件为hbase-1.3.1

配置文件

  1. 修改conf/hbase-env.sh文件

    export JAVA_HOME=/opt/module/jdk1.8.0_144
export HBASE_MANAGES_ZK=false

  2. 修改conf/hbase-site.sh文件

    
         
        hbase.rootdir     
        hdfs://bigdata1:9000/hbase   
    

       
        hbase.cluster.distributed
        true
    

   
    
        hbase.master.port
        16000
    

       
        hbase.zookeeper.quorum
         bigdata1,bigdata2,bigdata3
    

       
        hbase.zookeeper.property.dataDir
         /opt/module/zookeeper-3.4.10/zkData

  1. 修改conf/regionservers文件

    bigdata1
bigdata2
bigdata3

  2. 软连接hadoop配置文件到hbase

    ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/hbase/conf/core-site.xml
ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml

分发HBase到其他节点

xsyncmy /opt/module/hbase

启动集群

必须保证zk和hadoop集群正常运行。

  • 方式一：

    bin/hbase-daemon.sh start master
bin/hbase-daemon.sh start regionserver

  • 方式二：

    bin/start-hbase.sh
bin/stop-hbase.sh

Web界面

http://bigdata1:16010

2.2.12 Clickhouse

见ClickHouse 21.7 基础

2.3 辅助框架

2.3.1 Ganglia

启动应用

需要先将容器中/etc/ganglia/文件夹下的配置文件复制出来，再启动。

docker run -d --name ganglia --net=host -v /root/ganglia/conf/:/etc/ganglia/ -v /root/ganglia/lib/:/var/lib/ganglia/ wookietreiber/ganglia

配置文件

修改gmond.conf

cluster {
  name = "bigdata"
  owner = "unspecified"
  latlong = "unspecified"
  url = "unspecified"
}

udp_send_channel {
  #bind_hostname = yes # Highly recommended, soon to be default.
                       # This option tells gmond to use a source address
                       # that resolves to the machine's hostname.  Without
                       # this, the metrics may appear to come from any
                       # interface and the DNS names associated with
                       # those IPs will be used to create the RRDs.
  #mcast_join = 239.2.11.71
  # 192.168.32.243是bigdata2的ip
  host = 192.168.32.243
  port = 8649
  ttl = 1
}

udp_recv_channel {
  # mcast_join = 239.2.11.71
  port = 8649
  bind = 192.168.32.243
  retry_bind = true
  # Size of the UDP buffer. If you are handling lots of metrics you really
  # should bump it up to e.g. 10MB or even higher.
  # buffer = 10485760
}

修改gmeta.conf

data_source "bigdata" 192.168.32.243:8649

需要再flume配置文件flume-env.sh中添加如下参数将信息发送到ganglia的监控端口，或直接在启动flume时添加如下参数：

JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.32.243:8649 -Xms100m -Xmx200m"

2.3.2 Solr 5.2.1

安装应用

将solr-5.2.1.tgz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf solr-5.2.1.tgz -C /opt/module/

重命名解压后的文件为solr-5.2.1

配置文件

进入solr/bin目录，修改solr.in.sh文件

ZK_HOST="hadoop102:2181,hadoop103:2181,hadoop104:2181"
SOLR_HOST="hadoop102"
# Sets the port Solr binds to, default is 8983
#可修改端口号
SOLR_PORT=8983

分发Solr到其他节点

xsyncmy /opt/module/solr-5.2.1

注：分发完成后，分别对bigdata2、bigdata3主机/opt/module/solr-5.2.1/bin下的solr.in.sh文件，修改为SOLR_HOST=对应主机名。

集群启动

在三台节点上分别启动Solr，这个就是Cloud模式

bin/solr start

Web界面

访问8983端口，可指定三台节点中的任意一台IP

http://bigdata1:8983/solr/

UI界面出现Cloud菜单栏时，Solr的Cloud模式才算部署成功。

2.3.3 Atlas 0.8.4

需要提前安装hadoop，hive，zk，kafka，hbase，solr

安装应用

将apache-atlas-0.8.4-bin.tar.gz安装包放入bigdata1节点的/opt/software文件夹下，通过如下命令将安装包解压到/opt/module文件夹下。

tar –zxvf apache-atlas-0.8.4-bin.tar.gz -C /opt/module/

重命名解压后的文件为atlas-0.8.4

配置文件

Atlas集成Hbase

  1. 修改conf/atlas-application.properties

    #修改atlas存储数据主机
atlas.graph.storage.hostname=bigdata1:2181,bigdata2:2181,bigdata3:2181

  2. 进入到conf/hbase路径，添加Hbase集群的配置文件到${Atlas_Home}

    ln -s /opt/module/hbase/conf/ /opt/module/atlas/conf/hbase/

  3. 在/opt/module/atlas/conf/atlas-env.sh中添加HBASE_CONF_DIR

    #添加HBase配置文件路径
export HBASE_CONF_DIR=/opt/module/atlas/conf/hbase/conf

Atlas集成Solr

  1. 进入/opt/module/atlas/conf目录，修改配置文件atlas-application.properties

    #修改如下配置
atlas.graph.index.search.solr.zookeeper-url=bigdata1:2181,bigdata2:2181,bigdata3:2181

  2. 将Atlas自带的Solr文件夹拷贝到外部Solr集群的各个节点

    cp -r /opt/module/atlas/conf/solr /opt/module/solr/

    进入到/opt/module/solr路径，修改拷贝过来的配置文件名称为atlas_conf

    mv solr atlas_conf

在Cloud模式下，启动Solr（需要提前启动Zookeeper集群），并创建collection

bin/solr create -c vertex_index -d /opt/module/solr/atlas_conf -shards 3 -replicationFactor 2
bin/solr create -c edge_index -d /opt/module/solr/atlas_conf -shards 3 -replicationFactor 2
bin/solr create -c fulltext_index -d /opt/module/solr/atlas_conf -shards 3 -replicationFactor 2

-shards 3：表示该集合分片数为3

-replicationFactor 2：表示每个分片数都有2个备份
vertex_index、edge_index、fulltext_index：表示集合名称
注意：如果需要删除vertex_index、edge_index、fulltext_index等collection可以执行命令bin/solr delete -c ${collection_name}。

Atlas集成Kafka

进入/opt/module/atlas/conf/目录，修改配置文件atlas-application.properties
vim atlas-application.properties

#########  Notification Configs  #########
atlas.notification.embedded=false
atlas.kafka.zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181
atlas.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
atlas.kafka.zookeeper.session.timeout.ms=4000
atlas.kafka.zookeeper.connection.timeout.ms=2000

atlas.kafka.enable.auto.commit=true

启动Kafka集群，并创建Topic

bin/kafka-topics.sh --zookeeper bigdata1:2181, bigdata2:2181, bigdata3:2181 --create --replication-factor 3 --partitions 3 --topic _HOATLASOK
bin/kafka-topics.sh --zookeeper  bigdata1:2181, bigdata2:2181, bigdata3:2181 --create --replication-factor 3 --partitions 3 --topic ATLAS_ENTITIES

Atlas其他配置

进入/opt/module/atlas/conf/目录，修改配置文件atlas-application.properties
vim atlas-application.properties

#########  Server Properties  #########
atlas.rest.address=http://bigdata1:21000
# If enabled and set to true, this will run setup steps when the server starts
atlas.server.run.setup.on.start=false

#########  Entity Audit Configs  #########
atlas.audit.hbase.zookeeper.quorum=bigdata1:2181,bigdata2:2181,bigdata3:2181

vim atlas-log4j.xml

#去掉如下代码的注释

Atlas集成Hive

进入/opt/module/atlas/conf/目录，修改配置文件atlas-application.properties
vim atlas-application.properties

######### Hive Hook Configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name=primary

将atlas-application.properties配置文件加入到atlas-plugin-classloader-1.0.0.jar中
zip -u /opt/module/atlas/hook/hive/atlas-plugin-classloader-0.8.4.jar /opt/module/atlas/conf/atlas-application.properties
cp /opt/module/atlas/conf/atlas-application.properties /opt/module/hive/conf/

原因：这个配置不能参照官网，将配置文件考到hive的conf中。参考官网的做法一直读取不到atlas-application.properties配置文件，看了源码发现是在classpath读取的这个配置文件，所以将它压到jar里面。

在/opt/module/hive/conf/hive-site.xml文件中设置Atlas hook
vim hive-site.xml


      hive.exec.post.hooks
      org.apache.atlas.hive.hook.HiveHook

修改hive的hive-env.sh文件

#在tez引擎依赖的jar包后面追加hive插件相关jar包
export HIVE_AUX_JARS_PATH=/opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar$TEZ_JARS,/opt/module/atlas/hook/hive/atlas-plugin-classloader-0.8.4.jar,/opt/module/atlas/hook/hive/hive-bridge-shim-0.8.4.jar

单点启动

bin/atlas_stop.py
bin/atlas_start.py

Ｗeb界面

访问地址：http://bigdata1:21000
错误信息查看路径：/opt/module/atlas/logs/*.out和application.log

账户：admin
密码：admin

测试

登录solr web控制台：http://hadoop102:8983/solr/#/~cloud 看到如下图显示

大数据框架安装教程_第4张图片
21580557-6dc93d42eb0cf7d0.png

2.3.4 Zabbix 4.2.8

安装应用

  1. 每台安装yum的repo文件

    sudo rpm -Uvh https://mirrors.aliyun.com/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-2.el7.noarch.rpm

  2. 将文件中的镜像域名替换为阿里云

    sudo sed -i 's/http:\/\/repo.zabbix.com/https:\/\/mirrors.aliyun.com\/zabbix/g' /etc/yum.repos.d/zabbix.repo

  3. 安装

    • bigdata1：

      sudo yum install -y zabbix-server-mysql zabbix-web-mysql zabbix-agent

    • bigdata2和bigdata3

      bigdata2： sudo yum install -y zabbix-agent
bigdata3： sudo yum install -y zabbix-agent

  4. MySQL创建数据库

    mysql -h 192.168.32.244 -uroot -phxr -e"create database zabbix charset utf8 collate utf8_bin";

    使用zabbix的建表脚本建表

    zcat /usr/share/doc/zabbix-server-mysql-4.0.29/create.sql.gz | mysql -h 192.168.32.244 -uroot -phxr zabbix

  5. 配置Zabbix_Server
    在bigdata1中的/etc/zabbix/zabbix_server.conf配置文件中添加

    DBHost=bigdata3
DBName=zabbix
DBUser=root
DBPassword=hxr

    在所有节点的/etc/zabbix/zabbix_server.conf配置文件中修改

    # 修改
Server=bigdata1
# 注销
# ServerActive=127.0.0.1
# Hostname=Zabbix server

  6. 配置Zabbix Web时区
    在/etc/httpd/conf.d/zabbix.conf文件中添加

    php_value date.timezone Asia/Shanghai

  1. 启动Zabbix

    • bigdata1启动：

      sudo systemctl start/stop zabbix-server zabbix-agent httpd     (httpd是访问html等页面的入口)

      bigdata1设置开机自启：

      sudo systemctl enable/disable zabbix-server zabbix-agent httpd

    • bigdata2/3启动：

      sudo systemctl start/stop zabbix-agent

      设置开机自启：

      sudo systemctl enable/disable zabbix-agent

  1. 访问页面
    http://192.168.32.242/zabbix
    在页面中完成对Zabbix_Web的数据库等配置
    如果配置出现错误，可以在配置文件/etc/zabbix/web/zabbix.conf.php中进行修改
    异常日志可以查看 cat /var/log/zabbix/zabbix_server.log

  2. 配置主机
    在配置-> 主机-> 创建主机 中添加需要监控的主机

  3. 配置监控项
    创建完主机后，点击监控项进行监控项的创建
    如监控datanode进行是否正常运行


    大数据框架安装教程_第5张图片
    image.png

  4. 配置触发器
    点击触发器进行创建


    大数据框架安装教程_第6张图片
    image.png

  5. 通知方式设置
    在管理-> 报警媒介类型 中进行通知报警的配置


    大数据框架安装教程_第7张图片
    image.png

  6. 创建动作
    在配置-> 动作中创建动作，为触发器设置动作(发邮件)。


    大数据框架安装教程_第8张图片
    image.png
大数据框架安装教程_第9张图片
image.png

  1. 为用户配置邮箱
    在用户的基本资料中配置


    大数据框架安装教程_第10张图片
    image.png

  2. 使用模版为每个节点进行配置
    默认有很多框架的模板可以选择，如MySQL、redis等。但是没有hadoop的模板，需要自己配置。
    在配置-> 模板 中进行模板配置，创建监控项、触发器，然后应用到主机上。


    大数据框架安装教程_第11张图片
    image.png

    注意需要修改动作来为模板的触发器绑定动作。


四、附

4.1 UI界面

192.168.32.242:50070 192.168.32.243:8088

192.168.32.242:8443 azkaban(admin:admin)

http://192.168.32.243/ganglia ganglia(监控flume)

192.168.32.242:16010 hbase 192.168.32.242:8983 solr 192.168.32.242:21000 atlas(admin:admin)

192.168.32.244:38682 flink(每次启动都会变，具体查看/opt/module/flink-1.12.0/yarn-session.log)

http://192.168.32.242/zabbix Zabbbix(Admin:zabbix，报警邮箱[email protected])

http://192.168.101.179:6080 Ranger界面（admin/bigdata123）

http://192.168.101.180:9090 Prometheus界面
http://192.168.101.180:3000 Grafana界面 (admin/admin)
http://192.168.101.180:9363/metrics Prometheus监控上报数据

页面 地址 说明
hdfs页面 192.168.32.242:50070
yarn页面 192.168.32.243:8088
azkaban页面 192.168.32.242:8443 admin:admin
flume监控页面 http://192.168.32.243/ganglia
flink 192.168.32.244:38682 每次启动都会变，具体查看/opt/module/flink-1.12.0/yarn-session.log
Zabbbix http://192.168.32.242/zabbix Admin:zabbix，报警邮箱[email protected]
hbase页面 192.168.32.242:16010
solr页面 192.168.32.242:8983
Atlas页面 192.168.32.242:21000 admin:admin

4.2 启动命令

组件 命令 说明
hdfs start-dfs.sh bigdata1节点上执行
yarn start-yarn.sh bigdata2节点上执行
historyjob mr-jobhistory-daemon.sh start historyserver bigdata3节点上执行
hive nohup ./hive --service metastore &; nohup ./hive --service hiveserver2 &; bigdata1节点上hive/bin目录下执行
zookeeper zk-server.sh start bigdata1节点上执行
kafka kafka-server.sh start bigdata1节点上执行
flink集群 export HADOOP_CLASSPATH=hadoop classpath; nohup ./yarn-session.sh -s 2 -jm 1024 -tm 2048 -nm flink-on-yarn -qu flink -d 1>/opt/module/flink-1.12.0/yarn-session.log 2>/opt/module/flink-1.12.0/yarn-session.err &; bigdata1节点上的flink/bin目录下执行
sqoop 在脚本中调用
azkaban server/bin/azkaban-web-start.sh; executor/bin/azkaban-executor-start.sh; bigdata1节点上的azkaban目录下执行
ganglia docker start ganglia bigdata2节点上执行
zabbix bigdata1节点上 sudo systemctl start/stop zabbix-server zabbix-agent httpd; bigdata2/3节点上 sudo systemctl start/stop zabbix-agent;
hbase bin/start-hbase.sh bigdata1节点上hbase目录下执行
solr solr.sh start bigdata1节点上执行
atlas bin/atlas_start.py bigdata1节点上执行
Prometheus nohup ./prometheus --web.enable-lifecycle --config.file=prometheus.yml > ./prometheus.log 2>&1 & bigdata2节点上的Prometheus目录下执行
Grafana nohup ./bin/grafana-server web > ./grafana.log 2>&1 & bigdata2节点上的Grafana目录下执行

4.3 各jps进程名对应的组件

组件 进程名 说明
HDFS NameNode SecondaryNameNode DataNode
Yarn ResourceManager NodeManager JobHistoryServer
Zookeeper QuorumPeerMain
Kafka Kafka
Flume Application
Hive RunJar
Azkaban AzkabanExecutorServer AzkabanWebServer
Sqoop Sqoop
Flink(yarn-session) FlinkYarnSessionCli YarnSessionClusterEntrypoint(为FlinkJobManager) YarnTaskExecutorRunner
Hbase HMaster HRegionServer
Solr jar
Atlas Atlas
Ranger Admin EmbeddedServer
RangerUsersync UnixAuthenticationService
Spark-session SparkSubmit,ApplicationMaster,YarnCoarseGrainedExecutorBackend

4.4 常用端口号

组件 端口号 说明
Hadoop 50070：hdfs.namenode.http-address: 50075：Hdfs.datanode.http-address 50090：SecondaryNameNode辅助名称节点端口号 50010：Hdfs.datanode.address 8088：Yarn.resourcemanager.webapp.address 19888：历史服务器web访问端口 8020：namenode节点active状态下的端口号 9000端口：fileSystem默认的端口号 8032：resourcemanager（jobtracker）的服务端口号
Zookeeper 2181：zookeeper的端口号 2888：zookeeper之间通讯的端口 3888：zookeeper推选leader的端口 8485：journalnode默认的端口号
Kafka 9092：kafka端口号 8086：Kafka Monitor的访问网址（可在启动脚本中指定） 9000：Kafka Manager的访问网址，默认是9000，与namenode端口冲突，bin/kafka-manager -Dhttp.port=9090
Flume 41414：flume监控的端口
Hive 9083：hive元数据metastore的端口号(Presto需要读取hive的元数据库) 10000：hive2端口
Azkaban 8443：所指定的jetty服务器的web端口 8081：通讯端口
Oozie 11000：Oozie 的web端口号
Sqoop
Flink 8081：Flink的standalone模式Web端口号 6123：Flink的jobmanager和taskmanager内部通信端口 37807：Flink的yarn-session模式Web端口号
Spark 7077：spark的standalone的master端口 4040：local模式spark的driver的web 8080：standalone模式spark的master的web 8088：client模式的web端口 18080：spark的historyserver的web
Hbase 16010：HBASE的web端口号 16000：HBase的master的通讯端口 16020：regionserver的端口号 16030：regionserver的web端口
Solr 8983：solr
Atlas 21000：Atlas
Clickhouse 9000：TCP端口，Clickhouse client 默认连接端口； 8123：Http端口
Kettle 8080：kettlemaster节点 8081：kettleslave1节点 8082：kettleslave2节点
即系查询框架 7070：kylin的web端口 8881：presto的httpserver（即coordinator的端口） 9095： imply的web端口（druid的ui） 21000：impala端口 25010：impala日志网页端口
数据库 3306：MySQL 1521：Orical 27017：MongoDB
Redis 6379
ELK 9300：elasticsearch官方客户端连接、内部通讯端口 9200：elasticsearch集群、控制台和http访问端口 5601：kibana服务端口
Zabbix 10051：Zabbix_Server通讯端口
Prometheus 9090：prometheus 9100：node-productor 9104：mysqld-exporter 3000：Grafana
平台 7180：CDM 8080：HDP 8888：hue未优化，8889：hue优化

4.5 shell脚本

xsyncmy：文件分发脚本

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "----- 未进行传参 -----"
    exit
fi

for file in $@
do
    if [ -e $file ]
    then
        DIRNAME=`cd $(dirname ${file});pwd`
        BASENAME=`basename ${file}`
        USER=`whoami`
    
        for host in bigdata2 bigdata3
        do
            echo ----- 文件 $DIRNAME/$BASENAME 传输到${host} -----
            rsync -av ${DIRNAME}/${BASENAME} ${USER}@${host}:${DIRNAME}
        done
    else
        echo ----- ${file}文件不存在 -----
    fi
done

jps-server.sh：查看3个节点jps进程脚本

#!/bin/bash
#jps脚本
for host in bigdata1 bigdata2 bigdata3
do
    echo ----- ${host} -----
    ssh ${host} "jps | grep -iv jps"
done

zk-server.sh：zookeeper集群的 启动/关闭/状态检查 脚本

#!/bin/bash
#zk启动/停止脚本

case $1 in
"start")
    echo ----- 开启zookeeper集群 -----
    for host in bigdata1 bigdata2 bigdata3
    do  
        ssh ${host} "/opt/module/zookeeper-3.4.10/bin/zkServer.sh start"
    done
;;
"stop")
    echo ----- 关闭zookeeper集群 -----
    for host in bigdata1 bigdata2 bigdata3
    do  
        ssh ${host} "/opt/module/zookeeper-3.4.10/bin/zkServer.sh stop"
    done
;;
"status")
    echo ----- 查看zookeeper集群状态 -----
    for host in bigdata1 bigdata2 bigdata3
    do
        ssh ${host} "/opt/module/zookeeper-3.4.10/bin/zkServer.sh status"
    done
;;
esac

kafka-server.sh (-deamon 效果同 nohup xxx 1>/dev/null 2>1 &)：Kafka集群的 启动/关闭脚本

#!/bin/bash
case $1 in
"start")
    for host in bigdata1 bigdata2 bigdata3
    do
        ssh ${host} "source /etc/profile ; export JMX_PORT=9988 ; nohup /opt/module/kafka-2.11/bin/kafka-server-start.sh /opt/module/kafka-2.11/config/server.properties 1>/dev/null 2>&1 &"
        if [ $? -eq 0 ]
        then
            echo ----- ${host} kafka启动成功 -----
        fi
    done
;;
"stop")
    for host in bigdata1 bigdata2 bigdata3
    do
        ssh ${host} "source /etc/profile ; /opt/module/kafka-2.11/bin/kafka-server-stop.sh"
        if [ $? -eq 0 ]
        then
            echo ----- ${host} kafka关闭成功 -----
        fi
    done
;;
esac

flume-server.sh：Flume的 启动/关闭脚本

#!/bin/bash

case $1 in
"start")
    for host in bigdata1 #bigdata2
    do
#       ssh ${host} "source /etc/profile ; nohup /opt/module/flume-1.7.0/bin/flume-ng agent -n a1 -c /opt/module/flume-1.7.0/conf -f /opt/module/flume-1.7.0/job/file-kafka-hdfs.conf 1>/dev/null 2>&1 &"
        #ssh ${host} "source /etc/profile ; nohup /opt/module/flume-1.7.0/bin/flume-ng agent -n a1 -c /opt/module/flume-1.7.0/conf -f /opt/module/flume-1.7.0/job/log-kafka.conf 1>/dev/null 2>&1 &"
        ssh bigdata1 "source /etc/profile ; nohup /opt/module/flume-1.7.0/bin/flume-ng agent -n a1 -c /opt/module/flume-1.7.0/conf -f /opt/module/flume-1.7.0/job/log-kafka.conf 1>/dev/null 2>&1 &"
        #ssh ${host} "source /etc/profile ; nohup /opt/module/flume-1.7.0/bin/flume-ng agent -n a2 -c /opt/module/flume-1.7.0/conf -f /opt/module/flume-1.7.0/job/kafka-hdfs.conf 1>/dev/null 2>&1 &"
        ssh bigdata2 "source /etc/profile ; nohup /opt/module/flume-1.7.0/bin/flume-ng agent -n a2 -c /opt/module/flume-1.7.0/conf -f /opt/module/flume-1.7.0/job/kafka-hdfs.conf 1>/dev/null 2>&1 &"
        if [ $? -eq 0 ]
        then
            echo ----- ${host} flume启动成功 -----
        fi
    done
;;
"stop")
    for host in bigdata1 #bigdata2
    do
        ssh ${host} "source /etc/profile ; ps -ef | awk -F \" \" '/log-kafka.conf/ && !/awk/{print \$2}' | xargs kill "
        ssh ${host} "source /etc/profile ; ps -ef | awk -F \" \" '/kafka-hdfs.conf/ && !/awk/{print \$2}' | xargs kill "
        if [ $? -eq 0 ]
        then
            echo ----- ${host} flume关闭成功 -----
        fi
    done
;;
esac

solr-server.sh ：Solr的 启动/关闭脚本

#!/bin/bash

case $1 in
"start"){
    for i in bigdata1 bigdata2 bigdata3
    do
        ssh $i "/opt/module/solr-5.2.1/bin/solr start"
    done
};;
"stop"){
    for i in bigdata1 bigdata2 bigdata3
    do
        ssh $i "/opt/module/solr-5.2.1/bin/solr stop"
    done
};;
esac

azkaban-3.84.4 脚本

#!/bin/bash

start-web(){
    ssh bigdata2 'cd /opt/module/azkaban-3.84.4/web/;bin/shutdown-web.sh'
}

stop-web(){
    ssh bigdata2 'cd /opt/module/azkaban-3.84.4/web/;bin/shutdown-web.sh'
}

start-exec(){
    for host in bigdata1 bigdata2 bigdata3;do
        (ssh ${host} 'cd /opt/module/azkaban-3.84.4/exec/;bin/start-exec.sh')&
    done
    wait
}
stop-exec(){
    for host in bigdata1 bigdata2 bigdata3;do
        (ssh ${host} 'cd /opt/module/azkaban-3.84.4/exec/;bin/shutdown-exec.sh')&
    done
    wait
}

activate-exec(){
    for host in bigdata1 bigdata2 bigdata3;do
        ssh ${host} curl -G "${host}:12321/executor?action=activate" && echo
    done
}


case $1 in
"start-web")
    start-web
;;
"stop-web")
    stop-web
;;
"start-exec")
    start-exec
;;
"stop-exec")
    stop-exec
;;
"activate-exec")
    activate-exec
;;
"start")
    start-exec
    sleep 2
    activate-exec
    if [ "$?" -ne "0" ];then
        stop-exec
    fi
    sleep 1
    start-web
;;
"stop")
    stop-web
    stop-exec
;;
esac

4.6 其他

  1. 如果hdfs遇到权限问题是因为/根目录用户为hxr，两种解决方式①hadoop dfs -chmod -R 777 / 将根目录开放给其他用户②在操作时用hxr用户，-DHADOOP_USER_NAME=hxr

  2. hdfs dfsadmin -safemode leave 如果进入安全模式，可以通过该命令离开

  3. hadoop checknative -a 查看本地库支持

你可能感兴趣的:(大数据框架安装教程)

  • 第六集如何安装CentOS7.0，3分钟学会centos7安装教程 date分享
    从光盘引导系统按回车键继续进入引导程序安装界面，选择语言这里选择简体中文版点击继续选择桌面安装下面给系统分区选择磁盘，点击完成选择基本分区，点击加号swap分区,大小填内存的两倍在选择根分区，使用所有可用的磁盘空间选择文件系统ext4点击完成，点击开始安装设置root密码，点击完成设置普通用户和密码，点击完成整个过程持续八分钟左右根据个人配置不同，时间长短不同好，现在点击重启系统进入重启状态点击本
  • 2023最详细的Python安装教程（Windows版本） 程序员林哥 Pythonpythonwindows开发语言
    python安装是学习pyhon第一步，很多刚入门小白不清楚如何安装python，今天我来带大家完成python安装与配置，跟着我一步步来，很简单，你肯定能完成。第一部分：python安装（一）准备工作1、下载和安装python(认准官方网站)当然你不想去下载的话也可以分享给你，还有入门学习教程，点击下方卡片跳转进群领取（二）开始安装对于Windows操作系统，可以下载“executableins
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • sublime个人设置 bawangtianzun sublimetext编辑器
    如何拥有jiangly蒋老师同款编译器(sublimec++配置竞赛向）_哔哩哔哩_bilibiliSublimeText4的安装教程（新手竞赛向）-知乎(zhihu.com)创建文件自动保存为c++打开SublimeText软件。转到"Tools"（工具）>"Developer"（开发者）>"NewPlugin"（新建插件）。在打开的新文件中，粘贴以下代码：importsublimeimport
  • 计算机毕业设计Node.js+Vue基于Java的医院预约挂号系统(程序+源码+LW+部署) Nodejs洋洋 程序 javavue.js课程设计
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：Node.js+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：Express框架+Node.js+Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是Nodejs最新版，我们在这个版本上开发的。其他版本理论上也可
  • Matlab2024a安装教程 是阿宇呢 信息可视化开发语言
    MATLAB是一款商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分，可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。1.解压安装包：①鼠标右击【MATLABR2024a(64bit)
  • 从零开始！Jupyter Notebook的安装教程 yunquantong jupyteridepython
    以下是从零开始安装JupyterNotebook的教程，适用于Windows、macOS和Linux系统。1.安装PythonJupyterNotebook需要Python环境。你可以从Python官方网站下载并安装Python。Windows用户:运行安装程序时，请确保勾选“AddPythontoPATH”选项。macOS用户:使用安装程序或通过Homebrew安装(brewinstallpyt
  • 从零开始!Jupyter Notebook的安装教程 109702008 人工智能编程#pythonjupyter人工智能
    GPT-4o(OpenAI)安装JupyterNotebook是一个相对简单的过程，特别是在大多数现代操作系统（如Windows、macOS和Linux）上。以下是详细的步骤指南，从安装Python开始，到JupyterNotebook的使用。步骤1：安装PythonJupyterNotebook需要Python环境。你可以从[Python官网](https://www.python.org/do
  • Tecplot 360 EX 2020 R2 2020安装教程 微新功重好A酷君
    Tecplot3602020是一款由美国Tecplot公司推出的专业CFD/CAE可视化数据分析软件,同时也是也系列软件目前最新的版本,文章教大家如何对tecplot360进行安装激活。存在Pytecplotlicensehasexpired过期显示问题，其他功能没问题，介意勿下！！！操作系统：windows文件获取关键字：tecplot安装教程1.双击运行下载的tecplot安装包，按下图勾选点
  • gitlab的下载和安装教程&我的踩坑经验 o762 gitlab
    #######这里就记录一下内网的安装包形式的安装过程############1、下载过程和安装过程1）进入gitlab官网，platform>Install.--gitlab有极狐版，CE(社区版)和EE(企业版)。下面以CE版进行研究和学习。2）也可以进入官网镜像网站或者其它各大镜像网站下载gitlab-ce的rpm包--官网镜像网站：https://packages.gitlab.com/g
  • 记录一下gitlab社区版的安装教程 心之所想，行则将至 gitlab服务器linux
    目录1.更新系统软件包2.安装必要的依赖3.添加GitLab源3.1对于GitLabEnterpriseEdition（EE）：3.2对于GitLabCommunityEdition（CE）：4.安装GitLab4.1安装GitLabEnterpriseEdition（EE）：4.2安装GitLabCommunityEdition（CE）：5.遇到启动不起来的问题，试一下以下命令5.1重新配置和重
  • python第三方库手动安装教程_为了应对异常情况，提供最原始的python第三方库的安装方法：手动安装。往往是Windows用户需要用到这种方法。... weixin_39735247
    进入pypi.python.org，搜索你要安装的库的名字，这时候有3中可能：第一种是exe文件，这种最方便，下载满足你的电脑系统和python环境的对应的exe，再一路点击next就可以安装。第二种是.whl类文件，好处在于可以自动安装依赖包。第三种是源码，大概都是zip、tar.zip、tar.bz2格式的压缩包，这个方法要求用户已经安装了这个包所依赖的其他包。例如pandas依赖于numpy
  • Charles基础教程和破解安装 沫沫18S Charles接口测试Charles接口测试抓包工具注册码安装破解
    抓包工具Charles的使用教程参考：https://zhubangbang.com/charlesproxy如果您是您一次使用Charles，可能对下面的感兴趣。Charles破解版免费下载和安装教程Charles手机抓包设置Charles的https抓包方法及原理/下载ssl/http证书如果您已经正在使用Charles，可能感兴趣下面的工具Charles禁止缓存工具Charles禁用cook
  • mac 版本Jmeter安装教程 weixin_58693614 macosjmeterjava
    1.确认是否安装JDK*打开终端->输入java-version（注意空格）会出现版本信息javaversion"16.0.1"2021-04-20Java(TM)SERuntimeEnvironment(build16.0.1+9-24)JavaHotSpot(TM)64-BitServerVM(build16.0.1+9-24,mixedmode,sharing)2.若没有安装，移步官网下载安
  • Gitbook 本地安装教程 simple哇 书籍gitbook
    Gitbook本地安装教程安装node[nodejs的v10.21.0版本，下载地址：https://nodejs.org/dist/v10.21.0/node-v10.21.0-x64.msi]其他版本有问题npmnpminstall-ggitbook-cligitbookinit[初始化目录结构]gitbookbuild[编译]gitbookserve[运行]插件在根目录新建book.json
  • Window 下 Vim 环境安装踩坑问题汇总及解决方法 yyywxk #Python模块有关问题vimpythonmambawindows
    导航Linux下Mamba及Vim安装问题参看本人之前博客：Mamba环境安装踩坑问题汇总及解决方法Linux下Vmamba安装教程参看本人之前博客：Vmamba安装教程（无需更改base环境中的cuda版本）Windows下VMamba的安装参看本人之前博客：Windows下VMamba安装教程（无需更改base环境中的cuda版本且可加速）Window下Mamba环境教程参看本人之前博客：Wi
  • Windows中配置python3.11环境安装教程 专注知识产权服务13937636601 计算机windowspython3.11
    在Windows中配置Python3.11环境的过程相对简单，以下是详细的安装和配置步骤：1.下载Python3.11打开浏览器，访问Python官方网站：WelcometoPython.org在首页导航栏中找到“Downloads”菜单，点击“Windows”选项。在下载页面中，找到“Python3.11.x”版本（假设当前稳定版为3.11.x），点击“Download”按钮下载安装程序。2.安
  • Yarn介绍 - 大数据框架 why do not 大数据hadoop
    YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop2.X版本中重新设计的这个YARN集群
  • Kafka2.8.0集群安装教程 请叫我你好 安装教程kafka
    Kafka2.8.0集群安装教程准备工作node01~node04（四个节点机器，三台也可以），kafka安装node01~~node03启动zookeeper，这里依次启动node131，node132，node133上的zk。（关于zookeeper集群安装请看https://blog.csdn.net/qq_41578037/article/details/123809220）[root@n
  • 桌面出版与排版软件Adobe InDesign(ID)2024WIN/MAC下载及安装教程 ss_dda adobemacos
    目录一、AdobeInDesign软件简介1.1软件概述1.2核心功能1.3应用领域二、下载AdobeInDesign三、系统要求3.1硬件要求3.2软件要求3.3兼容性四、使用前准备4.1学习资源4.2模板与资源4.3备份与版本控制一、AdobeInDesign软件简介1.1软件概述AdobeInDesign是一款专业的桌面出版与排版软件，广泛应用于杂志、书籍、宣传册、海报、报纸、数字出版物等多
  • Python中的matplotlib库安装教程：多种方法详解 代码前哨站 pythonmatplotlib开发语言
    在数据可视化的世界里，matplotlib是一个非常重要的工具库。它提供了一整套绘图功能，帮助我们将数据可视化为图表。无论你是数据科学家、工程师，还是只是在数据处理领域有所涉猎，掌握matplotlib的安装方法都能让你的工作更加高效。本文将详细介绍几种在Python中安装matplotlib的方法。方法一：使用pip安装pip是Python包管理工具，使用它安装matplotlib非常简单。以下
  • 【附源码】计算机毕业设计Python安卓校园外卖点餐系统ojry5（源码+程序+LW+调试部署） Python毕设程序设计uniapp 课程设计python开发语言
    【附源码】计算机毕业设计Python安卓校园外卖点餐系统ojry5（源码+程序+LW+调试部署）该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程项目运行环境配置：Python3.7.7+Django+Mysql5.7+piplist+HBuilderX（Vscode也行）+uni+Vue+Pychram社区版。项目技术：Django+uni小程序+Python+Mysql等等组成，B
  • xshell免费版下载安装教程 绘视小技巧 ssh
    Xshell简介：Xshell7允许进行多种定制，以满足当今快节奏环境的需求。Xshell自定义布局可自由拖放任意工具，如定义鼠标/键盘行为、日志选项、多行粘贴选项、文本编辑器等等。Xshell7使你一切尽在掌控。以下分别为两种方案使用教程：方案1：关注下载（直接粘贴到浏览器中访问）https://docs.qq.com/doc/DZnFpc09MSEtUaFRn方案2：最新版下载链接（直接粘贴到
  • xftp免费版下载安装教程 绘视小技巧 tcp
    Xftp安装破解简介：Xftp轻松传送文件Xftp7支持主机之间的拖放，因此您可以轻松地可视化文件/文件夹的移动。您可以检查传输窗口，以查看所有传输的进度，并查看您的队列中有什么。根据需要暂停和恢复文件传输。Xftp安全和高效在不断变化的网络环境中，采取必要的预防措施来保护您的数据是很重要的。Xshell7支持RSA/DSA/ECDSA/ED25516公钥，密码和键盘交互，GSSAPI，和PKCS
  • ubuntu安装docker + 配置国内源和加速器 好饿呀~～～ 【Linux】docker
    ubuntu安装Docker官方文档：Docker安装教程1环境依赖$sudoapt-getupdate$sudoapt-getinstall\linux-image-extra-$(uname-r)\linux-image-extra-virtual2安装docker包$sudoapt-getinstall\apt-transport-https\ca-certificates\curl\sof
  • notepad下载安装教程 shiming8879 notepad++
    Notepad（通常指的是Notepad++，一个功能更强大的文本和源代码编辑器）的下载与安装过程相对简单直接。以下是一个详细的Notepad++下载安装教程，旨在帮助用户顺利完成安装并开始使用。一、准备工作在开始下载和安装Notepad++之前，请确保您的计算机已连接到互联网，并且您有足够的权限来安装软件（通常需要管理员权限）。二、下载Notepad++打开浏览器：首先，使用您喜欢的网页浏览器（
  • Notepad下载安装 hai40587 notepad++
    Notepad（通常指的是Notepad++，一个功能更强大的文本和源代码编辑器）的下载与安装过程相对简单直接。以下是一个详细的Notepad++下载安装教程，旨在帮助用户顺利完成安装并开始使用。一、准备工作在开始下载和安装Notepad++之前，请确保您的计算机已连接到互联网，并且您有足够的权限来安装软件（通常需要管理员权限）。二、下载Notepad++打开浏览器：首先，使用您喜欢的网页浏览器（
  • 2023最新版Python安装教程 Python_TZ pythonwindows
    本节重点：让学生了安装上Python，配置好环境变量Python目前已支持所有主流操作系统，在Linux,Unix,Mac系统上自带Python环境，在Windows系统上需要安装一下！超级简单~~~Windows安装.打开官网https://www.python.org/downloads/windows/——下载中心测试安装是否成功！windows-->运行-->输入cmd，然后回车，弹出cm
  • 分子可视化软件--RasTop 开源神器 科研软件科研软件
    软件介绍RasTop是一款分子可视化软件，改编自最初由RogerSayle开发的RasMol程序。RasTop为“RasMol分子引擎”提供了一个用户友好的图形界面。软件下载https://pan.quark.cn/s/6c34865a4a3d安装教程1、双击运行自解压文件2、点击解压（解压码后台回复密码免费获取）3、复制此文件4、粘贴到软件D盘5、进入粘贴后的文件6、将程序图标发送到桌面快捷方式
  • 2024年最全超详细的Python安装和环境搭建教程_python安装教程 2401_84564025 程序员python开发语言
    1.打开你Python安装路径2.右键我的电脑->选择属性->选择高级系统设置安装简介：博主电脑系统：Windwos10选择安装的Python版本：3.9.7（64位）windows7与windows10安装步骤一致，大家可以放心安装。大家可以选择Python3.8-3.9.x的版本，不建议3.7以下版本尽量3.8以上！第一步，下载Python打开Python官网：WelcometoPython.
  • Java 并发包之线程池和原子计数 lijingyao8206 Java计数ThreadPool并发包java线程池
    对于大数据量关联的业务处理逻辑，比较直接的想法就是用JDK提供的并发包去解决多线程情况下的业务数据处理。线程池可以提供很好的管理线程的方式，并且可以提高线程利用率，并发包中的原子计数在多线程的情况下可以让我们避免去写一些同步代码。     这里就先把jdk并发包中的线程池处理器ThreadPoolExecutor 以原子计数类AomicInteger 和倒数计时锁C
  • java编程思想 抽象类和接口 百合不是茶 java抽象类接口
    接口c++对接口和内部类只有简介的支持,但在java中有队这些类的直接支持   1 ,抽象类 :  如果一个类包含一个或多个抽象方法,该类必须限定为抽象类(否者编译器报错)   抽象方法 : 在方法中仅有声明而没有方法体    package com.wj.Interface;
  • [房地产与大数据]房地产数据挖掘系统 comsci 数据挖掘
           随着一个关键核心技术的突破,我们已经是独立自主的开发某些先进模块,但是要完全实现,还需要一定的时间...        所以,除了代码工作以外,我们还需要关心一下非技术领域的事件..比如说房地产     &nb
  • 数组队列总结 沐刃青蛟 数组队列
          数组队列是一种大小可以改变，类型没有定死的类似数组的工具。不过与数组相比，它更具有灵活性。因为它不但不用担心越界问题，而且因为泛型（类似c++中模板的东西）的存在而支持各种类型。      以下是数组队列的功能实现代码：   import List.Student; public class
  • Oracle存储过程无法编译的解决方法 IT独行者 oracle存储过程　
    今天同事修改Oracle存储过程又导致2个过程无法被编译，流程规范上的东西，Dave 这里不多说，看看怎么解决问题。   1.     查看无效对象 XEZF@xezf(qs-xezf-db1)> select object_name,object_type,status from all_objects where status='IN
  • 重装系统之后oracle恢复 文强chu oracle
    前几天正在使用电脑，没有暂停oracle的各种服务。 突然win8.1系统奔溃，无法修复，开机时系统 提示正在搜集错误信息，然后再开机，再提示的无限循环中。 无耐我拿出系统u盘 准备重装系统，没想到竟然无法从u盘引导成功。 晚上到外面早了一家修电脑店，让人家给装了个系统，并且那哥们在我没反应过来的时候， 直接把我的c盘给格式化了 并且清理了注册表，再装系统。 然后的结果就是我的oracl
  • python学习二（ 一些基础语法） 小桔子 pthon基础语法
    紧接着把！昨天没看继续看django 官方教程，学了下python的基本语法 与c类语言还是有些小差别： 1.ptyhon的源文件以UTF-8编码格式 2. /   除 结果浮点型 //  除 结果整形 %   除 取余数 *   乘 **  乘方 eg 5**2 结果是5的2次方25 _&
  • svn 常用命令 aichenglong SVN版本回退
    1 svn回退版本   1)在window中选择log,根据想要回退的内容,选择revert this version或revert chanages from this version 两者的区别:   revert this version:表示回退到当前版本(该版本后的版本全部作废)   revert chanages from this versio
  • 某小公司面试归来 alafqq 面试
    先填单子，还要写笔试题，我以时间为急，拒绝了它。。时间宝贵。 老拿这些对付毕业生的东东来吓唬我。。 面试官很刁难，问了几个问题，记录下； 1，包的范围。。。public,private,protect. --悲剧了 2，hashcode方法和equals方法的区别。谁覆盖谁.结果，他说我说反了。 3，最恶心的一道题，抽象类继承抽象类吗？（察，一般它都是被继承的啊） 4，stru
  • 动态数组的存储速度比较 集合框架 百合不是茶 集合框架
    集合框架： 自定义数据结构(增删改查等) package 数组; /** * 创建动态数组 * @author 百合 * */ public class ArrayDemo{ //定义一个数组来存放数据 String[] src = new String[0]; /** * 增加元素加入容器 * @param s要加入容器
  • 用JS实现一个JS对象，对象里有两个属性一个方法 bijian1013 js对象
    <html> <head> </head> <body> 用js代码实现一个js对象，对象里有两个属性，一个方法 </body> <script> var obj={a:'1234567',b:'bbbbbbbbbb',c:function(x){
  • 探索JUnit4扩展：使用Rule bijian1013 java单元测试JUnitRule
            在上一篇文章中，讨论了使用Runner扩展JUnit4的方式，即直接修改Test Runner的实现(BlockJUnit4ClassRunner)。但这种方法显然不便于灵活地添加或删除扩展功能。下面将使用JUnit4.7才开始引入的扩展方式——Rule来实现相同的扩展功能。 1. Rule       &n
  • [Gson一]非泛型POJO对象的反序列化 bit1129 POJO
    当要将JSON数据串反序列化自身为非泛型的POJO时，使用Gson.fromJson(String, Class)方法。自身为非泛型的POJO的包括两种： 1. POJO对象不包含任何泛型的字段 2. POJO对象包含泛型字段，例如泛型集合或者泛型类 Data类 a.不是泛型类， b.Data中的集合List和Map都是泛型的 c.Data中不包含其它的POJO    
  • 【Kakfa五】Kafka Producer和Consumer基本使用 bit1129 kafka
    0.Kafka服务器的配置 一个Broker， 一个Topic Topic中只有一个Partition（）   1. Producer： package kafka.examples.producers; import kafka.producer.KeyedMessage; import kafka.javaapi.producer.Producer; impor
  • lsyncd实时同步搭建指南——取代rsync+inotify ronin47
    1. 几大实时同步工具比较 1.1 inotify + rsync 最近一直在寻求生产服务服务器上的同步替代方案，原先使用的是 inotify + rsync，但随着文件数量的增大到100W+，目录下的文件列表就达20M，在网络状况不佳或者限速的情况下，变更的文件可能10来个才几M，却因此要发送的文件列表就达20M，严重减低的带宽的使用效率以及同步效率；更为要紧的是，加入inotify
  • java-9. 判断整数序列是不是二元查找树的后序遍历结果 bylijinnan java
    public class IsBinTreePostTraverse{ static boolean isBSTPostOrder(int[] a){ if(a==null){ return false; } /*1.只有一个结点时，肯定是查找树 *2.只有两个结点时，肯定是查找树。例如{5,6}对应的BST是 6 {6,5}对应的BST是
  • MySQL的sum函数返回的类型 bylijinnan javaspringsqlmysqljdbc
    今天项目切换数据库时，出错 访问数据库的代码大概是这样： String sql = "select sum(number) as sumNumberOfOneDay from tableName"; List<Map> rows = getJdbcTemplate().queryForList(sql); for (Map row : rows
  • java设计模式之单例模式 chicony java设计模式
    在阎宏博士的《JAVA与模式》一书中开头是这样描述单例模式的： 　　作为对象的创建模式，单例模式确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。这个类称为单例类。 单例模式的结构 　　单例模式的特点： 单例类只能有一个实例。 单例类必须自己创建自己的唯一实例。 单例类必须给所有其他对象提供这一实例。 　　饿汉式单例类   publ
  • javascript取当月最后一天 ctrain JavaScript
    <!--javascript取当月最后一天--> <script language=javascript> var current = new Date(); var year = current.getYear(); var month = current.getMonth(); showMonthLastDay(year, mont
  • linux tune2fs命令详解 daizj linuxtune2fs查看系统文件块信息
    一.简介： tune2fs是调整和查看ext2/ext3文件系统的文件系统参数，Windows下面如果出现意外断电死机情况，下次开机一般都会出现系统自检。Linux系统下面也有文件系统自检，而且是可以通过tune2fs命令，自行定义自检周期及方式。 二.用法： Usage: tune2fs [-c max_mounts_count] [-e errors_behavior] [-g grou
  • 做有中国特色的程序员 dcj3sjt126com 程序员
      从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有
  • Android：TextView属性大全 dcj3sjt126com textview
    android:autoLink    设置是否当文本为URL链接/email/电话号码/map时，文本显示为可点击的链接。可选值(none/web/email/phone/map/all)  android:autoText    如果设置，将自动执行输入值的拼写纠正。此处无效果，在显示输入法并输
  • tomcat虚拟目录安装及其配置 eksliang tomcat配置说明tomca部署web应用tomcat虚拟目录安装
    转载请出自出处：http://eksliang.iteye.com/blog/2097184 1.-------------------------------------------tomcat  目录结构 config：存放tomcat的配置文件 temp  ：存放tomcat跑起来后存放临时文件用的 work   ： 当第一次访问应用中的jsp
  • 浅谈：APP有哪些常被黑客利用的安全漏洞 gg163 APP
    首先，说到APP的安全漏洞，身为程序猿的大家应该不陌生；如果抛开安卓自身开源的问题的话，其主要产生的原因就是开发过程中疏忽或者代码不严谨引起的。但这些责任也不能怪在程序猿头上，有时会因为BOSS时间催得紧等很多可观原因。由国内移动应用安全检测团队爱内测（ineice.com）的CTO给我们浅谈关于Android 系统的开源设计以及生态环境。 1. 应用反编译漏洞：APK 包非常容易被反编译成可读
  • C#根据网址生成静态页面 hvt Web.netC#asp.nethovertree
    HoverTree开源项目中HoverTreeWeb.HVTPanel的Index.aspx文件是后台管理的首页。包含生成留言板首页，以及显示用户名，退出等功能。根据网址生成页面的方法：   bool CreateHtmlFile(string url, string path) { //http://keleyi.com/a/bjae/3d10wfax.htm stri
  • SVG 教程 （一） 天梯梦 svg
    SVG 简介 SVG 是使用 XML 来描述二维图形和绘图程序的语言。 学习之前应具备的基础知识： 继续学习之前，你应该对以下内容有基本的了解： HTML XML 基础 如果希望首先学习这些内容，请在本站的首页选择相应的教程。 什么是SVG？ SVG 指可伸缩矢量图形 (Scalable Vector Graphics) SVG 用来定义用于网络的基于矢量
  • 一个简单的java栈 luyulong java数据结构栈
    public class MyStack { private long[] arr; private int top; public MyStack() { arr = new long[10]; top = -1; } public MyStack(int maxsize) { arr = new long[maxsize]; top
  • 基础数据结构和算法八：Binary search sunwinner AlgorithmBinary search
    Binary search needs an ordered array so that it can use array indexing to dramatically reduce the number of compares required for each search, using the classic and venerable binary search algori
  • 12个C语言面试题，涉及指针、进程、运算、结构体、函数、内存，看看你能做出几个！ 刘星宇 c面试
    12个C语言面试题，涉及指针、进程、运算、结构体、函数、内存，看看你能做出几个！ 1.gets()函数 问：请找出下面代码里的问题： #include<stdio.h> int main(void) {     char buff[10];     memset(buff,0,sizeof(buff));
  • ITeye 7月技术图书有奖试读获奖名单公布 ITeye管理员 活动ITeye试读
    ITeye携手人民邮电出版社图灵教育共同举办的7月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 7月试读活动回顾： http://webmaster.iteye.com/blog/2092746 本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）： 《Java性能优化权威指南》
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他