云建站架构师rain

平台环境部署的相关大数据

本文利用云服务器对大数据平台进行环境部署，包含：服务器使用、环境准备、Hadoop集群完全分布式安装、Zookeeper集群完全分布式安装、HBase完全分布式安装、Hive、Scala、Spark、Sqoop、Flume的安装。如有错误还望指出。

用wget命令直接下载的JDK，这是问题的根源。 去Oracle官网下载过jdk，下载之前需要同意Oracle的安装协议，不然不能下载，但是用wget的方式，默认是不同意，虽然能下载下来，但是下载下来的文件会有问题，所以在Linux上解压一直失败。去官网下载好，然后传到服务器上，再解压就没有问题了。

使用Xshell本地传送JDK到服务器上：

三台 hadoop 主机都需要按照下面步骤安装 JDK 环境

注：安装所需要的软件都在tgz目录下

1、首先执行 java -version 查看 jdk 是否已经安装，如果看到以下内容则表示

已经安装了则可以跳过这一步骤，进入环境部署环节，另外如果版本低于 java version "1.8.0_181"则需要升级到对应版本

[root@hadoop1]# java -version

2、进入软件包位置，将 jdk 安装包复制到/usr/lib/

[root@hadoop1 ~]# cd ~/tgz/

[root@hadoop1 tgz]# cp jdk-8u181-linux-x64.tar.gz /usr/lib

3、进入/usr/lib 目录并解压 jdk-8u181-linux-x64.tar.gz

[root@hadoop1 tgz]# cd /usr/lib

[root@hadoop1 lib]# tar -zxvf jdk-8u181-linux-x64.tar.gz

4、修改环境变量

[root@hadoop1 lib]# vim /etc/profile

添加以下内容：

export JAVA_HOME=/usr/lib/jdk1.8

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

5、更新环境变量

[root@hadoop1 lib]# source /etc/profile

6、执行 java -version 查看是否安装或者更新成功

[root@hadoop1]# java -version

2.hadoop集群环境部署

注：安装所需要的软件都在tgz目录下

2.1 安装 hadoop3.1.1

我们通过在hadoop1进行安装hadoop，然后配置相应的配置文件，最后将hadooop所有文件同步到其它 hadooop 节点（hadoop2、hadoop3）。Hadoop 路径配置为/opt/hadoop-3.1.1

在 hadoop1 执行以下操作:

1、首先进入软件包目录

[root@localhost ~]# cd /opt/tgz/

2、通过 cp 命令将 hadoop 安装包(hadoop-3.1.1.tar.gz)复制到/opt 目录下

[root@localhost tgz]# cp hadoop-3.1.1.tar.gz /opt/

3、进入/opt 目录，并解压 hadoop-3.1.1.tar.gz 压缩包

[root@localhost tgz]# cd /opt/

[root@localhost opt]# tar -zxvf hadoop-3.1.1.tar.gz

2.2 配置 hadoop 配置文件

2.2.1 修改 core-site.xml 配置文件

通过 vi 命令修改 core-site.xml 配置文件，在

中间添加以下命令，fs.defaultFS 是用来定义 HDFS 的默认名

称节点路径。就是我们将来访问 HDFS 文件时，如果没有指定路径，就会联系这

里定义的路径的主机，去联系这台主机去寻找其路径。

1、打开 core-site.xml 配置文件命令：

[root@hadoop1]# vim /opt/hadoop-3.1.1/etc/hadoop/core-site.xml

2、添加内容：

fs.defaultFS

hdfs://hadoop1:9000

hadoop.tmp.dir

/opt/hadoop-3.1.1/tmp

2.2.2 修改 hdfs-site.xml 配置文件

通过 vi 命令修改 hdfs-site.xml 配置文件，在

中间添加第 2 步的内容

1、打开 hdfs-site.xml 配置文件：

[root@hadoop1]# vim /opt/hadoop-3.1.1/etc/hadoop/hdfs-site.xml

2、添加内容：

dfs.replication

dfs.namenode.name.dir

file:///opt/hadoop-3.1.1/hdfs/name

dfs.datanode.data.dir

file:///opt/hadoop-3.1.1/hdfs/data

dfs.namenode.secondary.http-address

hadoop2:9001

2.2.3 修改 workers 配置文件

通过 vi 命令修改 workers 配置文件，将第一行的localhost改成hadoop1，并在第二行中加入 hadoop2 和 hadoop3

1、打开 workers 配置文件

[root@hadoop1]# vim /opt/hadoop-3.1.0/etc/hadoop/workers

2、添加内容

hadoop1

hadoop2

hadoop3

2.2.4 修改 mapred-site.xml 配置文件

通过 vi 命令修改 mapred-site.xml 配置文件，在

中间添加第 2 步的内容

1、打开 mapred-site.xml 配置文件命令：

[root@hadoop1]# vim /opt/hadoop-3.1.0/etc/hadoop/mapred-site.xml

2、添加内容

mapreduce.framework.name

yarn

mapreduce.application.classpath

/opt/hadoop-3.1.1/etc/hadoop,

/opt/hadoop-3.1.1/share/hadoop/common/*,

/opt/hadoop-3.1.1/share/hadoop/common/lib/*,

/opt/hadoop-3.1.1/share/hadoop/hdfs/*,

/opt/hadoop-3.1.1/share/hadoop/hdfs/lib/*,

/opt/hadoop-3.1.1/share/hadoop/mapreduce/*,

/opt/hadoop-3.1.1/share/hadoop/mapreduce/lib/*,

/opt/hadoop-3.1.1/share/hadoop/yarn/*,

/opt/hadoop-3.1.1/share/hadoop/yarn/lib/*

2.2.5 修改 yarn-site.xml 配置文件

通过 vi 命令修改 yarn-site.xml 配置文件，在

中间添加第 2 步的内容

1、打开 yarn-site.xml 配置文件命令：

[root@hadoop1]# vim /opt/hadoop-3.1.1/etc/hadoop/yarn-site.xml

2、添加内容

yarn.resourcemanager.hostname

hadoop1

yarn.nodemanager.aux-services

mapreduce_shuffle

取消yarn运行模式的运行内存检测，这样就算内存达不到要求也不会kill掉任务

yarn.nodemanager.pmem-check-enabled

false

yarn.nodemanager.vmem-check-enabled

false

2.2.6 修改 hadoop-env.sh 配置文件

通过 vi 命令修改 hadoop-env.sh 配置文件，在第二行中添加第 2 步的内容

1、打开 hadoop-env.sh 配置文件命令：

[root@hadoop1]# vim /opt/hadoop-3.1.1/etc/hadoop/hadoop-env.sh

2、添加内容

export JAVA_HOME=/usr/lib/jdk1.8

4、更新配置文件

[root@hadoop1 ~]# source /opt/hadoop-3.1.0/etc/hadoop/hadoop-env.sh

2.2.7 修改 start-dfs.sh 和 stop-dfs.sh 配置文件

1、打开 start-dfs.sh 配置文件，在第二行中添加以下命令

[root@localhost ~]# vi /opt/hadoop-3.1.1/sbin/start-dfs.sh

添加内容：

export HDFS_NAMENODE_SECURE_USER=root

export HDFS_DATANODE_SECURE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

2、打开 stop-dfs.sh 配置文件，在第二行中添加以下命令

[root@localhost ~]# vi /opt/hadoop-3.1.1/sbin/stop-dfs.sh

添加内容：

export HDFS_NAMENODE_SECURE_USER=root

export HDFS_DATANODE_SECURE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

2.2.8 修改 start-yarn.sh 和 stop-yarn.sh 配置文件

1、打开 start-yarn.sh 配置文件，在第二行中添加以下命令

[root@localhost ~]# vi /opt/hadoop-3.1.1/sbin/start-yarn.sh

添加内容：

export YARN_RESOURCEMANAGER_USER=root

export HADOOP_SECURE_DN_USER=root

export YARN_NODEMANAGER_USER=root

2、打开 stop-yarn.sh 配置文件，在第二行中添加以下命令

[root@localhost ~]# vi /opt/hadoop-3.1.1/sbin/stop-yarn.sh

添加内容：

export YARN_RESOURCEMANAGER_USER=root

export HADOOP_SECURE_DN_USER=root

export YARN_NODEMANAGER_USER=root

2.2.9 取消打印警告信息

由于系统预装的 glibc 库时 2.12 版本，而 hadoop3.1.0 期待的是 2.14 版本，所

以后期启动服务的时候会打印报警信息，我们可以配置取消打印警告信息

1、打开 log4j.properties 配置文件，在首行中添加第 2 步的内容

[root@hadoop1 ~]# vim /opt/hadoop-3.1.1/etc/hadoop/log4j.properties

2、添加内容

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

2.2.10 同步 hadoop1 配置到 hadoop2 和 hadoop3 中

1、同步已经配置好的 hadoop 文件到 hadoop2 上

[root@hadoop1 ~]# cd /opt/

[root@hadoop1 opt]# scp -r hadoop-3.1.1root@hadoop2:/opt/

2、同步已经配置好的 hadoop 文件到 hadoop3 上

[root@hadoop1 ~]# cd /opt/

[root@hadoop1 opt]# scp -r hadoop-3.1.0 root@hadoop3:/opt/

2.2.11 配置三台 hadoop 主机的 profile 文件

1、打开 profile 文件，在最后面添加第 2 步的参数内容

[root@hadoop1 ~]# vim /etc/profile

2、添加内容

#SET HADOOP

HADOOP_HOME=/opt/hadoop-3.1.1

PATH=$HADOOP_HOME/bin:$PATH

export HADOOP_HOME PATH

4、更新环境变量

[root@localhost ~]# source /etc/profile

[root@localhost ~]# source /opt/hadoop-3.1.0/etc/hadoop/hadoop-env.sh

2.3 格式化 HDFS 文件系统

在 hadoop1 上通过 hdfs namenode -format 命令来格式化 HDFS 文件系统

[root@hadoop1 ~]# hdfs namenode -format

表示格式化 HDFS 文件系统完成

3.启动集群

3.1 启动集群

1、启动 hadoop 集群验证是否能正常启动，进入到/opt/hadoop-3.1.1/sbin/目

录下通过./start-all.sh 命令执行启动

[root@hadoop1 ~]# cd /opt/hadoop-3.1.1/sbin/

[root@hadoop1 sbin]# ./start-all.sh

2、在各 hadoop 节点上执行 jps 命令查看 hadoop 进程

[root@hadoop1 ~]# jps

3、通过 web 访问 HDFS 文件系统和 yarn

可以通过以下链接访问 hdfs 和 yarn

公网ip:8088或ip:9870

http://47.101.62.158:8088/cluster

http://47.101.62.158:9870

四、Zookeeper 集群安装部署

步骤：

1.基础环境准备

2.环境部署

2.1 安装 zookeeper3.4.10

2.1.1 首先进入软件包目录

[root@hadoop1 ~]# cd tgz/

2.1.2 把 zookeeper 安装包(zookeeper-3.4.10.tar.gz)解压到/opt 目录下

[root@hadoop1 tgz]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/

2.1.3 解压完成后在环境变量中添加 Zookeeper 的安装路径，更新配置文件，使变量生效。

[root@hadoop1 tgz]# vi /etc/profile

添加以下内容：

#SET ZOOKEEPER

export ZOOKEEPER_HOME=/opt/zookeeper-3.4.10

export PATH=$PATH:$ZOOKEEPER_HOME/bin

退出后执行 source /etc/profile 命令更新环境变量

[root@hadoop1 opt]# source /etc/profile

2.2 配置 zookeeper 配置文件

1、进入 zookeeper 配置文件目录：

[root@hadoop1]# cd /opt/zookeeper-3.4.10/conf

2、复制 zoo_sample.cfg 文件为 zoo.cfg

[root@hadoop1]# cp zoo_sample.cfg zoo.cfg

3、创建存放数据的文件夹：

[root@hadoop1 conf]# mkdir /opt/zookeeper-3.4.10/data

4、创建 myid 文件，并加入数字 0 （主节点为 0，从节点分别为 1,2）

[root@hadoop1 conf]# vi /opt/zookeeper-3.4.10/data/myid

5、修改 zoo.cfg 配置文件

[root@hadoop1 conf]# vi /opt/zookeeper-3.4.10/conf/zoo.cfg

将配置文件中 dataDir 的路径改为/opt/zookeeper-3.4.10/data

并在底部中加入以下参数：

server.0=hadoop1:2888:3888

server.1=hadoop2:2888:3888

server.2=hadoop3:2888:3888

zoo.cfg 各语句的含义

tickTime：服务器与客户端之间交互的基本时间单元（ms）

initLimit：允许 follower 连接并同步到 leader 的初始化时间，它以 tickTime

的倍数来表示。当超过设置倍数的 tickTime 时间，则连接失败

syncLimit：Leader 服务器与 follower 服务器之间信息同步允许的最大时间间

隔，如果超过次间隔，默认 follower 服务器与 leader 服务器之间断开链接

dataDir：保存 zookeeper 数据路径

clientPort：客户端访问 zookeeper 时经过服务器端时的端口号

2.2.2 文件同步

1、将 hadoop1 上配置好的 zookeeper 文件同步到 haoop2、hadoop3 节点上：

[root@hadoop1]# scp -r /opt/zookeeper-3.4.10/ root@hadoop2:/opt

[root@hadoop1]# scp -r /opt/zookeeper-3.4.10/ root@hadoop3:/opt

2、将 hadoop1 的环境变量同步到 haoop2、hadoop3 节点上：：

[root@hadoop1]# scp -r /etc/profile/ root@hadoop2:/etc/profile

[root@hadoop1]# scp -r /etc/profile/ root@hadoop3:/etc/profile

3、在其它节点上使环境生效：

[root@hadoop2]# source /etc/profile

[root@hadoop3]# source /etc/profile

4、修改 hadoop2 和 hadoop3 上的 myid

在 hadoop2 上将 myid 修改为 1

命令如下：

[root@hadoop2]# vi /opt/zookeeper-3.4.10/data/myid

hadoop1 下的 myid：

hadoop2 下的 myid

hadoop3 下的 myid

启动 zookeeper 集群并测试

3.1 启动 zookeeper

1、分别启动 hadoop1、hadoop2、hadoop3 节点的 zookeeper 集群命令

[root@hadoop1]# zkServer.sh start

[root@hadoop2]# zkServer.sh start

[root@hadoop3]# zkServer.sh start

2、查看是否启动成功命令：

[root@hadoop1]# zkServer.sh status

问题：

1.执行zkServer.sh start 后显示：

JMX enabled by default
Using config:/home/hadoop/app/zookeeper-3.4.5/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

2.jps后发现没有QuorumPeerMain进程

3.查看zookeeper-3.4.5/data下的zookeeper-3.4.5.out，如果提示 binding to port 0.0.0.0/0.0.0.0:2181

ERROR [main:QuorumPeerMain@89] - Unexpected exception, exiting abnormally java.net.BindException: Address already in use

说明2181端口被占用，通过netstat -nltp | grep 2181检查是否已被占用，如果有则把对应的进程kill掉（kill 进程的pid），然后再启动zookeeper

4..jps后发现有QuorumPeerMain进程，然后执行zkServer.sh status，如果显示：

JMX enabled by default
Using config: /home/hadoop/app/zookeeper-3.4.5/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

说明未启动成功，通过查看zookeeper-3.4.5.out，如果提示

Cannot open channel to 1 at election address hadoop05/10.37.129.105:3888
java.net.NoRouteToHostException: No route to host，说明无法连接远程电脑10.37.129.105:3888，很有可能开启了防火墙

通过sudo service iptables status检查，如果确实开启，则通过sudo service iptables stop将其关闭，最后再查看状态zkServer.sh status

此时，基本都能够正常启动了，提示：

JMX enabled by default
Using config: /home/hadoop/app/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: leader(或follower）

#查看端口有没有被占用

netstat -ntpl | grep 端口号

Top查看进程

Kill -9 进程

五、Hbase 完全分布式安装

步骤:

1.1 解压安装包 hbase

1.1.1 首先进入软件包目录

[root@hadoop ~]# cd tgz/

1.1.2 解压安装压缩包将 hbase 安装包（hbase-1.2.7-bin.tar.gz）解压缩到 /opt 目录下

[root@hadoop tgz]# tar -zxvf hbase-1.2.7-bin.tar.gz -C /opt

1.1.3 进入到/opt 目录

[root@hadoop ~]# cd /opt

1.1.4 将解压的安装包重命名

[root@hadoop ~]# mv hbase-1.2.7 /opt/hbase

1.1.5 配置环境变量加入 hbase 的安装路径

[root@hadoop conf]# vi /etc/profile

在文件的最底部加入下面内容

export HBASE_HOME=/opt/hbase

export PATH=$PATH:$HBASE_HOME/bin

配置如图：

退出后执行 source /etc/profile 命令更新环境变量

[root@hadoop conf]# source /etc/profile

1.2：搭建 Hbase 伪分布模式

hadoop1

NameNode

DataNode

NodeManager

ResourceManager

SecondaryNameNode

HMaster

QuorumPeerMain

HRegionServer

1.2.1 按照上述 1.1 解压缩后进入到配置文件 conf 目录

[root@hadoop opt]# cd /opt/hbase/conf/

1.2.2 编辑 hbase-site.xml

[root@hadoop conf]# vi hbase-site.xml

添加内容

hbase.rootdir

hdfs://localhost:9000/hbase

hbase.cluster.distributed

true

配置参数说明：

hbase.rootdir：该参数制定了 HReion 服务器的位置，即数据存放的位置。主要端口

号要和 Hadoop 相应配置一致。

hbase.cluster.distributed：HBase 的运行模式。false 是单机模式，true 是分布式模式。

若为 false, HBase 和 Zookeeper 会运行在同一个 JVM 里面。默认为 false。

1.2.3 编辑 hbase-env.sh 设置 JAVA_HOME

[root@hadoop conf]# vi hbase-env.sh

修改 export JAVA_HOME=/usr/lib/jdk1.8/

修改后如下：

1.2.4 启动 hbase

进入到 hbase 的 bin 目录

[root@hadoop conf]# cd /opt/hbase/bin/

启动 hbase

[root@hadoop bin]# ./start-hbase.sh

1.3：搭建 Hbase 完全分布模式

序号主机角色 Ip 主机名账户密码

hadoop1

NameNode

ResourceManager

HMaster

QuorumPeerMain

hadoop2

DataNode

NodeManager

HRegionServer

QuorumPeerMain

hadoop3

NodeManager

DataNode

HRegionServer

QuorumPeerMain

1.3.1 完全配置好的 hadoop 集群（需要启动）

参考 hadoop 完全分布式搭建

1.3.2 完全配置好的 zookeeper 集群（需要启动）

参考 zookeeper 完全分布式搭建

1.3.3 按照上述 1.1 解压缩后进入到配置文件 conf 目录

[root@hadoop1 opt]# cd /opt/hbase/conf/

如上图：需要修改 hbase-site.xml、regionservers、hbase-env.sh 三个配置文件

1.3.4 编辑 hbase-site.xml

[root@hadoop1 conf]# vi hbase-site.xml

加入下面内容

hbase.rootdir

hdfs://hadoop1:9000/hbase

hbase.cluster.distributed

true

hbase.zookeeper.quorum

hadoop1,hadoop2,hadoop3

配置参数说明：

在上面的配置文件中，第一个属性指定本机的 hbase 的存储目录；第二个属性指定 hbase 的运行

模式，true 代表全分布模式；第三属性是关于 Zookeeper 集群的配置。我的 Zookeeper 安装在 hadoop1

和 hadoop2、hadoop3 上。

1.3.5 修改 regionservers

[root@hadoop1 conf]# vi regionservers

在 regionservers 文件中添加如下内容（删除原来里面的 localhost）

hadoop2

hadoop3

1.3.7 编辑 hbase-env.sh 设置 JAVA_HOME

[root@hadoop conf]# vi hbase-env.sh

修改 export JAVA_HOME=/usr/lib/jdk1.8/

修改 export HBASE_MANAGES_ZK=false （使用我们自己搭建的 zookeeper 集群）

1.3.8 将在 hadoop1 上配置好的安装包分发到 hadoop2 和 hadoop3 上

scp -r /opt/hbase/ hadoop2:/opt

scp -r /opt/hbase/ hadoop3:/opt

1.3.9 启动 hbase 集群

在 hadoop1 上进入到 hbase 的 bin 目录

[root@hadoop conf]# cd /opt/hbase/bin/

启动 hbase

[root@hadoop bin]# ./start-hbase.sh

在每个节点上分别用 jps 查看进程

hadoop1 上 HMaster

hadoop2 上 HRegionServer

hadoop3 上 HRegionServer

2：Hbase 基本操作

2.1、Hbase Shell 命令

使用 hbase shell 命令来连接正在运行的 Hbase 实例按照上述 1 步骤配置好环境变量

后可以直接在命令行输入 hbase shell 来启动 hbase

启动成功如下：

2.2：显示 HBase Shell 帮助文档

输入 help 并按 Enter 键，可以显示 HBase Shell 的基本使用信息

2.3：退出 HBase Shell

使用 quit 命令，退出 HBase Shell 并且断开和集群的连接，但此时 HBase 仍然在后台运

行，也可以直接 ctrl+c

2.4：查看 HBase 状态直接输入 status 回车

3、hbase 数据定义（DDL）操作

3.1：创建新表

使用 create 命令来创建一个新的表。在创建的时候，必须指定表名和列族名。

create 'user', 'info '

3.2: 列举表信息

使用 list 命令

list 'user'

3.3：获取表描述

使用 describe 命令

describe 'user'

3.4：检查表是否存在

使用 exists 命令

exists 'user'

操作结果图如下：

3.5：删除表

删除表之前，先 disable 表,再使用 drop 命令实现删除表的功能

drop 'user'

操作结果图如下：

4、数据管理（DML）操作

4.1：在上述步骤 3 中删除了 user 表，重新创建一张 user 表

create 'user', 'info'

4.2：向表中插入数据

使用 put 命令，将数据插入表中：

put 'user', 'row1', 'info:a', 'value1'

4.3：一次性扫描全表数据

一种获取 HBase 数据的方法是扫描，使用 scan 命令来扫描表的数据。（可以限制扫描的

范围）

scan 'user'

4.4：获取一个行数据

使用 get 命令来获得某一行的数据：

get 'user', 'row1'

4.5：禁用一个表

如果你想要删除一个表或是修改它的设置，或者是其它的情况，都需要首先禁用该表。

使用 disable 命令禁用表，enable 命令重新启用表。

disable 'user'

enable 'user'

如下图所示：

6：删除数据

删除行中的某个列值

# 语法：delete

, , ,

delete 'user','rowkey001','info:a'

删除行

# 语法：deleteall

, , ,

deleteall 'user','row1'

删除表中的所有数据

# 语法： truncate

truncate 'user'

六、Hive安装

1.安装Mysql

1.1首先进入软件包目录

[root@hadoop1 ~]# cd tgz/

1.2解压缩mysql到/usr/local目录

[root@hadoop1 haoodp-install]# tar -zxvf mysql-5.6.40-linux-glibc2.12-x86_64.tar.gz -C /usr/local/

1.3进入到/usr/local目录并重命名

[root@hadoop1 haoodp-install]# cd /usr/local/

[root@hadoop1 local]# mv mysql-5.6.40-linux-glibc2.12-x86_64 mysql

1.4添加组用户

[root@hadoop1 local]# groupadd mysql

添加用户mysql 到用户组mysql

[root@hadoop1 local]# useradd -g mysql mysql

1.5安装mysql

Centos7将默认数据库mysql替换成了Mariadb

[root@localhost ~]# rpm -qa|grep mariadb // 查询出来已安装的mariadb

[root@localhost ~]# rpm -e --nodeps 文件名 // 卸载mariadb，文件名为上述命令查询出来的文件

yum remove mariadb

rm -rf /etc/my.cnf

rm -rf /var/lib/mysql/

yum --setopt=tsflags=noscripts remove MariaDB-client.x86_64;

删除etc目录下的my.cnf

1.5.1进入到安装包目录

[root@hadoop1 local]# cd /usr/local/mysql

1.5.2创建data目录下mysql文件夹

[root@hadoop1 mysql]# mkdir ./data/mysql

cd data

chown -R mysql:mysql mysql

依赖问题：

yum install -y perl perl-devel autoconf

yum install -y libaio.so.1

yum remove libnuma.so.1

yum -y install numactl.x86_64

1.5.3授权并执行脚本

[root@hadoop1 mysql]# chown -R mysql:mysql ./

[root@hadoop1 mysql]# chown -R mysql:mysql /usr/local/mysql

[root@hadoop1 mysql]# ./scripts/mysql_install_db --user=mysql --datadir=/usr/local/mysql/data/mysql

如果报错进行如下操作yum install -y perl-Module-Install.noarch，然后在./scripts/mysql_install_db --user=mysql --datadir=/usr/local/mysql/data/mysql

1.5.4复制mysql服务文件到/etc/init.d目录下并重命名

[root@hadoop1 mysql]# cp support-files/mysql.server /etc/init.d/mysqld

1.5.5修改服务文件权限

[root@hadoop1 mysql]# chmod 777 /etc/init.d/mysqld

1.5.6复制mysql的配置文件并重命名

[root@hadoop1 mysql]# cp support-files/my-default.cnf /etc/my.cnf

1.5.7修改mysql启动脚本

[root@hadoop1 mysql]# vi /etc/init.d/mysqld

修改下面内容

basedir=/usr/local/mysql/

datadir=/usr/local/mysql/data/mysql

1.5.8配置环境变量加入mysql的安装路径

[root@hadoop1 conf]# vi /etc/profile

在文件的最底部加入下面内容

export PATH=$PATH:/usr/local/mysql/bin

退出后执行source /etc/profile命令更新环境变量

[root@hadoop1 conf]# source /etc/profile

1.5.10给mysql添加远程登录

[root@hadoop1 mysql]# vi /etc/my.cnf

在[mysqld]下面加

basedir=/usr/local/mysql

datadir=/usr/local/mysql/data

port=3306

server_id=1

socket=/tmp/mysql.sock

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

1.5.11初始化mysql

[root@hadoop1 mysql]# /usr/local/mysql/scripts/mysql_install_db --user=mysql

1.5.12启动mysql服务

[root@hadoop1 mysql]# service mysqld start

查看mysql服务状态

[root@hadoop1 ~]# service mysqld status

1.5.13登录mysql

[root@hadoop1 ~]# mysql -u root -p

第一次登录不需要密码，直接回车

1.5.14设置本机mysql用户名和密码

mysql> use mysql;

mysql> update user set password =password('root') where user ='root';

1.5.15添加远程登录用户

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

mysql>FLUSH PRIVILEGES;

1.5.14创建hive数据库，来存储hive元数据信息

mysql>create database hive;

可以直接Ctrl+c 退出mysql或者exit

2.安装Hive

2.1首先进入软件包目录

[root@hadoop ~]# cd tgz/

2.2解压安装压缩包将hive安装包（apache-hive-2.3.3-bin.tar.gz）解压缩到/opt目录下

[root@hadoop tgz]# tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /opt

2.3进入到/opt目录

[root@hadoop ~]# cd /opt

2.4将解压的安装包重命名

[root@hadoop opt]# mv apache-hive-2.3.3-bin hive

2.5配置环境变量加入hive的安装路径

[root@hadoop conf]# vi /etc/profile

在文件的最底部加入下面内容

export HIVE_HOME=/opt/hive

export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH

退出后执行source /etc/profile命令更新环境变量

[root@hadoop conf]# source /etc/profile

2.6.配置hive

2.6.1 进入到hive的配置文件目录

[root@hadoop opt]# cd /opt/hive/conf/

2.6.2 复制hive-env.sh.template 一份并重命名为hive-env.sh

[root@hadoop conf]# cp hive-env.sh.template hive-env.sh

修改hive-env.sh，设置加入HADOOP_HOME=/opt/hadoop-3.1.1

[root@hadoop conf]# vi hive-env.sh

2.6.3 新建hive-site.xml

[root@hadoop conf]# vi hive-site.xml

需要在 hive-site.xml 文件中配置 MySQL 数据库连接信息复制下面内容到新建文件中

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

root

javax.jdo.option.ConnectionPassword

root

2.6.4 配置mysql的驱动将mysql驱动放到hive安装路径的lib目录下

[root@hadoop1]# cp tgz/mysql-connector-java-5.1.47.jar /opt/hive/lib/

2.6.5 hive在启动前到进行元数据初始化

[root@hadoop1 conf]# schematool -dbType mysql -initSchema

看到schemaTool completed 则初始化完成

检测hive 是否成功直接在命令行输入hive即可hive （需要hadoop安装并启动）

启动成功如下：

七、Scala安装

scala下载：https://www.scala-lang.org/download/

https://downloads.lightbend.com/scala/2.12.7/scala-2.12.7.tgz

解压到/opt下

vim /etc/profile

export PATH=$PATH:/opt/scala/bin

source /etc/profile

$ scala

八、Spark安装

安装前提

Java1.8 zookeeper hadoop Scala

集群规划

二集群安装

1 解压缩

tar zxvf spark-2.3.1-bin-hadoop2.7.tgz -C /opt/

mv spark-2.3.1-bin-hadoop2.7 spark

2 修改配置文件

（1）进入配置文件所在目录cd /opt//spark/conf/

（2）复制spark-env.sh.template并重命名为spark-env.sh

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

编辑并在文件末尾添加如下配置内容

export JAVA_HOME=/usr/lib/jdk1.8

#指定默认master的ip或主机名

export SPARK_MASTER_HOST=hadoop1

#指定master提交任务的默认端口为7077

export SPARK_MASTER_PORT=7077

#指定master节点的webui端口

export SPARK_MASTER_WEBUI_PORT=8080

#每个worker从节点能够支配的内存数

export SPARK_WORKER_MEMORY=1g

#允许Spark应用程序在计算机上使用的核心总数（默认值：所有可用核心）

export SPARK_WORKER_CORES=1

#每个worker从节点的实例（可选配置）

export SPARK_WORKER_INSTANCES=1

#指向包含Hadoop集群的（客户端）配置文件的目录，运行在Yarn上配置此项

export HADOOP_CONF_DIR=/opt/hadoop-3.1.1/etc/hadoop

#指定整个集群状态是通过zookeeper来维护的，包括集群恢复

export SPARK_DAEMON_JAVA_OPTS="

-Dspark.deploy.recoveryMode=ZOOKEEPER

-Dspark.deploy.zookeeper.url=hadoop1:2181,hadoop2:2181,hadoop3:2181

-Dspark.deploy.zookeeper.dir=/spark"

cd /opt/spark/conf

cp log4j.properties.template log4j.properties

Log4j.rootCategory=INFO, console修改为

Log4j.rootCategory=WARN, console

（3）复制slaves.template成slaves，并修改配置内容

cp slaves.template slaves

vi slaves

修改从节点

hadoop1

hadoop2

hadoop3

（4）将安装包分发给其他节点

修改hadoop2节点上conf/spark-env.sh配置的MasterIP为SPARK_MASTER_IP=hadoop2

修改hadoop3节点上conf/spark-env.sh配置的MasterIP为SPARK_MASTER_IP=hadoop3

3 配置环境变量

所有节点均要配置

vi /etc/profile

export SPARK_HOME=/opt/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

source /etc/profile

三启动集群

1 启动zookeeper集群

所有zookeeper节点均要执行

zkServer.sh start

2 启动Hadoop集群

3 启动Spark集群

启动spark：启动master节点：sbin/start-master.sh 启动worker节点：sbin/start-slaves.sh

或者：sbin/start-all.sh

注意：备用master节点hadoop2，hadoop3需要手动启动

sbin/start-master.sh

4 查看进程

启动spark

cd /opt/spark/bin

./pyspark

./spark-shell

九、Sqoop安装

1.解压缩

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/

cd /opt/

重命名mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

2.修改环境变量vi /etc/profile

export SQOOP_HOME=/opt/sqoop

export PATH=$SQOOP_HOME/bin:$PATH

source /etc/profile

3.将MySQL的驱动拷贝到lib下

4.修改sqoop-env-template.sh,配置HADOOP_HOME、HBASE_HOME、HIVE_HOME路径

vim sqoop-env-template.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=
#set the path to where bin/hbase is available
export HBASE_HOME=
#Set the path to where bin/hive is available
export HIVE_HOME=

5.修改$SQOOP_HOME/bin/configure-sqoop

注释掉HCatalog，Accumulo检查(除非你准备使用HCatalog，Accumulo等HADOOP上的组件)

## Moved to be a runtime check in sqoop.

#if [ ! -d "${HCAT_HOME}" ]; then

# echo "Warning: $HCAT_HOME does not exist! HCatalog jobs willfail."

# echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'

#fi

#if [ ! -d "${ACCUMULO_HOME}" ];then

# echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports willfail."

# echo 'Please set $ACCUMULO_HOME to the root of your Accumuloinstallation.'

#fi

执行：sqoop version

测试连接：显示mysql数据库列表:

sqoop list-databases --connect jdbc:mysql://ip:3306/ --username hive --password hive

显示数据库里所有表:

sqoop list-tables --connect jdbc:mysql://ip:3306/hive --username hive --password hive

十、flume安装

环境

centos：7.3

JDK:1.8

Flume:1.8

一、Flume 安装

1、下载

wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

2、解压

tar –zxvf apache-flume-1.8.0-bin.tar.gz

mv apache-flume-1.8.0-bin /usr/local/flume

3、设置环境变量

export FLUME_HOME=/opt/flume

export PATH=$FLUME_HOME/bin:$PATH

Source /etc/profile

4、配置java_home

cp flume-env.sh.template flume-env.sh

vim flume-env.sh

export JAVA_HOME=/usr/lib/jdk1.8

export HADOOP_HOME=/opt/hadoop-3.1.1

查看版本：flume-ng version

至此大数据环境平台基本搭建完成，各环节具体配置文件还需视情况而配。此文仅供参考，如有错误，望指出。感激不尽！

业务搭载离不了云服务器，选择合适的平台最重要！

从目前国内云计算市场的格局来看，国内云计算前三强分别是阿里云、腾讯云和华为云，阿里云、腾讯云作为背靠互联网平台的企业，更偏向于B端用户；华为与作为传统的通信巨头，更偏向于G端。

本人从事云计算相关工作至今已有多年，国内主流的云平台都接触过，包括他们的销售及技术团队，对各家的产品也小有了解，并且指导过数百家企业迁移上云，对云平台选择也有一定的发言权！

网上有很多评测，评测数据也五花八门，说谁好的都有，这个两篇博文分析汇总的非常详细，分享给大家，文档地址：

博文1：云服务器哪家好！阿里云、腾讯云、华为云的服务器配置及价格对比？

博文2：阿里云服务器突发型t6、n4、s6、c5、c6怎么选？和腾讯云服务器标准型s3、sn3ne、s4、s5、sa2相比哪家好？全面解析

如果是高并发，高IO业务场景，需要确定服务器规格，可让业务应用性能发挥到最佳，参考官方文档：

阿里云服务器规格：规格实例族 - 云服务器 ECS

腾讯云服务器规格：规格实例族 - 云服务器CVM

你可能感兴趣的:(腾讯云,服务器,云计算)

6、 AWS认证与授权：深入理解IAM 李开机呢 AWS IAM 认证工具密钥管理
AWS认证与授权：深入理解IAM1.IAM身份在云计算环境中，确保只有授权用户和应用程序可以访问特定资源至关重要。AWSIdentityandAccessManagement(IAM)是AWS提供的核心服务之一，用于管理和控制对AWS资源的访问。IAM通过定义身份（Identities）和权限（Permissions）来实现这一目标。1.1根用户每个AWS账户都有一个默认的根用户，这是创建账户时自
AWS Cognito项目实战指南：集成用户管理与自定义电子邮件功能一一MIO一一
本文还有配套的精品资源，点击获取简介：本项目涉及利用AWSCognito服务，创建一个基于云端的用户身份验证和管理应用。通过集成Cognito用户池，项目支持社交登录和自定义用户身份保护，同时涉及通过AWSLambda发送自定义电子邮件通知，增强用户体验。项目采用TypeScript编程语言，提升代码的可维护性和可读性，为开发者提供一个学习AWS无服务器认证解决方案的实践案例。1.AWSCogni
3、使用Cognito加强应用程序安全性一一MIO一一 Amazon Cognito 用户池身份验证
使用Cognito加强应用程序安全性1.创建AmazonCognito用户池AmazonCognito是亚马逊提供的无服务器用户身份管理服务，它不仅可以用作身份提供者，还可以作为身份代理。在这一节中，我们将详细介绍如何通过控制台创建一个Cognito用户池，并对其基本信息进行设置和管理。准备工作为了创建用户池，你需要一个有效的工作AWS账户。如果你还没有AWS账户，可以先去官网注册一个。操作步骤登
释放数据处理潜力：13款顶级MCP服务器全面解析炼丹上岸 MCP 大模型服务器 php 运维 python
引言：数据整理师的效率革命作为数据整理师，你是否曾为繁琐的数据清洗、格式转换和跨平台整合耗费大量时间？传统数据处理流程中，手动操作往往成为效率瓶颈——从杂乱的CSV文件到分散在多平台的API数据，每一步都可能陷入"数据泥潭"。而MCP（Multi-ChannelProcessing）服务器的出现，正通过自动化与智能化能力重构这一现状。本文将深入解析13款适用于不同场景的MCP服务器，覆盖从网络数据
2025年全球数据安全发展趋势 jinan886 人工智能大数据安全数据分析
随着云计算、大数据、人工智能等技术的迅猛发展，数据已成为驱动经济社会发展的关键生产要素。然而，数据泄露、网络攻击等安全事件频发，给个人隐私、企业利益乃至国家安全带来了前所未有的挑战。全球数据安全发展趋势正随着技术进步和威胁演变而不断变化，以下是主要趋势：1.数据隐私法规加强GDPR（欧盟《通用数据保护条例）和CCPA（加州消费者隐私法案）等法规推动了全球对数据隐私的重视，更多国家和地区正在制定或更
告别GPU焦虑：如何在纯CPU服务器上，打造高性能Embedding服务？ ezl1fe embedding 后端人工智能
Hi，大家好，我是ezl1fe。最近接手一个项目，要求在纯CPU服务器上部署Embedding模型服务。兄弟们都懂，GPU它香啊，但它也贵啊！很多时候，咱只能在有限的资源里想办法。一开始，我们图方便，直接从HuggingFace上拉了当时效果最好的BAAI/bge-m3模型，用transformers库一把梭。结果呢？部署到一台8核16G的服务器上，精度是高，但性能也是真的“感人”，单个请求响应要
分享一些 SQL 优化工具王宇帆avalanche sql 数据库
一、数据库自带的性能监控和分析工具MySQL：MySQLEnterpriseMonitor：这是MySQL官方推出的一款企业级监控工具，它提供了全面的数据库性能监控和管理功能。功能特点：可以实时监控MySQL服务器的各种关键性能指标，如查询响应时间、吞吐量、连接数、缓存命中率等。它还能深入分析SQL查询的执行计划，帮助用户找出性能瓶颈和优化点。通过直观的图形界面，管理员可以轻松了解数据库的运行状态
16014.rtsp推流服务器 guangshui516 16000-Linux 综合篇服务器运维
1ubuntu20.04搭建rtsp服务器，easyplayer进行拉流在images/stream1文件下存储了5张图片，作为咱们得原料，运行rtsp服务器，即可。#include#include#include
什么是云手机？云手机有哪些用途？ SoraPhone 智能手机
ECalc云手机是一款革命性的基于云计算技术的移动设备解决方案，旨在通过云平台为用户提供远程访问和控制手机操作的能力。这项创新技术为个人和企业用户带来了前所未有的灵活性和效率，下面是ECalc云手机在不同场景下的应用展示：远程工作便捷化：ECalc云手机作为一个高效的远程办公工具，为用户提供了随时随地访问工作文件、电子邮件、应用程序等必需工具的可能性，极大地便利了经常出差或需在多地办公的职场人士。
如何搭建基于RK3588的边缘服务器集群？支持12个RK3588云手机 XMAIPC_Robot ARM+FPGA AI服务器服务器运维
以下是基于RK3588搭建边缘服务器集群的完整实施方案，涵盖硬件选型、集群架构、软件部署及优化要点：️‌一、硬件集群架构设计‌‌节点基础配置‌‌核心单元‌：单节点采用RK3588核心板（4×[email protected]+4×[email protected]），集成6TOPSNPU及Mali-G610GPU，支持LPDDR4X内存（4~32GB）及eMMC/SATA/TF卡多级存储611。‌扩展接口‌：通过100Pin
为什么一定要用云服务器而不用物理机？云资源服务商冰儿云计算阿里云腾讯云华为云服务器
随着云计算技术的发展，越来越多的企业正在考虑将业务迁移到云端。在这个过程中，选择合适的云服务提供商及其产品变得至关重要。本文将以阿里云的弹性计算服务（ECS）为例，结合实测数据，与传统物理服务器进行成本、性能和安全性的全面对比，帮助企业更好地理解云服务的优势，并做出明智的选择。成本效益分析阿里云ECS：按需付费：用户可以根据实际使用的资源量来支付费用，避免了前期高额的硬件采购成本。节省维护费用：无
基于C#的OPCServer应用开发，引用WtOPCSvr.dll
操作流程：1.引入WtOPCSvr.dll文件2.注册服务：使用UpdateRegistry方法注册，注意关闭应用时使用UnregisterServer取消注册。3.初始化服务：使用InitWTOPCsvr初始化4.使用CreateTag方法，创建标签5.读写参数使用下面三个方法：StartUpdateTagsUpdateTagEndUpdateTags6.当发生客户端写操作的时候，服务器执行下面
用html代码制作一个表单页面,HTML网页表单制作详细讲解 weixin_39747975 用html代码制作一个表单页面
表单是一个网站和访问者开展互动的窗口，我们现在就给大家介绍一下表单的一些基本知识和表单美化方法。初识表单表单可以用来在网页中发送数据，特别是经常被用在联系表单-用户输入信息然后发送到Email中。表单本身是没有什么用的。这需要编一个程序来处理输入表单中的数据。这也超出了本站指南的范围。如果使用网络服务器来放置HTML，你能够自助地找到一些简单的教程，开发一个服务器端的程序使一个发送到Email的表
银河麒麟服务器迁移运维管理平台(接口文档) RZer 麒麟软件运维服务器 android Kylinsoft
银河麒麟高级服务器操作系统V10系统管理员手册文章目录CVE下发接口获取CVE接口获取主机接口获取批次接口获取父日志接口获取子日志接口CVE下发接口功能描述:CVE下发接口调用接口URL:/cve/issue接口类型:POST请求头:API-KEY:your_API_key（内容为APIKey值，需要通过登陆平台，在个人信息处获取）参数:参数名类型含义targetType字符串传入类型（二选一）：
华为云挂载磁盘及初始化数据盘（Linux）_华为服务器怎么挂载硬盘 36氪（36Kr）频道首页程序员服务器 linux 华为云
Select(defaultp):pPartitionnumber(1-4,default1):接下来每步均使用默认值，直接按“Enter”。Partitionnumber(1-4,default1):Firstsector(2048-209715199,default2048):Usingdefaultvalue2048Lastsector,+sectorsor+size{K,M,G}(2048
Linux系统管理：服务器运维与安全防护教IT的小王A 服务器运维 linux web安全安全网络
Linux系统管理：服务器运维与安全防护Linux系统管理：服务器运维与安全防护一、Linux系统管理基础系统架构与组成是一种自由和开放源代码的类UNIX操作系统，它是基于POSIX和UNIX的多用户、多任务操作系统。Linux的核心是Linux内核，其基本组成部分包括Shell、文件系统、系统库等。常用Linux命令文件与目录管理在Linux系统中，文件和目录的管理是非常重要的，例如用户常用的l
AI+云计算：金融机构数字化转型评估新架构 AI智能探索者人工智能云计算架构 ai
AI+云计算：金融机构数字化转型评估新架构关键词：AI、云计算、金融数字化转型、评估架构、智能风控摘要：本文围绕“AI+云计算”如何重构金融机构数字化转型评估体系展开，通过解析核心技术原理、架构设计及实战案例，揭示新架构如何解决传统评估的“数据孤岛”“实时性差”“成本高”等痛点。文章结合生活比喻与技术细节，为金融从业者提供可落地的转型评估指南。背景介绍目的和范围金融机构数字化转型已从“可选动作”变
云计算在可视化非线性偏微分方程动力学中的应用：拟线性和半线性示例-AI云计算数值分析和代码验证亚图跨际 AI 云计算人工智能
“拟线性”和“半线性”代表了非线性偏微分方程（PDEs）这一大类中的重要分类。其区别主要在于非线性的表现形式，特别是与未知函数的最高阶导数之间的关系。在偏微分方程的研究中，将其分为线性、半线性、拟线性和完全非线性至关重要，因为用于分析和求解它们（例如，解的存在性、唯一性、正则性、数值方法）的数学技术根据其线性性质而显著不同。非线性偏微分方程通常比线性偏微分方程更难求解和分析，即使在非线性类别中，由
模拟多维物理过程与基于云的数值分析-AI云计算数值分析和代码验证亚图跨际 AI 人工智能云计算
高维输运与扩散方程，涵盖了严格的扩散极限、多维扩散理论、先进的数值和基于粒子的模拟方法，以及分数阶/电报式推广，为广泛的科学和工程领域中复杂输运现象的建模、分析和模拟提供了强大的工具。高维输运和扩散方程涵盖了输运方程的严格扩散极限、结合随机和偏微分方程工具的多维扩散理论、先进的数值和基于粒子的模拟方法、分数阶和电报式输运的推广，以及在地球物理和工程系统中的应用。这些框架为建模、分析和模拟许多科学和
云驱动的扩散现象可视化-AI云计算数值分析和代码验证亚图跨际 AI 人工智能
扩散是一种基本的被动传输过程，其中粒子由于随机分子运动而从较高浓度移动到较低浓度，影响从生物呼吸到工业半导体掺杂的各种现象。扩散是粒子从高浓度区域向低浓度区域自发移动的过程，由气体或液体中分子的随机运动和碰撞驱动。这是一种不需外部能量输入的被动传输过程。☁️AI云计算数值分析和代码验证影响扩散的重要因素包括：浓度梯度：浓度差异越大，扩散速率越快。当接近平衡时，扩散会减慢。分子质量：较轻的分子比较重
通过交互式网页探索传输现象-AI云计算数值分析和代码验证亚图跨际 AI 人工智能云计算
传输过程涉及质量、动量和能量等物理量在各种系统中的基本运动和转移，主要分为动量传输、热量传输和质量传输，在工程、环境科学、生物学和物流等领域至关重要。传输过程是指物理量（如质量、动量和能量）在物理、化学、生物或工程系统中的移动和传递。这些过程是各种科学和工程领域的基础，主要分为三类：☁️AI云计算数值分析和代码验证传输过程的类型动量传输这涉及动量在运动介质（例如流体）中的传递。它对流体流动、沉降、
大学专业科普 | 云计算、大数据鸭鸭鸭进京赶烤云计算大数据
大数据专业是近年来随着信息技术发展而兴起的热门学科，专注于从海量、多样化的数据中提取有价值信息，为各行业提供数据驱动的决策支持。专业定义大数据专业旨在培养掌握大数据采集、存储、管理、分析和应用等核心技术的人才。该专业融合了计算机科学、数学、统计学、数据科学和领域知识，重点解决大数据环境下的数据处理和分析问题。课程设置大数据专业的课程体系包括基础课程、专业核心课程和实践课程。（一）基础课程基础课程涵
阿里云服务器配置frp实现Ubuntu台式机电脑内网穿透涛歌依旧fly Linux frp 内网穿透 Ubuntu 云服务器
起因实验室一台Ubuntu20.04的台式机电脑，我想用我的Win10笔记本远程连接它，用它的高性能，在Ubuntu的环境下来跑代码，这样比较方便。编程环境即可具有便携、性能。两者兼得，而且我的笔记本看来很舒服，毕竟2.8k，90分辨率。需要使用内网穿透技术，我的Ubuntu处于内网，需要挂载到云服务器上，云服务器具有公网ip和域名。这样外网就可以访问我的内网ubuntu电脑。图来自：https:
vue-31（Nuxt.js 中的数据获取：asyncData和fetch）清幽竹客 VUE javascript vue.js 前端
Nuxt.js中的数据获取：asyncData和fetchNuxt.js为您的应用程序提供了强大而便捷的数据获取方式，尤其是在处理服务器端渲染（SSR）时。数据获取的两个主要方法是asyncData和fetch。了解每种方法的细微差别以及何时使用它们，对于构建高效和性能卓越的Nuxt.js应用程序至关重要。本课将深入探讨这些方法的细节，探索它们的功能、用例和差异。理解asyncDataasyncD
使用linux命令上传、下载文件（使用sz与rz命令）星梦客 Linux centos linux 运维
sz：弹出窗口，选择下载路径，下载到指定路径rz：弹出一个文件选择窗口，从本地选择文件上传到Linux服务器先安装：yuminstalllrzszsz用法：#可同时指定多个同级文件名sz文件夹下所有文件szdir/*rz用法：cd到指定目录输入rz回车后，弹出窗口，一次可指定多个文件
HTTP代理：网络世界的智能中转站
在互联网信息高速流动的时代，HTTP代理作为一种基础却强大的网络工具，正在各类网络活动中扮演着越来越重要的角色。它就像一位经验丰富的网络向导，不仅能够优化访问路径，还能在用户与目标网站之间建立起安全屏障，让网络体验更加流畅和安全。HTTP代理最基本的功能是作为网络请求的中转站。当用户通过代理访问网站时，请求首先发送到代理服务器，再由代理服务器向目标网站获取数据。这种间接访问的方式带来了多重优势：一
Windows 权限维持-后门隐藏蟹老板6 windows 后门排查权限维持后门隐藏
交流使用，请勿做非法用途攻击者在获取服务器权限后，通常会用一些后门来维持权限，如果你想让你的后门保持的更久些，那么请隐藏好它，使之不易被管理员发现隐藏文件1、利用文件属性最简单的一种隐藏文件的方式，文件右键属性，勾选隐藏，点击确定后，在这个文件里看不到刚刚的文件了如果要让文件显示出来，就点击查看，勾选显示隐藏的文件，文件就显示出来。如何真正隐藏文件?使用Attrib+s+a+h+r命令就是把原本的
DM数据库安装指南 H03004 数据库 oracle
DM数据库，即达梦数据库，是一款由中国武汉达梦数据库有限公司自主研发的高性能、高可用性、安全可靠的数据库管理系统。它广泛应用于政府、金融、能源等多个领域，并且支持标准SQL语言和多种编程接口。本文将详细介绍如何在Linux环境下安装DM数据库，包括环境准备、下载安装包、配置与初始化实例、启动服务、测试验证以及后续管理等步骤。一、环境准备在开始安装之前，确保目标服务器或计算机满足以下条件：操作系统：
DM数据库安装与配置指南：实现高效部署的详细步骤 H03004 oracle 数据库
随着信息技术的飞速发展，数据库作为信息系统的核心组件之一，在企业数据管理中扮演着至关重要的角色。DM数据库（达梦数据库）是一款由中国武汉达梦数据库有限公司自主研发的高性能、高可用性、安全可靠的数据库管理系统，广泛应用于政府、金融、能源等多个领域。本文将详细介绍如何在Linux环境下高效地安装和配置DM数据库，帮助读者掌握从环境准备到后期维护的全流程。一、环境准备操作系统选择：确保您的服务器或计算机
安装MySql服务集群，主从复制模式，MySql 8.x为例拄杖忙学轻声码 Linux部署与安装 MySQL Oracle PostgreSQL mysql
说明：在高并发的应用中，mysql数据库经常成为系统的瓶颈之一。为了解决这一问题，使用主从复制（Master-SlaveReplication）可以有效地分担数据库的读压力。主从复制是一种异步复制模式，允许将一个主数据库的数据复制到一个或多个从数据库，所有的写操作都在主数据库上执行，而从数据库主要用于读操作一、准备假设我们有两台服务器：1、主服务器(Master)：192.168.0.12、从服务
C/C++Win32编程基础详解视频下载择善Zach 编程 C++Win32
课题视频：C/C++Win32编程基础详解视频知识：win32窗口的创建 windows事件机制主讲：择善Uncle老师学习交流群：386620625 验证码：625 --
Guava Cache使用笔记 bylijinnan java guava cache
1.Guava Cache的get/getIfPresent方法当参数为null时会抛空指针异常我刚开始使用时还以为Guava Cache跟HashMap一样，get(null)返回null。实际上Guava整体设计思想就是拒绝null的，很多地方都会执行com.google.common.base.Preconditions.checkNotNull的检查。 2.Guava
解决ora-01652无法通过128（在temp表空间中） 0624chenhong oracle
解决ora-01652无法通过128（在temp表空间中）扩展temp段的过程一个sql语句后，大约花了10分钟，好不容易有一个结果，但是报了一个ora-01652错误，查阅了oracle的错误代码说明：意思是指temp表空间无法自动扩展temp段。这种问题一般有两种原因：一是临时表空间空间太小，二是不能自动扩展。分析过程：既然是temp表空间有问题，那当
Struct在jsp标签不懂事的小屁孩 struct
非UI标签介绍：控制类标签： 1：程序流程控制标签 if elseif else <s:if test="isUsed"> <span class="label label-success">True</span> </
按对象属性排序换个号韩国红果果 JavaScript 对象排序
利用JavaScript进行对象排序，根据用户的年龄排序展示 <script> var bob={ name;bob, age:30 } var peter={ name;peter, age:30 } var amy={ name;amy, age:24 } var mike={ name;mike, age:29 } var john={
大数据分析让个性化的客户体验不再遥远蓝儿唯美数据分析
顾客通过多种渠道制造大量数据，企业则热衷于利用这些信息来实现更为个性化的体验。分析公司Gartner表示，高级分析会成为客户服务的关键，但是大数据分析的采用目前仅局限于不到一成的企业。挑战在于企业还在努力适应结构化数据，疲于根据自身的客户关系管理（CRM）系统部署有效的分析框架，以及集成不同的内外部信息源。然而，面对顾客通过数字技术参与而产生的快速变化的信息，企业需要及时作出反应。要想实
java笔记4 a-john java
操作符 1，使用java操作符操作符接受一个或多个参数，并生成一个新值。参数的形式与普通的方法调用不用，但是效果是相同的。加号和一元的正号（+）、减号和一元的负号（-）、乘号（*）、除号（/）以及赋值号（=）的用法与其他编程语言类似。操作符作用于操作数，生成一个新值。另外，有些操作符可能会改变操作数自身的
从裸机编程到嵌入式Linux编程思想的转变------分而治之：驱动和应用程序 aijuans 嵌入式学习
笔者学习嵌入式Linux也有一段时间了，很奇怪的是很多书讲驱动编程方面的知识，也有很多书将ARM9方面的知识，但是从以前51形式的（对寄存器直接操作，初始化芯片的功能模块）编程方法，和思维模式，变换为基于Linux操作系统编程，讲这个思想转变的书几乎没有，让初学者走了很多弯路，撞了很多难墙。笔者因此写上自己的学习心得，希望能给和我一样转变
在springmvc中解决FastJson循环引用的问题 asialee 循环引用 fastjson
我们先来看一个例子： package com.elong.bms; import java.io.OutputStream; import java.util.HashMap; import java.util.Map; import co
ArrayAdapter和SimpleAdapter技术总结百合不是茶 android SimpleAdapter ArrayAdapter 高级组件基础
ArrayAdapter比较简单，但它只能用于显示文字。而SimpleAdapter则有很强的扩展性，可以自定义出各种效果 ArrayAdapter;的数据可以是数组或者是队列 // 获得下拉框对象 AutoCompleteTextView textview = (AutoCompleteTextView) this
九封信 bijian1013 人生励志
有时候，莫名的心情不好，不想和任何人说话，只想一个人静静的发呆。有时候，想一个人躲起来脆弱，不愿别人看到自己的伤口。有时候，走过熟悉的街角，看到熟悉的背影，突然想起一个人的脸。有时候，发现自己一夜之间就长大了。 2014，写给人
Linux下安装MySQL Web 管理工具phpMyAdmin sunjing PHP Install phpMyAdmin
PHP http://php.net/ phpMyAdmin http://www.phpmyadmin.net Error compiling PHP on CentOS x64 一、安装Apache 请参阅http://billben.iteye.com/admin/blogs/1985244 二、安装依赖包 sudo yum install gd
分布式系统理论 bit1129 分布式
FLP One famous theory in distributed computing, known as FLP after the authors Fischer, Lynch, and Patterson, proved that in a distributed system with asynchronous communication and process crashes,
ssh2整合(spring+struts2+hibernate)-附源码白糖_ eclipse spring Hibernate mysql 项目管理
最近抽空又整理了一套ssh2框架，主要使用的技术如下： spring做容器，管理了三层(dao,service,actioin)的对象 struts2实现与页面交互(MVC)，自己做了一个异常拦截器，能拦截Action层抛出的异常 hibernate与数据库交互 BoneCp数据库连接池，据说比其它数据库连接池快20倍，仅仅是据说 MySql数据库项目用eclipse
treetable bug记录 braveCS table
// 插入子节点删除再插入时不能正常显示。修改： //不知改后有没有错，先做个备忘 Tree.prototype.removeNode = function(node) { // Recursively remove all descendants of +node+ this.unloadBranch(node); // Remove
编程之美-电话号码对应英语单词 bylijinnan java 算法编程之美
import java.util.Arrays; public class NumberToWord { /** * 编程之美电话号码对应英语单词 * 题目： * 手机上的拨号盘，每个数字都对应一些字母，比如2对应ABC，3对应DEF.........，8对应TUV，9对应WXYZ， * 要求对一段数字，输出其代表的所有可能的字母组合
jquery ajax读书笔记 chengxuyuancsdn jQuery ajax
1、jsp页面 <%@ page language="java" import="java.util.*" pageEncoding="GBK"%> <% String path = request.getContextPath(); String basePath = request.getScheme()
JWFD工作流拓扑结构解析伪码描述算法 comsci 数据结构算法工作活动 J#
对工作流拓扑结构解析感兴趣的朋友可以下载附件，或者下载JWFD的全部代码进行分析 /* 流程图拓扑结构解析伪码描述算法 public java.util.ArrayList DFS(String graphid, String stepid, int j)
oracle I/O 从属进程 daizj oracle
I/O 从属进程　　I/O从属进程用于为不支持异步I/O的系统或设备模拟异步I/O.例如，磁带设备(相当慢)就不支持异步I/O.通过使用I/O 从属进程，可以让磁带机模仿通常只为磁盘驱动器提供的功能。就好像支持真正的异步I/O 一样，写设备的进程(调用者)会收集大量数据，并交由写入器写出。数据成功地写出时，写入器(此时写入器是I/O 从属进程，而不是操作系统)会通知原来的调用者，调用者则会
高级排序:希尔排序 dieslrae 希尔排序
public void shellSort(int[] array){ int limit = 1; int temp; int index; while(limit <= array.length/3){ limit = limit * 3 + 1;
初二下学期难记忆单词 dcj3sjt126com english word
kitchen 厨房 cupboard 厨柜 salt 盐 sugar 糖 oil 油 fork 叉；餐叉 spoon 匙；调羹 chopsticks 筷子 cabbage 卷心菜；洋白菜 soup 汤 Italian 意大利的 Indian 印度的 workplace 工作场所 even 甚至；更 Italy 意大利 laugh 笑 m
Go语言使用MySQL数据库进行增删改查 dcj3sjt126com mysql
目前Internet上流行的网站构架方式是LAMP，其中的M即MySQL, 作为数据库，MySQL以免费、开源、使用方便为优势成为了很多Web开发的后端数据库存储引擎。MySQL驱动Go中支持MySQL的驱动目前比较多，有如下几种，有些是支持database/sql标准，而有些是采用了自己的实现接口,常用的有如下几种: http://code.google.c...o-mysql-dri
git命令 shuizhaosi888 git
---------------设置全局用户名： git config --global user.name "HanShuliang" //设置用户名 git config --global user.email "[email protected]" //设置邮箱 ---------------查看环境配置 git config --li
qemu-kvm 网络 nat模式 (四) haoningabc kvm qemu
qemu-ifup-NAT #!/bin/bash BRIDGE=virbr0 NETWORK=192.168.122.0 GATEWAY=192.168.122.1 NETMASK=255.255.255.0 DHCPRANGE=192.168.122.2,192.168.122.254 TFTPROOT= BOOTP= function check_bridge()
不要让未来的你，讨厌现在的自己 jingjing0907 生活奋斗工作梦想
故事one 　23岁，他大学毕业，放弃了父母安排的稳定工作，独闯京城，在家小公司混个小职位，工作还算顺手，月薪三千，混了混，混走了一年的光阴。　　　　24岁，有了女朋友，从二环12人的集体宿舍搬到香山民居，一间平房，二人世界，爱爱爱。偶然约三朋四友，打扑克搓麻将，日子快乐似神仙；　　　　25岁，出了几次差，调了两次岗，薪水涨了不过百，生猛狂飙的物价让现实血淋淋，无力为心爱银儿购件大牌
枚举类型详解一路欢笑一路走 enum 枚举详解 enumset enumMap
枚举类型详解一.Enum详解 1.1枚举类型的介绍 JDK1.5加入了一个全新的类型的”类”—枚举类型，为此JDK1.5引入了一个新的关键字enum,我们可以这样定义一个枚举类型。 Demo:一个最简单的枚举类 public enum ColorType { RED
第11章动画效果（上） onestopweb 动画
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
Eclipse中jsp、js文件编辑时，卡死现象解决汇总 ljf_home eclipse jsp卡死 js卡死
使用Eclipse编辑jsp、js文件时，经常出现卡死现象，在网上百度了N次，经过N次优化调整后，卡死现象逐步好转，具体那个方法起到作用，不太好讲。将所有用过的方法罗列如下： 1、取消验证 windows–>perferences–>validation 把除了manual 下面的全部点掉，build下只留 classpath dependency Valida
MySQL编程中的6个重要的实用技巧 tomcat_oracle mysql
每一行命令都是用分号(;)作为结束对于MySQL，第一件你必须牢记的是它的每一行命令都是用分号(;)作为结束的，但当一行MySQL被插入在PHP代码中时，最好把后面的分号省略掉，例如： mysql_query("INSERT INTO tablename(first_name,last_name)VALUES('$first_name',$last_name')");
zoj 3820 Building Fire Stations(二分+bfs) 阿尔萨斯 Build
题目链接：zoj 3820 Building Fire Stations 题目大意：给定一棵树，选取两个建立加油站，问说所有点距离加油站距离的最大值的最小值是多少，并且任意输出一种建立加油站的方式。解题思路：二分距离判断，判断函数的复杂度是o(n)，这样的复杂度应该是o(nlogn)，即使常数系数偏大，但是居然跑了4.5s，也是醉了。判断函数里面做了3次bfs，但是每次bfs节点最多

按字母分类： A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 其他

序号	主机	IP	主机名	用户名	密码
1	Baidu Cloud	180.76.96.39 公 192.168.0.4 私	Hadoop2	root	***
2	Alibaba Cloud	47.101.62.158 公 172.19.46.110 私	Hadoop1	root	***
3	Tencent Cloud	132.232.131.91 公 172.27.0.13 私	Hadoop3	root	***

序号	主机	IP	主机名	用户名	密码
1	Baidu Cloud	180.76.96.39 公 192.168.0.4 私	Hadoop2	root	***
2	Alibaba Cloud	47.101.62.158 公 172.19.46.110 私	Hadoop1	root	***
3	Tencent Cloud	132.232.131.91 公 172.27.0.13 私	Hadoop3	root	***

平台环境部署的相关大数据

目录

一、服务器使用

二、环境准备

三、Hadoop3.1.1 集群环境安装

四、Zookeeper 集群安装部署

五、Hbase 完全分布式安装

六、Hive安装

七、Scala安装

八、Spark安装

九、Sqoop安装

十、flume安装

你可能感兴趣的:(腾讯云,服务器,云计算)