会飞的蜗牛66666
会飞的蜗牛66666

ambari安装，适配任何ambari版本

目前大数据集群开源的主要是ambari和CDH，下面我来介绍下如何安装ambari：
一、基础环境插件安装
yum clean all
yum makecache
升级openssl
yum install -y openssl
yum -y install ruby*
yum -y install redhat-lsb*
yum -y install snappy*
yum -y install gcc(如果没有就要装)
配置映射关系:


ambari安装，适配任何ambari版本_第1张图片
image.png

安装jdk，过程就不赘叙了：
vi /etc/profile 加到末尾

SET JAVA HOME

export JAVA_HOME=/usr/java/jdk1.8.0_74
export JSTORM_HOME=/usr/hdp/2.6.2.0-205/jstorm-2.2.1
export PATH=PATH:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

关闭防火墙
service iptables stop
chkconfig iptables off


ambari安装，适配任何ambari版本_第2张图片
image.png

禁用selinux，vi /etc/selinux/config,按照图示修改：

ambari安装，适配任何ambari版本_第3张图片
image.png

查看selinux的状态
/usr/sbin/sestatus -v
disabled即关闭状态
image.png

如果没关闭，则用如下命令关闭，不用重启机器
setenforce 0

二、各节点之间配置相互免密登录
关闭Linux的THP服务

vim /etc/rc.local

ambari安装，适配任何ambari版本_第4张图片
image.png

添加：
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
exit 0


ambari安装，适配任何ambari版本_第5张图片
image.png

echo never > /sys/kernel/mm/transparent_hugepage/enabled

检查：有[never]则表示THP被禁用

cat /sys/kernel/mm/transparent_hugepage/enabled

配置免密
如果没有生成密钥的要生成一下
ssh-keygen


ambari安装，适配任何ambari版本_第6张图片
image.png

ssh-copy-id ip地址


ambari安装，适配任何ambari版本_第7张图片
image.png

安装ntpd服务，主要用来服务器之间的时间同步
yum install -y ntpd

制作本地yum源
i.将如下3个包拷贝到集群的某一台机器上，并解压缩到/var/www/html目录下ambari-2.5.2-centos7.tar.gz，HDP-2.6.2.0-centos7-rpm.tar.gz，HDP-UTILS-1.1.0.20-centos7.tar.gz
ii.yum配置
解压HDP-UTILS-1.1.0.20-centos6.tar.gz 到目录 /var/www/html/ambari
tar zxvf HDP-UTILS-1.1.0.20-centos6.tar.tar -C /var/www/html/ambari
同理，把ambari-2.5.2-centos7.tar.gz目录拷贝到目录 /var/www/html/ambari
安装本地源制作工具yum install yum-utils createrepo
进入/var/www/html/ambari 目录，执行命令：createrepo ./
ambari本地源制作完成
同理，把HDP-2.6.2.0-centos7-rpm.tar.gz目录拷贝到目录 /var/www/html/hdp
进入/var/www/html/hdp 目录，执行命令：createrepo ./
hadoop本地源制作完成

配置yum源
cd /etc/yum.repos.d

ambari安装，适配任何ambari版本_第8张图片
image.png

vi ambari.repo
[ambari-2.2.1.]
name=Ambari 2.5.2
baseurl= http://master地址/ambari/
gpgcheck=0
enabled=1
[HDP-UTILS-1.1.0.20]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.20
baseurl= http://master地址/ambari/
gpgcheck=0
enabled=1

vi HDP.repo
[HDP-2.6]
name=HDP-2.6
baseurl=http://master地址/hdp/

path=/
enabled=1

vi HDP-UTILS.repo
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS-1.1.0.21
baseurl=http://master地址/ambari/

path=/
enabled=1

至此yum源已经配置好了

master节点安装httpd
yum install -y httpd
若出现目录信息，且工作目录默认在/var/www/html
http服务使用80端口，检查端口是否占用

netstat -nltp | grep 80

如果有占用情况，安装完毕后需要修改http服务的端口号

sudo vim /etc/httpd/conf/httpd.conf

修改监听端口，Listen 80为其他端口


ambari安装，适配任何ambari版本_第9张图片
image.png

同时打开http://master地址/ambari/
http://master地址/hdp/ 这2个网址，看能否显示如下内容：

ambari安装，适配任何ambari版本_第10张图片
image.png

ambari安装，适配任何ambari版本_第11张图片
image.png

显示即为成功了，不显示可能是httpd没有启动，service httpd start启动下。
或者是baseurl设置的不对，baseurl的ip为ambari-server所在的机器。
如果显示yum源连接拒绝或者403forbidden，哪是因为apache用户没有访问权限chown -R apache:apache www 赋予权限即可

安装mysql
yum install mysql
安装mysql服务端
yum install -y mysql-server
yum install -y mysql-devel
i. mysql相关设置:

设置字符集

SET NAMES 'utf8';

set character_set_database=utf8;

set character_set_server=utf8;

查看字符集

SHOW VARIABLES LIKE 'character%';

ambari安装，适配任何ambari版本_第12张图片
image.png

看到字符集设置成utf-8了

service mysqld start

但是启动以后再查看，字符集还是latin1，治标不治疗本

vi /etc/my.conf

在[mysqld]上面加下面的话

[client]

default-character-set=utf8

在[mysqld]最下面加下面的话

default-storage-engine=INNODB

character-set-server=utf8

collation-server=utf8_general_ci

重启mysql

service mysqld restart

image.png

SHOW VARIABLES LIKE 'character%';

ambari安装，适配任何ambari版本_第13张图片
image.png

修改数据库的字符集

库名:test

ALTER DATABASE hive DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

修改表的字符集

student为表

ALTER TABLE student DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

设置账号和密码

mysqladmin -u root password root

检查mysql是否为开机启动

chkconfig --list | grep mysqld

image.png

mysql未开机启动，需要开机启动

chkconfig mysqld on

再次chkconfig --list | grep mysqld检查一下状态

image.png

进入mysql

mysql -uroot -proot

如果想改密码，则进行下面操作。

UPDATE user SET Password=PASSWORD('root') where USER='root';

FLUSH PRIVILEGES;

进入mysql，查看是否能进行增删改查等相关操作。

ii. 登录mysql创建ambari、hive、oozie的资料库:

  1. ambari for mysql 配置

CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';

GRANT ALL PRIVILEGES ON . TO 'ambari'@'%';

CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';

GRANT ALL PRIVILEGES ON . TO 'ambari'@'localhost';

CREATE USER 'ambari'@'node1' IDENTIFIED BY 'ambari';

GRANT ALL PRIVILEGES ON . TO 'ambari'@'node1';

Create database ambari;

设置ambari的登录密码:

UPDATE user SET Password=PASSWORD('ambari') where USER='ambari';

FLUSH PRIVILEGES;

说明：node1是安装ambari Server所在的机器。

  1. hive for mysql 配置

CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON . TO 'hive'@'localhost';

CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON . TO 'hive'@'%';

CREATE USER 'hive'@'node2' IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON . TO 'hive'@'node2';

FLUSH PRIVILEGES;

CREATE DATABASE hive;

UPDATE user SET Password=PASSWORD('root') where USER='hive';

FLUSH PRIVILEGES;

说明：'node2' 是安装Hive Metastore元数据的机器。

  1. root设置

GRANT ALL PRIVILEGES ON . TO root@'%' identified by 'root';

FLUSH PRIVILEGES;

oozie用户设置

CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie';

GRANT ALL PRIVILEGES ON . TO 'oozie'@'%';

FLUSH PRIVILEGES;

三、Ambari 安装
清空缓存
yum clean all
提高安装软件的速度
yum makecache
安装ambari-master
yum install ambari-server
ambari-server 配置
ambari-server setup
直接回车，并且默认指定 ambari Server 的运行用户为 root

选择3，自定义已经安装JDK路径：/usr/java/jdk1.7.0_67


ambari安装，适配任何ambari版本_第14张图片
image.png

默认高级数据库配置，在这里输入3：(建议输入1采用默认的)


ambari安装，适配任何ambari版本_第15张图片
image.png

默认设置了ambari GUI 的登录用户为 admin/admin。并且指定 ambari Server 的运行用户为 root
ambari-server 启动：
ambari-server start
注意：这里启动不了大多与DB连接驱动有关：
yum install mysql-connector-java或者将驱动包放在/usr/share/java下
加载驱动进ambari的设置中
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector
-java-5.1.17.jar
另外，安装ambari-server的机器上要安装mysql客户端
确保安装mysql的机器上有ambari库，ambari库里面有相对应的表


ambari安装，适配任何ambari版本_第16张图片
image.png

如果没有ambari这个库，就需要做第三步中1.#ambari for mysql 配置的步骤了。
同时还需要进行如下操作：将表加载到ambari中

进入ambari-server所安装的机器cd /var/lib/ambari-server/resources
如果元数据库跟ambari-server在同一个节点：
进入元数据库
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
完成后退出，再次启动ambari-server
ambari-server start
如果不在同一个节点上：
进入ambari-server所安装的机器vi /var/lib/ambari-server/resources
vi Ambari-DDL-MySQL-CREATE.sql
在sql的最开头加上use ambari;
然后在安装mysql所在的机器上执行如下sql：
mysql -h master节点 -uambari -pambari

ambari-agent 安装【所有节点】
yum install ambari-agent
启动：ambari-agent
/etc/init.d/ambari-agent start
如果某一台机器上的agent启动失败，可进行如下操作:
yum remove ambari-agent
同时清空/var/下的资料，再次yum下载ambari-agent
yum install ambari-agent
再次启动agent
/etc/init.d/ambari-agent start
显示ambari-agent started即表示成功了，那么可以安装组件了。

四、集群管理平台的创建
登录：http://master地址:8080 用户名:admin 密码：admin
创建集群：

ambari安装，适配任何ambari版本_第17张图片
image.png

选择hdp的安装版本:
ambari安装，适配任何ambari版本_第18张图片
image.png

并添加yum源的所在的路径
http://master地址/ambari/
http://master地址/hdp/
ambari安装，适配任何ambari版本_第19张图片
image.png

添加节点：cat /etc/hosts里面映射的名字
ambari安装，适配任何ambari版本_第20张图片
image.png

ambari安装，适配任何ambari版本_第21张图片
image.png

如果连不上，看下hostname是否配置正确了。
cat /etc/ambari-agent/conf/ambari-agent.ini
然后查查日志ambari-server.out
选择安装的组件：
ambari安装，适配任何ambari版本_第22张图片
image.png

服务分配：
ambari安装，适配任何ambari版本_第23张图片
image.png

分配完毕后开始进行安装，此处时间会比较长，请耐心等待。

常见的问题集锦
i.ambari-server无法启动的问题
原因：没有正确的配置ambari和hive用户和库导致连接失败，或者是没有加载mysql驱动到设置中。
解决方案：
加载mysql驱动到ambari-setup中ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.17.jar
其次，检查mysql安装的机器上是否有ambari,hive用户和库，如果没有，需要重复之前的动作建库和用户
最后，需要检查ambari库里面是否有相关联的表，没有就需要加载进去
ii.部分ambari-agent启动失败的问题
原因：ambari-agent启动失败是因为之前启动过ambari，但是失败了进行重构时，没有清理干净造成
方案如下：
ambari-agent stop
ambari-server stop
yum remove ambari-agent
卸载安装的软件：
yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop* atlas-metadata* ambari* postgresql spark*
检查一下
yum list | grep @HDP
删除postgresql的数据：
rm -rf /var/lib/pgsql
删除用户：ambari会自动创建一些用户，清除集群时有必要清除这些用户，并删除对应的文件夹，避免造成权限问题。
具体操作见:http://blog.csdn.net/wk022/article/details/49278419
完毕以后，重新安装agent并启动就可以了。
yum install ambari-agent
ambari-agent start
iii.安装hive的时候，hive元数据启动不了

ambari安装，适配任何ambari版本_第24张图片
image.png

原因：安装hive的时候填写的登录密码不正确
方案：初始化hive的密码为输入的密码即可。
UPDATE user SET Password=PASSWORD('hive') where USER='hive';
重装ambari集群的时候，一定要把mysql表中ambari的信息给清空掉，最好是换台机器装mysql

iv.启动yarn和hbase的时候显示No such file or directory: '/usr/hdp/current/hadoop-client/conf'而报错
原因：软链接与hadoop安装地址掉了，吧软链接增加上去即可
ln -s /usr/hdp/current/hadoop-client/conf /etc/hadoop/conf

五、Ambari节点的增加与删除
i.ambari节点的增加
打开ambari页面，点击hosts，进入到hosts操作页面，点击add new hosts
如下图所示：


ambari安装，适配任何ambari版本_第25张图片
image.png

填写待增加节点的别名以及主节点的私钥，如下图所示：


ambari安装，适配任何ambari版本_第26张图片
image.png

后续的步骤就是依次安装组件，前面有讲解过，就不赘言了
ii.Ambari下线节点
点击hosts进入到所有节点展示页面，点击需要删除的节点，如红色框所示
ambari安装，适配任何ambari版本_第27张图片
image.png

进入该节点以后，必须先停止该节点下的所有服务，点击左边红色框内的delete
ambari安装，适配任何ambari版本_第28张图片
image.png

最后记得停止该节点的ambari-agent，下线节点完毕，hdfs重新rebalance一下


ambari安装，适配任何ambari版本_第29张图片
image.png

iii.ambari卸载某个节点的服务
如上一样，还是点击hosts，然后选中需要下线服务的节点，进入到该节点的服务列表，停止该服务，然后点击delete即可，这个时候ambari会提示要重启关联的组件，重启一下需要重启的组件即可。

关于安装ambari2.7版本以上的yum配置
将下载的3个包全部解压到/var/www/html目录下
分别进入ambari和HDP下修改ambari.repo和hdp.repo的配置文件信息，然后cp到/etc/yum.respo下
信息如下:
ambari.repo

VERSION_NUMBER=2.7.3.0-139

[ambari-2.7.3.0]

json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json

name=ambari Version - ambari-2.7.3.0
baseurl=http://172.16.1.89/ambari/centos7/2.7.3.0-139
gpgcheck=0
gpgkey=http://172.16.1.89/ambari/centos7/2.7.3.0-139/RPM-GPG-KEY
enabled=1
priority=1

hdp.repo

VERSION_NUMBER=3.0.1.0-187

[HDP-3.0.1.0]
name=HDP Version - HDP-3.0.1.0
baseurl=http://172.16.1.89/HDP/centos7/3.0.1.0-187/
gpgcheck=0
gpgkey=http://172.16.1.89/HDP/centos7/3.0.1.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://172.16.1.89/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=0
gpgkey=http://172.16.1.89/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/
enabled=1
priority=1

③ 编辑 /etc/python/cert-verification.cfg 配置文件，将 [https] 节的 verify 项设为禁用：

[root@ambari ~]# vi /etc/python/cert-verification.cfg
# Possible values are:
# 'enable' to ensure HTTPS certificate verification is enabled by default
# 'disable' to ensure HTTPS certificate verification is disabled by default
# 'platform_default' to delegate the decision to the redistributor providing this particular Python version

# For more info refer to https://www.python.org/dev/peps/pep-0493/
[https]
verify=disable

保存退出。

sed -i 's/verify=platform_default/verify=disable/ g' /etc/python/cert-verification.cfg

④ 编辑 /etc/ambari-agent/conf/ambari-agent.ini 配置文件，在 [security] 节部分，确保设置如下两个值，其它值保持不变：

[root@ambari ~]# vi /etc/ambari-agent/conf/ambari-agent.ini

[security]
ssl_verify_cert=0
force_https_protocol=PROTOCOL_TLSv1_2

sed -i '/ssl_verify_cert=0/a force_https_protocol=PROTOCOL_TLSv1_2' /etc/ambari-agent/conf/ambari-agent.ini
保存退出，重启 ambari-agent：

[root@ambari ~]# ambari-agent restart

你可能感兴趣的:(ambari安装，适配任何ambari版本)

  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • swagger访问路径 igotyback swagger
    Swagger2.x版本访问地址：http://{ip}:{port}/{context-path}/swagger-ui.html{ip}是你的服务器IP地址。{port}是你的应用服务端口，通常为8080。{context-path}是你的应用上下文路径，如果应用部署在根路径下，则为空。Swagger3.x版本对于Swagger3.x版本（也称为OpenAPI3）访问地址：http://{ip
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • linux sdl windows.h,Windows下的SDL安装 奔跑吧linux内核 linuxsdlwindows.h
    首先你要下载并安装SDL开发包。如果装在C盘下，路径为C:\SDL1.2.5如果在WINDOWS下。你可以按以下步骤：1.打开VC++，点击"Tools",Options2,点击directories选项3.选择"Includefiles"增加一个新的路径。"C:\SDL1.2.5\include"4，现在选择"Libaryfiles“增加"C:\SDL1.2.5\lib"现在你可以开始编写你的第
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • 使用LLaVa和Ollama实现多模态RAG示例 llzwxh888 python人工智能开发语言
    本文将详细介绍如何使用LLaVa和Ollama实现多模态RAG（检索增强生成），通过提取图像中的结构化数据、生成图像字幕等功能来展示这一技术的强大之处。安装环境首先，您需要安装以下依赖包：!pipinstallllama-index-multi-modal-llms-ollama!pipinstallllama-index-readers-file!pipinstallunstructured!p
  • GitHub上克隆项目 bigbig猩猩 github
    从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
  • webpack图片等资源的处理 dmengmeng
    需要的loaderfile-loader（让我们可以引入这些资源文件）url-loader（其实是file-loader的二次封装）img-loader（处理图片所需要的）在没有使用任何处理图片的loader之前，比如说css中用到了背景图片，那么最后打包会报错的，因为他没办法处理图片。其实你只想能够使用图片的话。只加一个file-loader就可以，打开网页能准确看到图片。{test:/\.(p
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【华为OD技术面试真题 - 技术面】-测试八股文真题题库（1） 算法大师 华为od面试python算法前端
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.黑盒测试和白盒测试的区别2.假设我们公司现在开发一个类似于微信的软件1.0版本，现在要你测试这个功能：打开聊天窗口，输入文本，限制字数在200字以内。问你怎么提取测试点。功能测试性能测试安全性测试可用性测试跨平台兼容性测试网络环境测试3.接口测试的工具你了解哪些
  • 第六集如何安装CentOS7.0，3分钟学会centos7安装教程 date分享
    从光盘引导系统按回车键继续进入引导程序安装界面，选择语言这里选择简体中文版点击继续选择桌面安装下面给系统分区选择磁盘，点击完成选择基本分区，点击加号swap分区,大小填内存的两倍在选择根分区，使用所有可用的磁盘空间选择文件系统ext4点击完成，点击开始安装设置root密码，点击完成设置普通用户和密码，点击完成整个过程持续八分钟左右根据个人配置不同，时间长短不同好，现在点击重启系统进入重启状态点击本
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 01-Git初识 Meereen Gitgit
    01-Git初识概念：一个免费开源，分布式的代码版本控制系统，帮助开发团队维护代码作用：记录代码内容。切换代码版本，多人开发时高效合并代码内容如何学：个人本机使用：Git基础命令和概念多人共享使用：团队开发同一个项目的代码版本管理Git配置用户信息配置：用户名和邮箱，应用在每次提交代码版本时表明自己的身份命令：查看git版本号git-v配置用户名gitconfig--globaluser.name
  • 展现思维导图魅力，不断挖掘人生宝藏 思维导图讲师Mandy
    第13期最强思维导图训练营已经结束一周了，但是我依旧是感觉所有学员还在努力的学习，这些学员中有教师、学生、白领、公务员、宝妈等等，只要你努力，只要你想改变自己，任何行业，任何岗位都可以参与进来，28天足以让你见成效，在这28天中，我们的学员不仅仅是收获了一枚毕业证，最重要的是让自己的思维方式得到升级，今天的你为自己投资，明天的你就会感谢你今天的付出，我们来听一听来自13期最强思维导图训练营优秀学员
  • 2019-05-13 王健_100a
    【撒下18:2】大卫打发军兵出战，分为三队：一队在约押手下，一队在洗鲁雅的儿子约押兄弟亚比筛手下，一队在迦特人以太手下。大卫对军兵说：“我必与你们一同出战。”解释：大卫检阅部队，将它分成三队，每队由一位元帅统领；约押与兄弟亚比筛，并迦特人以太共同指挥。大卫想与他们一同出战！应用：作为领袖与军兵一起出战是很重要。领袖在事奉中与信徒一起，领袖在任何的环境里与信徒一起走过。我们要同心协力为主而战。祷告：
  • 这个世界为何对女性这么苛刻 遇见知见
    图片发自App当今社会的女性，简直用金刚侠来形容都不为过。虽然早已过了男尊女卑的时代，但是这个世界并没有平等的对待女性。新时代的女性标准：上得了厅堂，下得了厨房，杀得了木马，翻得了围墙，开得起好车，买得起新房，斗得过二奶，打得过流氓，生得了孩子，养得了家庭。这个社会对女性有太多的不公平，既要求女性经济独立，又要求女性贤良淑德。所有的女性的在成长过程中没有任何一项是因为你是女性而给你开绿灯的。图片发
  • Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQLOracleMariaDBLinuxWindowsssllinuxmariadb
    进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
  • 【六】阿伟开始搭建Kafka学习环境 能源恒观 中间件学习kafkaspring
    阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
  • ExpRe[25] bash外的其它shell：zsh和fish tritone ExpRebashlinuxubuntushell
    文章目录zsh基础配置实用特性插件`autojump`语法高亮自动补全fish优点缺点时效性本篇撰写时间为2021.12.15，由于计算机技术日新月异，博客中所有内容都有时效和版本限制，具体做法不一定总行得通，链接可能改动失效，各种软件的用法可能有修改。但是其中透露的思想往往是值得学习的。本篇前置：ExpRe[10]Ubuntu[2]准备神秘软件、备份恢复软件https://www.cnblogs
  • openssl+keepalived安装部署 _小亦_ 项目部署keepalivedopenssl
    文章目录OpenSSL安装下载地址编译安装修改系统配置版本Keepalived安装下载地址安装遇到问题安装完成配置文件keepalived运行检查运行状态查看系统日志修改服务service重新加载systemd检查配置文件语法错误OpenSSL安装下载地址考虑到后面设备可能没法连接到外网，所以采用安装包的方式进行部署，下载地址：https://www.openssl.org/source/old/
  • 最超值的Mac——Mac mini 初心么么哒
    你知道最超值的Mac是什么吗？自2005年以来，Macmini一直是Apple台式机产品线中的主要产品。最初推出是为了让对Mac好奇的Mac进入Apple生态系统的一种简单方式，现在新的AppleSiliconMacmini可能是任何寻找新Mac的人的最有吸引力的购买。什么是AppleSiliconMacmini？M1Macmini是Apple最小的台式电脑，同时也是最快的台式电脑之一。最新型号由
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解 秋刀prince mysqlmysql数据库
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven Energet!c 开发语言
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • 【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linuxlinux运维服务器
    归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
  • CentOS 7官方源停服，配置本机光盘yum源 码哝小鱼 linux运维centoslinux运维
    1、挂载系统光盘mkdir/mnt/isomount-oloop/tools/CentOS-7-x86_64-DVD-1810.iso/mnt/isocd/mnt/iso/Packages/rpm-ivh/mnt/iso/Packages/yum-utils-1.1.31-50.el7.noarch.rpm(图形界面安装，默契已安装）如安装yum-utils依赖错误，按提示安装依赖包rpm-ivh
  • 【六项精进】20180930 Kinnfoo
    一、学习与实践1.付出不亚于任何人的努力2.要谦虚，不要骄傲3.要每天反省4.活着，就要感谢5.积善行，思利他6.不要有感性的烦恼二、今日分享今天是9月的最后一个工作日，每个支行都在拼命地冲刺业绩，刚好今天同桌休假了，我就替他审核客户。一个上午就进件了6个客户，审核通过5个。这5个审核通过的客户里，1个因费率没谈拢而放弃，1个因车上发现GPS而被拒单，最终确认可放款的只有3个客户。感叹支行同事的不
  • github中多个平台共存 jackyrong github
    在个人电脑上，如何分别链接比如oschina,github等库呢，一般教程之列的，默认 ssh链接一个托管的而已，下面讲解如何放两个文件 1） 设置用户名和邮件地址 $ git config --global user.name "xx" $ git config --global user.email "[email protected]"
  • ip地址与整数的相互转换(javascript) alxw4616 JavaScript
    //IP转成整型 function ip2int(ip){ var num = 0; ip = ip.split("."); num = Number(ip[0]) * 256 * 256 * 256 + Number(ip[1]) * 256 * 256 + Number(ip[2]) * 256 + Number(ip[3]); n
  • 读书笔记-jquey+数据库+css chengxuyuancsdn htmljqueryoracle
    1、grouping ,group by rollup, GROUP BY GROUPING SETS区别 2、$("#totalTable tbody>tr td:nth-child(" + i + ")").css({"width":tdWidth, "margin":"0px", &q
  • javaSE javaEE javaME == API下载 Array_06 java
    oracle下载各种API文档： http://www.oracle.com/technetwork/java/embedded/javame/embed-me/documentation/javame-embedded-apis-2181154.html JavaSE文档： http://docs.oracle.com/javase/8/docs/api/ JavaEE文档： ht
  • shiro入门学习 cugfy javaWeb框架
    声明本文只适合初学者，本人也是刚接触而已，经过一段时间的研究小有收获，特来分享下希望和大家互相交流学习。 首先配置我们的web.xml代码如下，固定格式，记死就成 <filter>         <filter-name>shiroFilter</filter-name> &nbs
  • Array添加删除方法 357029540 js
         刚才做项目前台删除数组的固定下标值时，删除得不是很完整，所以在网上查了下，发现一个不错的方法，也提供给需要的同学。 //给数组添加删除             Array.prototype.del = function(n){
  • navigation bar 更改颜色 张亚雄 IO
    今天郁闷了一下午，就因为objective-c默认语言是英文，我写的中文全是一些乱七八糟的样子，到不是乱码，但是，前两个自字是粗体，后两个字正常体，这可郁闷死我了，问了问大牛，人家告诉我说更改一下字体就好啦，比如改成黑体，哇塞，茅塞顿开。       翻书看，发现，书上有介绍怎么更改表格中文字字体的，代码如下    
  • unicode转换成中文 adminjun unicode编码转换
      在Java程序中总会出现\u6b22\u8fce\u63d0\u4ea4\u5fae\u535a\u641c\u7d22\u4f7f\u7528\u53cd\u9988\uff0c\u8bf7\u76f4\u63a5这个的字符，这是unicode编码，使用时有时候不会自动转换成中文就需要自己转换了使用下面的方法转换一下即可。 /** * unicode 转换成 中文
  • 一站式 Java Web 框架 firefly aijuans Java Web
    Firefly是一个高性能一站式Web框架。 涵盖了web开发的主要技术栈。 包含Template engine、IOC、MVC framework、HTTP Server、Common tools、Log、Json parser等模块。 firefly-2.0_07修复了模版压缩对javascript单行注释的影响，并新增了自定义错误页面功能。 更新日志： 增加自定义系统错误页面功能
  • 设计模式——单例模式 ayaoxinchao 设计模式
    定义          Java中单例模式定义：“一个类有且仅有一个实例，并且自行实例化向整个系统提供。”   分析          从定义中可以看出单例的要点有三个：一是某个类只能有一个实例；二是必须自行创建这个实例；三是必须自行向系统提供这个实例。   &nb
  • Javascript 多浏览器兼容性问题及解决方案 BigBird2012 JavaScript
    不论是网站应用还是学习js,大家很注重ie与firefox等浏览器的兼容性问题，毕竟这两中浏览器是占了绝大多数。 一、document.formName.item(”itemName”) 问题 问题说明：IE下，可以使用 document.formName.item(”itemName”) 或 document.formName.elements ["elementName&quo
  • JUnit-4.11使用报java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing错误 bijian1013 junit4.11单元测试
            下载了最新的JUnit版本，是4.11，结果尝试使用发现总是报java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing这样的错误，上网查了一下，一般的解决方案是，换一个低一点的版本就好了。还有人说，是缺少hamcrest的包。去官网看了一下，如下发现：    
  • [Zookeeper学习笔记之二]Zookeeper部署脚本 bit1129 zookeeper
    Zookeeper伪分布式安装脚本(此脚本在一台机器上创建Zookeeper三个进程，即创建具有三个节点的Zookeeper集群。这个脚本和zookeeper的tar包放在同一个目录下，脚本中指定的名字是zookeeper的3.4.6版本，需要根据实际情况修改)：   #!/bin/bash #!!!Change the name!!! #The zookeepe
  • 【Spark八十】Spark RDD API二 bit1129 spark
    coGroup package spark.examples.rddapi import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.SparkContext._ object CoGroupTest_05 { def main(args: Array[String]) { v
  • Linux中编译apache服务器modules文件夹缺少模块(.so)的问题 ronin47 modules
    在modules目录中只有httpd.exp，那些so文件呢？ 我尝试在fedora core 3中安装apache 2. 当我解压了apache 2.0.54后使用configure工具并且加入了 --enable-so 或者 --enable-modules=so (两个我都试过了) 去make并且make install了。我希望在/apache2/modules/目录里有各种模块，
  • Java基础-克隆 BrokenDreams java基础
            Java中怎么拷贝一个对象呢？可以通过调用这个对象类型的构造器构造一个新对象，然后将要拷贝对象的属性设置到新对象里面。Java中也有另一种不通过构造器来拷贝对象的方式，这种方式称为 克隆。         Java提供了java.lang.
  • 读《研磨设计模式》-代码笔记-适配器模式-Adapter bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 适配器模式解决的主要问题是，现有的方法接口与客户要求的方法接口不一致 * 可以这样想，我们要写这样一个类（Adapter）: * 1.这个类要符合客户的要求 ---> 那显然要
  • HDR图像PS教程集锦&心得 cherishLC PS
    HDR是指高动态范围的图像，主要原理为提高图像的局部对比度。 软件有photomatix和nik hdr efex。 一、教程 叶明在知乎上的回答： http://www.zhihu.com/question/27418267/answer/37317792 大意是修完后直方图最好是等值直方图，方法是HDR软件调一遍，再结合不透明度和蒙版细调。 二、心得 1、去除阴影部分的
  • maven-3.3.3 mvn archetype 列表 crabdave ArcheType
    maven-3.3.3 mvn archetype 列表 可以参考最新的：http://repo1.maven.org/maven2/archetype-catalog.xml   [INFO] Scanning for projects... [INFO]                
  • linux shell 中文件编码查看及转换方法 daizj shell中文乱码vim文件编码
    一、查看文件编码。     在打开文件的时候输入:set fileencoding     即可显示文件编码格式。 二、文件编码转换     1、在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式       &
  • MySQL--binlog日志恢复数据 dcj3sjt126com binlog
    恢复数据的重要命令如下 mysql> flush logs; 默认的日志是mysql-bin.000001，现在刷新了重新开启一个就多了一个mysql-bin.000002                  
  • 数据库中数据表数据迁移方法 dcj3sjt126com sql
    刚开始想想好像挺麻烦的，后来找到一种方法了，就SQL中的 INSERT 语句，不过内容是现从另外的表中查出来的，其实就是 MySQL中INSERT INTO SELECT的使用   下面看看如何使用   语法：MySQL中INSERT INTO SELECT的使用 1. 语法介绍       有三张表a、b、c，现在需要从表b
  • Java反转字符串 dyy_gusi java反转字符串
           前几天看见一篇文章，说使用Java能用几种方式反转一个字符串。首先要明白什么叫反转字符串，就是将一个字符串到过来啦，比如"倒过来念的是小狗"反转过来就是”狗小是的念来过倒“。接下来就把自己能想到的所有方式记录下来了。 1、第一个念头就是直接使用String类的反转方法，对不起，这样是不行的，因为Stri
  • UI设计中我们为什么需要设计动效 gcq511120594 UIlinux
    随着国际大品牌苹果和谷歌的引领，最近越来越多的国内公司开始关注动效设计了，越来越多的团队已经意识到动效在产品用户体验中的重要性了，更多的UI设计师们也开始投身动效设计领域。 但是说到底，我们到底为什么需要动效设计？或者说我们到底需要什么样的动效？做动效设计也有段时间了，于是尝试用一些案例，从产品本身出发来说说我所思考的动效设计。 一、加强体验舒适度 嗯，就是让用户更加爽更加爽的用
  • JBOSS服务部署端口冲突问题 HogwartsRow java应用服务器jbossserverEJB3
    服务端口冲突问题的解决方法，一般修改如下三个文件中的部分端口就可以了。   1、jboss5/server/default/conf/bindingservice.beans/META-INF/bindings-jboss-beans.xml   2、./server/default/deploy/jbossweb.sar/server.xml   3、.
  • 第三章 Redis/SSDB+Twemproxy安装与使用 jinnianshilongnian ssdbreidstwemproxy
    目前对于互联网公司不使用Redis的很少，Redis不仅仅可以作为key-value缓存，而且提供了丰富的数据结果如set、list、map等，可以实现很多复杂的功能；但是Redis本身主要用作内存缓存，不适合做持久化存储，因此目前有如SSDB、ARDB等，还有如京东的JIMDB，它们都支持Redis协议，可以支持Redis客户端直接访问；而这些持久化存储大多数使用了如LevelDB、RocksD
  • ZooKeeper原理及使用 liyonghui160com
               ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper
  • 程序员解决问题的60个策略 pda158 框架工作单元测试
    根本的指导方针 1. 首先写代码的时候最好不要有缺陷。最好的修复方法就是让 bug 胎死腹中。 良好的单元测试 强制数据库约束 使用输入验证框架 避免未实现的“else”条件 在应用到主程序之前知道如何在孤立的情况下使用   日志 2. print 语句。往往额外输出个一两行将有助于隔离问题。 3. 切换至详细的日志记录。详细的日
  • Create the Google Play Account sillycat Google
    Create the Google Play Account Having a Google account, pay 25$, then you get your google developer account. References: http://developer.android.com/distribute/googleplay/start.html https://p
  • JSP三大指令 vikingwei jsp
    JSP三大指令   一个jsp页面中，可以有0~N个指令的定义！ 1. page --> 最复杂：<%@page language="java" info="xxx"...%>   * pageEncoding和contentType：     > pageEncoding：它
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他