茄子啊
茄子啊

Haproxy搭建Web群集（含Haproxy+Keepalived高可用群集）

目录

  • 一、常见的Web集群调度器
  • 二、Haproxy应用分析
  • 三、Haproxy调度算法原理
    • 1.RR(Round Robin)
    • 2.LC(Least Connections)
    • 3.SH(Source Hashing)
  • 四、Haproxy配置文件详解
    • defaults配置项配置
    • 2.Listen配置项目一般为配置应用模块参数
  • 五、 Haproxy参数优化
  • 六、Haproxy日志管理
  • 七、案例：使用Haproxy搭建Web群集
    • 环境要求
    • 步骤分析
      • 1.在两台网站服务器上安装Nginx，并启动服务
      • 2.在负载均衡器上安装Haproxy
    • Haproxy搭建Web群集
      • 1.NFS共享存储服务器配置
      • 2.nginx服务器
      • 3.Haproxy服务器
      • 4.访问测试
  • 八、日志定义
  • 九、统计页面设置
  • 十、案例：Haroxy+Keepalived高可用群集
      • 主调度服务器
      • 配置keepalived服务健康检查脚本
      • 备用调度服务器

一、常见的Web集群调度器

常见的Web集群调度器分为软件和硬件
软件通常使用开源的LVS、Haproxy、nginx
硬件一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等

二、Haproxy应用分析

  • LVS在企业应用中抗负载能力很强，但存在不足——（工作在四层）
    LVS不支持正则处理，不能实现动静分离
    对于大型网站，LVS的实施配置复杂，维护成本相对较高
  • Haproxy是一款可提供高可用、负载均衡、及基于TCP和HTTP应用的代理的软件——（工作在四层和七层）
    使用于负载大的Web站点
    运行在硬件上可支持数以万计的并发连接的连接请求

三、Haproxy调度算法原理

Haproxy支持多种调度算法，最常用的有三种

1.RR(Round Robin)

RR算法是最简单最常用的一种算法，即轮询调度
理解举例
有三个节点A、B、C
第一个用户访问会被指派到节点A
第二个用户访问会被指派到节点B
第三个用户访问会被指派到节点C
第四个用户访问继续指派到节点A，轮询分配访问请求实现负载均衡效果

2.LC(Least Connections)

最小连接数算法，根据后端的节点连接数大小动态分配前端请求
理解举例
有三个节点A、B、C，各节点的连接数分别为A:4、B:5、C:6
第一个用户连接请求，会被指派到A上，连接数变为A:5、B:5、C:6
第二个用户请求会继续分配到A上，连接数变为A:6、B:5、C:6;再有新的请求会分配给B，每次将新的请求指派给连接数最小的客户端
由于实际情况下A、B、C的连接数会动态释放，很难会出现一样连接数的情况
此算法相比较rr算法有很大改进，是目前用到比较多的一种算法

3.SH(Source Hashing)

基于来源访问调度算法，用于一些Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度
理解举例
有三个节点A、B、C，第一个用户第一次访问被指派到了A，第二个用户第一次访问被指派到了B
当第一个用户第二次访问时会被继续指派到A，第二个用户第二次访问时依旧会被指派到B，只要负载均衡调度器不重启，第一个用户访问都会被指派到A，第二个用户访问都会被指派到B，实现群集的调度
此调度算法好处是实现会话保持，但某些IP访问量非常大时会引起负载不均衡，部分节点访问量超大，影响业务使用

四、Haproxy配置文件详解

defaults配置项配置

1.defaults配置项配置默认参数，一般会被应用组件继承
2.如果应用组件中没有特别声明，将按默认配置参数设置

  • log global:定义日志为global配置中的日志定义
  • mode http:模式为http
  • option httplog:采用http日志格式记录日志
  • retries 3:检查节点服务器失败连续达到三次则认为节点不可用
  • maxconn 2000:最大连接数
  • contimeout 5000:连接超时时间（5秒）
  • slitimeout 50000:客户端超时时间（50秒）
  • srvtimeout 50000:服务器超时时间

2.Listen配置项目一般为配置应用模块参数

  • listen appli4-backup 0.0.0.0：10004：定义一个appli4-backup的应用
  • option httpchk /index.html:检查服务器的index.html文件
  • option persist:强制将请求发送到已经down掉的服务器
  • balance roundrobin:负载均衡调度算法使用轮询算法
  • server inst1 192.168.114.56:80 check inter 2000 fall 3:定义在线节点
  • server inst2 192.168.114.57:80 check inter 2000 fall 3 backup： 定义备份节点

五、 Haproxy参数优化

随着企业网站负载增加，haproxy参数优化相当重要

  • maxconn:最大连接数，根据应用实际情况进行调整，推荐使用10240
  • daemon:守护进程模式，Haproxy可以使用非守护进程模式启动，建议使用守护进程模式启动
  • nbproc:负载均衡的并发进程数，建议与当前服务器CPU核数相等或为其2倍
  • retries:重试次数，主要用于对集群节点的检查，如果节点多，且并发量大，设置为2次或3次
  • option http-server-close:主动关闭http请求选项，建议在生产环境中使用此选项
  • timeout http-keep-alive:长连接超时时间，设置长连接超时时间，可以设置为10s
  • timeout http-request:http请求超时时间，建议将此时间设置为5-10s，增加http连接释放速度
  • timeout client:客户端超时时间，如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了

六、Haproxy日志管理

默认是输出到系统的syslog中，生产环境中一般单独定义
定义的方法步骤
修改Haproxy配置文件中关于日志配置的选项，加入配置

[root@haproxy ~]# vi /etc/haproxy/haproxy.cfg
log /dev/log local0 info
log /dev/log local0 notice
[root@haproxy ~]# systemctl restart haproxy 重启服务

修改rsyslog配置，将Haproxy相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d/下
保存配置文件并重启rsyslog服务，完成rsyslog配置
访问Haproxy集群测试网页并查看日志信息

七、案例：使用Haproxy搭建Web群集

环境要求

用1台客户端，三台虚拟服务器模拟搭建一套Web群集

虚拟安装CentOS 7.4的64位系统

主机 IP地址 主要软件
Haproxy服务器 192.168.10.10 haproxy
Nginx服务器1 192.168.10.20 nginx
Nginx服务器2 192.168.10.30 nginx
nfs服务器 192.168.10.40 nfs服务
客户端 192.168.10.80 浏览器

步骤分析

1.在两台网站服务器上安装Nginx，并启动服务

使用源码编译的方式进行安装
关闭Firewalld防火墙
安装基础软件包
增加系统用户账号nginx
编译安装Nginx并启动

在两台Nginx上配置测试网站，注意测试网页的内容应该不同，以便进行测试

2.在负载均衡器上安装Haproxy

安装步骤
安装基础软件包
编译安装haproxy
要注意操作系统版本，是32位系统还是64位
建立Haproxy的配置文件
创建配置文件目录/etc/haproxy
将源码包提供的配置文件样例haproxy.cfg复制到配置文件目录中

Haproxy搭建Web群集

1.NFS共享存储服务器配置

[root@server1 ~]# yum -y install nfs-utils rpcbind
[root@server1 ~]# mkdir /opt/web1
[root@server1 ~]# mkdir /opt/web2
[root@server1 ~]# echo "this is Web1." > /opt/web1/index.html
[root@server1 ~]# echo "this is Web2." > /opt/web2/index.html
[root@server1 ~]# vi /etc/exports
/opt/web1 192.168.10.20/32(ro)
/opt/web2 192.168.10.30/32(ro)
[root@server1 ~]# systemctl start nfs
[root@server1 ~]# systemctl start rpcbind
[root@server1 ~]# showmount -e	#查看本机共享存储发布情况

2.nginx服务器

nginx服务器1

[root@server1 ~]# yum -y install gcc gcc-c++ pcre-devel zlib-devel
[root@server1 ~]# useradd -M -s /sbin/nologin nginx
[root@server1 ~]# tar zxvf nginx-1.12.2.tar.gz
[root@server1 ~]# cd nginx-1.12.2/
[root@server1 ~]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx
[root@server1 ~]# make && make install
[root@server1 ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@server1 ~]# nginx
[root@server1 ~]# nginx -t
[root@server1 ~]# mount 192.168.10.40:/opt/web1 /usr/local/nginx/html/index.html

nginx服务器

[root@server1 ~]# yum -y install gcc gcc-c++ pcre-devel zlib-devel
[root@server1 ~]# useradd -M -s /sbin/nologin nginx
[root@server1 ~]# tar zxvf nginx-1.12.2.tar.gz
[root@server1 ~]# cd nginx-1.12.2/
[root@server1 ~]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx
[root@server1 ~]# make && make install
[root@server1 ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@server1 ~]# nginx
[root@server1 ~]# nginx -t
[root@server1 ~]# mount 192.168.10.40:/opt/web2 /usr/local/nginx/html/index.html

3.Haproxy服务器

[root@server1 ~]# yum -y install gcc gcc-c++ make pcre-devel bzip2-devel
[root@server1 ~]# cd /opt/
[root@server1 opt]# tar zxf haproxy-1.4.24.tar.gz
[root@server1 ~]# cd haproxy-1.4.24/
[root@server1 haproxy-1.4.24]# make TARGET=linux26
[root@server1 haproxy-1.4.24]# make install
[root@server1 haproxy-1.4.24]# mkdir /etc/haproxy
[root@server1 haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/
[root@server1 ~]# vi /etc/haproxy/haproxy.cfg
注释下面
#chroot /usr/share/haproxy
#redispatch

global
        log /dev/log    local0 info              ##日志文件
        log /dev/log    local0 notice
        #log loghost    local0 info
        maxconn 4096
        #chroot /usr/share/haproxy		##注释此项
        uid 99
        gid 99
        daemon		        ##守护进程模式
        #debug
        #quiet
        #nbproc 2		    ##负载均衡并发连接数

defaults
        log     global		    ##定义日志为global配置中的日志定义
        mode    http		       ##模式为http
        option  httplog		         ##采用http日志格式记录日志
        option  dontlognull		
        #option http-server-close	    ##主动关闭http请求选项，建议在生产环境中使用
        retries 3	     ##重试次数，用于对群集节点的检查
        #redispatch			##注释此项
        maxconn 2000		##最大连接数，根据应用实际情况进行调整
        contimeout      5000	    ##连接超时时间（ms）
        clitimeout      50000	    ##客户端超时时间（ms）
        srvtimeout      50000	    ##服务器超时时间（ms）

listen webcluster 0.0.0.0:80	    ##定义一个应用为webcluster
        option httpchk GET /index.html	    ##检查服务器的index.html文件
        balance roundrobin		   ##负载均衡调度算法为轮询rr
        server web1 192.168.10.20:80 check inter 2000 fall 3	   ##服务节点1
        server web2 192.168.10.30:80 check inter 2000 fall 3	   ##服务节点2
        
[root@server1 ~]# cp examples/haproxy.init /etc/init.d/haproxy
[root@server1 ~]# vi /etc/init.d/haproxy
# chkconfig:35 80 83(将-换成35)

[root@server1 ~]# chmod 755 /etc/init.d/haproxy
[root@server1 ~]# chkconfig --add /etc/init.d/haproxy
[root@server1 ~]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@server1 ~]# systemctl start haproxy

4.访问测试

win7访问http://192.168.1.10，多开几个任务（能轮询看到Web1和Web2的主页）
Haproxy搭建Web群集（含Haproxy+Keepalived高可用群集）_第1张图片
Haproxy搭建Web群集（含Haproxy+Keepalived高可用群集）_第2张图片

八、日志定义

[root@server1 ~]# vi /etc/haproxy/haproxy.cfg
需要注释global里的log 127.0.0.1 local0 和 log 127.0.0.1 local0 notice
log /dev/log local0 info
log /dev/log local0 notice
如果程序是haproxy，日志类型是info，就创建日志
[root@server1 ~]# vi /etc/rsyslog.d/haproxy.conf
if ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($program
name == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~

[root@server1 ~]# systemctl restart rsyslog
[root@server1 ~]# systemctl restart haproxy
可以在/var/log/haproxy/下看到收集的日志信息

九、统计页面设置

设置配置文件

[root@server1 ~]# vi /etc/haproxy/haproxy.cfg 
[root@server1 ~]# systemctl restart haproxy
listen admin_stats         #添加
        bind 0.0.0.0:1080 
###设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称
        mode http                ##http的7层模式
        option httplog            ##采用http日志格式
        #log 127.0.0.1 local0 err   错误日志记录
        maxconn 10                      ##默认的最大连接数
        stats refresh 30s               ##统计页面自动刷新时间
        stats uri /stats               ##统计页面url
        stats realm XingCloud\ Haproxy         ##统计页面密码框上提示文本
        stats auth apple:apple           ##设置监控页面的用户和密码:apple,可以设置多个用户名
        stats auth admin:admin            ##置监控页面的用户和密码: admin
        stats hide-version                   ##隐藏统计页面上HAProxy的版本信息
        stats admin if TRUE                ##设置手工启动/禁用，后端服务器(haproxy-1. 4.9以后版本)

十、案例：Haroxy+Keepalived高可用群集

在上述的部署基础上加一台Haproxy服务器
并在两台服务器上部署Keepalived服务

主机 IP地址 主要软件
Haproxy服务器（Keepalived主） 192.168.10.10（漂移路由192.168.10.100） haproxy 、Keepalived
Haproxy服务器（Keepalived备） 192.168.10.50（漂移路由192.168.10.100） haproxy 、Keepalived
Nginx服务器1 192.168.10.20 nginx
Nginx服务器2 192.168.10.30 nginx
nfs服务器 192.168.10.40 nfs服务
客户端 192.168.10.80 浏览器

主调度服务器

[root@server1 ~]# modprobe ip_vs
[root@server1 ~]# rpm -ivh /mnt/Packages/ipvsadm-1.27-7.el7.x86_64.rpm
[root@server1 ~]# yum -y install gcc gcc-c++ make popt-devel kernel-devel openssl-devel
[root@server1 ~]# tar zxf keepalived-2.0.13.tar.gz
[root@server1 ~]# cd keepalived-2.0.13/
[root@server1 ~]# ./configure --prefix=/
[root@server1 ~]# make && make install
[root@server1 ~]# cp keepalived/etc/init.d/keepalived /etc/init.d/
[root@server1 ~]# systemctl enable keepalived.service
[root@localhost ~]# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
vrrp_script chk_http_port {
     		#定义调度服务检查脚本
script "/etc/keepalived/check_haproxy.sh"	#定义检测haproxy调度服务脚本路径
interval 2
weight -10	#当脚本生效时将优先级降10
}
global_defs {
     
        router_id lvs_01
}
vrrp_instance VI_1 {
     
        state MASTER
        interface ens33
        virtual_router_id 51
        priority 110
        advert_int 1
        authentication {
     
            auth_type PASS
            auth_pass 6666
}
track_script {
     		#健康检查使用的脚本
        chk_http_port		
    }
        virtual_ipaddress {
     
            192.168.10.100
}
}

[root@server1 ~]# systemctl start keepalived
[root@server1 ~]# ip addr show dev ens33
[root@server1 ~]# ipvsadm -Ln
[root@server1 ~]# tail -f /var/log/messages

Haproxy搭建Web群集（含Haproxy+Keepalived高可用群集）_第3张图片

配置keepalived服务健康检查脚本

#!/bin/bash
A=`ps -C haproxy --no-header |wc -l`
if [ $A -eq 0 ]		#如果haproxy进程数小于等于0
then	
haproxy -f /etc/haproxy/haproxy.cfg		
sleep 3			#则执行重启haproxy
if [ `ps -C haproxy --no-header |wc -l` -eq 0 ]	#再次检查haproxy进程数如果小于等于0
then
/etc/init.d/keepalived stop		#则关闭keepalived服务
fi
fi

备用调度服务器

[root@server1 ~]# modprobe ip_vs
[root@server1 ~]# rpm -ivh /mnt/Packages/ipvsadm-1.27-7.el7.x86_64.rpm
[root@server1 ~]# yum -y install gcc gcc-c++ make popt-devel kernel-devel openssl-devel
[root@server1 ~]# tar zxf keepalived-2.0.13.tar.gz
[root@server1 ~]# cd keepalived-2.0.13/
[root@server1 ~]# ./configure --prefix=/
[root@server1 ~]# make && make install
[root@server1 ~]# cp keepalived/etc/init.d/keepalived /etc/init.d/
[root@server1 ~]# systemctl enable keepalived.service
[root@localhost ~]# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived

vrrp_script chk_http_port {
     		#定义调度服务检查脚本
script "/etc/keepalived/check_haproxy.sh"	#定义检测haproxy调度服务脚本路径
interval 2
weight -10	#当脚本生效时将优先级降10
}

global_defs {
     
        router_id lvs_02
}
vrrp_instance VI_1 {
     
        state BACKUP
        interface ens33
        virtual_router_id 51
        priority 105
        advert_int 1
        authentication {
     
            auth_type PASS
            auth_pass 6666
}
track_script {
     		#健康检查使用的脚本
        chk_http_port		
    }
        virtual_ipaddress {
     
            192.168.10.100
}
}

[root@server1 ~]# systemctl start keepalived
[root@server1 ~]# ip addr show dev ens33
[root@server1 ~]# ipvsadm -Ln
[root@server1 ~]# tail -f /var/log/messages

把主Keepalived服务器的Keepalived服务关闭，浮动路由会转移到备份服务器上
Haproxy搭建Web群集（含Haproxy+Keepalived高可用群集）_第4张图片

你可能感兴趣的:(Web服务器集群,linux)

  • android系统selinux中添加新属性property 辉色投像
    1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类qt开发语言sdl2linux
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
  • linux sdl windows.h,Windows下的SDL安装 奔跑吧linux内核 linuxsdlwindows.h
    首先你要下载并安装SDL开发包。如果装在C盘下，路径为C:\SDL1.2.5如果在WINDOWS下。你可以按以下步骤：1.打开VC++，点击"Tools",Options2,点击directories选项3.选择"Includefiles"增加一个新的路径。"C:\SDL1.2.5\include"4，现在选择"Libaryfiles“增加"C:\SDL1.2.5\lib"现在你可以开始编写你的第
  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • linux中sdl的使用教程,sdl使用入门 Melissa Corvinus linux中sdl的使用教程
    本文通过一个简单示例讲解SDL的基本使用流程。示例中展示一个窗口，窗口里面有个随机颜色快随机移动。当我们鼠标点击关闭按钮时间窗口关闭。基本步骤如下：1.初始化SDL并创建一个窗口。SDL_Init()初始化SDL_CreateWindow()创建窗口2.纹理渲染存储RGB和存储纹理的区别：比如一个从左到右由红色渐变到蓝色的矩形，用存储RGB的话就需要把矩形中每个点的具体颜色值存储下来；而纹理只是一
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计 网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript 二挡起步 web前端期末大作业javascripthtmlcss旅游风景
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动 二挡起步 web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
  • git - Webhook让部署自动化 大猪大猪
    我们现在有一个需求，将项目打包上传到gitlab或者github后，程序能自动部署，不用手动地去服务器中进行项目更新并运行，如何做到？这里我们可以使用gitlab与github的挂钩，挂钩的原理就是，每当我们有请求到gitlab与github服务器时，这时他俩会根据我们配置的挂钩地扯进行访问，webhook挂钩程序会一直监听着某个端口请求，一但收到他们发过来的请求，这时就知道用户有请求提交了，这时
  • libyuv之linux编译 jaronho Linuxlinux运维服务器
    文章目录一、下载源码二、编译源码三、注意事项1、银河麒麟系统（aarch64）（1）解决armv8-a+dotprod+i8mm指令集支持问题（2）解决armv9-a+sve2指令集支持问题一、下载源码到GitHub网站下载https://github.com/lemenkov/libyuv源码，或者用直接用git克隆到本地，如：gitclonehttps://github.com/lemenko
  • webpack图片等资源的处理 dmengmeng
    需要的loaderfile-loader（让我们可以引入这些资源文件）url-loader（其实是file-loader的二次封装）img-loader（处理图片所需要的）在没有使用任何处理图片的loader之前，比如说css中用到了背景图片，那么最后打包会报错的，因为他没办法处理图片。其实你只想能够使用图片的话。只加一个file-loader就可以，打开网页能准确看到图片。{test:/\.(p
  • ARM驱动学习之5 LEDS驱动 JT灬新一 嵌入式C底层arm开发学习单片机
    ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
  • 【华为OD技术面试真题精选 - 非技术题】 -HR面，综合面_华为od hr面 一个射手座的程序媛 程序员华为od面试职场和发展
    最后的话最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！资料预览给大家整理的视频资料：给大家整理的电子书资料：如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以点击这里获
  • 简介Shell、zsh、bash zhaosuningsn Shellzshbashshelllinuxbash
    Shell是Linux和Unix的外壳，类似衣服，负责外界与Linux和Unix内核的交互联系。例如接收终端用户及各种应用程序的命令，把接收的命令翻译成内核能理解的语言，传递给内核，并把内核处理接收的命令的结果返回给外界，即Shell是外界和内核沟通的桥梁或大门。Linux和Unix提供了多种Shell，其中有种bash，当然还有其他好多种。Mac电脑中不但有bash，还有一个zsh，预装的，据说
  • Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQLOracleMariaDBLinuxWindowsssllinuxmariadb
    进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
  • 「豆包Marscode体验官」 | 云端 IDE 启动 & Rust 体验 张风捷特烈 iderust开发语言后端
    theme:cyanosis我正在参加「豆包MarsCode初体验」征文活动MarsCode可以看作一个运行在服务端的远程VSCode开发环境。对于我这种想要学习体验某些语言，但不想在电脑里装环境的人来说非常友好。本文就来介绍一下在MarsCode里，我的体验rust开发体验。一、MarsCode是什么它的本质是:提供代码助手和云端IDE服务的web网站，可通过下面的链接访问https://www
  • 【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linuxlinux运维服务器
    归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
  • linux 发展史 种树的猴子 内核java操作系统linux大数据
    linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
  • Linux sh命令 fengyehongWorld Linuxlinux
    目录一.基本语法二.选项2.1-c字符串中读取内容，并执行2.1.1基本用法2.1.2获取当前目录下失效的超链接2.2-x每个命令执行之前，将其打印出来2.3结合Here文档使用一.基本语法⏹Linux和Unix系统中用于执行shell脚本或运行命令的命令。sh[选项][脚本文件][参数...]⏹选项-c：从字符串中读取内容，并执行。-x：在每个命令执行之前，将其打印出来。-s：从标准流中读取内容
  • Linux vi常用命令 fengyehongWorld Linuxlinux
    参考资料viコマンド（vimコマンド）リファレンス目录一.保存系命令二.删除系命令三.移动系命令四.复制粘贴系命令一.保存系命令⏹保存并退出:wq⏹强制保存并退出:wq!⏹退出(文件未编辑):q⏹强制退出(忽略已编辑内容):q!⏹另存为:w新文件名二.删除系命令⏹删除当前行dd⏹清空整个文档gg：移动到文档顶部dG：删除到最后一行ggdG三.移动系命令⏹移动到文档顶部gg⏹移动到文档底部#方式1G
  • Python神器！WEB自动化测试集成工具 DrissionPage 亚丁号 python开发语言
    一、前言用requests做数据采集面对要登录的网站时，要分析数据包、JS源码，构造复杂的请求，往往还要应付验证码、JS混淆、签名参数等反爬手段，门槛较高。若数据是由JS计算生成的，还须重现计算过程，体验不好，开发效率不高。使用浏览器，可以很大程度上绕过这些坑，但浏览器运行效率不高。因此，这个库设计初衷，是将它们合而为一，能够在不同须要时切换相应模式，并提供一种人性化的使用方法，提高开发和运行效率
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • Java：爬虫框架 dingcho Javajava爬虫
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
  • Linux查看服务器日志 TPBoreas 运维linux运维
    一、tail这个是我最常用的一种查看方式用法如下：tail-n10test.log查询日志尾部最后10行的日志;tail-n+10test.log查询10行之后的所有日志;tail-fn10test.log循环实时查看最后1000行记录(最常用的)一般还会配合着grep用，(实时抓包)例如:tail-fn1000test.log|grep'关键字'（动态抓包）tail-fn1000test.log
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Python实现下载当前年份的谷歌影像 sand&wich python开发语言
    在GIS项目和地图应用中，获取最新的地理影像数据是非常重要的。本文将介绍如何使用Python代码从Google地图自动下载当前年份的影像数据，并将其保存为高分辨率的TIFF格式文件。这个过程涉及地理坐标转换、多线程下载和图像处理。关键功能该脚本的核心功能包括：坐标转换：支持WGS-84与WebMercator投影之间转换，以及处理中国GCJ-02偏移。自动化下载：多线程下载地图瓦片，提高效率。图像
  • 笋丁网页自动回复机器人V3.0.0免授权版源码 希希分享 软希网58soho_cn源码资源笋丁网页自动回复机器人
    笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他