星尘_7870
星尘_7870

TiDB 安装相关

                                                                   TiDB 安装小记

官网文档： 

https://docs.pingcap.com/zh/tidb/stable/online-deployment-using-ansible

一、Linux 下安装TiDB中控机

Tispark

1.准备机器 


2.在中控机安装系统依赖包

本次使用192.168.2.2 Linux虚拟机作为中控机，root用户

yum -y install epel-release git curl sshpass

yum -y install python-pip

3.在中控机上创建tidb用户，并生成ssh key

以root用户登录中控机，执行以下命令创建tidb用户

useradd -m -d /home/tidb tidb

设置tidb用户密码

passwd tidb

配置tidb用户 sudo 免密码，将tidb ALL=(ALL) NOPASSWD: ALL添加到文件末尾即可。

vim /etc/sudoers

tidb ALL=(ALL) NOPASSWD: ALL

权限问题使用$\color{red}{:wq!}$保存

生成 ssh key: 执行 su 命令从root 用户切换到 tidb 用户下。

su - tidb

创建 tidb 用户 ssh key， 提示Enter passphrase 时直接回车即可。执行成功后，ssh 私钥文件为 /home/tidb/.ssh/id_rsa， ssh 公钥文件为/home/tidb/.ssh/id_rsa.pub。

ssh-keygen -t rsa


4.在中控机器上下载TiDB-Ansible

以tidb 用户登录中控机并进入 /home/tidb 目录。使用以下命令从 Github TiDB-Ansible 项目上下载TiDB-Ansible 相应分支，默认的文件夹名称为tidb-ansible。

下载2.0 (v2.0.11)版本：

git clone -b release-2.0 https://github.com/pingcap/tidb-ansible.git

建议（v4.0.0-rc版本）：

git  clone -b v4.0.0-rc https://github.com/pingcap/tidb-ansible.git

注：请务必按文档操作，将 tidb-ansible 下载到 /home/tidb 目录下，权限为 tidb 用户，下载到 /root 下，可能会遇到权限问题。

5.在中控机器上安装 Ansible 及其依赖

以tidb用户登录中控机，请务必按以下方式通过 pip 安装Ansible 及其相关依赖的指定版本，否则会有兼容问题。安装完成后，可通过ansible --versoin查看 Ansible 版本。目前 release-2.0、release-2.1 及 master 版本兼容 Ansible 2.4 及 Ansible 2.5 版本，Ansible 及相关依赖版本记录在 tidb-ansible/requirements.txt 文件中。

cd /home/tidb/tidb-ansible

sudo pip install -r ./requirements.txt

ansible–version

（如果查看版本出错，则切换使用root执行升级）：



pip install --upgrade pip

pip install --upgrade setuptools

升级后正常查看版本信息：


6.在中控机上配置部署机器 ssh 互信及 sudo 规则

以 tidb 用户登录中控机，将你的部署目标机器IP 添加到hosts.ini 文件 [servers] 区块下。

查看文件内容：

cd /home/tidb/tidb-ansible/

cat hosts.ini


执行以下命令，按提示输入部署目标机器root用户密码。该步骤将在部署目标机器上创建tidb用户，并配置 sudo 规则，配置中控机与部署目标机器之间的 ssh 互信。（输入的密码为目标机器的密码，目标机器密码不同可以分次输入执行命令）

ansible-playbook -i hosts.ini create_users.yml -u root -k

存在节点报错的问题时：


解决：1、重新生成rsa：$\color{red}{ssh-keygen-t rsa }$   (或者检查网络连接与ip地址)

2、vim ~/.ssh/known_hosts，删除对应ip的相关rsa的信息即可


7.在部署目标机器上安装 NTP 服务

该步骤将在部署目标机器上使用系统自带软件源联网安装并启动 NTP 服务，服务使用安装包默认的 NTP server 列表，见配置文件 /etc/ntp.conf 中 server 参数，如果使用默认的 NTP server，你的机器需要连接外网。为了让 NTP 尽快开始同步，启动 NTP 服务前，系统会 ntpdate hosts.ini 文件中的 ntp_server 一次，默认为 pool.ntp.org，也可替换为你的 NTP server。


使用以下命令可使 NTP 服务尽快开始同步

sudo systemctl stop ntpd.service

sudo ntpdate pool.ntp.org

sudo systemctl start ntpd.service

ntpstat

8.在部署目标机器上配置 CPUfreq 调节器模式

为了让 CPU 发挥最大性能，请将 CPUfreq 调节器模式设置为performanc模式。

你可以通过 cpupower 命令查看系统支持的调节器模式：

 [tidb@centos7_05 tidb-ansible]$ cpupower frequency-info --governors

analyzing CPU 0:

  available cpufreq governors: performance powersave


本例中系统支持设置 performance 和 powersave 模式。如果返回 “Not Available”，表示当前系统不支持配置 CPUfreq，跳过该步骤即可。

你可以通过cpupower 命令查看系统当前的 CPUfreq 调节器模式：

本例中当前配置是 powersave 模式，你可以通过以下命令设置为 performance 模式。你也可以通过以下命令在部署目标机器上批量设置：

 $ ansible -i hosts.ini all -m shell -a "cpupower frequency-set --governor performance" -u tidb -b

9.分配机器资源，编辑 inventory.ini 文件

以tidb用户登录中控机，inventory.ini 文件路径为/home/tidb/tidb-ansible/inventory.ini。

执行：

标准 TiDB 集群需要 6 台机器:

2 个 TiDB 节点

3 个 PD 节点

3 个 TiKV 节点，第一台 TiDB 机器同时用作监控机

默认情况下，单台机器上只需部署一个 TiKV 实例。如果你的 TiKV 部署机器 CPU 及内存配置是部署建议的两倍或以上，并且拥有两块 SSD 硬盘或单块容量超 2T 的 SSD 硬盘，可以考虑部署两实例，但不建议部署两个以上实例。

单机单 TiKV 实例集群拓扑：

 

部署TiDB Lightning

Lightning ：


10.部署目录调整

部署目录通过 deploy_dir 变量控制，默认全局变量已设置为/home/tidb/deploy，对所有服务生效。如数据盘挂载目录为 /data，可设置为 /data/deploy，样例如下:

11.部署任务

ansible-playbook 执行 Playbook 时默认并发为 5，部署目标机器较多时可添加 -f 参数指定并发，如ansible-playbook deploy.yml -f 10

①确认 tidb-ansible/inventory.ini 文件中 ansible_user = tidb，本例使用tidb用户作为服务运行用户，配置如下：


ansible_user 不要设置成 root 用户，tidb-ansible 限制了服务以普通用户运行。执行以下命令如果所有server 返回 tidb 表示 ssh 互信配置成功。执行：

ansible -i inventory.ini all -m shell -a 'whoami'


执行以下命令如果所有server 返回root 表示tidb 用户sudo 免密码配置成功。执行：

ansible -i inventory.ini all -m shell -a 'whoami' -b


②执行 local_prepare.yml playbook，联网下载 TiDB binary到中控机：

ansible-playbook local_prepare.yml


③初始化系统环境，修改内核参数

ansible-playbook bootstrap.yml


TiDB报CPU内核问题：


查看CPU：

uname-ra


1)CPU3.1版本过低，升级CPU内核：

1、导入ELRepo软件仓库的公共秘钥

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

2、安装ELRepo软件仓库的yum源

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

3、安装主线内核（ml=mainline）4.14.11

yum --enablerepo=elrepo-kernel install kernel-ml

4、查看系统可用内核，并设置启动项

awk -F\' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg

5、机器上存在 3个内核，我们要使用5.5.8 这个版本，可以通过 


grub2-set-default 0 

6、生成 grub 配置文件

grub2-mkconfig -o /boot/grub2/grub.cfg

7、重启系统，并验证

reboot

uname -ra

2) 或者修改CPU参数，修改为CPU实际值


roles/check_system_optional/defaults/main.yml


初始化：

ansible-playbook bootstrap.yml --extra-vars "dev_mode=True"

④部署 TiDB 集群软件

ansible-playbook deploy.yml


解决：

1、每台 节点修改主机名

sudo hostnamectl set-hostname newhostname

2、查看主机名

Hostnamectl

重新deploy


解决：关闭除了中控机外的所有节点的缓存分区：

第一步 切换到root用户 ，关闭swap分区:

swapoff -a

第二步修改配置文件- /etc/fstab

vim /etc/fstab

删除swap相关行/mnt/swap swap swap defaults 0 0

（或/dev/mapper/centos-swap swap   swap defaults 0 0）这一行或者注释掉这一行

第三步确认swap已经关闭

free -m


若swap行都显示 0 则表示关闭成功

第四步调整 swappiness 参数

echo 0 > /proc/sys/vm/swappiness #临时生效

vim /etc/sysctl.conf # 永久生效

#修改 vm.swappiness 的修改为 0（0则不用修改）


vm.swappiness=0

使配置生效：

sysctl -p

再次deploy，成功，尾部日志：


⑤启动 TiDB 集群ansible-playbook start.yml

[tidb@localhosttidb-ansible]$ ansible-playbook start.yml

……


12、测试集群

1、测试连接 TiDB 集群，推荐在 TiDB 前配置负载均衡来对外统一提供 SQL 接口。

使用MySQL 客户端连接测试，TCP 4000 端口是 TiDB 服务默认端口，地址是TiDB的存储节点地址。

mysql -u root -h 192.168.2.144 -P 4000

也可以直接在中控机执行该命令，在192.168.2.2 shell：


创建数据库用户及授权：（zoner 为用户名、密码）

CREATE USER 'zoner'@'%' IDENTIFIED BY 'zoner';

GRANT ALL PRIVILEGES ON *.* TO 'zoner'@'%' WITH GRANT OPTION;

2、通过浏览器访问监控平台。

地址：http://192.168.2.144:3000默认帐号密码是：admin/admin


http://localhost:9090 访问 TiDB 的 Prometheus 管理界面。



其他：

# 停止集群

 ansible-playbook stop.yml

 

升级

https://docs.pingcap.com/zh/tidb/stable/upgrade-tidb-using-ansible

测试

参考文档：https://blog.csdn.net/Itissohardtog/article/details/103355748

SQL执行，不允许字段存在null值：

sql: Scan error on column index 3: unsupported Scan, storing driver.Value type into type *string

三方客户端工具连接tidb（本例无密码）：


13、数据迁移测试

1.安装mydumper  TiDB工具集，MySQL迁移到tidb示例：

# 下载 tool 压缩包

wget http://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.tar.gz

wgethttp://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.sha256

# 检查文件完整性，返回 ok 则正确

sha256sum -ctidb-enterprise-tools-latest-linux-amd64.sha256

# 解开压缩包

tar -xzf tidb-enterprise-tools-latest-linux-amd64.tar.gz

cd tidb-enterprise-tools-latest-linux-amd64

2.从 MySQL 导出数据

cd tidb-enterprise-tools-latest-linux-amd64

./bin/mydumper -h 192.168.2.137 -P 3306 -u root -p123456  -t 16 -F 64 -B test -Tperson  --skip-tz-utc -o /usr/local/data

说明：

（test库的person表 导出到/usr/local/data）

-h host

-P port

-u username

-p password

-t 线程数

-F chunk 64MB

-B 数据库

-T 表名，多个用,隔开

--skip-tz-utc 添加这个参数忽略掉 MySQL 与导数据的机器之间时区设置不一致的情况，禁止自动转换。

查看导出的数据：

. /bin /myloader -h 192.168.2.144 -u root -P 4000 -t 32 -d/usr/local/data/

 Tidb lightning

安装：

TiDB Lightning 的版本应与集群相同。最低版本要求是 2.0.9，但建议使用最新的稳定版本 3.0。

参考https://www.bookstack.cn/read/TiDB-4.0/get-started-with-tidb-lightning.md

wgethttps://download.pingcap.org/tidb-toolkit-v3.0.0-linux-amd64.tar.gz

wget https://download.pingcap.org/tidb-toolkit-v3.0.0-linux-amd64.sha256

sha256sum -c https://download.pingcap.org/tidb-toolkit-v3.0.0-linux-amd64.sha256

# 解开压缩包

tar -xzf https://download.pingcap.org/tidb-toolkit-v3.0.0-linux-amd64.tar.gz

新增启动文件和文件内容：

文件名称：tikv-import.toml

# TiKV Importer 配置文件模版

 #日志文件。

 log-file ="tikv-importer.log"

 #日志等级：trace、debug、info、warn、error、off。

 log-level ="info"

 [server]

 # tikv-importer监听的地址，tidb-lightning需要连到这个地址进行数据写入。

 addr ="192.168.2.2:8287"

 [import]

 #存储引擎文档(engine file) 的文件夹路径。

 import-dir ="/home/tidb/deploy/data.import/"



新增tidb-lightning.toml文件，内容：

[lightning]

level = "info"

file="tidb-lightning.log"

[tikv-importer]

addr="192.168.2.2:8287"

[mydumper]

#存放mydumper导出的数据存放目录

data-source-dir="/home/tidb/deploy/mydumper"

[tidb]

host="192.168.2.144"

port=4000

user="root"

password=""

status-port=10080


进入lightning bin目录，运行 tikv-importer:

sudo  nohup ./tikv-importer-C tikv-importer.toml > nohup.out 2>&1


查看tikv-importer.log：


进入lightning bin目录，启动 tidb-lightning

nohup ./tidb-lightning -config tidb-lightning.toml >nohup.out 2>&1

查看tidb-lightning.log日志


或访问http://192.168.2.144:10080/

另，如何正确结束 tikv-importer 进程：

根据部署方式，选择相应操作结束进程

     使用 TiDB Ansible 部署：在 Importer 的服务器上运行 scripts/stop_importer.sh。

    手动部署：如果 tikv-importer 正在前台运行，可直接按 Ctrl+C 退出。否则，可通过 ps aux | grep tikv-importer 获取进程ID，然后通过 kill «pid» 结束进程。

如何正确结束 tidb-lightning 进程

根据部署方式，选择相应操作结束进程

    使用TiDB Ansible 部署：在 Lightning 的服务器上运行 scripts/stop_lightning.sh。

    手动部署：如果 tidb-lightning 正在前台运行，可直接按 Ctrl+C 退出。否则，可通过 ps aux | grep tidb-lightning 获取进程ID，然后通过 kill -2 «pid» 结束进程。

grafana：

SQL计划 查询

-- EXPLAIN

    SELECTDISTINCT

        a.fid,

        DATE_FORMAT(i.CFBIZDATE,'%Y-%m-%d')发票日期,

        i.CFINVOICETYPECODE发票代码,

        i.CFINVOCIENO发票号码,

        CASEi.CFINVOICETYPEID

            WHEN'bnwAAAACXF4QcaE3' THEN '增值税专用发票'

            WHEN'bnwAAAACXF8QcaE3' THEN '增值税普通发票'

            WHEN'bnwAAAACXGAQcaE3' THEN '其他发票'

            WHEN'bnwAAAACXGEQcaE3' THEN '无发票'

            WHEN'bnwAAAIBUqQQcaE3' THEN '增值税电子普通发票'

        ENDAS发票类型,

      t6.fname_l2申请公司,

      ROUND(i.CFAMT-i.CFTAXAMT,2)不含税额,

      i.CFRATE税率,

      ROUND(i.CFTAXAMT,2)税额,

      ROUND(i.CFAMT,2)发票金额,

        i.CFCHECKCODE校验码,

       ROUND(i.CFCURUSERAMOUNT,2)本次使用金额,

       i.CFISFIRSTUSE使用次数,

      t4.fname_l2报账人,

      t5.fname_l2部门,

      t7.fname_l2预算承担部门,

      e.fname_l2预算科目,

            CAST(t8.fname_l2AS CHAR)产品线,

      a.fnumber单据编号,

            DATE_FORMAT(a.fbizdate,'%Y-%m-%d')申请日期,

             CASE a.CFSUBMITAREAID

                WHEN'bnwAAAACXFsQcaE3' THEN '北京'

                WHEN'bnwAAAACXFwQcaE3' THEN '上海'

                WHEN'bnwAAAACXF0QcaE3' THEN '广东'

                WHEN'bnwAAAAtBxgQcaE3' THEN '西安'

            ENDAS属地,

        tv.FPERSONEMPNAME_l2审批人,

            DATE_FORMAT(tv.FLASTSTATETIME,'%Y-%m-%d %H:%:i%s')最后审批时间

  FROMT_BC_BizAccountBill a

 INNERJOIN T_BC_BizAccountBCE b ON a.fid = b.fbillid

 INNERJOIN T_BD_SettlementType c ON c.fid = b.FpayMode

  LEFTJOIN ct_bc_inventry i ON a.FID = i.FPARENTID

  LEFTJOIN T_BC_bizAccountBillentry f ON a.fid = f.fbillid

  LEFTJOIN T_BC_ExpenseType e ON e.fid = f.fexpensetypeid

  LEFTJOIN t_bd_bank d ON d.fid = b.CFOpenBankID

  LEFTJOIN t_bd_person t4 ON t4.fid = a.fapplierid

  LEFTJOIN T_ORG_BaseUnit t5 ON t5.fid = a.forgunitid

  LEFTJOIN T_ORG_BaseUnit t6 ON t6.fid = a.fcompanyid

  LEFTJOIN T_ORG_BaseUnit t7 ON t7.fid = f.fcostcenterid

  LEFTJOIN T_BD_GeneralAsstActType t8 ON t8.fid = f.cfproducttypid

  LEFTJOIN t_Wfr_Assigndetail_V tv ON tv.FBIZOBJID=a.FID

 WHERE

--  a.fstate not in (10, 20, 27, 40) and

        --and date_format(a.fbizdate, '%Y') = '2020'

      i.CFINVOICETYPECODE IS NOT NULL

--  and a.FAMOUNTAPPROVED > 0

ORDER BY 单据编号,最后审批时间


-- LIMIT 100

 ;

-- EXPLAIN

    SELECTDISTINCT

        a.fid,

        DATE_FORMAT(i.CFBIZDATE,'%Y-%m-%d')发票日期,

        i.CFINVOICETYPECODE发票代码,

        i.CFINVOCIENO发票号码,

        CASEi.CFINVOICETYPEID

            WHEN'bnwAAAACXF4QcaE3' THEN '增值税专用发票'

            WHEN'bnwAAAACXF8QcaE3' THEN '增值税普通发票'

            WHEN'bnwAAAACXGAQcaE3' THEN '其他发票'

            WHEN'bnwAAAACXGEQcaE3' THEN '无发票'

            WHEN'bnwAAAIBUqQQcaE3' THEN '增值税电子普通发票'

        ENDAS发票类型,

      t6.fname_l2申请公司,

      ROUND(i.CFAMT-i.CFTAXAMT,2)不含税额,

      i.CFRATE税率,

      ROUND(i.CFTAXAMT,2)税额,

      ROUND(i.CFAMT,2)发票金额,

        i.CFCHECKCODE校验码,

       ROUND(i.CFCURUSERAMOUNT,2)本次使用金额,

       i.CFISFIRSTUSE使用次数,

      t4.fname_l2报账人,

      t5.fname_l2部门,

      t7.fname_l2预算承担部门,

      e.fname_l2预算科目,

            CAST(t8.fname_l2AS CHAR)产品线,

      a.fnumber单据编号,

            DATE_FORMAT(a.fbizdate,'%Y-%m-%d')申请日期,

             CASE a.CFSUBMITAREAID

                WHEN'bnwAAAACXFsQcaE3' THEN '北京'

                WHEN'bnwAAAACXFwQcaE3' THEN '上海'

                WHEN'bnwAAAACXF0QcaE3' THEN '广东'

                WHEN'bnwAAAAtBxgQcaE3' THEN '西安'

            ENDAS属地,

        tv.FPERSONEMPNAME_l2审批人,

        sh.USE_ORG_NAME,

        sh.USE_ORG_ADDR,

            DATE_FORMAT(tv.FLASTSTATETIME,'%Y-%m-%d %H:%:i%s')最后审批时间

  FROMT_BC_BizAccountBill a

 INNERJOIN T_BC_BizAccountBCE b ON a.fid = b.fbillid

 INNERJOIN T_BD_SettlementType c ON c.fid = b.FpayMode

  LEFTJOIN ct_bc_inventry i ON a.FID = i.FPARENTID

  LEFTJOIN T_BC_bizAccountBillentry f ON a.fid = f.fbillid

  LEFTJOIN T_BC_ExpenseType e ON e.fid = f.fexpensetypeid

  LEFTJOIN t_bd_bank d ON d.fid = b.CFOpenBankID

  LEFTJOIN t_bd_person t4 ON t4.fid = a.fapplierid

  LEFTJOIN T_ORG_BaseUnit t5 ON t5.fid = a.forgunitid

  LEFTJOIN T_ORG_BaseUnit t6 ON t6.fid = a.fcompanyid

  LEFTJOIN T_ORG_BaseUnit t7 ON t7.fid = f.fcostcenterid

  LEFTJOIN T_BD_GeneralAsstActType t8 ON t8.fid = f.cfproducttypid

  LEFTJOIN t_Wfr_Assigndetail_V tv ON tv.FBIZOBJID=a.FID

    LEFTJOIN share_equ sh ON sh.varid = t4.rel_id --1100w 100+字段大表

 WHERE

--  a.fstate not in (10, 20, 27, 40) and

        --and date_format(a.fbizdate, '%Y') = '2020'

      i.CFINVOICETYPECODE IS NOT NULL

--  and a.FAMOUNTAPPROVED > 0

ORDER BY 单据编号,最后审批时间

-- LIMIT 100

 ;

[tidb@localhost

tidb-toolkit-v3.0.0-linux-amd64]$ bin/tidb-lightning-ctl  -switch-mode = normal

你可能感兴趣的:(TiDB 安装相关)

  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 关于沟通这件事，项目经理不需要每次都面对面进行 流程大师兄
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • html 中如何使用 uniapp 的部分方法 某公司摸鱼前端 htmluni-app前端
    示例代码：Documentconsole.log(window);效果展示：好了，现在就可以uni.使用相关的方法了
  • 《大清方方案》| 第二话 谁佐清欢
    和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • 水泥质量纠纷案代理词 徐宝峰律师
    贵州领航建设有限公司诉贵州纳雍隆庆乌江水泥有限公司产品质量纠纷案代理词尊敬的审判长、审判员：贵州千里律师事务所接受被告贵州纳雍隆庆乌江水泥有限公司的委托，指派我担任其诉讼代理人，参加本案的诉讼活动。下面，我结合本案事实和相关法律规定发表如下代理意见，供合议庭评议案件时参考：原告应当举证证明其遭受的损失与被告生产的水泥质量的因果关系。首先水泥是一种粉状水硬性无机胶凝材料。加水搅拌后成浆体，能在空气中
  • 怎么起诉借钱不还的人？怎样起诉欠款不还的人？ 影子爱学习
    怎么起诉借钱不还的人？怎样起诉欠款不还的人？如果遇到难以解决的法律问题，我们可以匹配专业律师。例如：婚姻家庭（离婚纠纷）、刑事辩护、合同纠纷、债权债务、房产（继承）纠纷、交通事故、劳动争议、人身损害、公司相关法律事务（法律顾问）等咨询推荐手机/微信:15633770876【全国案件皆可】借钱不还起诉对方需要哪些资料起诉欠钱不还的，一般需要的材料包括以下这些：借据、收据、欠条、付款凭证等证据，以及向
  • 第四天旅游线路预览——从换乘中心到喀纳斯湖 陟彼高冈yu 基于Googleearthstudio的旅游规划和预览旅游
    第四天：从贾登峪到喀纳斯风景区入口，晚上住宿贾登峪；换乘中心有4路车，喀纳斯①号车，去喀纳斯湖，路程时长约5分钟；将上面的的行程安排进行动态展示，具体步骤见”Googleearthstudio进行动态轨迹显示制作过程“、“Googleearthstudio入门教程”和“Googleearthstudio进阶教程“相关内容，得到行程如下所示：Day4-2-480p
  • linux sdl windows.h,Windows下的SDL安装 奔跑吧linux内核 linuxsdlwindows.h
    首先你要下载并安装SDL开发包。如果装在C盘下，路径为C:\SDL1.2.5如果在WINDOWS下。你可以按以下步骤：1.打开VC++，点击"Tools",Options2,点击directories选项3.选择"Includefiles"增加一个新的路径。"C:\SDL1.2.5\include"4，现在选择"Libaryfiles“增加"C:\SDL1.2.5\lib"现在你可以开始编写你的第
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 使用LLaVa和Ollama实现多模态RAG示例 llzwxh888 python人工智能开发语言
    本文将详细介绍如何使用LLaVa和Ollama实现多模态RAG（检索增强生成），通过提取图像中的结构化数据、生成图像字幕等功能来展示这一技术的强大之处。安装环境首先，您需要安装以下依赖包：!pipinstallllama-index-multi-modal-llms-ollama!pipinstallllama-index-readers-file!pipinstallunstructured!p
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • GitHub上克隆项目 bigbig猩猩 github
    从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • 第六集如何安装CentOS7.0，3分钟学会centos7安装教程 date分享
    从光盘引导系统按回车键继续进入引导程序安装界面，选择语言这里选择简体中文版点击继续选择桌面安装下面给系统分区选择磁盘，点击完成选择基本分区，点击加号swap分区,大小填内存的两倍在选择根分区，使用所有可用的磁盘空间选择文件系统ext4点击完成，点击开始安装设置root密码，点击完成设置普通用户和密码，点击完成整个过程持续八分钟左右根据个人配置不同，时间长短不同好，现在点击重启系统进入重启状态点击本
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【PG】常见数据库、表属性设置 江无羡 数据库
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
  • 2019-11-04复盘——飞来山上千寻塔，闻说鸡鸣见日升。 那一叶秋
    1、大盘篇先上老图，看习惯了，也就知道走势了图1上证指数日线图还是那张老图，自己可以在自己的相关软件上画出来，快变盘了。2、个股篇未加仓、未减仓。分析量能的时候，突然发现这么一个东西：“放量突破年线，缩量回调。”合众科技日线图其实，最近的N只个股，在技术分析上，都到了变盘的临界时候。结合这么久的走势，特别是ZJH不断放开IPO的申请，本质上说是融资难度变大，或者说是为企业的融资开创便利。但现在市场
  • 在Ubuntu中编译含有JSON的文件出现报错 芝麻糊76 Linuxkill_buglinuxubuntujson
    在ubuntu中进行JSON相关学习的时候，我发现了一些小问题，决定与大家进行分享，减少踩坑时候出现不必要的时间耗费截取部分含有JSON部分的代码进行展示char*str="{\"title\":\"JSONExample\",\"author\":{\"name\":\"JohnDoe\",\"age\":35,\"isVerified\":true},\"tags\":[\"json\",\"
  • 4招写出高价值文章 zhiliner
    文章写得泛泛是因为思考得不够深，思考得越深文章会越有价值。拿到一个主题一定要去深入挖掘事件背后的东西，比如人物困境以及趋势性的东西。写作过程中有几个深度思考的方法一、解剖，让旧素材焕发新意作为一个写作者，我们能够做的最大贡献，就是给出自己看世界的角度。解剖其实就是把这个话题相关的信息都列出来，详细的列出来，看清楚它的内部。我们看到一个老话题或者一段旧素材的时候，不要只看这个素材或者话题本身，一定要
  • Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQLOracleMariaDBLinuxWindowsssllinuxmariadb
    进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
  • 【六】阿伟开始搭建Kafka学习环境 能源恒观 中间件学习kafkaspring
    阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
  • openssl+keepalived安装部署 _小亦_ 项目部署keepalivedopenssl
    文章目录OpenSSL安装下载地址编译安装修改系统配置版本Keepalived安装下载地址安装遇到问题安装完成配置文件keepalived运行检查运行状态查看系统日志修改服务service重新加载systemd检查配置文件语法错误OpenSSL安装下载地址考虑到后面设备可能没法连接到外网，所以采用安装包的方式进行部署，下载地址：https://www.openssl.org/source/old/
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven Energet!c 开发语言
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • 【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linuxlinux运维服务器
    归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他