小一_d28d
小一_d28d

MySQL-分布式架构-MyCAT

1. MyCAT基础架构图

image.png

2. MyCAT基础架构准备

2.1 环境准备：

两台虚拟机 db01 db02每台创建四个mysql实例：3307 3308 3309 3310

2.2 删除历史环境：

pkill mysqldrm-rf/data/330*mv/etc/my.cnf/etc/my.cnf.bak

2.3 创建相关目录初始化数据

mkdir/data/33{07..10}/data-pmysqld--initialize-insecure--user=mysql--datadir=/data/3307/data--basedir=/app/mysqlmysqld--initialize-insecure--user=mysql--datadir=/data/3308/data--basedir=/app/mysqlmysqld--initialize-insecure--user=mysql--datadir=/data/3309/data--basedir=/app/mysqlmysqld--initialize-insecure--user=mysql--datadir=/data/3310/data--basedir=/app/mysql

2.4 准备配置文件和启动脚本

========db01==============cat>/data/3307/my.cnf</data/3308/my.cnf</data/3309/my.cnf</data/3310/my.cnf</etc/systemd/system/mysqld3307.service</etc/systemd/system/mysqld3308.service</etc/systemd/system/mysqld3309.service</etc/systemd/system/mysqld3310.service</data/3307/my.cnf</data/3308/my.cnf</data/3309/my.cnf</data/3310/my.cnf</etc/systemd/system/mysqld3307.service</etc/systemd/system/mysqld3308.service</etc/systemd/system/mysqld3309.service</etc/systemd/system/mysqld3310.service<

2.5 修改权限，启动多实例

chown-R mysql.mysql/data/*

systemctl start mysqld3307

systemctl start mysqld3308

systemctl start mysqld3309

systemctl start mysqld3310

mysql -S /data/3307/mysql.sock -e "show variables like 'server_id'"

mysql -S /data/3308/mysql.sock -e "show variables like 'server_id'"

mysql -S /data/3309/mysql.sock -e "show variables like 'server_id'"

mysql -S /data/3310/mysql.sock -e "show variables like 'server_id'"

2.6 节点主从规划

箭头指向谁是主库    10.0.0.51:3307    <----->  10.0.0.52:3307    10.0.0.51:3309    ------>  10.0.0.51:3307    10.0.0.52:3309    ------>  10.0.0.52:3307    10.0.0.52:3308  <----->    10.0.0.51:3308    10.0.0.52:3310  ----->    10.0.0.52:3308    10.0.0.51:3310  ----->    10.0.0.51:3308

2.7 分片规划

shard1：    Master：10.0.0.51:3307    slave1：10.0.0.51:3309    Standby Master：10.0.0.52:3307    slave2：10.0.0.52:3309shard2：    Master：10.0.0.52:3308    slave1：10.0.0.52:3310    Standby Master：10.0.0.51:3308    slave2：10.0.0.51:3310

2.8 开始配置

shard1

10.0.0.51:3307    <----->  10.0.0.52:3307

db02

mysql-S/data/3307/mysql.sock-e"grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"mysql-S/data/3307/mysql.sock-e"grant all  on *.* to root@'10.0.0.%' identified by '123'  with grant option;"

db01

mysql-S/data/3307/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3307/mysql.sock-e"start slave;"mysql-S/data/3307/mysql.sock-e"show slave status\G"

db02

mysql-S/data/3307/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3307/mysql.sock-e"start slave;"mysql-S/data/3307/mysql.sock-e"show slave status\G"

10.0.0.51:3309    ------>  10.0.0.51:3307

db01

mysql-S/data/3309/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3309/mysql.sock-e"start slave;"mysql-S/data/3309/mysql.sock-e"show slave status\G"

10.0.0.52:3309    ------>  10.0.0.52:3307

db02

mysql-S/data/3309/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3309/mysql.sock-e"start slave;"mysql-S/data/3309/mysql.sock-e"show slave status\G"

shard2

10.0.0.52:3308  <----->    10.0.0.51:3308

db01

mysql-S/data/3308/mysql.sock-e"grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"mysql-S/data/3308/mysql.sock-e"grant all  on *.* to root@'10.0.0.%' identified by '123'  with grant option;"

db02

mysql-S/data/3308/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3308/mysql.sock-e"start slave;"mysql-S/data/3308/mysql.sock-e"show slave status\G"

db01

mysql-S/data/3308/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3308/mysql.sock-e"start slave;"mysql-S/data/3308/mysql.sock-e"show slave status\G"

10.0.0.52:3310    ----->      10.0.0.52:3308

db02

mysql-S/data/3310/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3310/mysql.sock-e"start slave;"mysql-S/data/3310/mysql.sock-e"show slave status\G"

10.0.0.51:3310  ----->    10.0.0.51:3308

db01

mysql-S/data/3310/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3310/mysql.sock-e"start slave;"mysql-S/data/3310/mysql.sock-e"show slave status\G"

2.9 检测主从状态

mysql -S /data/3307/mysql.sock -e "show slave status\G"|grep Yes

mysql -S /data/3308/mysql.sock -e "show slave status\G"|grep Yes

mysql -S /data/3309/mysql.sock -e "show slave status\G"|grep Yes

mysql -S /data/3310/mysql.sock -e "show slave status\G"|grep Yes

注：如果中间出现错误，在每个节点进行执行以下命令

mysql -S /data/3307/mysql.sock -e "stop slave; reset slave all;"

mysql -S /data/3308/mysql.sock -e "stop slave; reset slave all;"

mysql -S /data/3309/mysql.sock -e "stop slave; reset slave all;"

mysql -S /data/3310/mysql.sock -e "stop slave; reset slave all;"

2.10 MySQL分布式架构介绍

need-to-insert-img

image.png

1. schema拆分及业务分库2. 垂直拆分-分库分表3. 水平拆分-分片

2.11 企业代表产品

360 Atlas-ShardingAlibaba  cobar MycatTDDLHeisenbergOceanusVitessOneProxy DRDS

3. MyCAT安装

3.1 预先安装Java运行环境

yum install -y java

3.2下载

Mycat-server-xxxxx.linux.tar.gzhttp://dl.mycat.io/

3.3 解压文件

tar xf Mycat-server-1.6.5-release-20180122220033-linux.tar.gz

3.4 软件目录结构

lsbin  catlet  conf  lib  logs  version.txt

3.5 启动和连接

配置环境变量vim /etc/profileexport PATH=/application/mycat/bin:$PATHsource /etc/profile启动mycat start连接mycat：mysql -uroot -p123456 -h 127.0.0.1 -P8066

4. 配置文件介绍

logs目录:wrapper.log      ---->mycat启动日志mycat.log        ---->mycat详细工作日志conf目录:schema.xml      主配置文件（读写分离、高可用、分布式策略定制、节点控制）server.xmlmycat软件本身相关的配置rule.xml 分片规则配置文件,记录分片规则列表、使用方法等

5.应用前环境准备

5.1 用户创建及数据库导入

db01:mysql-S/data/3307/mysql.sock grant all on*.*toroot@'10.0.0.%'identifiedby'123';source/root/world.sqlmysql-S/data/3308/mysql.sock grant all on*.*toroot@'10.0.0.%'identifiedby'123';source/root/world.sql

5.2 配置文件处理

cd /application/mycat/confmv schema.xml schema.xml.bakvim schema.xmlselect user()

6. 配置文件简单介绍

6.1 逻辑库：schema

6.2 数据节点:datanode

6.3 数据主机：datahost(w和r)

select user()

7. 读写分离结构配置

vim schema.xmlselect user()重启mycatmycat restart读写分离测试 mysql -uroot -p -h 127.0.0.1 -P8066 show variables like 'server_id'; begin; show variables like 'server_id';总结： 以上案例实现了1主1从的读写分离功能，写操作落到主库，读操作落到从库.如果主库宕机，从库不能在继续提供服务了。

8. 配置读写分离及高可用

[root@db01 conf]# mv schema.xml schema.xml.rw[root@db01 conf]# vim schema.xmlselect user()真正的 writehost：负责写操作的writehost  standby  writeHost  ：和readhost一样，只提供读服务当写节点宕机后，后面跟的readhost也不提供服务，这时候standby的writehost就提供写服务，后面跟的readhost提供读服务测试：mysql -uroot -p123456 -h 127.0.0.1 -P 8066show variables like 'server_id';读写分离测试 mysql -uroot -p -h 127.0.0.1 -P8066 show variables like 'server_id'; show variables like 'server_id'; show variables like 'server_id'; begin; show variables like 'server_id'; 对db01 3307节点进行关闭和启动,测试读写操作

9. 配置中的属性介绍:

balance属性

负载均衡类型，目前的取值有3种：1.balance="0",不开启读写分离机制，所有读操作都发送到当前可用的writeHost上。2.balance="1"，全部的readHost与standby writeHost参与select语句的负载均衡，简单的说，  当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡。3.balance="2"，所有读操作都随机的在writeHost、readhost上分发。

writeType属性

负载均衡类型，目前的取值有2种：1.writeType="0",所有写操作发送到配置的第一个writeHost，第一个挂了切到还生存的第二个writeHost，重新启动后已切换后的为主，切换记录在配置文件中:dnindex.properties.2.writeType=“1”，所有写操作都随机的发送到配置的writeHost，但不推荐使用

switchType属性

-1表示不自动切换1默认值，自动切换2基于MySQL主从同步的状态决定是否切换 ，心跳语句为 show slave status

datahost其他配置

maxCon="1000"：最大的并发连接数minCon="10"：mycat在启动之后，会在后端节点上自动开启的连接线程tempReadHostAvailable="1"这个一主一从时（1个writehost，1个readhost时），可以开启这个参数，如果2个writehost，2个readhost时selectuser()监测心跳

10. 垂直分表

image.png

image.png

mv  schema.xml  schema.xml.ha vim schema.xmlselect user()select user()创建测试库和表:[root@db01 conf]# mysql -S /data/3307/mysql.sock -e "create database taobao charset utf8;"[root@db01 conf]# mysql -S /data/3308/mysql.sock -e "create database taobao charset utf8;"[root@db01 conf]# mysql -S /data/3307/mysql.sock -e "use taobao;create table user(id int,name varchar(20))";[root@db01 conf]# mysql -S /data/3308/mysql.sock -e "use taobao;create table order_t(id int,name varchar(20))"

11. MyCAT核心特性——分片（水平拆分）

分片：对一个"bigtable"，比如说t3表(1)行数非常多，800w(2)访问非常频繁分片的目的：（1）将大数据量进行分布存储（2）提供均衡的访问路由分片策略：范围 range  800w  1-400w 400w01-800w取模 mod    取余数枚举 哈希 hash 时间 流水优化关联查询全局表ER分片

12 .范围分片

image.png

比如说t3表(1)行数非常多，2000w（1-1000w:sh11000w01-2000w:sh2）(2)访问非常频繁，用户访问较离散mv schema.xml schema.xml.1vim schema.xml

vim rule.xmlidrang-longautopartition-long.txt===================================vim autopartition-long.txt0-10=011-20=1创建测试表：mysql-S/data/3307/mysql.sock-e"use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"mysql-S/data/3308/mysql.sock-e"use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"测试：重启mycatmycat restartmysql-uroot-p123456-h127.0.0.1-P8066insertintot3(id,name)values(1,'a');insertintot3(id,name)values(2,'b');insertintot3(id,name)values(3,'c');insertintot3(id,name)values(4,'d');insertintot3(id,name)values(11,'aa');insertintot3(id,name)values(12,'bb');insertintot3(id,name)values(13,'cc');insertintot3(id,name)values(14,'dd');

13. 取模分片（mod-long）：

取余分片方式：分片键（一个列）与节点数量进行取余，得到余数，将数据写入对应节点vim schema.xml

vim rule.xml2准备测试环境    创建测试表：mysql-S/data/3307/mysql.sock-e"use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"mysql-S/data/3308/mysql.sock-e"use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"重启mycat mycat restart 测试： mysql-uroot-p123456-h10.0.0.52-P8066useTESTDBinsertintot4(id,name)values(1,'a');insertintot4(id,name)values(2,'b');insertintot4(id,name)values(3,'c');insertintot4(id,name)values(4,'d');分别登录后端节点查询数据mysql-S/data/3307/mysql.sock use taobaoselect*fromt4;mysql-S/data/3308/mysql.sock use taobaoselect*fromt4;

14. 枚举分片

t5 表id name telnum1bj12122sh222223bj33334sh444445bj5555sharding-by-intfilevim schema.xml

vim rule.xmlnamehash-intpartition-hash-int.txt10partition-hash-int.txt 配置： bj=0sh=1DEFAULT_NODE=1columns 标识将要分片的表字段，algorithm 分片函数， 其中分片函数配置中，mapFile标识配置文件名称准备测试环境mysql-S/data/3307/mysql.sock-e"use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"mysql-S/data/3308/mysql.sock-e"use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"重启mycat mycat restart mysql-uroot-p123456-h10.0.0.51-P8066useTESTDBinsertintot5(id,name)values(1,'bj');insertintot5(id,name)values(2,'sh');insertintot5(id,name)values(3,'bj');insertintot5(id,name)values(4,'sh');insertintot5(id,name)values(5,'tj');

15 .  Mycat全局表

a  b  c  djointselectt1.name,t.xfromt1jointselectt2.name,t.xfromt2jointselectt3.name,t.xfromt3joint 使用场景：如果你的业务中有些数据类似于数据字典，比如配置文件的配置，常用业务的配置或者数据量不大很少变动的表，这些表往往不是特别大，而且大部分的业务场景都会用到，那么这种表适合于Mycat全局表，无须对数据进行切分，要在所有的分片上保存一份数据即可，Mycat 在Join操作中，业务表与全局表进行Join聚合会优先选择相同分片内的全局表join，避免跨库Join，在进行数据插入操作时，mycat将把数据分发到全局表对应的所有分片执行，在进行数据读取时候将会随机获取一个节点读取数据。 vim schema.xml

后端数据准备mysql-S/data/3307/mysql.sock use taobaocreate table t_area(idintnotnullprimary key auto_increment,namevarchar(20)notnull);mysql-S/data/3308/mysql.sock use taobaocreate table t_area(idintnotnullprimary key auto_increment,namevarchar(20)notnull);重启mycat mycat restart 测试： mysql-uroot-p123456-h10.0.0.52-P8066useTESTDBinsertintot_area(id,name)values(1,'a');insertintot_area(id,name)values(2,'b');insertintot_area(id,name)values(3,'c');insertintot_area(id,name)values(4,'d');

16. E-R分片

AjoinB  为了防止跨分片join，可以使用E-R模式AjoinBon  a.xx=b.yyjoinCon A.id=C.id

作者：MySQL_oldguo

链接：https://www.jianshu.com/p/5e0062f6cf62

来源：

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

你可能感兴趣的:(MySQL-分布式架构-MyCAT)

  • Kafka 基础与架构理解 StaticKing KAFKAkafka
    目录前言Kafka基础概念消息队列简介：Kafka与传统消息队列（如RabbitMQ、ActiveMQ）的对比Kafka的组件Kafka的工作原理：消息的生产、分发、消费流程Kafka系统架构Kafka的分布式架构设计Leader-Follower机制与数据复制Log-basedStorage和持久化Broker间通信协议Zookeeper在Kafka中的角色总结前言Kafka是一个分布式的消息系
  • 机电综合管理系统架构 小熊coder 机载系统系统架构
    文章目录一、机电综合管理系统架构1.系统概述2.架构层次3.核心组件二、余度管理1.余度概述2.硬件冗余3.软件冗余4.通信冗余三、总线架构1.MIL-STD-1553B总线2.ARINC429总线3.ARINC629总线4.AFDX/ARINC664总线四、未来发展趋势1.分布式架构2.高速网络3.智能化与自动化结语机电综合管理系统（ElectromechanicalManagementSyst
  • 软件架构，一切尽在权衡 元闰子 架构
    荐语本文要介绍的是2021年O’Reilly出版的书籍SoftwareArchitecture:TheHardParts（后文简称SAHP），某种程度上，它是FundamentalsofSoftwareArchitecture（后文简称FSA）的延续，两本书的主要作者相同。FSA是基础篇，重点介绍了常见的8种架构模式；SAHP是进阶篇，重点介绍了如何从单体架构演进到分布式架构。软件架构，特别是分布
  • 掌握检索技术：构建高效知识检索系统的架构与算法23 是小旭啊 人工智能
    在检索专业知识层需要涵盖更高级的检索技术，包括工程架构和算法策略。一、工程架构工程架构在构建检索系统中决定了系统的可扩展性、高可用性和性能。比如需要考虑的基本点：分布式架构：水平扩展：采用分布式架构，将检索任务分布到多个节点上，实现水平扩展。这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进
  • 掌握检索技术：构建高效知识检索系统的架构与算法21 是小旭啊 人工智能
    在检索专业知识层需要涵盖更高级的检索技术，包括工程架构和算法策略。一、工程架构工程架构在构建检索系统中决定了系统的可扩展性、高可用性和性能。比如需要考虑的基本点：分布式架构：水平扩展：采用分布式架构，将检索任务分布到多个节点上，实现水平扩展。这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进
  • 导购返利系统的分布式事务管理 wx_tangjinjinwx 分布式
    导购返利系统的分布式事务管理大家好，我是微赚淘客返利系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天我们来探讨导购返利系统中的分布式事务管理。随着系统的分布式架构越来越普遍，如何有效地管理分布式事务成为了一个关键问题。本文将详细介绍如何在Java应用中实现分布式事务管理，并提供相应的代码示例。1.分布式事务的挑战在分布式系统中，事务通常涉及多个服务或数据库，这给事务的一致性和可靠性带
  • 微服务分布式架构中，如何实现日志链路跟踪？ 2401_84048542 程序员架构微服务分布式
    MDC（MappedDiagnosticContext，映射调试上下文）是log4j和logback提供的一种方便在多线程条件下记录日志的功能。MDC可以看成是一个与当前线程绑定的Map，可以往其中添加键值对。MDC中包含的内容可以被同一线程中执行的代码所访问。当前线程的子线程会继承其父线程中的MDC的内容。当需要记录日志时，只需要从MDC中获取所需的信息即可。MDC的内容则由程序在适当的时候保存
  • 速盾：高防CDN是怎样防御的? 速盾cdn 网络web安全安全
    随着互联网的快速发展，网站安全问题也日益突出。为了保护网站避免遭受恶意攻击，高防CDN（ContentDeliveryNetwork）应运而生。高防CDN通过一系列的安全防护措施来保护网站免受DDoS（分布式拒绝服务）和其他恶意攻击的影响。首先，高防CDN提供了分布式架构，将网站的内容和流量分散到全球各地的节点服务器中。这样做的目的是为了分散攻击者对网站的恶意访问，并避免单点故障。当攻击发生时，高
  • mycat配置双主双从实现mysql读写分离 Zozzoooz mycat读写分离mysql数据库javadocker
    docker容器下mysql主从配置mycat配置双主双从实现mysql读写分离拉取mysql5.7dockerpullmysql:5.7运行mysql镜像mysqlM1主容器：dockerrun-p3301:3306--namemysql-master1-v/usr/local/mysql-master1/conf:/etc/mysql/conf.d-v/usr/local/mysql-mast
  • MHA+MYCAT 高可用架构 第九系艾文 linuxLinuxtools服务器数据库mycatmhalinux
    架构图如下：本次是4服务器架构如下环境：centos7.2x64mariadb10.4MHA5.7MyCat1.6.7IP规划IP功能10.1.41.166VIP10.1.41.167master,mycat,mha.node10.1.41.168slave(master),mha.node10.1.41.165slave,mycat,keepalived10.1.41.169slave,myca
  • mycat双主高可用架构部署-MySQL5.7环境部署第一台 龙哥·三年风水 MySQL5.7.36分布式高可用架构mysql分布式
    MySQL5.7服务器IP是192.168.31.209及192.168.31.2101、192.168.31.209:3307实例部署a、配置文件mkdir-p/data/mysql/mysql3307/{data,logs}#创建MySQL数据及日志目录vi/data/mysql/mysql3307/my3307.cnf#配置文件整理[client]#password=your_passwor
  • 中间件的学习理解总结 DCDDDDcccc 中间件学习
    目录一、定义与作用二、主要类型数据库中间件远程过程调用中间件面向消息的中间件事务处理中间件三、特点与优势独立性高效性可扩展性可靠性四、应用场景企业应用集成分布式系统电子商务移动应用开发五、数据库中间件功能细节：应用优势：六、远程过程调用中间件功能细节：应用优势：七、面向消息的中间件功能细节：应用优势：八、事务处理中间件功能细节：应用优势：数据库中间件MyCat：ShardingSphere：远程过
  • SpringBoot：分布式架构的演进过程 椰果学Android 程序员后端java面试
    2.大型主机比较复杂，培养人才的成本比较高。3.单点问题,如过大型机出现故障,整个系统都挂了运行不了,使企业的损失非常大。4.随着技术的进步,个人PC电脑的性能越来越高,成本也越来越低。阿里巴巴在2009年发起了一项去“IOE”的驱动IOE指的是IBM的小型机,Oracle的数据库和EMC的高端存储设备，2009年的去IOE的运动,一直到2003的支付宝的最后一台IBM的小型机的下线。为什么要去I
  • 分布式数据库架构：从单实例到分布式，开发人员需及早掌握？ 我爱娃哈哈 MySQL实战分布式数据库架构数据库
    现在互联网应用已经普及，数据量不断增大。对淘宝、美团、百度等互联网业务来说，传统单实例数据库很难支撑其性能和存储的要求，所以分布式架构得到了很大发展。而开发人员、项目经理，一定要认识到数据库技术正在经历一场较大的变革，及早掌握好分布式架构设计，帮助公司从古老的单实例架构迁移到分布式架构，对自己在职场的竞争力来说，大有益处。一、什么是分布式数据库？Wiki官方对分布式数据库的定义为：Adistrib
  • Redis分布式 Flying_Fish_Xuan mongodb数据库
    Redis是一个高性能的内存数据库，具有多种分布式部署和扩展能力。Redis的分布式架构包括主从复制、哨兵模式（Sentinel）、RedisCluster集群模式。不同的分布式机制各自适用于不同的场景，提供了从简单的高可用性到复杂的水平扩展能力。1.主从复制（Master-SlaveReplication）1.1基本概念Redis的主从复制是其最基本的分布式架构模式。在这种模式下，一个Redis
  • UI 自动化分布式测试 -Docker Selenium Grid 程序员与诗人 DockerSeleniumGridUI自动化分布式测试
    分布式测试SeleniumGrid对于大型项目或者有大量测试用例的项目，单机的测试环境往往无法快速完成所有测试用例的执行，此时自动化测试执行效率将会成为最大的瓶颈，SeleniumGrid可以通过多机的分布式架构允许测试用例并行运行，大大缩短了测试时间。SeleniumGrid提供了多种运行模式，满足不同的测试需求和使用场景。包括Standalone模式、SeleniumGrid模式。这些模式的选
  • 分布式架构基础-多线程 猿日记 架构师学习java多线程
    分布式架构基础-多线程基本概念进程：程序的一次执行过程线程：一个进程产生的多个线程并发：偏重于多个任务交替执行，可用于一个CPU并行：用于多个CPU同时执行任务高并发：通常考验指标为响应时间、吞吐量、每秒查询效率（QPS）、并发用户数线程的生命周期：一个线程周期首先通过newThread创建一个线程触发，然后调用start()方法让线程从就绪状态变成运行状态，后续再运行过程中有wait()、sle
  • Mysql-慢SQL的处理以及SQL优化 只吹45°风 mysqlmysql慢SQLSQL优化
    前言开发过程中，从日志或者链路追踪中，我们可以统计和观察到慢SQL的存在，那么慢SQL需要如何去考虑以及修改呢？考虑：1、是否使用索引、是否load过多不需要的数据、数据库数据过多命中索引，尽量使用合适的索引重写SQL，查询的字段尽量精准，where过滤条件越精准的往前放清除老数据，优化表结构2、表结构的修改：通过添加冗余字段来减少join操作诚然，对于发现和处理慢SQL是必要的，可以提升系统的效
  • 开源物业管理系统HC 易道合之逍遥峰 开源物业管理
    HC小区物业管理系统是由java110团队于2017年4月份发起的一款前后端分离、分布式架构的开源免费商用项目。该系统旨在通过先进的技术手段，提升小区物业管理的效率和服务质量，为业主提供更加便捷、高效的生活体验。以下是对HC小区物业管理系统的详细介绍：一、系统概述HC小区物业管理系统涵盖了物业管理、业主服务、物联网集成等多个方面，通过系统化的管理手段，实现了对小区内各项事务的全面掌控和高效处理。该
  • rpc详解rpc框架 思静语 网络通信rpc网络协议网络
    文章目录概述rpc的优点组件工作流程&RPC的底层原理RPC的底层原理RPC框架rpc框架优点RPC的实现基础RPC的应用场景RPC使用了哪些关键技术rpc调用异常一般怎么处理rpc和http的区别为什么RPC要比HTTP更快一些Dubbo和openfeign区别远程调用RPC框架传输协议传输速度概述在互联网应用开发中，随着业务的复杂度增加，一般都会采用分布式架构。分布式架构的核心，就是利用多台普
  • 速盾：深入理解高防CDN的定义、功能与应用 速盾cdn web安全linux安全
    高防CDN(ContentDeliveryNetwork)是一种基于分布式架构的网络加速和安全防护技术，目的是提供高效的内容传输和抵御网络攻击的能力。它通过在全球各地部署服务器节点，将内容缓存到离用户最近的节点，从而实现快速的内容传输。同时，高防CDN还通过识别和过滤恶意流量，提供网络安全保护，阻止DDoS攻击和其他恶意行为。高防CDN的主要功能包括：内容加速：通过缓存静态内容，如图片、视频和网页
  • 速盾：cdn什么时候可以加？ 速盾cdn web安全网络安全
    CDN（ContentDeliveryNetwork，内容分发网络）是一种分布式架构的网络技术，可以提高网站的访问速度和稳定性。通过将网站的静态资源（如图片、视频、脚本等）部署到全球各地的服务器节点上，CDN可以使用户从离他们物理位置更近的服务器获取网页内容，从而减少网络延迟和提高网页加载速度。那么，什么时候可以考虑使用CDN呢？网站流量大：当网站的访问量较大，特别是全球范围内的访问量较大时，CD
  • 速盾：cdn能防止攻击么？ 速盾cdn web安全linux安全
    CDN（ContentDeliveryNetwork，内容分发网络）是一种通过将网站内容分发到全球各地的服务器上，以提供更快速、高效的内容传输和访问方式的技术。虽然CDN可以提供一定程度的安全防护，但它主要是为了提高内容传输的性能和可靠性，而非专门设计用于防御攻击。CDN可以通过分布式架构和缓存机制来分担网站的负载，减轻源服务器的压力，从而减少因过度访问而导致的服务不可用和崩溃。此外，CDN还可以
  • ElasticSearch简单介绍以及基本概念阐述 Run，boy elasticsearch搜索引擎
    文章目录一、ES是什么二、ES主要功能1、实时数据搜索和分析：2、分布式架构：3、全文搜索：4、实时数据分析：5、多种数据类型支持：6、实时监控和可视化：7、安全性和访问控制：8、多种集成和扩展：9、总结：三、基本概念1、Index（索引）：2、Type（类型）：3、Document（文档）：4、Field（字段）：四、编程语言一、ES是什么Elasticsearch（ES）是一个开源的分布式搜索
  • 分布式 WebSocket 集群解决方案 2401_83916394 程序员分布式websocket网络协议
    下面我将描述session特性，以及根据这些特性列举出n个解决分布式架构中处理ws请求的集群方案WebSocketSession与HttpSession在Spring所集成的WebSocket里面，每个ws连接都有一个对应的session：WebSocketSession，在SpringWebSocket中，我们建立ws连接之后可以通过类似这样的方式进行与客户端的通信:protectedvoidh
  • 秋招Java后端开发——非关系型数据库篇（Redis） 番茄炒西红柿炒蛋 秋招Java后端数据库数据库nosqlredis
    一、非关系型数据库1.主要针对的是键值、文档以及图形类型数据存储。2.特点：特点说明灵活的数据模型支持多种数据模型（文档、键值、列族、图），无需预定义固定的表结构，能够处理各种类型的数据。高扩展性设计为水平扩展，能够轻松地通过增加更多节点来处理大量的数据和高并发请求。高性能通过优化特定类型的查询和数据操作，通常比关系型数据库在大规模数据处理时表现更好。分布式架构天生支持分布式存储和计算，能够跨多个
  • 一文总结 Git 的常用命令 zjx-kimi 科技博文git
    1.Git简介1.1分布式版本控制系统Git是一个高效的分布式版本控制系统，由LinusTorvalds在2005年创建，目的是为Linux内核开发提供一种快速、有效和可靠的代码管理方式。与集中式版本控制系统不同，Git给予每个开发者一份完整的代码库副本，即仓库（repository），其中包含了所有文件的所有历史版本。分布式架构使得Git在处理速度、安全性和稳定性方面有着显著的优势。即使在无网络
  • 32次8.21（学习playbook-roles，脚本创建数据库和表，mycat读写分离） 祎安139 运维数据库
    1.roles目录介绍files：⽤来存放由copy模块或script模块调⽤的⽂件。tasks：⾄少有⼀个main.yml⽂件，定义各tasks。handlers:有⼀个main.yml⽂件，定义各handlers。templates：⽤来存放jinjia2模板。vars：有⼀个main.yml⽂件，定义变量。meta：有⼀个main.yml⽂件，定义此⻆⾊的特殊设定及其依赖关系。注意:在每个⻆
  • 云计算33------学习playbook-roles，脚本创建数据库和表，mycat读写分离 是小梅吖~ 云计算学习数据库
    上午1、roles（角色）介绍roles(⻆⾊):就是通过分别将variables,tasks及handlers等放置于单独的⽬录中,并可以便捷地调⽤它们的⼀种机制。假设我们要写⼀个playbook来安装管理lamp环境，那么这个playbook就会写很⻓。所以我们希望把这个很⼤的⽂件分成多个功能拆分,分成apache管理,php管理,mysql管理，然后在需要使⽤的时候直接调⽤就可以了，以免重复
  • springCloud 网关（gateway）配置跨域访问 雁归来时 SpringCloudSpringBoot日志springcloudgatewayspring
    如果项目是分布式架构，通过网关进行路由转发的，那么项目中如果存在跨域的访问，在每一个项目中单独配置，显示是错误的，我们只需要在网关处进行处理，其它项目都是由网关进行转发的，他们是不会存在跨域访问的（具体为啥，可以查询跨域产生的原因）下面就上代码了packageorg.example.sysgateway.filter;importorg.springframework.context.annota
  • iOS http封装 374016526 ios服务器交互http网络请求
    程序开发避免不了与服务器的交互，这里打包了一个自己写的http交互库。希望可以帮到大家。   内置一个basehttp，当我们创建自己的service可以继承实现。   KuroAppBaseHttp *baseHttp = [[KuroAppBaseHttp alloc] init]; [baseHttp setDelegate:self]; [baseHttp
  • lolcat ：一个在 Linux 终端中输出彩虹特效的命令行工具 brotherlamp linuxlinux教程linux视频linux自学linux资料
      那些相信 Linux 命令行是单调无聊且没有任何乐趣的人们，你们错了，这里有一些有关 Linux 的文章，它们展示着 Linux 是如何的有趣和“淘气” 。 在本文中，我将讨论一个名为“lolcat”的小工具 – 它可以在终端中生成彩虹般的颜色。 何为 lolcat ? Lolcat 是一个针对 Linux，BSD 和 OSX 平台的工具，它类似于 cat 命令，并为 cat
  • MongoDB索引管理（1）——[九] eksliang mongodbMongoDB管理索引
    转载请出自出处：http://eksliang.iteye.com/blog/2178427 一、概述       数据库的索引与书籍的索引类似，有了索引就不需要翻转整本书。数据库的索引跟这个原理一样，首先在索引中找，在索引中找到条目以后，就可以直接跳转到目标文档的位置，从而使查询速度提高几个数据量级。       不使用索引的查询称
  • Informatica参数及变量 18289753290 Informatica参数变量
    下面是本人通俗的理解，如有不对之处，希望指正 info参数的设置：在info中用到的参数都在server的专门的配置文件中（最好以parma）结尾 下面的GLOBAl就是全局的，$开头的是系统级变量，$$开头的变量是自定义变量。如果是在session中或者mapping中用到的变量就是局部变量，那就把global换成对应的session或者mapping名字。 [GLOBAL] $Par
  • python 解析unicode字符串为utf8编码字符串 酷的飞上天空 unicode
    php返回的json字符串如果包含中文，则会被转换成\uxx格式的unicode编码字符串返回。 在浏览器中能正常识别这种编码，但是后台程序却不能识别，直接输出显示的是\uxx的字符，并未进行转码。   转换方式如下   >>> import json >>> q = '{"text":"\u4
  • Hibernate的总结 永夜-极光 Hibernate
    1.hibernate的作用,简化对数据库的编码,使开发人员不必再与复杂的sql语句打交道   做项目大部分都需要用JAVA来链接数据库，比如你要做一个会员注册的 页面，那么 获取到用户填写的 基本信后，你要把这些基本信息存入数据库对应的表中，不用hibernate还有mybatis之类的框架，都不用的话就得用JDBC，也就是JAVA自己的，用这个东西你要写很多的代码，比如保存注册信
  • SyntaxError: Non-UTF-8 code starting with '\xc4' 随便小屋 python
    刚开始看一下Python语言，传说听强大的，但我感觉还是没Java强吧！ 写Hello World的时候就遇到一个问题，在Eclipse中写的，代码如下 ''' Created on 2014年10月27日 @author: Logic ''' print("Hello World!");  运行结果 SyntaxError: Non-UTF-8
  • 学会敬酒礼仪 不做酒席菜鸟 aijuans 菜鸟
    俗话说，酒是越喝越厚，但在酒桌上也有很多学问讲究，以下总结了一些酒桌上的你不得不注意的小细节。 细节一：领导相互喝完才轮到自己敬酒。敬酒一定要站起来，双手举杯。 细节二：可以多人敬一人，决不可一人敬多人，除非你是领导。 细节三：自己敬别人，如果不碰杯，自己喝多少可视乎情况而定，比如对方酒量，对方喝酒态度，切不可比对方喝得少，要知道是自己敬人。 细节四：自己敬别人，如果碰杯，一
  • 《创新者的基因》读书笔记 aoyouzi 读书笔记《创新者的基因》
    创新者的基因   创新者的“基因”，即最具创意的企业家具备的五种“发现技能”：联想，观察，实验，发问，建立人脉。   第一部分破坏性创新，从你开始 第一章破坏性创新者的基因 如何获得启示： 发现以下的因素起到了催化剂的作用：(1) -个挑战现状的问题；(2)对某项技术、某个公司或顾客的观察；(3) -次尝试新鲜事物的经验或实验；(4)与某人进行了一次交谈，为他点醒
  • 表单验证技术 百合不是茶 JavaScriptDOM对象String对象事件
    js最主要的功能就是验证表单,下面是我对表单验证的一些理解,贴出来与大家交流交流  ,数显我们要知道表单验证需要的技术点, String对象,事件,函数   一:String对象;通常是对字符串的操作;   1,String的属性;   字符串.length;表示该字符串的长度; var str= "java"
  • web.xml配置详解之context-param bijian1013 javaservletweb.xmlcontext-param
    一.格式定义： <context-param> <param-name>contextConfigLocation</param-name> <param-value>contextConfigLocationValue></param-value> </context-param> 作用：该元
  • Web系统常见编码漏洞（开发工程师知晓） Bill_chen sqlPHPWebfckeditor脚本
    1.头号大敌：SQL Injection 原因：程序中对用户输入检查不严格，用户可以提交一段数据库查询代码，根据程序返回的结果， 获得某些他想得知的数据，这就是所谓的SQL Injection，即SQL注入。 本质: 对于输入检查不充分，导致SQL语句将用户提交的非法数据当作语句的一部分来执行。 示例： String query = "SELECT id FROM users
  • 【MongoDB学习笔记六】MongoDB修改器 bit1129 mongodb
    本文首先介绍下MongoDB的基本的增删改查操作，然后，详细介绍MongoDB提供的修改器，以完成各种各样的文档更新操作  MongoDB的主要操作 show dbs 显示当前用户能看到哪些数据库 use foobar 将数据库切换到foobar show collections 显示当前数据库有哪些集合 db.people.update，update不带参数，可
  • 提高职业素养，做好人生规划 白糖_ 人生
      培训讲师是成都著名的企业培训讲师，他在讲课中提出的一些观点很新颖，在此我收录了一些分享一下。注：讲师的观点不代表本人的观点，这些东西大家自己揣摩。   1、什么是职业规划：职业规划并不完全代表你到什么阶段要当什么官要拿多少钱，这些都只是梦想。职业规划是清楚的认识自己现在缺什么，这个阶段该学习什么，下个阶段缺什么，又应该怎么去规划学习，这样才算是规划。  
  • 国外的网站你都到哪边看？ bozch 技术网站国外
    学习软件开发技术，如果没有什么英文基础，最好还是看国内的一些技术网站，例如：开源OSchina，csdn，iteye,51cto等等。 个人感觉如果英语基础能力不错的话，可以浏览国外的网站来进行软件技术基础的学习，例如java开发中常用的到的网站有apache.org 里面有apache的很多Projects,springframework.org是spring相关的项目网站,还有几个感觉不错的
  • 编程之美-光影切割问题 bylijinnan 编程之美
    package a; public class DisorderCount { /**《编程之美》“光影切割问题” * 主要是两个问题： * 1.数学公式（设定没有三条以上的直线交于同一点）： * 两条直线最多一个交点，将平面分成了4个区域； * 三条直线最多三个交点，将平面分成了7个区域； * 可以推出：N条直线 M个交点，区域数为N+M+1。
  • 关于Web跨站执行脚本概念 chenbowen00 Web安全跨站执行脚本
    跨站脚本攻击(XSS)是web应用程序中最危险和最常见的安全漏洞之一。安全研究人员发现这个漏洞在最受欢迎的网站,包括谷歌、Facebook、亚马逊、PayPal,和许多其他网站。如果你看看bug赏金计划,大多数报告的问题属于 XSS。为了防止跨站脚本攻击,浏览器也有自己的过滤器,但安全研究人员总是想方设法绕过这些过滤器。这个漏洞是通常用于执行cookie窃取、恶意软件传播,会话劫持,恶意重定向。在
  • [开源项目与投资]投资开源项目之前需要统计该项目已有的用户数 comsci 开源项目
            现在国内和国外,特别是美国那边,突然出现很多开源项目,但是这些项目的用户有多少,有多少忠诚的粉丝,对于投资者来讲,完全是一个未知数,那么要投资开源项目,我们投资者必须准确无误的知道该项目的全部情况,包括项目发起人的情况,项目的维持时间..项目的技术水平,项目的参与者的势力,项目投入产出的效益.....
  • oracle alert log file（告警日志文件） daizj oracle告警日志文件alert log file
    The alert log is a chronological log of messages and errors, and includes the following items: All internal errors (ORA-00600), block corruption errors (ORA-01578), and deadlock errors (ORA-00060)
  • 关于 CAS SSO 文章声明 denger SSO
    由于几年前写了几篇 CAS 系列的文章，之后陆续有人参照文章去实现，可都遇到了各种问题，同时经常或多或少的收到不少人的求助。现在这时特此说明几点： 1.  那些文章发表于好几年前了，CAS 已经更新几个很多版本了，由于近年已经没有做该领域方面的事情，所有文章也没有持续更新。 2. 文章只是提供思路，尽管 CAS 版本已经发生变化，但原理和流程仍然一致。最重要的是明白原理，然后
  • 初二上学期难记单词 dcj3sjt126com englishword
    lesson 课 traffic 交通 matter 要紧；事物 happy 快乐的，幸福的 second 第二的 idea 主意；想法；意见 mean 意味着 important 重要的，重大的 never 从来，决不 afraid 害怕 的 fifth 第五的 hometown 故乡，家乡 discuss 讨论；议论 east 东方的 agree 同意；赞成 bo
  • uicollectionview 纯代码布局, 添加头部视图 dcj3sjt126com Collection
    #import <UIKit/UIKit.h> @interface myHeadView : UICollectionReusableView { UILabel *TitleLable; } -(void)setTextTitle; @end #import "myHeadView.h" @implementation m
  • N 位随机数字串的 JAVA 生成实现 FX夜归人 javaMath随机数Random
    /** * 功能描述 随机数工具类<br /> * @author FengXueYeGuiRen * 创建时间 2014-7-25<br /> */ public class RandomUtil { // 随机数生成器 private static java.util.Random random = new java.util.R
  • Ehcache（09）——缓存Web页面 234390216 ehcache页面缓存
    页面缓存 目录 1       SimplePageCachingFilter 1.1      calculateKey 1.2      可配置的初始化参数 1.2.1     cach
  • spring中少用的注解@primary解析 jackyrong primary
    这次看下spring中少见的注解@primary注解，例子 @Component public class MetalSinger implements Singer{ @Override public String sing(String lyrics) { return "I am singing with DIO voice
  • Java几款性能分析工具的对比 lbwahoo java
    Java几款性能分析工具的对比 摘自：http://my.oschina.net/liux/blog/51800   在给客户的应用程序维护的过程中，我注意到在高负载下的一些性能问题。理论上，增加对应用程序的负载会使性能等比率的下降。然而，我认为性能下降的比率远远高于负载的增加。我也发现，性能可以通过改变应用程序的逻辑来提升，甚至达到极限。为了更详细的了解这一点，我们需要做一些性能
  • JVM参数配置大全 nickys jvm应用服务器
    JVM参数配置大全 /usr/local/jdk/bin/java -Dresin.home=/usr/local/resin -server -Xms1800M -Xmx1800M -Xmn300M -Xss512K -XX:PermSize=300M -XX:MaxPermSize=300M -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=5 -
  • 搭建 CentOS 6 服务器(14) - squid、Varnish rensanning varnish
    （一）squid 安装 # yum install httpd-tools -y # htpasswd -c -b /etc/squid/passwords squiduser 123456 # yum install squid -y 设置 # cp /etc/squid/squid.conf /etc/squid/squid.conf.bak # vi /etc/
  • Spring缓存注解@Cache使用 tom_seed spring
    参考资料 http://www.ibm.com/developerworks/cn/opensource/os-cn-spring-cache/ http://swiftlet.net/archives/774   缓存注解有以下三个： @Cacheable      @CacheEvict     @CachePut
  • dom4j解析XML时出现"java.lang.noclassdeffounderror: org/jaxen/jaxenexception"错误 xp9802
    java.lang.NoClassDefFoundError: org/jaxen/JaxenExc 关键字: java.lang.noclassdeffounderror: org/jaxen/jaxenexception 使用dom4j解析XML时，要快速获取某个节点的数据，使用XPath是个不错的方法，dom4j的快速手册里也建议使用这种方式 执行时却抛出以下异常： Exceptio
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他