kali_yao
kali_yao

Mysql分库分表（Mycat）

目录

​一.分库分表概述及Mycat的概述

1.数据切分方式

2.MyCAT概述

二.部署MyCAT服务

1.环境准备

2.配置MyCat服务器

3.分片规则

1）枚举法

2）求模法

3）全局表

​一.分库分表概述及Mycat的概述

  • 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。

  • 当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。

  • 数据库分布式核心内容无非就是数据切分（Sharding），以及切分后对数据的定位、整合。

  • 数据切分就是将数据分散存储到多个数据库中，使得单一数据库中的数据量变小，通过扩充主机的数量缓解单一数据库的性能问题，从而达到提升数据库操作性能的目的。

1.数据切分方式

垂直（纵向）切分

  • 垂直切分常见有垂直分库和垂直分表两种。

  • 垂直分库就是根据业务耦合性，将关联度低的不同表存储在不同的数据库。做法与大系统拆分为多个小系统类似，按业务分类进行独立划分。

  • 垂直分表是基于数据库中的"列"进行，某个表字段较多，可以新建一张扩展表，将不经常用或字段长度较大的字段拆分出去到扩展表中。

  • 垂直切分的优点：

    • 解决业务系统层面的耦合，业务清晰

    • 对不同业务的数据进行分级管理、维护、监控、扩展等

    • 高并发场景下，垂直切分一定程度的提升IO、数据库连接数、单机硬件资源的瓶颈

  • 垂直切分的缺点：

    • 部分表无法join，只能通过接口聚合方式解决，提升了开发的复杂度

    • 分布式事务处理复杂

    • 依然存在单表数据量过大的问题（需要水平切分）

水平（横向）切分

  • 当一个应用难以再细粒度的垂直切分，或切分后数据量行数巨大，存在单库读写、存储性能瓶颈，这时候就需要进行水平切分了。

  • 水平切分分为库内分表和分库分表，是根据表内数据内在的逻辑关系，将同一个表按不同的条件分散到多个数据库或多个表中，每个表中只包含一部分数据，从而使得单个表的数据量变小，达到分布式的效果。

  • 库内分表只解决了单一表数据量过大的问题，但没有将表分布到不同机器的库上，因此对于减轻MySQL数据库的压力来说，帮助不是很大，大家还是竞争同一个物理机的CPU、内存、网络IO，最好通过分库分表来解决。

  • 水平切分后同一张表会出现在多个数据库/表中，每个库/表的内容不同。

  • 水平切分的优点：

    • 不存在单库数据量过大、高并发的性能瓶颈，提升系统稳定性和负载能力

    • 应用端改造较小，不需要拆分业务模块

  • 水平切分的缺点：

    • 跨分片的事务一致性难以保证

    • 跨库的join关联查询性能较差

    • 数据多次扩展难度和维护量极大

2.MyCAT概述

  • mycat是基于Java的分布式数据库系统中间件，为高并发环境的分布式存储提供解决方案

  • 适合数据大量写入的存储需求

  • 支持MySQL、Oracle、Sqlserver、Mongodb等

  • 提供数据读写分离服务

  • 提供数据分片服务

  • 基于阿里巴巴Cobar进行研发的开源软件

分片规则

  • 枚举法 sharding-by-intfile

  • 固定分片 rule

  • 范围约定 auto-sharding-long

  • 求模法 mod-long

  • 日期列分区法 sharding-by-date

  • 通配取模 sharding-by-pattern

  • ASCII码求模通配 sharding-by-prefixpattern

  • 编程指定 sharding-by-substring

  • 字符串拆分hash解析 sharding-by-stringhash

  • 一致性hash sharding-by-murmur

工作过程

        解析SQL命令涉及到的表

        然后看对表的配置，如果有分片规则，则获取SQL命令里分片字段的值，并匹配分片函数，获得分片列表

        然后将SQL命令发往对应的数据库服务器去执行

        最后收集和处理所有分片结果数据，并返回到客户端

二.部署MyCAT服务

1.环境准备

client:192.168.1.10

mycat:192.168.1.15

db1:192.168.1.11

db2:192.168.1.12

db3:192.168.1.13

2.配置MyCat服务器

  • 部署MyCat 运行环境

[root@mycat1 ~]# yum -y install java-1.8.0-openjdk
​
[root@mycat1 ~]# which java
/usr/bin/java
[root@mycat1 ~]# java -version
openjdk version "1.8.0_222-ea"
OpenJDK Runtime Environment (build 1.8.0_222-ea-b03)
OpenJDK 64-Bit Server VM (build 25.222-b03, mixed mode)

  • 安装软件包

  • 网址：http://dl.mycat.io/

[root@mycat1 ~]# tar xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
[root@mycat1 ~]# mv mycat /usr/local/
# 设置PATH环境变量
[root@mycat1 ~]# vim /etc/profile.d/mycat.sh
export PATH=$PATH:/usr/local/mycat/bin
[root@mycat1 ~]# source /etc/profile.d/mycat.sh

  • 修改配置文件：设置连接账号及逻辑库

# 保持默认配置即可
[root@mycat1 ~]# vim /usr/local/mycat/conf/server.xml
# 该文件中用户及逻辑库的说明如下：
      
    123456   
    TESTDB    


               user
               TESTDB
               true

  • 修改配置文件：配置数据分片

[root@mycat1 ~]# vim /usr/local/mycat/conf/schema.xml



​
      
        
          
​
        
        

        

        
        

        
        

        

                
            
            
        

            

        
    
    
    
    
    
    
​
  
    
        select user()
        
        
    
​
    
        select user()
        
        
    
​
    
        select user()
  • 配置数据库服务器
[root@mysql1 ~]# mysql -uroot [email protected]
mysql> create database db1 default charset utf8mb4;
mysql> grant all on *.* to mycatadmin@'%' identified by '[email protected]';
​
[root@mysql2 ~]# mysql -uroot [email protected]
mysql> create database db2 default charset utf8mb4;
mysql> grant all on *.* to mycatadmin@'%' identified by '[email protected]';
​
[root@mysql3 ~]# mysql -uroot [email protected]
mysql> create database db3 default charset utf8mb4;
mysql> grant all on *.* to mycatadmin@'%' identified by '[email protected]';

启动MyCat

  • 在MyCat服务器上测试到3台数据库服务器的连接账户

# 安装mysql客户端软件
[root@mycat1 ~]# yum install -y mysql-community-client
​
[root@mycat1 ~]# mysql -h192.168.1.11 -umycatadmin [email protected]
[root@mycat1 ~]# mysql -h192.168.1.12 -umycatadmin [email protected]
[root@mycat1 ~]# mysql -h192.168.1.13 -umycatadmin [email protected]

  • 启动服务

[root@mycat1 ~]# mycat start
[root@mycat1 ~]# netstat -tlnp | grep :8066
tcp6       0      0 :::8066                 :::*                    LISTEN      13835/java

  • 客户端连接测试

[root@node10 ~]# mysql -h192.168.1.15 -P8066 -uroot -p123456
mysql> show databases;
+----------+
| DATABASE |
+----------+
| TESTDB   |
+----------+
1 row in set (0.00 sec)

mysql> use TESTDB;
mysql> show tables;
+------------------+
| Tables in TESTDB |
+------------------+
| company          |
| customer         |
| customer_addr    |
| employee         |
| goods            |
| hotnews          |
| orders           |
| order_items      |
| travelrecord     |
+------------------+
9 rows in set (0.00 sec)

3.分片规则

1）枚举法

概述

  • 使用sharding-by-intfile规则

  • 决定使用枚举法的表

  • 找到数据分片字段名

  • 查看数据分片使用的函数名

  • 找到函数调用的配置文件

  • 修改函数配置文件

配置

  • 查看使用枚举法的表

[root@mycat1 ~]# grep -B1 sharding-by-intfile /usr/local/mycat/conf/schema.xml
  

  
    

  •  
    查看规则文件，得知sharding-by-intfile分片规则使用的函数
     
    • 

[root@mycat1 ~]# vim /usr/local/mycat/conf/rule.xml

                
                        sharding_id    
                        hash-int   
                



                partition-hash-int.txt   

    

  •  
    修改函数配置文件，添加dn3 数据节点
     
    • 

[root@mycat1 ~]# vim /usr/local/mycat/conf/partition-hash-int.txt
10000=0   //当sharding_id字段的值是10000时，数据存储在数据节点dn1里
10010=1   //当sharding_id字段的值是10010时，数据存储在数据节点dn2里
10020=2   //当sharding_id字段的值是10020时，数据存储在数据节点dn3里
    

  •  
    重启服务
     
    • 

[root@mycat1 conf]# mycat restart
    

  •  
    客户端连接分片服务器，存取数据
     
    • 

[root@node10 ~]# mysql -h192.168.1.15 -P8066 -uroot -p123456
mysql> use TESTDB;
mysql> create table employee(id int primary key, sharding_id int, name varchar(20), birth_date date);

# 存储数据时必须指定字段名列表
mysql> insert into employee
    -> (id, sharding_id, name, birth_date)
    -> values
    -> (1, 10000, 'nb', '2000-01-01'),
    -> (2, 10010, 'wk', '1998-10-01'),
    -> (3, 10020, 'plj', '2002-05-04'),
    -> (4, 10020, 'dmy', '1990-08-02');
Query OK, 4 rows affected (0.21 sec)

mysql> select * from employee;
+----+-------------+------+------------+
| id | sharding_id | name | birth_date |
+----+-------------+------+------------+
|  1 |       10000 | nb   | 2000-01-01 |
|  2 |       10010 | wk   | 1998-10-01 |
|  3 |       10020 | plj  | 2002-05-04 |
|  4 |       10020 | dmy  | 1990-08-02 |
+----+-------------+------+------------+
4 rows in set (0.09 sec)
# 分别到3台服务器上查看记录
[root@mysql1 ~]# mysql -uroot [email protected]
mysql> use db1;
mysql> select * from employee;
+----+-------------+------+------------+
| id | sharding_id | name | birth_date |
+----+-------------+------+------------+
|  1 |       10000 | nb   | 2000-01-01 |
+----+-------------+------+------------+
1 row in set (0.00 sec)

[root@mysql2 ~]# mysql -uroot [email protected]
mysql> use db2;
mysql> select * from employee;
+----+-------------+------+------------+
| id | sharding_id | name | birth_date |
+----+-------------+------+------------+
|  2 |       10010 | wk   | 1998-10-01 |
+----+-------------+------+------------+
1 row in set (0.00 sec)

[root@mysql3 ~]# mysql -uroot [email protected]
mysql> use db3;
mysql> select * from employee;
+----+-------------+------+------------+
| id | sharding_id | name | birth_date |
+----+-------------+------+------------+
|  3 |       10020 | plj  | 2002-05-04 |
|  4 |       10020 | dmy  | 1990-08-02 |
+----+-------------+------+------------+
2 rows in set (0.00 sec)


2）求模法


概述


    

  •  
    使用mod-long规则
     
    • 

  •  
    切分规则根据配置中输入的数值n
     
    • 

  •  
    分片规则将数据分成n份（通常dn节点也为n），从而将数据均匀的分布于各节点上
     
    • 

  •  
    这种策略可以很好的分散数据库写的压力。比较适合于单点查询的情景
     
    • 



配置


    

  •  
    查看配置文件，得知使用mod-long分片规则的表名
     
    • 



[root@mycat1 ~]# vim /usr/local/mycat/conf/schema.xml
... ...
  













... ...
    

  •  
    查看规则文件，得知mod-long分片规则使用的函数
     
    • 

[root@mycat1 ~]# vim /usr/local/mycat/conf/rule.xml

                
                        id             
                        mod-long   
                
        

                
                3       

    

  •  
    重启服务
     
    • 

[root@mycat1 ~]# mycat restart
Stopping Mycat-server...
Stopped Mycat-server.
Starting Mycat-server...
    

  •  
    客户端连接分片服务器，存取数据
     
    • 

[root@node10 ~]# mysql -h192.168.1.15 -P8066 -uroot -p123456
mysql> use TESTDB;
mysql> create table hotnews(id int primary key, title varchar(50), content text);
Query OK, 0 rows affected (0.59 sec)

mysql> insert into hotnews
    -> (id, title, content)
    -> values
    -> (1, 'python', '讲python了'),
    -> (2, 'mysql', 'mysql'),
    -> (3, 'mysql更新', '增加全部sql语法'),
    -> (4, 'mysql', '基础');
Query OK, 4 rows affected (0.14 sec)
Records: 2  Duplicates: 0  Warnings: 0

mysql> select * from hotnews;
+----+--------------------+-----------------------+
| id | title              | content               |
+----+--------------------+-----------------------+
|  1 | python            | 讲python了      |
|  4 | mysql             | mysql          |
|  2 | mysql             | 基础           |
|  3 | mysql更新          | 增加全部sql语法       |
+----+--------------------+-----------------------+
4 rows in set (0.07 sec)

# 分别到3台服务器上查看记录
[root@mysql1 ~]# mysql -uroot [email protected]
mysql> use db1;
mysql> select * from hotnews;
+----+-------------------+-----------------------+
| id | title             | content               |
+----+-------------------+-----------------------+
|  3 | mysql更新          | 增加全部sql语法       |
+----+-------------------+-----------------------+
1 row in set (0.00 sec)

[root@mysql2 ~]# mysql -uroot [email protected]
mysql> use db2;
mysql> select * from hotnews;
+----+--------------------+-----------------------+
| id | title              | content               |
+----+--------------------+-----------------------+
|  1 | python            |       讲python了      |
|  4 | mysql             |       mysql          |
+----+--------------------+-----------------------+
2 rows in set (0.00 sec)

[root@mysql3 ~]# mysql -uroot -p'[email protected]'
mysql> use db3;
mysql> select * from hotnews;
+----+-------------------+-------------------+
| id | title             | content           |
+----+-------------------+-------------------+
|  2 | mysql             | 基础               |
+----+-------------------+-------------------+
1 row in set (0.00 sec)


3）全局表


概述


    

  •  
    类型为global的表存储在所有的库中
     
    • 



配置


    

  •  
    查看全局表
     
    • 



[root@mycat1 ~]# grep goods /usr/local/mycat/conf/schema.xml
  









    

  •  
    客户端连接分片服务器，存取数据
     
    • 

[root@node10 ~]# mysql -h192.168.1.15 -P8066 -uroot -p123456
mysql> use TESTDB;
mysql> create table goods(id int primary key auto_increment, name varchar(10));
Query OK, 0 rows affected (0.61 sec)

mysql> insert into goods(id, name)
    -> values
    -> (1, '奶茶'),
    -> (2, '矿泉水'),
    -> (3, '花生'),
    -> (4, '瓜子');
Query OK, 4 rows affected (0.16 sec)
Records: 4  Duplicates: 0  Warnings: 0

mysql> select * from goods;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | 奶茶      |
|  2 | 矿泉水    |
|  3 | 花生      |
|  4 | 瓜子      |
+----+-----------+
4 rows in set (0.01 sec)
# 分别到3台服务器上查看记录
[root@mysql1 ~]# mysql -uroot [email protected]
mysql> use db1;
mysql> select * from goods;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | 奶茶      |
|  2 | 矿泉水    |
|  3 | 花生      |
|  4 | 瓜子      |
+----+-----------+
4 rows in set (0.00 sec)

[root@mysql2 ~]# mysql -uroot [email protected]
mysql> use db2;
mysql> select * from goods;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | 奶茶      |
|  2 | 矿泉水    |
|  3 | 花生      |
|  4 | 瓜子      |
+----+-----------+
4 rows in set (0.00 sec)

[root@mysql3 ~]# mysql -uroot [email protected]
mysql> use db3
mysql> select * from goods;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | 奶茶      |
|  2 | 矿泉水    |
|  3 | 花生      |
|  4 | 瓜子      |
+----+-----------+
4 rows in set (0.00 sec)





你可能感兴趣的:(mysql,mysql,数据库,linux)






    

  • android系统selinux中添加新属性property
辉色投像

    1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
    

    • 

  • mysql禁用远程登录
igotyback
mysql

    去mysql库中的user表里，将host都改成localhost之后刷新权限FLUSHPRIVILEGES;
    

    • 

  • Linux下QT开发的动态库界面弹出操作（SDL2）
13jjyao
QT类qt开发语言sdl2linux

    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
    

    • 

  • linux sdl windows.h,Windows下的SDL安装
奔跑吧linux内核
linuxsdlwindows.h

    首先你要下载并安装SDL开发包。如果装在C盘下，路径为C:\SDL1.2.5如果在WINDOWS下。你可以按以下步骤：1.打开VC++，点击"Tools",Options2,点击directories选项3.选择"Includefiles"增加一个新的路径。"C:\SDL1.2.5\include"4，现在选择"Libaryfiles“增加"C:\SDL1.2.5\lib"现在你可以开始编写你的第
    

    • 

  • Google earth studio 简介
陟彼高冈yu
旅游

    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
    

    • 

  • linux中sdl的使用教程,sdl使用入门
Melissa Corvinus
linux中sdl的使用教程

    本文通过一个简单示例讲解SDL的基本使用流程。示例中展示一个窗口，窗口里面有个随机颜色快随机移动。当我们鼠标点击关闭按钮时间窗口关闭。基本步骤如下：1.初始化SDL并创建一个窗口。SDL_Init()初始化SDL_CreateWindow()创建窗口2.纹理渲染存储RGB和存储纹理的区别：比如一个从左到右由红色渐变到蓝色的矩形，用存储RGB的话就需要把矩形中每个点的具体颜色值存储下来；而纹理只是一
    

    • 

  • PHP环境搭建详细教程
好看资源平台
前端php

    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
    

    • 

  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）
编程经验分享
开发工具服务器sshlinux

    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
    

    • 

  • 关于提高复杂业务逻辑代码可读性的思考
编程经验分享
开发经验java数据库开发语言

    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
    

    • 

  • SQL Server_查询某一数据库中的所有表的内容
qq_42772833
SQLServer数据库sqlserver

    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
    

    • 

  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具
nseejrukjhad
数据库python

    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
    

    • 

  • MYSQL面试系列-04
king01299
面试mysql面试

    MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
    

    • 

  • MongoDB Oplog 窗口
喝醉酒的小白
MongoDB运维

    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
    

    • 

  • libyuv之linux编译
jaronho
Linuxlinux运维服务器

    文章目录一、下载源码二、编译源码三、注意事项1、银河麒麟系统（aarch64）（1）解决armv8-a+dotprod+i8mm指令集支持问题（2）解决armv9-a+sve2指令集支持问题一、下载源码到GitHub网站下载https://github.com/lemenkov/libyuv源码，或者用直接用git克隆到本地，如：gitclonehttps://github.com/lemenko
    

    • 

  • python os 环境变量
CV矿工
python开发语言numpy

    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
    

    • 

  • ARM驱动学习之5 LEDS驱动
JT灬新一
嵌入式C底层arm开发学习单片机

    ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
    

    • 

  • 【PG】常见数据库、表属性设置
江无羡
数据库

    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
    

    • 

  • 【华为OD技术面试真题精选 - 非技术题】 -HR面，综合面_华为od hr面
一个射手座的程序媛
程序员华为od面试职场和发展

    最后的话最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！资料预览给大家整理的视频资料：给大家整理的电子书资料：如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以点击这里获
    

    • 

  • nosql数据库技术与应用知识点
皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库

    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    

    • 

  • 简介Shell、zsh、bash
zhaosuningsn
Shellzshbashshelllinuxbash

    Shell是Linux和Unix的外壳，类似衣服，负责外界与Linux和Unix内核的交互联系。例如接收终端用户及各种应用程序的命令，把接收的命令翻译成内核能理解的语言，传递给内核，并把内核处理接收的命令的结果返回给外界，即Shell是外界和内核沟通的桥梁或大门。Linux和Unix提供了多种Shell，其中有种bash，当然还有其他好多种。Mac电脑中不但有bash，还有一个zsh，预装的，据说
    

    • 

  • Linux MariaDB使用OpenSSL安装SSL证书
Meta39
MySQLOracleMariaDBLinuxWindowsssllinuxmariadb

    进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
    

    • 

  • insert into select 主键自增_mybatis拦截器实现主键自动生成
weixin_39521651
insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id

    前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
    

    • 

  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解
秋刀prince
mysqlmysql数据库

    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
    

    • 

  • 【从浅识到熟知Linux】Linux发展史
Jammingpro
从浅学到熟知Linuxlinux运维服务器

    归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
    

    • 

  • linux 发展史
种树的猴子
内核java操作系统linux大数据

    linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
    

    • 

  • Linux sh命令
fengyehongWorld
Linuxlinux

    目录一.基本语法二.选项2.1-c字符串中读取内容，并执行2.1.1基本用法2.1.2获取当前目录下失效的超链接2.2-x每个命令执行之前，将其打印出来2.3结合Here文档使用一.基本语法⏹Linux和Unix系统中用于执行shell脚本或运行命令的命令。sh[选项][脚本文件][参数...]⏹选项-c：从字符串中读取内容，并执行。-x：在每个命令执行之前，将其打印出来。-s：从标准流中读取内容
    

    • 

  • Linux vi常用命令
fengyehongWorld
Linuxlinux

    参考资料viコマンド（vimコマンド）リファレンス目录一.保存系命令二.删除系命令三.移动系命令四.复制粘贴系命令一.保存系命令⏹保存并退出:wq⏹强制保存并退出:wq!⏹退出(文件未编辑):q⏹强制退出(忽略已编辑内容):q!⏹另存为:w新文件名二.删除系命令⏹删除当前行dd⏹清空整个文档gg：移动到文档顶部dG：删除到最后一行ggdG三.移动系命令⏹移动到文档顶部gg⏹移动到文档底部#方式1G
    

    • 

  • Java爬虫框架（一）--架构设计
狼图腾-狼之传说
java框架java任务html解析器存储电子商务

    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
    

    • 

  • Linux查看服务器日志
TPBoreas
运维linux运维

    一、tail这个是我最常用的一种查看方式用法如下：tail-n10test.log查询日志尾部最后10行的日志;tail-n+10test.log查询10行之后的所有日志;tail-fn10test.log循环实时查看最后1000行记录(最常用的)一般还会配合着grep用，(实时抓包)例如:tail-fn1000test.log|grep'关键字'（动态抓包）tail-fn1000test.log
    

    • 

  • MongoDB知识概括
GeorgeLin98
持久层mongodb

    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
    

    • 

  • 关于旗正规则引擎中的MD5加密问题
何必如此
jspMD5规则加密

    一般情况下，为了防止个人隐私的泄露，我们都会对用户登录密码进行加密，使数据库相应字段保存的是加密后的字符串，而非原始密码。
在旗正规则引擎中，通过外部调用，可以实现MD5的加密，具体步骤如下：
1.在对象库中选择外部调用，选择“com.flagleader.util.MD5”，在子选项中选择“com.flagleader.util.MD5.getMD5ofStr({arg1})”；
2.在规
    

    • 

  • 【Spark101】Scala Promise/Future在Spark中的应用
bit1129
Promise

    Promise和Future是Scala用于异步调用并实现结果汇集的并发原语，Scala的Future同JUC里面的Future接口含义相同，Promise理解起来就有些绕。等有时间了再仔细的研究下Promise和Future的语义以及应用场景，具体参见Scala在线文档：http://docs.scala-lang.org/sips/completed/futures-promises.html
    

    • 

  • spark sql 访问hive数据的配置详解
daizj
spark sqlhivethriftserver

    spark sql 能够通过thriftserver 访问hive数据，默认spark编译的版本是不支持访问hive，因为hive依赖比较多，因此打的包中不包含hive和thriftserver,因此需要自己下载源码进行编译，将hive，thriftserver打包进去才能够访问，详细配置步骤如下：
 
1、下载源码
 
2、下载Maven,并配置
此配置简单，就略过
    

    • 

  • HTTP 协议通信
周凡杨
javahttpclienthttp通信

     
                     
一：简介
 HTTPCLIENT，通过JAVA基于HTTP协议进行点与点间的通信！
 
 
二： 代码举例
 
   测试类：
import java
    

    • 

  • java unix时间戳转换
g21121
java

    把java时间戳转换成unix时间戳：
Timestamp appointTime=Timestamp.valueOf(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()))
SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd hh:m
    

    • 

  • web报表工具FineReport常用函数的用法总结（报表函数）
老A不折腾
web报表finereport总结

    说明：本次总结中，凡是以tableName或viewName作为参数因子的。函数在调用的时候均按照先从私有数据源中查找，然后再从公有数据源中查找的顺序。
 
CLASS
CLASS(object):返回object对象的所属的类。
 
CNMONEY
CNMONEY(number,unit)返回人民币大写。
number:需要转换的数值型的数。
unit:单位，
    

    • 

  • java jni调用c++ 代码 报错
墙头上一根草
javaC++jni

    #
# A fatal error has been detected by the Java Runtime Environment:
#
#  EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x00000000777c3290, pid=5632, tid=6656
#
# JRE version: Java(TM) SE Ru
    

    • 

  • Spring中事件处理de小技巧
aijuans
springSpring 教程Spring 实例Spring 入门Spring3

    Spring 中提供一些Aware相关de接口，BeanFactoryAware、 ApplicationContextAware、ResourceLoaderAware、ServletContextAware等等，其中最常用到de匙ApplicationContextAware.实现ApplicationContextAwaredeBean，在Bean被初始后，将会被注入 Applicati
    

    • 

  • linux shell ls脚本样例
annan211
linuxlinux ls源码linux 源码

    
#! /bin/sh -
#查找输入文件的路径
#在查找路径下寻找一个或多个原始文件或文件模式
# 查找路径由特定的环境变量所定义
#标准输出所产生的结果 通常是查找路径下找到的每个文件的第一个实体的完整路径
# 或是filename :not found 的标准错误输出。
#如果文件没有找到 则退出码为0
#否则 即为找不到的文件个数
#语法 pathfind [--
    

    • 

  • List,Set,Map遍历方式 (收集的资源,值得看一下)
百合不是茶
listsetMap遍历方式

    List特点：元素有放入顺序，元素可重复
Map特点：元素按键值对存储，无放入顺序
Set特点：元素无放入顺序，元素不可重复（注意：元素虽然无放入顺序，但是元素在set中的位置是有该元素的HashCode决定的，其位置其实是固定的）
List接口有三个实现类：LinkedList，ArrayList，Vector
LinkedList：底层基于链表实现，链表内存是散乱的，每一个元素存储本身
    

    • 

  • 解决SimpleDateFormat的线程不安全问题的方法
bijian1013
javathread线程安全

    在Java项目中，我们通常会自己写一个DateUtil类，处理日期和字符串的转换，如下所示：
public class DateUtil01 {
private SimpleDateFormat dateformat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
public void format(Date d
    

    • 

  • http请求测试实例（采用fastjson解析）
bijian1013
http测试

            在实际开发中，我们经常会去做http请求的开发，下面则是如何请求的单元测试小实例，仅供参考。
import java.util.HashMap;
import java.util.Map;
import org.apache.commons.httpclient.HttpClient;
import 
    

    • 

  • 【RPC框架Hessian三】Hessian 异常处理
bit1129
hessian

    RPC异常处理概述  
RPC异常处理指是，当客户端调用远端的服务，如果服务执行过程中发生异常，这个异常能否序列到客户端？
 
如果服务在执行过程中可能发生异常，那么在服务接口的声明中，就该声明该接口可能抛出的异常。
 
在Hessian中，服务器端发生异常，可以将异常信息从服务器端序列化到客户端，因为Exception本身是实现了Serializable的
    

    • 

  • 【日志分析】日志分析工具
bit1129
日志分析

    1. 网站日志实时分析工具 GoAccess
http://www.vpsee.com/2014/02/a-real-time-web-log-analyzer-goaccess/
2. 通过日志监控并收集 Java 应用程序性能数据(Perf4J)
http://www.ibm.com/developerworks/cn/java/j-lo-logforperf/
3.log.io
和
    

    • 

  • nginx优化加强战斗力及遇到的坑解决
ronin47
nginx 优化

    　　　先说遇到个坑，第一个是负载问题，这个问题与架构有关，由于我设计架构多了两层，结果导致会话负载只转向一个。解决这样的问题思路有两个：一是改变负载策略，二是更改架构设计。
　　　由于采用动静分离部署，而nginx又设计了静态，结果客户端去读nginx静态，访问量上来，页面加载很慢。解决：二者留其一。最好是保留apache服务器。
 
　　　来以下优化：
 
　　　 
    

    • 

  • java-50-输入两棵二叉树A和B，判断树B是不是A的子结构
bylijinnan
java

    思路来自：
http://zhedahht.blog.163.com/blog/static/25411174201011445550396/
import ljn.help.*;
public class HasSubtree {
/**Q50.
* 输入两棵二叉树A和B，判断树B是不是A的子结构。
例如，下图中的两棵树A和B，由于A中有一部分子树的结构和B是一
    

    • 

  • mongoDB 备份与恢复
开窍的石头
mongDB备份与恢复

    Mongodb导出与导入
1: 导入/导出可以操作的是本地的mongodb服务器,也可以是远程的.
所以,都有如下通用选项:
-h host   主机
--port port    端口
-u username 用户名
-p passwd   密码
2: mongoexport 导出json格式的文件 
    

    • 

  • [网络与通讯]椭圆轨道计算的一些问题
comsci
网络

    
     如果按照中国古代农历的历法，现在应该是某个季节的开始，但是由于农历历法是3000年前的天文观测数据，如果按照现在的天文学记录来进行修正的话，这个季节已经过去一段时间了。。。。。
      也就是说，还要再等3000年。才有机会了，太阳系的行星的椭圆轨道受到外来天体的干扰，轨道次序发生了变
    

    • 

  • 软件专利如何申请
cuiyadll
软件专利申请

    软件技术可以申请软件著作权以保护软件源代码，也可以申请发明专利以保护软件流程中的步骤执行方式。专利保护的是软件解决问题的思想，而软件著作权保护的是软件代码（即软件思想的表达形式）。例如，离线传送文件，那发明专利保护是如何实现离线传送文件。基于相同的软件思想，但实现离线传送的程序代码有千千万万种，每种代码都可以享有各自的软件著作权。申请一个软件发明专利的代理费大概需要5000-8000申请发明专利可
    

    • 

  • Android学习笔记
darrenzhu
android

    1.启动一个AVD
2.命令行运行adb shell可连接到AVD,这也就是命令行客户端
3.如何启动一个程序
  am start -n package name/.activityName
  am start -n com.example.helloworld/.MainActivity
启动Android设置工具的命令如下所示：
# am start -
    

    • 

  • apache虚拟机配置，本地多域名访问本地网站
dcj3sjt126com
apache

    现在假定你有两个目录，一个存在于 /htdocs/a，另一个存在于 /htdocs/b 。
现在你想要在本地测试的时候访问 www.freeman.com 对应的目录是 /xampp/htdocs/freeman ,访问 www.duchengjiu.com 对应的目录是 /htdocs/duchengjiu。
1、首先修改C盘WINDOWS\system32\drivers\etc目录下的 
    

    • 

  • yii2 restful web服务[速率限制]
dcj3sjt126com
PHPyii2

    速率限制
为防止滥用，你应该考虑增加速率限制到您的API。 例如，您可以限制每个用户的API的使用是在10分钟内最多100次的API调用。 如果一个用户同一个时间段内太多的请求被接收， 将返回响应状态代码 429 (这意味着过多的请求)。
要启用速率限制, [[yii\web\User::identityClass|user identity class]] 应该实现 [[yii\filter
    

    • 

  • Hadoop2.5.2安装——单机模式
eksliang
hadoophadoop单机部署

    转载请出自出处：http://eksliang.iteye.com/blog/2185414 一、概述
       Hadoop有三种模式 单机模式、伪分布模式和完全分布模式，这里先简单介绍单机模式 ，默认情况下，Hadoop被配置成一个非分布式模式，独立运行JAVA进程，适合开始做调试工作。
  二、下载地址
Hadoop 网址http:
    

    • 

  • LoadMoreListView+SwipeRefreshLayout（分页下拉）基本结构
gundumw100
android

    一切为了快速迭代
import java.util.ArrayList;
import org.json.JSONObject;
import android.animation.ObjectAnimator;
import android.os.Bundle;
import android.support.v4.widget.SwipeRefreshLayo
    

    • 

  • 三道简单的前端HTML/CSS题目
ini
htmlWeb前端css题目

    使用CSS为多个网页进行相同风格的布局和外观设置时，为了方便对这些网页进行修改，最好使用（ ）。http://hovertree.com/shortanswer/bjae/7bd72acca3206862.htm
 
在HTML中加入<table style=”color:red; font-size:10pt”>，此为（ ）。http://hovertree.com/s
    

    • 

  • overrided方法编译错误
kane_xie
override

    
问题描述：
在实现类中的某一或某几个Override方法发生编译错误如下：
Name clash: The method put(String) of type XXXServiceImpl has the same erasure as put(String) of type XXXService but does not override it
 
当去掉@Over
    

    • 

  • Java中使用代理IP获取网址内容（防IP被封，做数据爬虫）
mcj8089
免费代理IP代理IP数据爬虫JAVA设置代理IP爬虫封IP

    推荐两个代理IP网站：
 
1. 全网代理IP：http://proxy.goubanjia.com/
 
2. 敲代码免费IP：http://ip.qiaodm.com/
 
Java语言有两种方式使用代理IP访问网址并获取内容，
 
方式一，设置System系统属性
 
// 设置代理IP
System.getProper
    

    • 

  • Nodejs Express 报错之 listen EADDRINUSE
qiaolevip
每天进步一点点学习永无止境nodejs纵观千象

    当你启动 nodejs服务报错：
>node app
Express server listening on port 80
events.js:85
throw er; // Unhandled 'error' event
^
Error: listen EADDRINUSE
at exports._errnoException (
    

    • 

  • C++中三种new的用法
_荆棘鸟_
C++new

    转载自：http://news.ccidnet.com/art/32855/20100713/2114025_1.html
作者: mt
其一是new operator，也叫new表达式；其二是operator new，也叫new操作符。这两个英文名称起的也太绝了，很容易搞混，那就记中文名称吧。new表达式比较常见，也最常用，例如：
string* ps = new string("
    

    • 

  • Ruby深入研究笔记1
wudixiaotie
Ruby

    module是可以定义private方法的
module MTest
def aaa
puts "aaa"
private_method
end
private
def private_method
puts "this is private_method"
end
end

    

    •