钱多多_qdd
钱多多_qdd

Sharding-jdbc

前言

课程目标

  1. 掌握 Sharding-JDBC 的使用方式
  2. 掌握分布式事务、全局 ID 等问题的解决方案
  3. 理解 Sharding-JDBC 的工作流程和实现原理
  4. 理解基于 Mycat 和 Sharding-JDBC 的差别 

全文请结合项目观看。 

一、分片核心概念

        在我们用 Sharding-JDBC 之前，有一些核心概念是必须掌握的。

 1.1 核心概念

逻辑表、真实表、分片键、数据节点、动态表、广播表、绑定表。

1.1.1 主要概念

Sharding-jdbc_第1张图片

 逻辑表会在 SQL 解析和路由时被替换成真实的表名。

1.1.2 动态表

Sharding-jdbc_第2张图片

 1.1.3 绑定表

跟 Mycat 的 ER 表对应
Sharding-jdbc_第3张图片

 1.1.4 广播表

跟 Mycat 的全局表对应
Sharding-jdbc_第4张图片

二、Sharding-JDBC 实战

快速入门：https://shardingsphere.apache.org/document/legacy/4.x/document/cn/quick-start/sharding-jdbc-quick-start/

2.1 引入依赖

核心依赖是：sharding-jdbc-core

注意组织名称（groupId）是 org.apache.shardingsphere，捐献给 Apache 之后（课程中统一用这个）。
io.shardingjdbc ：更名之前（废弃）
io.shardingsphere：更名之后（废弃）
包名和某些类有差异，如果升级需要注意，import 的包名都需要修改。
Apache 的包为 Spring Boot 提供了 starter 的依赖：


    org.apache.shardingsphere
    sharding-jdbc-spring-boot-starter
    4.1.1

2.2 API 使用

        先看 API 是怎么用的，也就是自己像 JDBC 的代码一样创建数据源，创建连接。后面再看在 Spring 里面怎么使用。

2.2.1 数据分片

https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/shardingjdbc/usage/sharding/

 spring-boot-sharding-jdbc 工程 com.qingshan.jdbc.ShardJDBCTest：

public class ShardJDBCTest {
    public static void main(String[] args) throws SQLException {
        // 配置真实数据源
        Map dataSourceMap = new HashMap<>();

        // 配置第一个数据源
        DruidDataSource dataSource1 = new DruidDataSource();
        dataSource1.setDriverClassName("com.mysql.jdbc.Driver");
        dataSource1.setUrl("jdbc:mysql://localhost:3306/ds0");
        dataSource1.setUsername("root");
        dataSource1.setPassword("root");
        dataSourceMap.put("ds0", dataSource1);

        // 配置第二个数据源
        DruidDataSource dataSource2 = new DruidDataSource();
        dataSource2.setDriverClassName("com.mysql.jdbc.Driver");
        dataSource2.setUrl("jdbc:mysql://localhost:3306/ds1");
        dataSource2.setUsername("root");
        dataSource2.setPassword("root");
        dataSourceMap.put("ds1", dataSource2);

        // 配置Order表规则
        TableRuleConfiguration orderTableRuleConfig = new TableRuleConfiguration("t_order", "ds${0..1}.t_order");
        // 分库策略，使用inline实现
        InlineShardingStrategyConfiguration dataBaseInlineStrategy = new InlineShardingStrategyConfiguration("order_id", "ds${order_id % 2}");
        orderTableRuleConfig.setDatabaseShardingStrategyConfig(dataBaseInlineStrategy);

        // 分表策略，使用inline实现（没有分表，为什么不分表？）
        InlineShardingStrategyConfiguration tableInlineStrategy = new InlineShardingStrategyConfiguration("order_id", "t_order");
        orderTableRuleConfig.setTableShardingStrategyConfig(tableInlineStrategy);

        // 添加表配置
        ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
        shardingRuleConfig.getTableRuleConfigs().add(orderTableRuleConfig);

        // 获取数据源对象
        DataSource dataSource = ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfig, new Properties());

        String sql = "SELECT * from t_order WHERE order_id =?";
        try {
            Connection conn = dataSource.getConnection();
            PreparedStatement preparedStatement = conn.prepareStatement(sql);
            preparedStatement.setLong(1, 2);
            System.out.println();
            try (ResultSet rs = preparedStatement.executeQuery()) {
                while (rs.next()) {
                    // %2结果，路由到
                    System.out.println("---------order_id：" + rs.getLong(1));
                    System.out.println("---------user_id：" + rs.getLong(2));
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

总结：

        ShardingDataSourceFactory 利用 ShardingRuleConfiguration 创建数据源。
        ShardingRuleConfiguration 可以包含多个 TableRuleConfiguration（多张表），每张表都可以通过 ShardingStrategyConfiguration 设置自己的分库和分表策略。有了数据源，就可以走 JDBC 的流程了。

2.2.2 读写分离

https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/shardingjdbc/usage/read-write-splitting/

 com.qingshan.jdbc.MasterSlaveTest：：

public class MasterSlaveTest {
    public static void main(String[] args) throws SQLException {
        // 配置真实数据源
        Map dataSourceMap = new HashMap<>();

        // 配置第一个数据源
        DruidDataSource dataSource1 = new DruidDataSource();
        dataSource1.setDriverClassName("com.mysql.jdbc.Driver");
        dataSource1.setUrl("jdbc:mysql://192.168.44.121:3306/ds0");
        dataSource1.setUsername("root");
        dataSource1.setPassword("123456");
        dataSourceMap.put("master0", dataSource1);

        // 配置第二个数据源
        DruidDataSource dataSource2 = new DruidDataSource();
        dataSource2.setDriverClassName("com.mysql.jdbc.Driver");
        dataSource2.setUrl("jdbc:mysql://192.168.44.128:3306/ds0");
        dataSource2.setUsername("root");
        dataSource2.setPassword("123456");
        dataSourceMap.put("slave0", dataSource2);

        // 配置读写分离规则
        MasterSlaveRuleConfiguration masterSlaveRuleConfig = new MasterSlaveRuleConfiguration("qs_master_slave", "master0", Arrays.asList("slave0"));

        // 获取数据源对象
        DataSource dataSource = MasterSlaveDataSourceFactory.createDataSource(dataSourceMap, masterSlaveRuleConfig, new Properties());
        Connection conn = dataSource.getConnection();

        String selectSql = "SELECT * from t_order WHERE order_id =?";
        try {
            PreparedStatement preparedStatement = conn.prepareStatement(selectSql);
            // 直接在 slave 128 ds0 插入主节点没有的数据： insert into t_order(order_id, user_id) value(26732,26732)
            preparedStatement.setLong(1, 26732);
            System.out.println();
            try (ResultSet rs = preparedStatement.executeQuery()) {
                while (rs.next()) {
                    System.out.println("---------order_id：" + rs.getLong(1));
                    System.out.println("---------user_id：" + rs.getLong(2));
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

总结一下：

Sharding-jdbc_第5张图片

在 JDBC API 中使用，我们可以直接创建数据源。

如果在 Spring 中使用，我们自定义的数据源怎么定义使用呢？因为数据源是容器管理的，所以需要通过注解或者 xml 配置文件注入。

2.3 Spring 中使用

        先来总结一下，第一个，使用的数据源需要用 Sharding-JDBC 的数据源。而不是容器或者 ORM 框架定义的。这样才能保证动态选择数据源的实现。

        当然，流程是先由Sharding-JDBC 定义，再交给 Druid 放进池子里，再交给 MyBatis，最后再注入到 Spring。最外层是 Spring，因为代码是从 Spring 开始调用的。

        第二个，因为 Sharding-JDBC 是工作在客户端的，所以我们要在客户端配置分库分表的策略。跟 Mycat 不一样的是，Sharding-JDBC 没有内置各种分片策略和算法，需要我们通过表达式或者自定义的配置文件实现。

总体上，需要配置的就是这两个，数据源和分片策略。

配置的方式是多种多样的，在官网也有详细的介绍，大家可以根据项目的实际情况进行选择。

https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/shardingjdbc/configuration/

位置：4.用户手册——4.1 Sharding-JDBC——4.1.2 配置手册

 2.3.1 Java 配置

        为了不跟项目定义的数据源冲突，单独创建了一个工程。

        gupao-shard-java 工程（自定义算法）

        第一种是把数据源和分片策略都写在 Java Config 中，加上注解。它的特点是非常灵
活，我们可以实现各种定义的分片策略。但是缺点是，如果把数据源、策略都配置在 Java
Config 中，就出现了硬编码，在修改的时候比较麻烦。

        单元测试类：com.gupaoedu.UserShardingTest

2.3.2 Spring Boot 配置

gupao-shard-prop 工程（具体分片策略）

第二种是直接使用 Spring Boot 的 application.properties 来配置，这个要基于starter 模块。

把数据源和分库分表策略都配置在 properties 文件中。这种方式配置比较简单，但是不能实现复杂的分片策略，不够灵活。

例子后面再跑。

2.3.3 yml 配置

spring-boot-sharding-jbbc 工程（读写分离）

        第三种是使用 Spring Boot 的 yml 配置（shardingjdbc.yml），也要依赖 starter模块。当然我们也可以结合不同的配置方式，比如把分片策略放在 JavaConfig 中，数据源配置在 yml 中或 properties 中。

        这里面配置了读写分离，确认一下查询是否发生在 slave 上。

stop slave;
SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
start slave;
show slave status\G

2.4 Sharding-JDBC 分片案例验证

工程：gupao-shard-prop，这里我们用 application+java config 结合的方式。

我们这里验证的是切分到本地的两个库 ds0，ds1。

注意：之前 Mycat 的课程演示，不同的数据节点都在不同的机器上，这里我们以同一数据库服务中不同的 database 来替代。无论是多个 IP 的多个库还是一个 IP 的多个库，对于验证来说没有区别。

两个库里面都是相同的 4 张表：user_info，t_order，t_order_item，t_config。

这些表必须提前创建，中间件是不会帮我们生成表结构的。

然后我们用 MyBatis 的 Generator 生成相应的实体类、Mapper 接口和映射器。

对数据库的基本的 SSM 的操作完成了，接下来就是分库分表的配置，一个是数据源，一个是分片策略。

使用以下配置打印路由信息：

spring.shardingsphere.props.sql.show=true

我们先来看一下我们的数据源的配置：

spring.shardingsphere.datasource=

大家还记得我们直接配置 MySQL 数据源是怎么写的么：

spring.datasource.url=jdbc:mysql://192.168.44.168:8066/gupao
spring.datasource.username=root
spring.datasource.password=123456
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

        当 我 们 使 用 了 Sharding-JDBC 的 数 据 源 以 后 ， 对 于 数 据 的 操 作 会 交 给Sharding-JDBC 的代码来处理。

        先来给大家普及一下，分片策略从维度上分成两种，一种是分库，一种是分表。
        我们可以定义默认的分库分表策略（配置中注释了），例如：用 user_id 作为分片键。这里用到了一种分片策略的实现，叫做行内表达式。我们对 user_id 取模，然后选择数据库。如果模 2 等于 0，在第一个数据库中。模 2 等于 1，在第二个数据库中。

数据源名称是行内表达式组装出来的：

spring.shardingsphere.sharding.tables.user_info.actual-data-nodes=ds$->{0..1}.user_info

        对于不同的表，也可以单独配置分库策略（databaseStrategy）和分表策略（tableStrategy）。案例中只有分库没有分表，所以没定义 tableStrategy。

2.4.1 取模分片

首先我们来验证一下 user_info 表的取模分片（modulo ['mɔdjuləu]）。

我们根据 user_id，把用户数据划分到两个数据节点上。

在本地创建两个数据库 ds0 和 ds1，都 user_info 创建表：

CREATE TABLE `user_info` (
`user_id` bigint(19) NOT NULL,
`user_name` varchar(45) DEFAULT NULL,
`account` varchar(45) NOT NULL,
`password` varchar(45) DEFAULT NULL,
PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

这里只定义了分库策略，没有定义单库内的分表策略，两个库都是相同的表名：
路由的结果：ds0.user_info，ds1.user_info。

如果定义了分库策略，两个库里面都有两张表，那么路由的结果可能是 4 种：
ds0.user_info0，ds0.user_info1；
ds1. user_info0, ds1. user_info1

spring.shardingsphere.sharding.tables.user_info.actual-data-nodes=ds$->{0..1}.user_info
spring.shardingsphere.sharding.tables.user_info.databaseStrategy.inline.shardingColumn=user_id
spring.shardingsphere.sharding.tables.user_info.databaseStrategy.inline.algorithm-expression=ds${user_id %2}

首先两个数据库的 user_info 表里面没有任何数据。

        在单元测量测试类 UserShardingTest 里面，执行 insert()，调用 Mapper 接口循环插入 100 条数据。

        我们看一下插入的结果。user_id 为偶数的数据，都落到了第一个库。user_id 为奇数的数据，都落到了第二个库。

        执行 select()测一下查询，看看数据分布在两个节点的时候，我们用程序查询，能不能取回正确的数据。

2.4.2 绑定表

        第二种是绑定表，也就是父表和子表有关联关系。主表和子表使用相同的分片策略。

CREATE TABLE `t_order` (
`order_id` int(11) NOT NULL,
`user_id` int(11) NOT NULL,
PRIMARY KEY (`order_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `t_order_item` (
`item_id` int(11) NOT NULL,
`order_id` int(11) NOT NULL,
`user_id` int(11) NOT NULL,
PRIMARY KEY (`item_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

绑定表将使用主表的分片策略：

# 分库算法 t_order 多库分表
spring.shardingsphere.sharding.tables.t_order.databaseStrategy.inline.shardingColumn=order_id
spring.shardingsphere.sharding.tables.t_order.databaseStrategy.inline.algorithm-expression=ds${order_id % 2}
spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order
​
# 分库算法 t_order_item 多库分表
spring.shardingsphere.sharding.tables.t_order_item.databaseStrategy.inline.shardingColumn=order_id
spring.shardingsphere.sharding.tables.t_order_item.databaseStrategy.inline.algorithm-expression=ds${order_id
% 2}
spring.shardingsphere.sharding.tables.t_order_item.actual-data-nodes=ds$->{0..1}.t_order_item
​
# 绑定表规则列表， 防止关联查询出现笛卡尔积
spring.shardingsphere.sharding.binding-tables[0]=t_order,t_order_item

除了定义分库和分表算法之外，我们还需要多定义一个 binding-tables。

绑定表不使用分片键查询时，会出现笛卡尔积。
——什么叫笛卡尔积？假如有 2 个数据库，两张表要相互关联，两张表又各有分表，那么 SQL 的执行路径就是 2*2*2=8 种。

不适用分片键：

Sharding-jdbc_第6张图片 使用分片键：

Sharding-jdbc_第7张图片

（mycat 不支持这种二维的路由，要么是分库，要么是分表） 

我们去看一下测试的代码 OrderShardingTest 和 OrderItemShardingTest：

  1. 先插入主表的数据，再插入子表的数据。
  2. 先看插入。再看查询。

2.4.3 广播表

最后一种是广播表，也就是需要在所有节点上同步操作的数据表。

spring.shardingsphere.sharding.broadcast-tables=t_config

我们用 broadcast-tables 来定义。

ConfigShardingTest.java

广播表特点：
插入和更新都会在所有节点上执行，查询呢？随机负载。

2.4.4 读写分离

参考 spring-boot-sharding-jdbc
在 com.qingshan.jdbc.MasterSlaveTest 里面已经验证过了。

master-slave-rules:
    master0:
        master-data-source-name: master0
        slave-data-source-names: slave0
    master1:
        master-data-source-name: master1
        slave-data-source-names: slave1

        OK，这个就是 Sharding-JDBC 里面几种主要的表类型的分片验证。

        如果我们需要更加复杂的分片策略，properties 文件中行内表达式的这种方式肯定满足不了实际上 properties 里面的分片策略可以指定，比如 user_info 表的分库和分表策略。

pring.shardingsphere.sharding.tables.user_info.tableStrategy.standard.shardingColumn=
spring.shardingsphere.sharding.tables.user_info.tableStrategy.standard.preciseAlgorithmClassName=
spring.shardingsphere.sharding.tables.user_info.tableStrategy.standard.rangeAlgorithmClassName=

      这个时候我们需要了解 Sharding-JDBC 中几种不同的分片策略。

三、分片策略详解

https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/sharding/

工程：gupao-shard-java config

        Sharding-JDBC 中的分片策略有两个维度：分库（数据源分片）策略和分表策略。

        分库策略表示数据路由到的物理目标数据源，分表分片策略表示数据被路由到的目标表。分表策略是依赖于分库策略的，也就是说要先分库再分表，当然也可以不分库只分表。

        跟 Mycat 不一样，Sharding-JDBC 没有提供内置的分片算法，而是通过抽象成接口，让开发者自行实现，这样可以根据业务实际情况灵活地实现分片。

3.1 分片策略

        包含分片键和分片算法，分片算法是需要自定义的。可以用于分库，也可以用于分表。

        Sharding-JDBC 提供了 5 种分片策略（接口），策略全部继承自 ShardingStrategy，可以根据情况选择实现相应的接口：

Sharding-jdbc_第8张图片

3.1.1 行表达式分片策略

https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/inline-expression/

        对应 InlineShardingStrategy 类。只支持单分片键，提供对=和 IN 操作的支持。行内表达式的配置比较简单：

例如：
${begin..end}表示范围区间
${[unit1, unit2, unit_x]}表示枚举值
t_user_$->{u_id % 8} 表示 t_user 表根据 u_id 模 8，而分成 8 张表，表名称为
t_user_0 到 t_user_7。

行表达式中如果出现连续多个${ expression }或$->{ expression }表达式，整个表达式最终的结果将会根据每个子表达式的结果进行笛卡尔组合：

例如，以下行表达式：
${['db1', 'db2']}_table${1..3}
最终会解析为：
db1_table1, db1_table2, db1_table3,
db2_table1, db2_table2, db2_table3

3.1.2 标准分片策略

        对应 StandardShardingStrategy 类。

        标 准 分 片 策 略 只 支 持 单 分 片 键 ， 提 供 了 提 供 PreciseShardingAlgorithm 和RangeShardingAlgorithm 两个分片算法，分别对应于 SQL 语句中的=, IN 和 BETWEEN AND。

        如果要使用标准分片策略，必须要实现 PreciseShardingAlgorithm，用来处理=和IN 的分片。RangeShardingAlgorithm 是可选的。如果没有实现，SQL 语句会发到所有的数据节点上执行。

3.1.3 复合分片策略

        比如：根据日期和 ID 两个字段分片，每个月 3 张表，先根据日期，再根据 ID 取模。

        对应 ComplexShardingStrategy 类。可以支持等值查询和范围查询。

        复合分片策略支持多分片键，提供了 ComplexKeysShardingAlgorithm，分片算法需要自己实现。

3.1.4 Hint 分片策略

https://shardingsphere.apache.org/document/current/cn/usermanual/shardingsphere-jdbc/usage/sharding/hint/

        对应 HintShardingStrategy。通过 Hint 而非 SQL 解析的方式分片的策略。有点类似于 Mycat 的指定分片注解。

3.1.5 不分片策略

对应 NoneShardingStrategy。不分片的策略（只在一个节点存储）。

3.2 分片算法

        创建了分片策略之后，需要进一步实现分片算法，作为参数传递给分片策略。

        Sharding-JDBC 目前提供 4 种分片算法。

3.2.1 精确分片算法

        对应 PreciseShardingAlgorithm，用于处理使用单一键作为分片键的=与 IN 进行分片的场景。需要配合 StandardShardingStrategy 使用。

3.2.2 范围分片算法

         对应 RangeShardingAlgorithm，用于处理使用单一键作为分片键的 BETWEEN AND 进行分片的场景。需要配合 StandardShardingStrategy 使用。

        如果不配置范围分片算法，范围查询默认会路由到所有节点。

3.2.3 复合分片算法

         对应 ComplexKeysShardingAlgorithm，用于处理使用多键作为分片键进行分片的场景，包含多个分片键的逻辑较复杂，需要应用开发者自行处理其中的复杂度。需要配合 ComplexShardingStrategy 使用。

3.2.4 Hint 分片算法

      对应 HintShardingAlgorithm，用于处理使用 Hint 行分片的场景。需要配合
HintShardingStrategy 使用。

3.2.5 自定义算法实现

gupao-shard-java

所有的算法都需要实现对应的接口，实现 doSharding()方法：
例如：

  • PreciseShardingAlgorithm

——传入分片键，返回一个精确的分片（数据源名称）

String doSharding(Collection availableTargetNames, PreciseShardingValue shardingValue);

PreciseShardingAlgorithm策略自定义接口代码实现：

1.自定义实现PreciseShardingAlgorithm接口策略：

/**
 * 数据库分库的策略，根据分片键，返回数据库名称
 */
public class DBShardAlgo implements PreciseShardingAlgorithm {
    @Override
    public String doSharding(Collection collection, PreciseShardingValue preciseShardingValue) {
        String db_name="ds";
        Long num = preciseShardingValue.getValue()%2;
        db_name = db_name + num;
        for (String each : collection) {
            if (each.equals(db_name)) {
                return each;
            }
        }
        throw new IllegalArgumentException();
    }

}

2.引用：

Sharding-jdbc_第9张图片

 

  •  RangeShardingAlgorithm

——传入分片键，返回多个数据源名称。

Collection doSharding(Collection availableTargetNames, RangeShardingValue
shardingValue);

 RangeShardingAlgorithm策略自定义接口代码实现：

1.自定义实现PreciseShardingAlgorithm接口策略：

public class TblRangeShardAlgo implements RangeShardingAlgorithm {
    @Override
    public Collection doSharding(Collection availableTargetNames, RangeShardingValue rangeShardingValue) {
        System.out.println("范围-*-*-*-*-*-*-*-*-*-*-*---------------"+availableTargetNames);
        System.out.println("范围-*-*-*-*-*-*-*-*-*-*-*---------------"+rangeShardingValue);
        Collection collect = new LinkedHashSet<>();
        Range valueRange = rangeShardingValue.getValueRange();
        for (Long i = valueRange.lowerEndpoint(); i <= valueRange.upperEndpoint(); i++) {
            for (String each : availableTargetNames) {
                if (each.endsWith(i % availableTargetNames.size() + "")) {
                    collect.add(each);
                }
            }
        }
        //
        return collect;
    }

}

2.引用

略。 

  •  ComplexKeysShardingAlgorithm

——传入多个分片键，返回多个数据源名称

Collection doSharding(Collection availableTargetNames, Collection
shardingValues);

四、Sharding-JDBC 介绍

https://github.com/apache/shardingsphere
https://shardingsphere.apache.org/document/legacy/4.x/document/cn/overview/

 4.1 回顾

数据源选择的解决方案层次：

  • DAO：AbstractRoutingDataSource
  • ORM：MyBatis 插件
  • JDBC：Sharding-JDBC
  • Proxy：Mycat、Sharding-Proxy
  • Server：特定数据库或者版本

Sharding-jdbc_第10张图片

 4.2 发展历史

        它是从当当网的内部架构 ddframe 里面的一个分库分表的模块脱胎出来的，用来解
决当当的分库分表的问题，把跟业务相关的敏感的代码剥离后，就得到了 ShardingJDBC。它是一个工作在客户端的分库分表的解决方案。
DubboX，Elastic-job 也是当当开源出来的产品。。。

4.3 基本特性

        定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。

        也就是说，在 maven 的工程里面，我们使用它的方式是引入依赖，然后进行配置就可以了，不用像 Mycat 一样独立运行一个服务，客户端不需要修改任何一行代码，原来是 SSM 连接数据库，还是 SSM，因为它是支持 MyBatis 的。

        跟 mycat 一样，因为数据源有多个，所以要配置数据源，而且分片规则是定义在客户端的。

       第二个，我们来看一下 Sharding- JDBC 的架构。

4.4 架构

        我们在项目内引入 Sharding-JDBC 的依赖，我们的业务代码在操作数据库的时候，就会通过 Sharding-JDBC 的代码连接到数据库。

        也就是分库分表的一些核心动作，比如 SQL 解析，路由，执行，结果处理，都是由
它来完成的。它工作在客户端。

Sharding-jdbc_第11张图片

        当然，在 Sharding-Sphere 里面同样提供了代理 Proxy 的版本，跟 Mycat 的作用是一样的。Sharding-Sidecar 是一个 Kubernetes 的云原生数据库代理，正在开发中。

Sharding-jdbc_第12张图片

4.5 功能

回顾，分库分表后的几大问题，Sharding-JDBC 全部解决了：
跨库关联查询（ER 表）、排序翻页计算、分布式事务、全局主键

4.5.1 全局 ID

https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/key-generator/

无中心化分布式主键（包括 UUID 雪花 SNOWFLAKE）

使用 key-generator-column-name 配置，生成了一个 18 位的 ID。

Properties 配置：

spring.shardingsphere.sharding.tables.user_info.key-generator.column=user_id
spring.shardingsphere.sharding.tables.user_info.key-generator.type=SNOWFLAKE
  • keyGeneratorColumnName：指定需要生成 ID 的列
  • KeyGenerotorClass：指定生成器类，默认是 DefaultKeyGenerator.java，里面使用了雪花算法。

注意：ID 要用 BIGINT。Mapper.xml insert 语句里面不能出现主键。否则会报错：
Sharding value must implements Comparable 

五、分布式事务

（这个需要结合微服务架构：Spring Cloud Alibaba 分布式事务学习，后续再深入研究Spring Cloud Alibaba ）

        我们用到分布式事务的场景有两种，一种是跨应用（比如微服务场景），一种是单应用多个数据库（分库分表的场景），对于代码层的使用来说的一样的。

5.1 事务概述

https://shardingsphere.apache.org/document/current/cn/features/transaction/

  • XA 模型的不足：需要锁定资源
  • SEATA：支持 AT、XA、TCC、SAGA
  • SEATA 是一种全局事务的框架。

5.2 两阶段事务-XA

XA 的依赖：


    org.apache.shardingsphere
    sharding-transaction-xa-core
    4.1.1

工程：spring-boot-sharding-jdbc，单元测试类
com.gupaoedu.TransactionTest
在 Service 类上加上注解

@ShardingTransactionType(TransactionType.XA)
@Transactional(rollbackFor = Exception.class)

        默认是用 atomikos 实现的。
        其他事务类型：Local、BASE
        模拟在两个节点上操作，id=2673、id=2674 路由到两个节点，第二个节点插入两个相同对象，发生主键冲突异常，会发生回滚。

        XA 实现类：
XAShardingTransactionManager——XATransactionManager——AtomikosTransactionManager

5.3 柔性事务 Seata（尚不用了解）

https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/sharding-jdbc/usage/transaction/
https://seata.io/zh-cn/docs/overview/what-is-seata.html
https://github.com/seata/seata
https://github.com/seata/seata-workshop 

         GTS 的社区版本叫 Fescar（Fast & Easy Commit And Rollback），Fescar 改名后叫 Seata AT（Simple Extensible Autonomous Transaction Architecture）。

  1. TM（事务管理器）向 TC（事务协调者）申请开启一个全局事务，全局事务创建成功并生成一个全局唯一的 XID
  2. XID 在微服务调用链路的上下文中传播
  3. RM（资源管理器）向 TC 注册分支事务，将其纳入 XID 对应全局事务的管辖
  4. TM 向 TC 发起针对 XID 的全局提交或回滚决议
  5. TC 调度 XID 下管辖的全部分支事务完成提交或回滚请求

Sharding-jdbc_第13张图片

1.需要额外部署 Seata-server 服务进行分支事务的协调。

2.使用@GlobalTransaction 注解。引入依赖：


    org.apache.shardingsphere
    sharding-transaction-base-seata-at
    4.1.1

3.seata 官方也提供了样例代码

https://github.com/seata/seata-samples

六、Sharding-JDBC 工作流程

https://shardingsphere.apache.org/document/current/cn/features/sharding/principle/

Sharding-JDBC 的原理总结起来很简单：

SQL 解析 => 执行器优化 => SQL 路由 => SQL 改写 => SQL 执行 => 结果归并。

Sharding-jdbc_第14张图片

 6.1 SQL 解析

        SQL 解析主要是词法和语法的解析。目前常见的 SQL 解析器主要有 fdb，jsqlparser和 Druid。Sharding-JDBC1.4.x 之前的版本使用 Druid 作为 SQL 解析器。从 1.5.x 版本开始，Sharding-JDBC 采用完全自研的 SQL 解析引擎。

6.2 SQL 路由

Sharding-jdbc_第15张图片

        SQL 路由是根据分片规则配置以及解析上下文中的分片条件，将 SQL 定位至真正的数据源。它又分为直接路由、简单路由和笛卡尔积路由。

        直接路由，使用 Hint 方式。

        Binding 表是指使用同样的分片键和分片规则的一组表，也就是说任何情况下，Binding 表的分片结果应与主表一致。例如：order 表和 order_item 表，都根据 order_id分片，结果应是 order_1 与 order_item_1 成对出现。这样的关联查询和单表查询复杂度和性能相当。如果分片条件不是等于，而是 BETWEEN 或 IN，则路由结果不一定落入单库（表），因此一条逻辑 SQL 最终可能拆分为多条 SQL 语句。

        笛卡尔积查询最为复杂，因为无法根据 Binding 关系定位分片规则的一致性，所以非 Binding 表的关联查询需要拆解为笛卡尔积组合执行。查询性能较低，而且数据库连接数较高，需谨慎使用。

6.3 SQL 改写

例如：将逻辑表名称改成真实表名称，优化分页查询等。

6.4 SQL 执行

因为可能链接到多个真实数据源， Sharding -JDBC 将采用多线程并发执行 SQL。

6.5 结果归并

例如数据的组装、分页、排序等等。

七、Sharding-JDBC 实现原理

        ShardingJDBC 在执行过程中，主要是三个环节：

  1. 一个是解析配置文件。
  2. 第二个是对 SQL 进行解析、路由和改写。
  3. 第三个把结果集汇总到一起返回给客户端。

        在这个里面我们最主关心的是第二步，路由。也就是说，怎么根据一个 SQL 语句，和配置好的分片规则，找到对应的数据库节点呢？

7.1 四大核心对象

        我们说 Sharding-JDBC 是一个增强版的 JDBC 驱动。那么，JDBC 的四大核心对象，或者说最重要的 4 个接口是什么？

  1. DataSource
  2. Connection
  3. Statement（PS）
  4. ResulstSet

Sharding-JDBC 实现了这四个核心接口，在类名前面加上了 Sharding：

  1. ShardingDataSource
  2. ShardingConnection
  3.  ShardingStatement （ PS ）
  4. ShardingResulstSet

        如果要在 Java 代码操作数据库的过程里面，实现各种各样的逻辑，肯定是要从数据源就开始替换成自己的实现。当然，因为在配置文件里面配置了数据源，启动的时候就创建好了。

        问 题 就 在 于 ， 我 们 是 什 么 时 候 用 ShardingDataSource 获 取 一 个ShardingConnection 的？

7.2 MyBatis 数据源获取

        Java API（com.qingshan.jdbc.ShardJDBCTest）我们就不说了。

        我们以整合了 MyBatis 的项目为例。MyBatis 封装了 JDBC 的核心对象，那么在MyBatis 操作 JDBC 四大对象的时候，就要替换成 Sharding-JDBC 的四大对象。

        没有看过 MyBatis 源码的同学一定要去看看。我们的查询方法最终会走到SimpleExecutor 的 doQuery()方法，这个是我们的前提知识。

        spring-boot-sharding-jdbc：com.qingshan.ShardTableTest

        doQuery() 方 法 里 面 调 用 了 prepareStatement() 创 建 连 接 ， 通 过ShardingDataSource 返回了一个连接（衔接上了）。

        我们直接在 prepareStatement ()打断点：

private Statement prepareStatement(StatementHandler handler, Log statementLog) throws SQLException {
    Statement stmt;
    Connection connection = getConnection(statementLog);
    stmt = handler.prepare(connection, transaction.getTimeout());
    handler.parameterize(stmt);
    return stmt;
}

它经过以下两个方法，返回了一个 ShardingConnection：

DataSourceUtil.fetchConnection()
Connection con = dataSource.getConnection();

        基于这个 ShardingConnection，最终得到一个 ShardingPreparedStatement：

stmt = handler.prepare(connection, transaction.getTimeout());

        接下来就是执行：

return handler.query(stmt, resultHandler);

再调用了的 ShardingPreparedStatement 的 execute()：

public  List query(Statement statement, ResultHandler resultHandler) throws SQLException {
    PreparedStatement ps = (PreparedStatement) statement;
    ps.execute();
    return resultSetHandler.handleResultSets(ps);
}

最终调用的是 ShardingPreparedStatement 的 execute 方法：

public boolean execute() throws SQLException {
    try {
        clearPrevious();
        prepare();
        initPreparedStatementExecutor();
        return preparedStatementExecutor.execute();
    } finally {
        refreshTableMetaData(connection.getShardingContext(), routeResult.getSqlStatement());
        clearBatch();
    }
}

prepare 方法中，prepareEngine.prepare：

RouteContext routeContext = this.executeRoute(sql, clonedParameters);

执行路由：

private RouteContext executeRoute(String sql, List clonedParameters) {
    this.registerRouteDecorator();
    return this.route(this.router, sql, clonedParameters);
} 
  
最后到相应的路由执行引擎，比如：ShardingStandardRoutingEngine。
 SQL 的解析路由就是在这一步完成的。
 
  
八、Sharding-Proxy 介绍
 
  
下载地址：
 
  
 
   
https://shardingsphere.apache.org/document/current/cn/overview/#shardingsphere-proxy
 
  
 
  
        bin 目录就是存放启停脚本的，Linux 运行 start.sh 启动（windows 用 start.bat），默认端口 3307；
 
  
        conf 目录就是存放所有配置文件，包括 sharding-proxy 服务的配置文件、数据源以及sharding 规则配置文件和项目日志配置文件；
 
  
        lib 目录就是 sharding-proxy 核心代码，以及依赖的 JAR 包。
 
  
        需要的自定义分表算法，只需要将它编译成 class 文件，然后放到 conf 目录下，也可以打成 jar 包放在 lib 目录下。
 
  
还有一个管理界面：
 
  
 
   
https://github.com/apache/shardingsphere/releases
 
  
 
  
九、与 Mycat 对比
 
  
 
    
    
 
      
     Sharding-Jdbc 
     Mycat 
    
 
    
 
     工作层面 
     JDBC 协议 
     MySQL 协议/JDBC 协议 
    
 
    
 
     运行方式 
     Jar 包， 客户端 
     独立服务， 服务端 
    
 
    
 
     开发方式 
     代码/配置改动 
     连接地址（ 数据源） 
    
 
    
 
     运维方式 
     无 
     管理独立服务， 运维成本高 
    
 
    
 
     性能 
     多线程并发按操作， 性能高 
     独立服务+网络开销， 存在性能损失风险 
    
 
    
 
     功能范围 
     协议层面 
     包括分布式事务、 数据迁移等 
    
 
    
 
     适用操作 
     OLTP 
     OLTP+OLAP 
    
 
    
  
 
  
 
    
    
 
     支持数据库 
     基于 JDBC 协议的数据库 
     MySQL 和其他支持 JDBC 协议的数据库 
    
 
    
 
     支持语言 
     Java 项目中使用 
     支持 JDBC 协议的语言 
    
 
    
  
 
  
        从易用性和功能完善的角度来说，Mycat 似乎比 Sharding-JDBC 要好，因为有现成的分片规则，也提供了 4 种 ID 生成方式，通过注解可以支持高级功能，比如跨库关联查询。
 
  
        建议：小型项目可以用 Sharding-JDBC。大型项目，可以用 Mycat。
  
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(sharding,分布式存储,java)

        

            

                
    
                    
  • java web 安全，如何认证客户端？时间戳和noce如何抵御重放攻击？
                        ughome
java安全
                        
    技术问答整理1.JavaHMAC签名验签示例问题如何用Java实现HMAC签名和验签？答案importjavax.crypto.Mac;importjavax.crypto.spec.SecretKeySpec;importjava.nio.charset.StandardCharsets;importjava.util.HexFormat;publicclassHmacExample{//生成H
    
                    
    • 
                    
  • Java高级常用类
                        星星不打輰
Javajava开发语言
                        
    LocalDateTime，StringBuilder，BigDecimalLocalDateTime使用（通过这个类创建一个日期时间的实例对象）//LocalDate-->日期//LocalTime-->时间//LocalDateTime-->日期和时间对于日期时间进行格式化输出：DateTimeFormatter.ofPattern(“指定的格式”)y表示年份，M表示月份，d表示日期，H表示小
    
                    
    • 
                    
  • JavaScript 高频面试题
                        好运连连女士
JavaScriptjavascript
                        
    文章目录JavaScript手写防抖和节流CommonJS和ES6模块的区别this指向问题，如何修改this指向引申1:模拟bind引申2：为什么多次绑定，只指向第一次绑定的obj对象?有没有解决办法？引申3:一般函数和箭头函数的区别数据类型有哪些引申1:如何判断数据类型new操作的原理引申1:什么是闭包？引申2:内存泄露和内存溢出引申3:作用域和作用域链？JS实现数组扁平化深拷贝与浅拷贝的区别
    
                    
    • 
                    
  • 《基于Workspace.java的Launcher3改造：HotSeat区域动态阻断文件夹生成机制》
                        KdanMin
【高通Android系统开发系列】开发语言android
                        
    1.需求背景与技术挑战在Android13系统Launcher3定制化开发中，需实现禁止HotSeat区域创建文件夹的功能。原始逻辑中，当用户拖拽应用图标至HotSeat区域相邻图标时，会触发FolderIcon的实例化。本文将深入分析Launcher3的文件夹创建机制，并提供可靠的解决方案。2.核心修改文件定位复制packages/apps/Launcher3/src/com/android/l
    
                    
    • 
                    
  • Dcm4che简介
                        IT-Franky
JavaWeb
                        
    Dcm4che是一个应用于医疗IT行业的的开源项目，其核心工具包基于java，对DICOM标准和HL7标准提供良好的支持，且严格遵循IHE规范。特性：1.模块化设计2.基于WEB的用户界面3.DICOM标准接口，HL7标准接口，DICOM对象的WEB访问（webaccessDICOMobject,WADO）接口dcm4che项目主要有两个核心内容：dcm4chetoolkit和dcm4chee。1
    
                    
    • 
                    
  • DCM4CHE图像显示
                        啸鸢
DCM4CHEEDicom医学影像处理
                        
    概述本文主要介绍dicom图像从拿到像素数据到显示到图像的基本过程，通过DCM4CHE获取dicom文件像素数据，通过默认窗宽窗位，显示到java的BufferedImage上，并将BufferedImage保存成jpg到本地有关窗宽窗位的解释和处理方法可以参考：https://blog.csdn.net/songzitea/article/details/8505469通过DCM4CHE获取di
    
                    
    • 
                    
  • JavaScript相关面试题
                        努力的搬砖人.
javascript
                        
    以下是150道JavaScript相关面试题及详细答案：JavaScript基础1.JavaScript是什么？JavaScript是一种直译式脚本语言，主要用于网页开发，也可用于服务器端开发（如Node.js）。它是一种动态类型、弱类型、基于原型的语言，支持函数式编程和面向对象编程。2.JavaScript的基本数据类型有哪些？包括Undefined、Null、Boolean、Number、St
    
                    
    • 
                    
  • 原生JavaScript控制页面跳转的几种方式
                        thinkQuadratic
javascript前端开发语言
                        
    在开发一些简单的页面，不需要复杂的单页面应用（SPA）功能的时候。可以使用原生JavaScript的跳转即可满足需求。另外在处理一些需要直接与服务器进行交互的表单提交后跳转，或者在某些浏览器兼容性要求较高的场景下，原生JavaScript的跳转方式更加稳定可靠。正文开始这里本地创建两个html文件进行演示，index.html和home.htmlwindow.location.hrefindex页
    
                    
    • 
                    
  • python后端常见架构_常见的后端框架
                        weixin_39622178
python后端常见架构
                        
    后端vs前端如果您是Web开发世界的新手，后端和前端开发之间的区别可能不那么明显，但是，了解两者之间的区别很重要。以下是前端开发人员与后端开发人员的一些区别。前端开发：前端开发人员在很大程度上负责用户所看到的内容(即网站页面)，前端开发人员主要使用HTML，CSS和JavaScript。他们的主要关注点是创建出色的用户体验，并确保网站设计和布局或Web应用程序始终具有凝聚力。后端开发：另一方面，后
    
                    
    • 
                    
  • 使用 CryptoJS 实现 AES 解密：动态数据解密示例
                        木觞清
javascript
                        
    在现代加密应用中，AES（高级加密标准）是一种广泛使用的对称加密算法。它的安全性高、效率好，适合用于各种加密任务。今天，我们将通过一个实际的示例，展示如何使用CryptoJS实现AES解密，解密动态数据。CryptoJS是一个基于JavaScript的加密库，它支持AES、DES等多种常见的加密算法。本文将详细介绍如何使用CryptoJS解密AES加密的数据。1.引入CryptoJS库首先，确保你
    
                    
    • 
                    
  • Java是值传递
                        先睡
python开发语言
                        
    Java中的参数传递始终是值传递（passbyvalue）。无论是基本数据类型还是对象类型，传递给方法的是变量值的副本，而非变量本身。以下是对这一概念的详细解析：1.基本数据类型的值传递传递机制：传递的是变量的值副本，方法内的修改不影响原始变量。voidmodify(intnum){num=10;//修改的是副本，原变量不受影响}inta=5;modify(a);System.out.printl
    
                    
    • 
                    
  • Maven 插件
                        先睡
mavenjava
                        
    为Maven插件配置环境变量通常涉及到设置Java环境变量以及Maven相关的环境变量。以下是一些基本步骤：1.设置Java环境变量Maven需要Java运行环境，因此您需要确保Java的环境变量已经正确设置。-**JAVA_HOME**：指向您的Java安装目录。-**PATH**：包含`%JAVA_HOME%\bin`，使得`java`和`javac`命令可以在命令行中直接使用。在Window
    
                    
    • 
                    
  • 一招帮你搞定验证码设置
                        不修×蝙蝠
后端验证码sessioneclipse前端
                        
    目录一、准备环境编辑二、配置环境三、基础方法四、验证码的一些常用类别1.LineCaptcha线段干扰的验证码（Java）2.CircleCaptcha圆圈干扰的验证码（Java）3.ShearCaptcha扭曲干扰验证码4.写出到浏览器输出5.自定义验证码CodeGenerator五、通过实例来简述过程1.一个简易html文件2.创建生成验证码图片的Java文件①定义图形验证码的长、宽、验证码字
    
                    
    • 
                    
  • 详细讲一下webpack中五个优化能力十分强大的插件（1-5）
                        asecretman!
webpack前端node.js
                        
    1.TerserPlugin功能：用于压缩和优化JavaScript代码，支持ES6+语法。安装:npminstallterser-webpack-plugin--save-dev配置constTerserPlugin=require('terser-webpack-plugin');module.exports={mode:'production',//设置为生产模式，启用优化optimizat
    
                    
    • 
                    
  • JavaScript 异步编程：从回调到 Async/Await 进化
                        PM简读馆
技术杂谈javascript开发语言ecmascript
                        
    作者简介：程序员转项目管理领域优质创作者个人邮箱：[[email protected]]PMP资料导航：PM菜鸟（查阅PMP大纲考点）座右铭：上善若水，水善利万物而不争。绿泡泡：PM简读馆（包含更多PM常用免费资料）目录1.回调函数（Callback）2.Promise3.Generator4.Async/Await在JavaScript中，异步编程是一个非常重要的概念，因为JavaScript是
    
                    
    • 
                    
  • 【Java】已解决：`java.sql.SQLSyntaxErrorException: SQL`
                        屿小夏
javasql开发语言
                        
    个人简介：某不知名博主，致力于全栈领域的优质博客分享|用最优质的内容带来最舒适的阅读体验！文末获取免费IT学习资料！文末获取更多信息精彩专栏推荐订阅收藏专栏系列直达链接相关介绍书籍分享点我跳转书籍作为获取知识的重要途径，对于IT从业者来说更是不可或缺的资源。不定期更新IT图书，并在评论区抽取随机粉丝，书籍免费包邮到家AI前沿点我跳转探讨人工智能技术领域的最新发展和创新，涵盖机器学习、深度学习、自然
    
                    
    • 
                    
  • springboot一课一得
                        POlse
springboot
                        
    SpringBoot学习之路：从基础到进阶SpringBoot是基于Spring框架的一个开源项目，它通过简化配置、自动化功能以及集成多种开箱即用的技术，使开发者能够更快地开发、测试和部署Java应用程序。它不仅减少了开发者的配置工作量，还为开发者提供了很多与生产环境相关的功能，使得SpringBoot成为现代Web开发、微服务架构和企业级应用开发的首选框架。本文将基于“SpringBoot一课一
    
                    
    • 
                    
  • Java注解
                        陈陈爱java
java开发语言
                        
    java基本注解注解注解与注释的区别注释：增强代码的可阅读性，并不会对程序的执行产生任何影响。注解：给编译器或运行时环境提供额外的信息，能够影响程序的编译或运行行为。常见注解@Override明确标记一个方法是覆盖（重写）了父类中的方法。classAnimal{voidmakeSound(){System.out.println("Animalmakesasound");}}classDogext
    
                    
    • 
                    
  • Java、Spring、SpringBoot
                        陈陈爱java
springbootjavaspring
                        
    JAVA与Spring不使用Spring的程序UserService.javapublicclassUserService{publicStringgetUserName(){return"JohnDoe";}}Main.javapublicclassMain{publicstaticvoidmain(String[]args){//手动创建UserService实例UserServiceuser
    
                    
    • 
                    
  • html怎么获取父页面的元素的值,使用JavaScript与jQuery怎么在子窗口中获取父窗口的元素值...
                        weixin_39907658

                        
    使用JavaScript与jQuery怎么在子窗口中获取父窗口的元素值发布时间：2021-02-1815:42:20来源：亿速云阅读：115作者：Leah使用JavaScript与jQuery怎么在子窗口中获取父窗口的元素值？针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。js:父窗口：子窗口：curproject=window.op
    
                    
    • 
                    
  • jquery查找父窗体id_jquery 获取父窗口的元素、父窗口、子窗口
                        weixin_39781550
jquery查找父窗体id
                        
    一、获取父窗口元素：$("#父窗口元素ID",window.parent.document)；对应javascript版本为window.parent.document.getElementById("父窗口元素ID")；取父窗口的元素方法：$(selector,window.parent.document);那么你取父窗口的父窗口的元素就可以用：$(selector,window.parent.
    
                    
    • 
                    
  • jquery查找父窗体id_JS与jQuery实现子窗口获取父窗口元素值的方法
                        北木南烟
jquery查找父窗体id
                        
    这篇文章主要介绍了JS与jQuery实现子窗口获取父窗口元素值的方法,涉及javascript与jQuery操作窗口元素的相关技巧,需要的朋友可以参考下本文实例讲述了JS与jQuery实现子窗口获取父窗口元素值的方法。分享给大家供大家参考，具体如下：功能描述：父窗口有一个input，和一个button，点击button打开子窗口，在子窗口中获取父窗口中input的值，并显示。js:父窗口：子窗口：
    
                    
    • 
                    
  • 【Java教程】Day13-05 正则表达式：贪婪与非贪婪匹配
                        即刻提优
Java教程java正则表达式开发语言
                        
    在正则表达式中，匹配规则有两种模式：贪婪匹配和非贪婪匹配。默认情况下，正则表达式使用贪婪匹配，即尽可能多地匹配字符。有时，我们希望匹配尽可能少的字符，这时就需要使用非贪婪匹配。本文将通过具体的例子介绍贪婪与非贪婪匹配的区别，并提供如何在Java中实现这些匹配的教程。1.贪婪匹配的默认行为首先，让我们看一个简单的示例：给定一个字符串，判断该数字末尾零的个数。比如："123000"：3个0"10100
    
                    
    • 
                    
  • 【ES6新特性】声明变量关键字：var、let、const详解
                        小钟H呀
ES6新特性学习手册es6javascript开发语言
                        
    前言在ES6（ECMAScript2015）之前，JavaScript中只有var关键字用于变量声明。ES6新增了let和const，它们解决了var的一些设计缺陷，使得变量声明更安全、更符合编程直觉。核心特性对比1.作用域（Scope）var：函数作用域（在函数内部声明的变量，只能在函数内部访问）let/const：块级作用域（在{}代码块中声明的变量，只能在块内访问）//var示例functi
    
                    
    • 
                    
  • 神器 Turbo Console Log：让 `console.log` 操作一键搞定！
                        Judy1623
VSCode插件vscode插件
                        
    在前端开发的日常里，尤其是使用VSCode调试JavaScript代码时，console.log堪称我们的“调试好帮手”。但每次都手动输入console.log语句，着实麻烦又浪费时间。今天就给大家安利一款超实用的VSCode插件——TurboConsoleLog，用了它，你会感叹为什么没有早点发现！安装和卸载步骤就不多说了，相信大家都轻车熟路。咱们直接进入重点——这款插件的快捷键使用方法。使用注
    
                    
    • 
                    
  • 3.7 Spring Boot整合Kafka：消息顺序性与消费幂等性保障
                        Sendingab
Springboot从入门到精通零基础7天精通SpringBootlinqc#springbootkafka
                        
    在SpringBoot中整合Kafka并保障消息顺序性与消费幂等性，可以通过以下步骤实现：一、消息顺序性保障1.生产者配置相同Key写入同一分区：Kafka保证同一分区内消息的顺序性，生产者发送消息时指定相同Key，确保相关消息进入同一分区。java@AutowiredprivateKafkaTemplatekafkaTemplate;publicvoidsendMessage(Stringkey
    
                    
    • 
                    
  • 高级java每日一道面试题-2025年3月05日-微服务篇[Eureka篇]-Eureka在微服务架构中的角色?
                        java我跟你拼了
java每日一道面试题架构java微服务架构服务发现健康检查服务注册
                        
    如果有遗漏,评论区告诉我进行补充面试官:Eureka在微服务架构中的角色?我回答:在微服务架构中，Eureka作为Netflix开源的服务发现组件，在解决服务间通信的寻址问题方面扮演着至关重要的角色。以下是结合提供的内容对Eureka在微服务架构中的角色进行的详细解析和综合概述：1.服务注册（ServiceRegistration）功能：服务提供者（Provider）启动时向EurekaServe
    
                    
    • 
                    
  • 高级java每日一道面试题-2025年3月01日-微服务篇[SpringCloud篇]-SpringCloud和微服务之间是什么关系?
                        java我跟你拼了
java每日一道面试题java微服务springcloud复杂度可控独立部署技术选型灵活容错性好
                        
    如果有遗漏,评论区告诉我进行补充面试官:SpringCloud和微服务之间是什么关系?我回答:在Java高级面试中讨论SpringCloud与微服务之间的关系时，理解两者如何相互作用以及SpringCloud如何支持微服务架构的具体实现是非常重要的。以下是结合提供的内容对这两者关系的详细解析和综合概述：微服务概述定义：微服务是一种将大型单体应用拆分为多个小型、独立运行的服务的设计风格。每个服务专注
    
                    
    • 
                    
  • fastapi+angular实现Tcp在线聊天室功能
                        勘察加熊人
typescriptfastapiangular.jstcp/ip
                        
    说明：我计划用fastapi+angular，实现一个在线聊天室的功能，1.必须有一个服务端和多个客户端2.用一个列表，显示当前所有在线的用户3.所有在线的用户，必须实现群聊和单独聊天效果图：新增安卓测试程序C:\Users\wangrusheng\AndroidStudioProjects\MyApplication9\app\src\test\java\com\example\myapplic
    
                    
    • 
                    
  • 高级java每日一道面试题-2025年3月04日-微服务篇[Eureka篇]-Eureka是什么？
                        java我跟你拼了
java每日一道面试题java微服务eureka组件和架构集群部署自我保护机制健康检查
                        
    如果有遗漏,评论区告诉我进行补充面试官:Eureka是什么？我回答:在Java高级面试中，关于Eureka的讨论通常会涵盖其基本概念、组件与架构、工作原理、高级特性以及与其他服务发现工具的比较等多个方面。以下是结合提供的内容对Eureka进行的详细解析和综合概述：一、Eureka的基本概念Eureka是Netflix开源的服务注册与发现组件，广泛应用于SpringCloud生态系统中，主要用于解决
    
                    
    • 
                                
  • Js函数返回值
                                    _wy_
jsreturn
                                    
    一、返回控制与函数结果，语法为：return 表达式;作用: 结束函数执行，返回调用函数，而且把表达式的值作为函数的结果 二、返回控制语法为：return;作用: 结束函数执行，返回调用函数，而且把undefined作为函数的结果 在大多数情况下,为事件处理函数返回false,可以防止默认的事件行为.例如,默认情况下点击一个<a>元素,页面会跳转到该元素href属性
    
                                
    • 
                                
  • MySQL 的 char 与 varchar
                                    bylijinnan
mysql
                                    
     
今天发现，create table 时，MySQL 4.1有时会把 char 自动转换成 varchar 
 
测试举例： 
 

CREATE TABLE `varcharLessThan4` (
  `lastName` varchar(3)
) ;

mysql> desc varcharLessThan4;
+----------+---------+------+-
    
                                
    • 
                                
  • Quartz——TriggerListener和JobListener
                                    eksliang
TriggerListenerJobListenerquartz
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2208624 一.概述 
listener是一个监听器对象，用于监听scheduler中发生的事件，然后执行相应的操作；你可能已经猜到了，TriggerListeners接受与trigger相关的事件，JobListeners接受与jobs相关的事件。 
  二.JobListener监听器 
 j
    
                                
    • 
                                
  • oracle层次查询
                                    18289753290
oracle；层次查询；树查询
                                    
    .oracle层次查询(connect  by) 
oracle的emp表中包含了一列mgr指出谁是雇员的经理，由于经理也是雇员，所以经理的信息也存储在emp表中。这样emp表就是一个自引用表，表中的mgr列是一个自引用列，它指向emp表中的empno列，mgr表示一个员工的管理者， 
select   empno,mgr,ename,sal  from e
    
                                
    • 
                                
  • 通过反射把map中的属性赋值到实体类bean对象中
                                    酷的飞上天空
javaee泛型类型转换
                                    
    使用过struts2后感觉最方便的就是这个框架能自动把表单的参数赋值到action里面的对象中 
但现在主要使用Spring框架的MVC，虽然也有@ModelAttribute可以使用但是明显感觉不方便。 
好吧，那就自己再造一个轮子吧。 
原理都知道，就是利用反射进行字段的赋值，下面贴代码 
主要类如下： 
  
import java.lang.reflect.Field;
imp
    
                                
    • 
                                
  • SAP HANA数据存储：传统硬盘的瓶颈问题
                                    蓝儿唯美
HANA
                                    
    SAPHANA平台有各种各样的应用场景，这也意味着客户的实施方法有许多种选择，关键是如何挑选最适合他们需求的实施方案。 
在 《Implementing SAP HANA》这本书中，介绍了SAP平台在现实场景中的运作原理，并给出了实施建议和成功案例供参考。本系列文章节选自《Implementing SAP HANA》，介绍了行存储和列存储的各自特点，以及SAP HANA的数据存储方式如何提升空间压
    
                                
    • 
                                
  • Java Socket 多线程实现文件传输
                                    随便小屋
javasocket
                                    
            高级操作系统作业，让用Socket实现文件传输，有些代码也是在网上找的，写的不好，如果大家能用就用上。 
客户端类： 
  
package edu.logic.client;

import java.io.BufferedInputStream;
import java.io.Buffered
    
                                
    • 
                                
  • java初学者路径
                                    aijuans
java
                                    
    学习Java有没有什么捷径?要想学好Java，首先要知道Java的大致分类。自从Sun推出Java以来，就力图使之无所不包，所以Java发展到现在，按应用来分主要分为三大块：J2SE,J2ME和J2EE,这也就是Sun ONE(Open Net Environment)体系。J2SE就是Java2的标准版，主要用于桌面应用软件的编程；J2ME主要应用于嵌入是系统开发，如手机和PDA的编程；J2EE
    
                                
    • 
                                
  • APP推广
                                    aoyouzi
APP推广
                                    
    一，免费篇 
1，APP推荐类网站自主推荐 
最美应用、酷安网、DEMO8、木蚂蚁发现频道等,如果产品独特新颖，还能获取最美应用的评测推荐。PS：推荐简单。只要产品有趣好玩，用户会自主分享传播。例如足迹APP在最美应用推荐一次，几天用户暴增将服务器击垮。 
2，各大应用商店首发合作 
老实盯着排期，多给应用市场官方负责人献殷勤。 
3，论坛贴吧推广 
百度知道，百度贴吧，猫扑论坛，天涯社区，豆瓣（
    
                                
    • 
                                
  • JSP转发与重定向
                                    百合不是茶
jspservletJava Webjsp转发
                                    
      
在servlet和jsp中我们经常需要请求,这时就需要用到转发和重定向; 
  
转发包括;forward和include   
  
例子;forwrad转发;  将请求装法给reg.html页面 
  
关键代码; 
   
   req.getRequestDispatcher("reg.html
    
                                
    • 
                                
  • web.xml之jsp-config
                                    bijian1013
javaweb.xmlservletjsp-config
                                    
    1.作用：主要用于设定JSP页面的相关配置。 
2.常见定义： 
<jsp-config>
 <taglib>
  <taglib-uri>URI(定义TLD文件的URI,JSP页面的tablib命令可以经由此URI获取到TLD文件)</tablib-uri>
  <taglib-location>
   TLD文件所在的位置

    
                                
    • 
                                
  • JSF2.2 ViewScoped Using CDI
                                    sunjing
CDIJSF 2.2ViewScoped
                                    
    JSF 2.0 introduced annotation @ViewScoped; A bean annotated with this scope maintained its state as long as the user stays on the same view(reloads or navigation - no intervening views). One problem w
    
                                
    • 
                                
  • 【分布式数据一致性二】Zookeeper数据读写一致性
                                    bit1129
zookeeper
                                    
    很多文档说Zookeeper是强一致性保证，事实不然。关于一致性模型请参考http://bit1129.iteye.com/blog/2155336 
  
  Zookeeper的数据同步协议 
Zookeeper采用称为Quorum Based Protocol的数据同步协议。假如Zookeeper集群有N台Zookeeper服务器(N通常取奇数，3台能够满足数据可靠性同时
    
                                
    • 
                                
  • Java开发笔记
                                    白糖_
java开发
                                    
    1、Map<key,value>的remove方法只能识别相同类型的key值 
  
Map<Integer,String> map = new HashMap<Integer,String>();
map.put(1,"a");
map.put(2,"b");
map.put(3,"c"
    
                                
    • 
                                
  • 图片黑色阴影
                                    bozch
图片
                                    
     .event{ padding:0;    width:460px;    min-width: 460px;    border:0px solid #e4e4e4;    height: 350px;    min-heig
    
                                
    • 
                                
  • 编程之美-饮料供货-动态规划
                                    bylijinnan
动态规划
                                    
    

import java.util.Arrays;
import java.util.Random;

public class BeverageSupply {

	/**
	 * 编程之美 饮料供货
	 * 设Opt（V’，i）表示从i到n-1种饮料中，总容量为V’的方案中，满意度之和的最大值。
	 * 那么递归式就应该是：Opt（V’，i）=max{ k * Hi+Op
    
                                
    • 
                                
  • ajax大参数（大数据）提交性能分析
                                    chenbowen00
WebAjax框架浏览器prototype
                                    
    近期在项目中发现如下一个问题 
项目中有个提交现场事件的功能，该功能主要是在web客户端保存现场数据（主要有截屏，终端日志等信息）然后提交到服务器上方便我们分析定位问题。客户在使用该功能的过程中反应点击提交后反应很慢，大概要等10到20秒的时间浏览器才能操作，期间页面不响应事件。 
根据客户描述分析了下的代码流程，很简单，主要通过OCX控件截屏，在将前端的日志等文件使用OCX控件打包，在将之转换为
    
                                
    • 
                                
  • [宇宙与天文]在太空采矿,在太空建造
                                    comsci

                                    
         我们在太空进行工业活动...但是不太可能把太空工业产品又运回到地面上进行加工,而一般是在哪里开采,就在哪里加工,太空的微重力环境,可能会使我们的工业产品的制造尺度非常巨大.... 
 
     地球上制造的最大工业机器是超级油轮和航空母舰,再大些就会遇到困难了,但是在空间船坞中,制造的最大工业机器,可能就没
    
                                
    • 
                                
  • ORACLE中CONSTRAINT的四对属性
                                    daizj
oracleCONSTRAINT
                                    
    ORACLE中CONSTRAINT的四对属性 
summary:在data migrate时,某些表的约束总是困扰着我们,让我们的migratet举步维艰,如何利用约束本身的属性来处理这些问题呢?本文详细介绍了约束的四对属性: Deferrable/not deferrable, Deferred/immediate, enalbe/disable, validate/novalidate,以及如
    
                                
    • 
                                
  • Gradle入门教程
                                    dengkane
gradle
                                    
    一、寻找gradle的历程 
一开始的时候，我们只有一个工程，所有要用到的jar包都放到工程目录下面，时间长了，工程越来越大，使用到的jar包也越来越多，难以理解jar之间的依赖关系。再后来我们把旧的工程拆分到不同的工程里，靠ide来管理工程之间的依赖关系，各工程下的jar包依赖是杂乱的。一段时间后，我们发现用ide来管理项程很不方便，比如不方便脱离ide自动构建，于是我们写自己的ant脚本。再后
    
                                
    • 
                                
  • C语言简单循环示例
                                    dcj3sjt126com
c
                                    
    # include <stdio.h>

int main(void)
{
	int i;
	int count = 0;
	int sum = 0;
	float avg;
	
	for (i=1; i<=100; i++)
	{
		if (i%2==0) 
		{
			count++;
			sum += i;
		}
	}

	avg
    
                                
    • 
                                
  • presentModalViewController 的动画效果
                                    dcj3sjt126com
controller
                                    
    系统自带(四种效果)： 
presentModalViewController模态的动画效果设置：        
[cpp]  
view plain 
copy       
 
 UIViewController *detailViewController = [[UIViewController al
    
                                
    • 
                                
  • java 二分查找
                                    shuizhaosi888
二分查找java二分查找
                                    
    需求：在排好顺序的一串数字中，找到数字T 
  
一般解法：从左到右扫描数据，其运行花费线性时间O(N)。然而这个算法并没有用到该表已经排序的事实。 
	/**
	 * 
	 * @param array
	 *            顺序数组
	 * @param t
	 *            要查找对象
	 * @return
	 */
	public stati
    
                                
    • 
                                
  • Spring Security（07）——缓存UserDetails
                                    234390216
ehcache缓存Spring Security
                                    
     
       Spring Security提供了一个实现了可以缓存UserDetails的UserDetailsService实现类，CachingUserDetailsService。该类的构造接收一个用于真正加载UserDetails的UserDetailsService实现类。当需要加载UserDetails时，其首先会从缓存中获取，如果缓存中没
    
                                
    • 
                                
  • Dozer 深层次复制
                                    jayluns
VOmavenpo
                                    
    最近在做项目上遇到了一些小问题，因为架构在做设计的时候web前段展示用到了vo层，而在后台进行与数据库层操作的时候用到的是Po层。这样在业务层返回vo到控制层，每一次都需要从po-->转化到vo层，用到BeanUtils.copyProperties(source, target)只能复制简单的属性，因为实体类都配置了hibernate那些关联关系，所以它满足不了现在的需求，但后发现还有个很
    
                                
    • 
                                
  • CSS规范整理（摘自懒人图库）
                                    a409435341
htmlUIcss浏览器
                                    
       刚没事闲着在网上瞎逛，找了一篇CSS规范整理，粗略看了一下后还蛮有一定的道理，并自问是否有这样的规范，这也是初入前端开发的人一个很好的规范吧。 
 
 
一、文件规范 
 
1、文件均归档至约定的目录中。 
 
具体要求通过豆瓣的CSS规范进行讲解： 
 
所有的CSS分为两大类：通用类和业务类。通用的CSS文件，放在如下目录中： 
 
基本样式库 /css/core 

    
                                
    • 
                                
  • C++动态链接库创建与使用
                                    你不认识的休道人
C++dll
                                    
    一、创建动态链接库 
1.新建工程test中选择”MFC [dll]”dll类型选择第二项"Regular DLL With MFC shared linked"，完成 
2.在test.h中添加 
extern “C” 返回类型 _declspec(dllexport)函数名(参数列表); 
3.在test.cpp中最后写 
 
extern “C” 返回类型 _decls
    
                                
    • 
                                
  • Android代码混淆之ProGuard
                                    rensanning
ProGuard
                                    
    Android应用的Java代码，通过反编译apk文件（dex2jar、apktool）很容易得到源代码，所以在release版本的apk中一定要混淆一下一些关键的Java源码。 
 
ProGuard是一个开源的Java代码混淆器（obfuscation）。ADT r8开始它被默认集成到了Android SDK中。 
 
官网： 
http://proguard.sourceforge.net/
    
                                
    • 
                                
  • 程序员在编程中遇到的奇葩弱智问题
                                    tomcat_oracle
jquery编程ide
                                    
    　　现在收集一下： 
   
  
  
　　排名不分先后，按照发言顺序来的。 
  
1、Jquery插件一个通用函数一直报错，尤其是很明显是存在的函数，很有可能就是你没有引入jquery。。。或者版本不对 
2、调试半天没变化：不在同一个文件中调试。这个很可怕，我们很多时候会备份好几个项目，改完发现改错了。有个群友说的好：   在汤匙
    
                                
    • 
                                
  • 解决maven-dependency-plugin (goals "copy-dependencies","unpack") is not supported
                                    xp9802
dependency
                                    
    解决办法：在plugins之前添加如下pluginManagement，二者前后顺序如下： 
     
[html]  
view plain 
copy       
 
 <build>   
         <pluginManagement
    
                                
    •