钱多多_qdd
钱多多_qdd

Sharding-jdbc

前言

课程目标

  1. 掌握 Sharding-JDBC 的使用方式
  2. 掌握分布式事务、全局 ID 等问题的解决方案
  3. 理解 Sharding-JDBC 的工作流程和实现原理
  4. 理解基于 Mycat 和 Sharding-JDBC 的差别 

全文请结合项目观看。 

一、分片核心概念

        在我们用 Sharding-JDBC 之前，有一些核心概念是必须掌握的。

 1.1 核心概念

逻辑表、真实表、分片键、数据节点、动态表、广播表、绑定表。

1.1.1 主要概念

Sharding-jdbc_第1张图片

 逻辑表会在 SQL 解析和路由时被替换成真实的表名。

1.1.2 动态表

Sharding-jdbc_第2张图片

 1.1.3 绑定表

跟 Mycat 的 ER 表对应
Sharding-jdbc_第3张图片

 1.1.4 广播表

跟 Mycat 的全局表对应
Sharding-jdbc_第4张图片

二、Sharding-JDBC 实战

快速入门：https://shardingsphere.apache.org/document/legacy/4.x/document/cn/quick-start/sharding-jdbc-quick-start/

2.1 引入依赖

核心依赖是：sharding-jdbc-core

注意组织名称（groupId）是 org.apache.shardingsphere，捐献给 Apache 之后（课程中统一用这个）。
io.shardingjdbc ：更名之前（废弃）
io.shardingsphere：更名之后（废弃）
包名和某些类有差异，如果升级需要注意，import 的包名都需要修改。
Apache 的包为 Spring Boot 提供了 starter 的依赖：


    org.apache.shardingsphere
    sharding-jdbc-spring-boot-starter
    4.1.1

2.2 API 使用

        先看 API 是怎么用的，也就是自己像 JDBC 的代码一样创建数据源，创建连接。后面再看在 Spring 里面怎么使用。

2.2.1 数据分片

https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/shardingjdbc/usage/sharding/

 spring-boot-sharding-jdbc 工程 com.qingshan.jdbc.ShardJDBCTest：

public class ShardJDBCTest {
    public static void main(String[] args) throws SQLException {
        // 配置真实数据源
        Map dataSourceMap = new HashMap<>();

        // 配置第一个数据源
        DruidDataSource dataSource1 = new DruidDataSource();
        dataSource1.setDriverClassName("com.mysql.jdbc.Driver");
        dataSource1.setUrl("jdbc:mysql://localhost:3306/ds0");
        dataSource1.setUsername("root");
        dataSource1.setPassword("root");
        dataSourceMap.put("ds0", dataSource1);

        // 配置第二个数据源
        DruidDataSource dataSource2 = new DruidDataSource();
        dataSource2.setDriverClassName("com.mysql.jdbc.Driver");
        dataSource2.setUrl("jdbc:mysql://localhost:3306/ds1");
        dataSource2.setUsername("root");
        dataSource2.setPassword("root");
        dataSourceMap.put("ds1", dataSource2);

        // 配置Order表规则
        TableRuleConfiguration orderTableRuleConfig = new TableRuleConfiguration("t_order", "ds${0..1}.t_order");
        // 分库策略，使用inline实现
        InlineShardingStrategyConfiguration dataBaseInlineStrategy = new InlineShardingStrategyConfiguration("order_id", "ds${order_id % 2}");
        orderTableRuleConfig.setDatabaseShardingStrategyConfig(dataBaseInlineStrategy);

        // 分表策略，使用inline实现（没有分表，为什么不分表？）
        InlineShardingStrategyConfiguration tableInlineStrategy = new InlineShardingStrategyConfiguration("order_id", "t_order");
        orderTableRuleConfig.setTableShardingStrategyConfig(tableInlineStrategy);

        // 添加表配置
        ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
        shardingRuleConfig.getTableRuleConfigs().add(orderTableRuleConfig);

        // 获取数据源对象
        DataSource dataSource = ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfig, new Properties());

        String sql = "SELECT * from t_order WHERE order_id =?";
        try {
            Connection conn = dataSource.getConnection();
            PreparedStatement preparedStatement = conn.prepareStatement(sql);
            preparedStatement.setLong(1, 2);
            System.out.println();
            try (ResultSet rs = preparedStatement.executeQuery()) {
                while (rs.next()) {
                    // %2结果，路由到
                    System.out.println("---------order_id：" + rs.getLong(1));
                    System.out.println("---------user_id：" + rs.getLong(2));
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

总结：

        ShardingDataSourceFactory 利用 ShardingRuleConfiguration 创建数据源。
        ShardingRuleConfiguration 可以包含多个 TableRuleConfiguration（多张表），每张表都可以通过 ShardingStrategyConfiguration 设置自己的分库和分表策略。有了数据源，就可以走 JDBC 的流程了。

2.2.2 读写分离

https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/shardingjdbc/usage/read-write-splitting/

 com.qingshan.jdbc.MasterSlaveTest：：

public class MasterSlaveTest {
    public static void main(String[] args) throws SQLException {
        // 配置真实数据源
        Map dataSourceMap = new HashMap<>();

        // 配置第一个数据源
        DruidDataSource dataSource1 = new DruidDataSource();
        dataSource1.setDriverClassName("com.mysql.jdbc.Driver");
        dataSource1.setUrl("jdbc:mysql://192.168.44.121:3306/ds0");
        dataSource1.setUsername("root");
        dataSource1.setPassword("123456");
        dataSourceMap.put("master0", dataSource1);

        // 配置第二个数据源
        DruidDataSource dataSource2 = new DruidDataSource();
        dataSource2.setDriverClassName("com.mysql.jdbc.Driver");
        dataSource2.setUrl("jdbc:mysql://192.168.44.128:3306/ds0");
        dataSource2.setUsername("root");
        dataSource2.setPassword("123456");
        dataSourceMap.put("slave0", dataSource2);

        // 配置读写分离规则
        MasterSlaveRuleConfiguration masterSlaveRuleConfig = new MasterSlaveRuleConfiguration("qs_master_slave", "master0", Arrays.asList("slave0"));

        // 获取数据源对象
        DataSource dataSource = MasterSlaveDataSourceFactory.createDataSource(dataSourceMap, masterSlaveRuleConfig, new Properties());
        Connection conn = dataSource.getConnection();

        String selectSql = "SELECT * from t_order WHERE order_id =?";
        try {
            PreparedStatement preparedStatement = conn.prepareStatement(selectSql);
            // 直接在 slave 128 ds0 插入主节点没有的数据： insert into t_order(order_id, user_id) value(26732,26732)
            preparedStatement.setLong(1, 26732);
            System.out.println();
            try (ResultSet rs = preparedStatement.executeQuery()) {
                while (rs.next()) {
                    System.out.println("---------order_id：" + rs.getLong(1));
                    System.out.println("---------user_id：" + rs.getLong(2));
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

总结一下：

Sharding-jdbc_第5张图片

在 JDBC API 中使用，我们可以直接创建数据源。

如果在 Spring 中使用，我们自定义的数据源怎么定义使用呢？因为数据源是容器管理的，所以需要通过注解或者 xml 配置文件注入。

2.3 Spring 中使用

        先来总结一下，第一个，使用的数据源需要用 Sharding-JDBC 的数据源。而不是容器或者 ORM 框架定义的。这样才能保证动态选择数据源的实现。

        当然，流程是先由Sharding-JDBC 定义，再交给 Druid 放进池子里，再交给 MyBatis，最后再注入到 Spring。最外层是 Spring，因为代码是从 Spring 开始调用的。

        第二个，因为 Sharding-JDBC 是工作在客户端的，所以我们要在客户端配置分库分表的策略。跟 Mycat 不一样的是，Sharding-JDBC 没有内置各种分片策略和算法，需要我们通过表达式或者自定义的配置文件实现。

总体上，需要配置的就是这两个，数据源和分片策略。

配置的方式是多种多样的，在官网也有详细的介绍，大家可以根据项目的实际情况进行选择。

https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/shardingjdbc/configuration/

位置：4.用户手册——4.1 Sharding-JDBC——4.1.2 配置手册

 2.3.1 Java 配置

        为了不跟项目定义的数据源冲突，单独创建了一个工程。

        gupao-shard-java 工程（自定义算法）

        第一种是把数据源和分片策略都写在 Java Config 中，加上注解。它的特点是非常灵
活，我们可以实现各种定义的分片策略。但是缺点是，如果把数据源、策略都配置在 Java
Config 中，就出现了硬编码，在修改的时候比较麻烦。

        单元测试类：com.gupaoedu.UserShardingTest

2.3.2 Spring Boot 配置

gupao-shard-prop 工程（具体分片策略）

第二种是直接使用 Spring Boot 的 application.properties 来配置，这个要基于starter 模块。

把数据源和分库分表策略都配置在 properties 文件中。这种方式配置比较简单，但是不能实现复杂的分片策略，不够灵活。

例子后面再跑。

2.3.3 yml 配置

spring-boot-sharding-jbbc 工程（读写分离）

        第三种是使用 Spring Boot 的 yml 配置（shardingjdbc.yml），也要依赖 starter模块。当然我们也可以结合不同的配置方式，比如把分片策略放在 JavaConfig 中，数据源配置在 yml 中或 properties 中。

        这里面配置了读写分离，确认一下查询是否发生在 slave 上。

stop slave;
SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
start slave;
show slave status\G

2.4 Sharding-JDBC 分片案例验证

工程：gupao-shard-prop，这里我们用 application+java config 结合的方式。

我们这里验证的是切分到本地的两个库 ds0，ds1。

注意：之前 Mycat 的课程演示，不同的数据节点都在不同的机器上，这里我们以同一数据库服务中不同的 database 来替代。无论是多个 IP 的多个库还是一个 IP 的多个库，对于验证来说没有区别。

两个库里面都是相同的 4 张表：user_info，t_order，t_order_item，t_config。

这些表必须提前创建，中间件是不会帮我们生成表结构的。

然后我们用 MyBatis 的 Generator 生成相应的实体类、Mapper 接口和映射器。

对数据库的基本的 SSM 的操作完成了，接下来就是分库分表的配置，一个是数据源，一个是分片策略。

使用以下配置打印路由信息：

spring.shardingsphere.props.sql.show=true

我们先来看一下我们的数据源的配置：

spring.shardingsphere.datasource=

大家还记得我们直接配置 MySQL 数据源是怎么写的么：

spring.datasource.url=jdbc:mysql://192.168.44.168:8066/gupao
spring.datasource.username=root
spring.datasource.password=123456
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

        当 我 们 使 用 了 Sharding-JDBC 的 数 据 源 以 后 ， 对 于 数 据 的 操 作 会 交 给Sharding-JDBC 的代码来处理。

        先来给大家普及一下，分片策略从维度上分成两种，一种是分库，一种是分表。
        我们可以定义默认的分库分表策略（配置中注释了），例如：用 user_id 作为分片键。这里用到了一种分片策略的实现，叫做行内表达式。我们对 user_id 取模，然后选择数据库。如果模 2 等于 0，在第一个数据库中。模 2 等于 1，在第二个数据库中。

数据源名称是行内表达式组装出来的：

spring.shardingsphere.sharding.tables.user_info.actual-data-nodes=ds$->{0..1}.user_info

        对于不同的表，也可以单独配置分库策略（databaseStrategy）和分表策略（tableStrategy）。案例中只有分库没有分表，所以没定义 tableStrategy。

2.4.1 取模分片

首先我们来验证一下 user_info 表的取模分片（modulo ['mɔdjuləu]）。

我们根据 user_id，把用户数据划分到两个数据节点上。

在本地创建两个数据库 ds0 和 ds1，都 user_info 创建表：

CREATE TABLE `user_info` (
`user_id` bigint(19) NOT NULL,
`user_name` varchar(45) DEFAULT NULL,
`account` varchar(45) NOT NULL,
`password` varchar(45) DEFAULT NULL,
PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

这里只定义了分库策略，没有定义单库内的分表策略，两个库都是相同的表名：
路由的结果：ds0.user_info，ds1.user_info。

如果定义了分库策略，两个库里面都有两张表，那么路由的结果可能是 4 种：
ds0.user_info0，ds0.user_info1；
ds1. user_info0, ds1. user_info1

spring.shardingsphere.sharding.tables.user_info.actual-data-nodes=ds$->{0..1}.user_info
spring.shardingsphere.sharding.tables.user_info.databaseStrategy.inline.shardingColumn=user_id
spring.shardingsphere.sharding.tables.user_info.databaseStrategy.inline.algorithm-expression=ds${user_id %2}

首先两个数据库的 user_info 表里面没有任何数据。

        在单元测量测试类 UserShardingTest 里面，执行 insert()，调用 Mapper 接口循环插入 100 条数据。

        我们看一下插入的结果。user_id 为偶数的数据，都落到了第一个库。user_id 为奇数的数据，都落到了第二个库。

        执行 select()测一下查询，看看数据分布在两个节点的时候，我们用程序查询，能不能取回正确的数据。

2.4.2 绑定表

        第二种是绑定表，也就是父表和子表有关联关系。主表和子表使用相同的分片策略。

CREATE TABLE `t_order` (
`order_id` int(11) NOT NULL,
`user_id` int(11) NOT NULL,
PRIMARY KEY (`order_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `t_order_item` (
`item_id` int(11) NOT NULL,
`order_id` int(11) NOT NULL,
`user_id` int(11) NOT NULL,
PRIMARY KEY (`item_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

绑定表将使用主表的分片策略：

# 分库算法 t_order 多库分表
spring.shardingsphere.sharding.tables.t_order.databaseStrategy.inline.shardingColumn=order_id
spring.shardingsphere.sharding.tables.t_order.databaseStrategy.inline.algorithm-expression=ds${order_id % 2}
spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order
​
# 分库算法 t_order_item 多库分表
spring.shardingsphere.sharding.tables.t_order_item.databaseStrategy.inline.shardingColumn=order_id
spring.shardingsphere.sharding.tables.t_order_item.databaseStrategy.inline.algorithm-expression=ds${order_id
% 2}
spring.shardingsphere.sharding.tables.t_order_item.actual-data-nodes=ds$->{0..1}.t_order_item
​
# 绑定表规则列表， 防止关联查询出现笛卡尔积
spring.shardingsphere.sharding.binding-tables[0]=t_order,t_order_item

除了定义分库和分表算法之外，我们还需要多定义一个 binding-tables。

绑定表不使用分片键查询时，会出现笛卡尔积。
——什么叫笛卡尔积？假如有 2 个数据库，两张表要相互关联，两张表又各有分表，那么 SQL 的执行路径就是 2*2*2=8 种。

不适用分片键：

Sharding-jdbc_第6张图片 使用分片键：

Sharding-jdbc_第7张图片

（mycat 不支持这种二维的路由，要么是分库，要么是分表） 

我们去看一下测试的代码 OrderShardingTest 和 OrderItemShardingTest：

  1. 先插入主表的数据，再插入子表的数据。
  2. 先看插入。再看查询。

2.4.3 广播表

最后一种是广播表，也就是需要在所有节点上同步操作的数据表。

spring.shardingsphere.sharding.broadcast-tables=t_config

我们用 broadcast-tables 来定义。

ConfigShardingTest.java

广播表特点：
插入和更新都会在所有节点上执行，查询呢？随机负载。

2.4.4 读写分离

参考 spring-boot-sharding-jdbc
在 com.qingshan.jdbc.MasterSlaveTest 里面已经验证过了。

master-slave-rules:
    master0:
        master-data-source-name: master0
        slave-data-source-names: slave0
    master1:
        master-data-source-name: master1
        slave-data-source-names: slave1

        OK，这个就是 Sharding-JDBC 里面几种主要的表类型的分片验证。

        如果我们需要更加复杂的分片策略，properties 文件中行内表达式的这种方式肯定满足不了实际上 properties 里面的分片策略可以指定，比如 user_info 表的分库和分表策略。

pring.shardingsphere.sharding.tables.user_info.tableStrategy.standard.shardingColumn=
spring.shardingsphere.sharding.tables.user_info.tableStrategy.standard.preciseAlgorithmClassName=
spring.shardingsphere.sharding.tables.user_info.tableStrategy.standard.rangeAlgorithmClassName=

      这个时候我们需要了解 Sharding-JDBC 中几种不同的分片策略。

三、分片策略详解

https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/sharding/

工程：gupao-shard-java config

        Sharding-JDBC 中的分片策略有两个维度：分库（数据源分片）策略和分表策略。

        分库策略表示数据路由到的物理目标数据源，分表分片策略表示数据被路由到的目标表。分表策略是依赖于分库策略的，也就是说要先分库再分表，当然也可以不分库只分表。

        跟 Mycat 不一样，Sharding-JDBC 没有提供内置的分片算法，而是通过抽象成接口，让开发者自行实现，这样可以根据业务实际情况灵活地实现分片。

3.1 分片策略

        包含分片键和分片算法，分片算法是需要自定义的。可以用于分库，也可以用于分表。

        Sharding-JDBC 提供了 5 种分片策略（接口），策略全部继承自 ShardingStrategy，可以根据情况选择实现相应的接口：

Sharding-jdbc_第8张图片

3.1.1 行表达式分片策略

https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/inline-expression/

        对应 InlineShardingStrategy 类。只支持单分片键，提供对=和 IN 操作的支持。行内表达式的配置比较简单：

例如：
${begin..end}表示范围区间
${[unit1, unit2, unit_x]}表示枚举值
t_user_$->{u_id % 8} 表示 t_user 表根据 u_id 模 8，而分成 8 张表，表名称为
t_user_0 到 t_user_7。

行表达式中如果出现连续多个${ expression }或$->{ expression }表达式，整个表达式最终的结果将会根据每个子表达式的结果进行笛卡尔组合：

例如，以下行表达式：
${['db1', 'db2']}_table${1..3}
最终会解析为：
db1_table1, db1_table2, db1_table3,
db2_table1, db2_table2, db2_table3

3.1.2 标准分片策略

        对应 StandardShardingStrategy 类。

        标 准 分 片 策 略 只 支 持 单 分 片 键 ， 提 供 了 提 供 PreciseShardingAlgorithm 和RangeShardingAlgorithm 两个分片算法，分别对应于 SQL 语句中的=, IN 和 BETWEEN AND。

        如果要使用标准分片策略，必须要实现 PreciseShardingAlgorithm，用来处理=和IN 的分片。RangeShardingAlgorithm 是可选的。如果没有实现，SQL 语句会发到所有的数据节点上执行。

3.1.3 复合分片策略

        比如：根据日期和 ID 两个字段分片，每个月 3 张表，先根据日期，再根据 ID 取模。

        对应 ComplexShardingStrategy 类。可以支持等值查询和范围查询。

        复合分片策略支持多分片键，提供了 ComplexKeysShardingAlgorithm，分片算法需要自己实现。

3.1.4 Hint 分片策略

https://shardingsphere.apache.org/document/current/cn/usermanual/shardingsphere-jdbc/usage/sharding/hint/

        对应 HintShardingStrategy。通过 Hint 而非 SQL 解析的方式分片的策略。有点类似于 Mycat 的指定分片注解。

3.1.5 不分片策略

对应 NoneShardingStrategy。不分片的策略（只在一个节点存储）。

3.2 分片算法

        创建了分片策略之后，需要进一步实现分片算法，作为参数传递给分片策略。

        Sharding-JDBC 目前提供 4 种分片算法。

3.2.1 精确分片算法

        对应 PreciseShardingAlgorithm，用于处理使用单一键作为分片键的=与 IN 进行分片的场景。需要配合 StandardShardingStrategy 使用。

3.2.2 范围分片算法

         对应 RangeShardingAlgorithm，用于处理使用单一键作为分片键的 BETWEEN AND 进行分片的场景。需要配合 StandardShardingStrategy 使用。

        如果不配置范围分片算法，范围查询默认会路由到所有节点。

3.2.3 复合分片算法

         对应 ComplexKeysShardingAlgorithm，用于处理使用多键作为分片键进行分片的场景，包含多个分片键的逻辑较复杂，需要应用开发者自行处理其中的复杂度。需要配合 ComplexShardingStrategy 使用。

3.2.4 Hint 分片算法

      对应 HintShardingAlgorithm，用于处理使用 Hint 行分片的场景。需要配合
HintShardingStrategy 使用。

3.2.5 自定义算法实现

gupao-shard-java

所有的算法都需要实现对应的接口，实现 doSharding()方法：
例如：

  • PreciseShardingAlgorithm

——传入分片键，返回一个精确的分片（数据源名称）

String doSharding(Collection availableTargetNames, PreciseShardingValue shardingValue);

PreciseShardingAlgorithm策略自定义接口代码实现：

1.自定义实现PreciseShardingAlgorithm接口策略：

/**
 * 数据库分库的策略，根据分片键，返回数据库名称
 */
public class DBShardAlgo implements PreciseShardingAlgorithm {
    @Override
    public String doSharding(Collection collection, PreciseShardingValue preciseShardingValue) {
        String db_name="ds";
        Long num = preciseShardingValue.getValue()%2;
        db_name = db_name + num;
        for (String each : collection) {
            if (each.equals(db_name)) {
                return each;
            }
        }
        throw new IllegalArgumentException();
    }

}

2.引用：

Sharding-jdbc_第9张图片

 

  •  RangeShardingAlgorithm

——传入分片键，返回多个数据源名称。

Collection doSharding(Collection availableTargetNames, RangeShardingValue
shardingValue);

 RangeShardingAlgorithm策略自定义接口代码实现：

1.自定义实现PreciseShardingAlgorithm接口策略：

public class TblRangeShardAlgo implements RangeShardingAlgorithm {
    @Override
    public Collection doSharding(Collection availableTargetNames, RangeShardingValue rangeShardingValue) {
        System.out.println("范围-*-*-*-*-*-*-*-*-*-*-*---------------"+availableTargetNames);
        System.out.println("范围-*-*-*-*-*-*-*-*-*-*-*---------------"+rangeShardingValue);
        Collection collect = new LinkedHashSet<>();
        Range valueRange = rangeShardingValue.getValueRange();
        for (Long i = valueRange.lowerEndpoint(); i <= valueRange.upperEndpoint(); i++) {
            for (String each : availableTargetNames) {
                if (each.endsWith(i % availableTargetNames.size() + "")) {
                    collect.add(each);
                }
            }
        }
        //
        return collect;
    }

}

2.引用

略。 

  •  ComplexKeysShardingAlgorithm

——传入多个分片键，返回多个数据源名称

Collection doSharding(Collection availableTargetNames, Collection
shardingValues);

四、Sharding-JDBC 介绍

https://github.com/apache/shardingsphere
https://shardingsphere.apache.org/document/legacy/4.x/document/cn/overview/

 4.1 回顾

数据源选择的解决方案层次：

  • DAO：AbstractRoutingDataSource
  • ORM：MyBatis 插件
  • JDBC：Sharding-JDBC
  • Proxy：Mycat、Sharding-Proxy
  • Server：特定数据库或者版本

Sharding-jdbc_第10张图片

 4.2 发展历史

        它是从当当网的内部架构 ddframe 里面的一个分库分表的模块脱胎出来的，用来解
决当当的分库分表的问题，把跟业务相关的敏感的代码剥离后，就得到了 ShardingJDBC。它是一个工作在客户端的分库分表的解决方案。
DubboX，Elastic-job 也是当当开源出来的产品。。。

4.3 基本特性

        定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。

        也就是说，在 maven 的工程里面，我们使用它的方式是引入依赖，然后进行配置就可以了，不用像 Mycat 一样独立运行一个服务，客户端不需要修改任何一行代码，原来是 SSM 连接数据库，还是 SSM，因为它是支持 MyBatis 的。

        跟 mycat 一样，因为数据源有多个，所以要配置数据源，而且分片规则是定义在客户端的。

       第二个，我们来看一下 Sharding- JDBC 的架构。

4.4 架构

        我们在项目内引入 Sharding-JDBC 的依赖，我们的业务代码在操作数据库的时候，就会通过 Sharding-JDBC 的代码连接到数据库。

        也就是分库分表的一些核心动作，比如 SQL 解析，路由，执行，结果处理，都是由
它来完成的。它工作在客户端。

Sharding-jdbc_第11张图片

        当然，在 Sharding-Sphere 里面同样提供了代理 Proxy 的版本，跟 Mycat 的作用是一样的。Sharding-Sidecar 是一个 Kubernetes 的云原生数据库代理，正在开发中。

Sharding-jdbc_第12张图片

4.5 功能

回顾，分库分表后的几大问题，Sharding-JDBC 全部解决了：
跨库关联查询（ER 表）、排序翻页计算、分布式事务、全局主键

4.5.1 全局 ID

https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/key-generator/

无中心化分布式主键（包括 UUID 雪花 SNOWFLAKE）

使用 key-generator-column-name 配置，生成了一个 18 位的 ID。

Properties 配置：

spring.shardingsphere.sharding.tables.user_info.key-generator.column=user_id
spring.shardingsphere.sharding.tables.user_info.key-generator.type=SNOWFLAKE
  • keyGeneratorColumnName：指定需要生成 ID 的列
  • KeyGenerotorClass：指定生成器类，默认是 DefaultKeyGenerator.java，里面使用了雪花算法。

注意：ID 要用 BIGINT。Mapper.xml insert 语句里面不能出现主键。否则会报错：
Sharding value must implements Comparable 

五、分布式事务

（这个需要结合微服务架构：Spring Cloud Alibaba 分布式事务学习，后续再深入研究Spring Cloud Alibaba ）

        我们用到分布式事务的场景有两种，一种是跨应用（比如微服务场景），一种是单应用多个数据库（分库分表的场景），对于代码层的使用来说的一样的。

5.1 事务概述

https://shardingsphere.apache.org/document/current/cn/features/transaction/

  • XA 模型的不足：需要锁定资源
  • SEATA：支持 AT、XA、TCC、SAGA
  • SEATA 是一种全局事务的框架。

5.2 两阶段事务-XA

XA 的依赖：


    org.apache.shardingsphere
    sharding-transaction-xa-core
    4.1.1

工程：spring-boot-sharding-jdbc，单元测试类
com.gupaoedu.TransactionTest
在 Service 类上加上注解

@ShardingTransactionType(TransactionType.XA)
@Transactional(rollbackFor = Exception.class)

        默认是用 atomikos 实现的。
        其他事务类型：Local、BASE
        模拟在两个节点上操作，id=2673、id=2674 路由到两个节点，第二个节点插入两个相同对象，发生主键冲突异常，会发生回滚。

        XA 实现类：
XAShardingTransactionManager——XATransactionManager——AtomikosTransactionManager

5.3 柔性事务 Seata（尚不用了解）

https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/sharding-jdbc/usage/transaction/
https://seata.io/zh-cn/docs/overview/what-is-seata.html
https://github.com/seata/seata
https://github.com/seata/seata-workshop 

         GTS 的社区版本叫 Fescar（Fast & Easy Commit And Rollback），Fescar 改名后叫 Seata AT（Simple Extensible Autonomous Transaction Architecture）。

  1. TM（事务管理器）向 TC（事务协调者）申请开启一个全局事务，全局事务创建成功并生成一个全局唯一的 XID
  2. XID 在微服务调用链路的上下文中传播
  3. RM（资源管理器）向 TC 注册分支事务，将其纳入 XID 对应全局事务的管辖
  4. TM 向 TC 发起针对 XID 的全局提交或回滚决议
  5. TC 调度 XID 下管辖的全部分支事务完成提交或回滚请求

Sharding-jdbc_第13张图片

1.需要额外部署 Seata-server 服务进行分支事务的协调。

2.使用@GlobalTransaction 注解。引入依赖：


    org.apache.shardingsphere
    sharding-transaction-base-seata-at
    4.1.1

3.seata 官方也提供了样例代码

https://github.com/seata/seata-samples

六、Sharding-JDBC 工作流程

https://shardingsphere.apache.org/document/current/cn/features/sharding/principle/

Sharding-JDBC 的原理总结起来很简单：

SQL 解析 => 执行器优化 => SQL 路由 => SQL 改写 => SQL 执行 => 结果归并。

Sharding-jdbc_第14张图片

 6.1 SQL 解析

        SQL 解析主要是词法和语法的解析。目前常见的 SQL 解析器主要有 fdb，jsqlparser和 Druid。Sharding-JDBC1.4.x 之前的版本使用 Druid 作为 SQL 解析器。从 1.5.x 版本开始，Sharding-JDBC 采用完全自研的 SQL 解析引擎。

6.2 SQL 路由

Sharding-jdbc_第15张图片

        SQL 路由是根据分片规则配置以及解析上下文中的分片条件，将 SQL 定位至真正的数据源。它又分为直接路由、简单路由和笛卡尔积路由。

        直接路由，使用 Hint 方式。

        Binding 表是指使用同样的分片键和分片规则的一组表，也就是说任何情况下，Binding 表的分片结果应与主表一致。例如：order 表和 order_item 表，都根据 order_id分片，结果应是 order_1 与 order_item_1 成对出现。这样的关联查询和单表查询复杂度和性能相当。如果分片条件不是等于，而是 BETWEEN 或 IN，则路由结果不一定落入单库（表），因此一条逻辑 SQL 最终可能拆分为多条 SQL 语句。

        笛卡尔积查询最为复杂，因为无法根据 Binding 关系定位分片规则的一致性，所以非 Binding 表的关联查询需要拆解为笛卡尔积组合执行。查询性能较低，而且数据库连接数较高，需谨慎使用。

6.3 SQL 改写

例如：将逻辑表名称改成真实表名称，优化分页查询等。

6.4 SQL 执行

因为可能链接到多个真实数据源， Sharding -JDBC 将采用多线程并发执行 SQL。

6.5 结果归并

例如数据的组装、分页、排序等等。

七、Sharding-JDBC 实现原理

        ShardingJDBC 在执行过程中，主要是三个环节：

  1. 一个是解析配置文件。
  2. 第二个是对 SQL 进行解析、路由和改写。
  3. 第三个把结果集汇总到一起返回给客户端。

        在这个里面我们最主关心的是第二步，路由。也就是说，怎么根据一个 SQL 语句，和配置好的分片规则，找到对应的数据库节点呢？

7.1 四大核心对象

        我们说 Sharding-JDBC 是一个增强版的 JDBC 驱动。那么，JDBC 的四大核心对象，或者说最重要的 4 个接口是什么？

  1. DataSource
  2. Connection
  3. Statement（PS）
  4. ResulstSet

Sharding-JDBC 实现了这四个核心接口，在类名前面加上了 Sharding：

  1. ShardingDataSource
  2. ShardingConnection
  3.  ShardingStatement （ PS ）
  4. ShardingResulstSet

        如果要在 Java 代码操作数据库的过程里面，实现各种各样的逻辑，肯定是要从数据源就开始替换成自己的实现。当然，因为在配置文件里面配置了数据源，启动的时候就创建好了。

        问 题 就 在 于 ， 我 们 是 什 么 时 候 用 ShardingDataSource 获 取 一 个ShardingConnection 的？

7.2 MyBatis 数据源获取

        Java API（com.qingshan.jdbc.ShardJDBCTest）我们就不说了。

        我们以整合了 MyBatis 的项目为例。MyBatis 封装了 JDBC 的核心对象，那么在MyBatis 操作 JDBC 四大对象的时候，就要替换成 Sharding-JDBC 的四大对象。

        没有看过 MyBatis 源码的同学一定要去看看。我们的查询方法最终会走到SimpleExecutor 的 doQuery()方法，这个是我们的前提知识。

        spring-boot-sharding-jdbc：com.qingshan.ShardTableTest

        doQuery() 方 法 里 面 调 用 了 prepareStatement() 创 建 连 接 ， 通 过ShardingDataSource 返回了一个连接（衔接上了）。

        我们直接在 prepareStatement ()打断点：

private Statement prepareStatement(StatementHandler handler, Log statementLog) throws SQLException {
    Statement stmt;
    Connection connection = getConnection(statementLog);
    stmt = handler.prepare(connection, transaction.getTimeout());
    handler.parameterize(stmt);
    return stmt;
}

它经过以下两个方法，返回了一个 ShardingConnection：

DataSourceUtil.fetchConnection()
Connection con = dataSource.getConnection();

        基于这个 ShardingConnection，最终得到一个 ShardingPreparedStatement：

stmt = handler.prepare(connection, transaction.getTimeout());

        接下来就是执行：

return handler.query(stmt, resultHandler);

再调用了的 ShardingPreparedStatement 的 execute()：

public  List query(Statement statement, ResultHandler resultHandler) throws SQLException {
    PreparedStatement ps = (PreparedStatement) statement;
    ps.execute();
    return resultSetHandler.handleResultSets(ps);
}

最终调用的是 ShardingPreparedStatement 的 execute 方法：

public boolean execute() throws SQLException {
    try {
        clearPrevious();
        prepare();
        initPreparedStatementExecutor();
        return preparedStatementExecutor.execute();
    } finally {
        refreshTableMetaData(connection.getShardingContext(), routeResult.getSqlStatement());
        clearBatch();
    }
}

prepare 方法中，prepareEngine.prepare：

RouteContext routeContext = this.executeRoute(sql, clonedParameters);

执行路由：

private RouteContext executeRoute(String sql, List clonedParameters) {
    this.registerRouteDecorator();
    return this.route(this.router, sql, clonedParameters);
} 
  
最后到相应的路由执行引擎，比如：ShardingStandardRoutingEngine。
 SQL 的解析路由就是在这一步完成的。
 
  
八、Sharding-Proxy 介绍
 
  
下载地址：
 
  
 
   
https://shardingsphere.apache.org/document/current/cn/overview/#shardingsphere-proxy
 
  
 
  
        bin 目录就是存放启停脚本的，Linux 运行 start.sh 启动（windows 用 start.bat），默认端口 3307；
 
  
        conf 目录就是存放所有配置文件，包括 sharding-proxy 服务的配置文件、数据源以及sharding 规则配置文件和项目日志配置文件；
 
  
        lib 目录就是 sharding-proxy 核心代码，以及依赖的 JAR 包。
 
  
        需要的自定义分表算法，只需要将它编译成 class 文件，然后放到 conf 目录下，也可以打成 jar 包放在 lib 目录下。
 
  
还有一个管理界面：
 
  
 
   
https://github.com/apache/shardingsphere/releases
 
  
 
  
九、与 Mycat 对比
 
  
 
    
    
 
      
     Sharding-Jdbc 
     Mycat 
    
 
    
 
     工作层面 
     JDBC 协议 
     MySQL 协议/JDBC 协议 
    
 
    
 
     运行方式 
     Jar 包， 客户端 
     独立服务， 服务端 
    
 
    
 
     开发方式 
     代码/配置改动 
     连接地址（ 数据源） 
    
 
    
 
     运维方式 
     无 
     管理独立服务， 运维成本高 
    
 
    
 
     性能 
     多线程并发按操作， 性能高 
     独立服务+网络开销， 存在性能损失风险 
    
 
    
 
     功能范围 
     协议层面 
     包括分布式事务、 数据迁移等 
    
 
    
 
     适用操作 
     OLTP 
     OLTP+OLAP 
    
 
    
  
 
  
 
    
    
 
     支持数据库 
     基于 JDBC 协议的数据库 
     MySQL 和其他支持 JDBC 协议的数据库 
    
 
    
 
     支持语言 
     Java 项目中使用 
     支持 JDBC 协议的语言 
    
 
    
  
 
  
        从易用性和功能完善的角度来说，Mycat 似乎比 Sharding-JDBC 要好，因为有现成的分片规则，也提供了 4 种 ID 生成方式，通过注解可以支持高级功能，比如跨库关联查询。
 
  
        建议：小型项目可以用 Sharding-JDBC。大型项目，可以用 Mycat。
  
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(sharding,分布式存储,java)

        

            

                
    
                    
  • Java学习笔记（二十二）
                        路上阡陌
java学习笔记
                        
    1Redis是单线程的那如何处理多个客户端发送的命令Redis虽然是单线程的，但它能够高效地处理多个客户端发送的命令，这主要得益于其内部使用的I/O多路复用技术和事件驱动模型。以下是Redis处理多个客户端命令的详细解释：1.1I/O多路复用技术Redis通过使用I/O多路复用技术，能够同时监听多个客户端连接上的I/O事件。当任何一个客户端连接上有读、写或异常等I/O事件发生时，I/O多路复用机制
    
                    
    • 
                    
  • Java~二叉树进阶练习题：根据先序遍历和中序遍历构建二叉树 与 根据后序遍历和中序遍历构建二叉树
                        Java墨言
程序员java面试算法
                        
    《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！先序遍历中第一个一定是根结点。中序遍历中根结点左子树的所有结点一定在根结点的左边，右子树的所有结点一定在根结点的右边。所有中序遍历的序列组成可以表示为：左子树结点+根结点+右子树结点。后序遍历中最后一个结点一定是根结点。****根据先序遍历和中序遍历构建二叉树解题细想：**设置变量inedx方便从p
    
                    
    • 
                    
  • 西部开源带给我的Java第一课
                        FoxStopM
java语言标准西部开源田攀
                        
    Java语言特性1.JavaSE(JavaStandardEdition):Java标准版基础，可以开发桌面应用、图形化应用等2.JavaEE(JavaEnterpriseEdition):Java企业版开发企业级应用常用DOS命令在目标界面按shift+右键“在此处打开命令窗口”1、切换目录cd/d目标目录2、编译java源代码Javac–d.java源文件名称3、运行.class文件（字节码文
    
                    
    • 
                    
  • CSS语言的数论算法
                        宇瞳月
包罗万象golang开发语言后端
                        
    CSS语言的数论算法引言数论作为数学的一个重要分支，主要研究整数及其性质。数论的基本问题包括素数的性质、最大公约数、最小公倍数、同余等，同时数论在密码学、计算机科学等领域具有广泛的应用。而CSS（层叠样式表）本身是一种样式表语言，用于控制HTML文档的样式和布局，虽然CSS本身并不能直接进行复杂的数论运算，但它可以和JavaScript等编程语言结合使用，实现数论算法的可视化与交互。本文将探讨数论
    
                    
    • 
                    
  • 华为OD机试 - 书籍叠放 - 逻辑分析（Java 2023 B卷 200分）
                        蓝白咖啡
华为OD机试算法JavaPython
                        
    题目描述书籍的长、宽都是整数对应((l,w))。如果书A的长宽度都比B的长宽大时，则允许将B排列放在A上面。现在有一组规格的书籍，书籍叠放时要求书籍不能旋转，请计算最多能有多少个规格书籍能叠放在一起。输入描述输入：books=[[20,16],[15,11],[10,10],[9,10]]说明：总共4本书籍，第一本长度为20宽度为16；第二本书长度为15宽度为11，依次类推，最后一本书长度为9宽度
    
                    
    • 
                    
  • JVM、MySQL常见面试题(尽力局)
                        多敲代码防脱发
jvmmysql数据库
                        
    JVM篇一.谈一谈JDK、JRE、JVM分别是什么，有什么联系？1.JDK是Java工具包，里面包含了JRE、Javac编译器等。2.JRE是java运行环境，里面包含了JVM、JavaSE标准库类等。3.JVM是Java虚拟机，运行编译后的.class的文件，调用系统API运行。JDK=JRE+Javac编译器JRE=JVM+JavaSE标准库二.JVM运行时数据区由哪几部分构成，分别有什么作用
    
                    
    • 
                    
  • GTP生成UI代码
                        酒江
ui人工智能深度学习
                        
    使用GPT生成UI代码，通常是指利用GPT模型生成前端界面的代码，例如HTML、CSS、JavaScript等。GPT可以帮助开发人员快速创建界面元素的代码，减少手动编写的工作量。下面是一些关键步骤，详细说明如何用GPT生成UI代码：1.明确UI需求和设计界面元素：首先明确需要哪些UI元素。例如：按钮、输入框、表单、表格等。布局：确定页面的布局结构，例如：一栏布局、两栏布局、响应式设计等。交互功能
    
                    
    • 
                    
  • let const var 底层区域别，es6还有AO 对象和GO对象吗
                        新茶十九
#学习javascriptes6前端ecmascript
                        
    在JavaScript中，var、let、const的底层行为差异与作用域规则和变量存储机制密切相关。ES6引入了块级作用域和词法环境（LexicalEnvironment），改变了原有的AO和GO的实现方式，但核心逻辑仍然保留。以下是详细解释：一、var、let、const`的底层区别特性varletconst作用域函数作用域或全局作用域块级作用域块级作用域变量提升提升并初始化为undefine
    
                    
    • 
                    
  • ES6-01-01day
                        CodeDoge
javascript开发语言ecmascript
                        
    ECMAScript和javascript的关系是，前者是后者的规格，后者是前者的一种实现。ES6新增了let命令，用来声明变量。它的用法类似于var，但是所声明的变量，只在let命令所在的代码块内有效。不存在变量提升var命令会发生“变量提升”现象，即变量可以在声明之前使用，值为undefined。这种现象多多少少是有些奇怪的，按照一般的逻辑，变量应该在声明语句之后才可以使用。为了纠正这种现象，
    
                    
    • 
                    
  • Tomcat 新手入门指南：从零开始掌握安装与配置
                        超级小狗
tomcatjava
                        
    Tomcat新手入门指南：从零开始掌握安装与配置一、Tomcat是什么？ApacheTomcat是一个开源的轻量级Web应用服务器，专为运行JavaServlet和JSP设计。它是初学JavaWeb开发的必备工具，也是企业级应用的常见选择。核心功能：处理HTTP请求、管理Servlet生命周期、支持动态网页渲染。适用场景：开发测试环境、中小型Web应用部署、微服务架构中的容器化组件。二、快速安装T
    
                    
    • 
                    
  • Apache Tomcat 新手入门指南：从安装到部署的全流程解析
                        小志开发
服务apachetomcatjava
                        
    ApacheTomcat作为一款轻量级的JavaServlet容器，被广泛应用于开发和运行基于Java的Web应用程序（如Servlet和JSP）。对于刚接触Tomcat的开发者来说，快速掌握其基本操作至关重要。本文将从零开始，详细介绍Tomcat的安装、配置、部署及常见问题的解决方法，助你轻松入门。第一部分：环境准备与安装1.确认JDK环境Tomcat依赖Java运行环境，因此需提前安装JDK8
    
                    
    • 
                    
  • 百度Java面试题前200页都在这里了
                        Java烟雨
面试后端javajava正则表达式开发语言算法数据结构
                        
    基本概念操作系统中heap和stack的区别什么是基于注解的切面实现什么是对象/关系映射集成模块什么是Java的反射机制什么是ACIDBS与CS的联系与区别Cookie和Session的区别fail-fast与fail-safe机制有什么区别get和post请求的区别Interface与abstract类的区别IOC的优点是什么IO和NIO的区别，NIO优点Java8/Java7为我们提供了什么新
    
                    
    • 
                    
  • Java每日一讲 小演讲_5 分钟讲明白 JVM、Java 、Java对象模型
                        weixin_39646658
Java每日一讲小演讲
                        
    Java作为一种面向对象的，跨平台语言，其对象、内存等一直是比较难的知识点。而且很多概念的名称看起来又那么相似，很多人会傻傻分不清楚。比如本文我们要讨论的JVM内存结构、Java内存模型和Java对象模型，这就是三个截然不同的概念，但是很多人容易弄混。可以这样说，很多高级开发甚至都搞不不清楚JVM内存结构、Java内存模型和Java对象模型这三者的概念及其间的区别。甚至我见过有些面试官自己也搞的不
    
                    
    • 
                    
  • 每日学习Java之一万个为什么
                        ~Yogi
修炼学习javamybatis
                        
    Mybatis分步查询如果有下一步查询计划，resultType需要改为resultMap，（只要这张表的查询大于1就用Map）并在Map中配置下一步计划在本计划中的实体类，查询列名，下一步计划方法路径。当然，在分步查询sql设计前后我们需要设计分步查询实体类。select*fromt_scorewhereuid=#{id};分步查询和JOIN哪个更好？参考分步查询的延迟加载lazyLoading
    
                    
    • 
                    
  • 万字面试题助力春招（待补充）
                        ~Yogi
刷题日记javajvm开发语言
                        
    JavaSE面试题1.JDKJRE区别JDKjavadevelop’skitjava开发工具包，包含了JRE和常见开发工具javacJRE包含了JVM和核心类库2.equals==区别首先equals（）是Object类下的一个方法，比较的是引用类型。默认比较引用地址，重写比较其他东西。其次，==引用和基本数据类型都能比较引用比较的是地址，基本数据类型就是值3.如果hashCode（）一样，equ
    
                    
    • 
                    
  • Tomcat新手入门指南，从零开始，快速掌握Tomcats安装与基本配置技巧
                        日记成书
反正看不懂系列tomcatfirefoxjava
                        
    以下是Tomcat新手入门指南，从零开始快速掌握安装与基本配置技巧：一、安装前准备确认Java环境Tomcat依赖JDK运行，需提前安装JDK8及以上版本。验证Java环境：命令行输入java-version和javac，若无报错则配置成功。下载Tomcat访问Tomcat官网，选择与系统匹配的版本（如Windows解压版）。二、安装步骤解压安装包将下载的Tomcat压缩包解压至无中文路径的目录（
    
                    
    • 
                    
  • 下载 CSS 文件阻塞，会阻塞构建 DOM 树吗？会阻塞页面的显示吗？
                        liangshanbo1215
前端性能css前端
                        
    下载CSS文件会对页面的渲染过程产生影响，具体是否阻塞DOM树的构建和页面的显示，取决于浏览器的渲染机制。1.CSS文件下载是否会阻塞DOM树的构建？一般情况下，CSS文件下载不会阻塞DOM树的构建：DOM树的构建是由HTML解析器完成的，解析器会逐行解析HTML并构建DOM树。即使CSS文件正在下载，HTML解析器仍然会继续工作，构建DOM树。但如果JavaScript访问了样式，CSS文件下载
    
                    
    • 
                    
  • Java学习总结归纳
                        eyes______
java学习开发语言
                        
    202402150625卢芊涵一、第一章：初始java与面向对象程序设计1.1java概述1.1.1计算机编程语言发展史：编程语言从早期的机器语言，逐步发展到汇编语言，再到高级语言。机器语言是二进制代码，直接由计算机硬件执行，但可读性和可维护性极差；汇编语言使用助记符代替二进制指令，一定程度上提高了可读性；高级语言如Java则更接近人类语言，提高了开发效率。例如，机器语言可能是一串010101，而
    
                    
    • 
                    
  • 《突破性能瓶颈，用 Rust + WASM 实现浏览器端FFT加速300%实战》
                        煜bart
人工智能机器人
                        
    引言：当JavaScript遇上硬核计算**“为什么我的音频分析页面卡到崩溃？”这是前端工程师在实现实时频谱可视化时最常见的噩梦。传统JavaScript的FFT计算在万级数据点时就会引发严重卡顿，但今天我们将用**Rust+WebAssembly**的组合拳，在浏览器中实现**零依赖、300%加速的傅里叶变换**。无需WebGL黑魔法，直接上硬核代码！---###**一、血腥现场：JS的Type
    
                    
    • 
                    
  • 每日学习Java之一万个为什么
                        ~Yogi
修炼java学习springboot
                        
    场景启动器：starter参考常见启动器默认配置官网默认值依赖见官网/pom父依赖注解@SpringBootApplication：启动自动装配，配合main+SpringApplication.run（.class,args）@SpringBootTest：SpringBoot单元测试注解@ConfigurationProperties:指定前缀读取配置文件对应属性，实现批量读取属性值@Impo
    
                    
    • 
                    
  • 从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
                        Echo_Wish
大数据大数据hadoopspark
                        
    从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路说起大数据技术，Hadoop和Spark可以说是这个领域的两座里程碑。Hadoop曾是大数据的开山之作，而Spark则带领我们迈入了一个高效、灵活的大数据处理新时代。那么，它们的演变过程到底有何深意？背后技术上的取舍和选择，又意味着什么？一、Hadoop：分布式存储与计算的奠基者Hadoop诞生于互联网流量爆发式增长的时代，
    
                    
    • 
                    
  • 软件性能测试深度解析（进阶篇）：JMeter高阶应用与性能工程体系构建
                        追寻向上
jmeter功能测试
                        
    六、JMeter内核机制深度剖析6.1JMeter架构设计原理JMeter采用模块化架构设计，核心模块包括：测试计划（TestPlan）：测试逻辑的容器，所有组件在此组织。线程模型：基于Java线程池实现虚拟用户（VirtualUser）并发，通过Ramp-Up参数控制线程启动梯度。请求处理引擎：采用事件驱动模型，每个Sampler（取样器）由独立线程执行，通过Timer（定时器）控制执行节奏。技
    
                    
    • 
                    
  • Redis为什么比较快 - java后端面试必考 - 基于C老师
                        amber66666！
redis数据库缓存
                        
    目录Redis为什么比较快RDB文件的二进制格式是什么？AOF（Append-OnlyFile）日志的全流程Redis为什么比较快Redis之所以快，核心原因是它采用了单线程处理命令，并结合了多线程优化，最大程度地减少了线程切换、锁竞争和CPU资源浪费。从线程管理的角度来看，Redis的高性能主要来自以下几个方面：1️⃣单线程模型（避免线程上下文切换）Redis大部分操作（读取、写入、计算）都由一
    
                    
    • 
                    
  • 鸿蒙（HarmonyOS）性能优化—Web开发常见问题
                        码牛程序猿
HarmonyOS鸿蒙工程师鸿蒙harmonyos华为HarmonyOS鸿蒙应用开发鸿蒙系统鸿蒙鸿蒙开发
                        
    H5页面如何与ArkTS交互(API10)问题现象目前javaScriptProxy仅支持同步调用，异步调用无法获取执行结果。解决措施对javaScriptProxy和runJavaScript封装，实现JSBridge通信方案。适用于H5调用原生侧函数。使用Web组件javaScriptProxy将原生侧接口注入到H5的window对象上，通过runJavaScript接口执行JS脚本到H5中，
    
                    
    • 
                    
  • 【JSON-RPC】 python+JSON-RPC示例与入门
                        魔都吴所谓
jsonrpcpython
                        
    JSON-RPC是一种无状态的、轻量级的远程过程调用（RPC）协议。它定义了几种数据结构及其处理规则。它使用JSON（JavaScriptObjectNotation）作为数据格式，允许实现相同功能的程序以松散耦合的方式跨网络通信。以下是一个简单的JSON-RPC使用Python的示例。我们将使用jsonrpclib这个库来创建一个JSON-RPC服务端和一个客户端。首先，你需要安装jsonrpc
    
                    
    • 
                    
  • 在kali linux中配置hadoop伪分布式
                        we19a0sen
三数据分析分布式linuxhadoop
                        
    目录一.配置静态网络二.配置主机名与IP地址映射三.配置SSH免密登录四.配置Java和Hadoop环境五.配置Hadoop伪分布式六.启动与验证一.配置静态网络原因：Hadoop集群依赖稳定的网络通信，动态IP可能导致节点失联。静态IP确保节点始终通过固定地址通信。操作步骤：#修改网络配置文件sudovim/etc/network/interfaces#添加内容（根据实际网络修改）：autoet
    
                    
    • 
                    
  • java自写代码--单链表的基本操作
                        葡葡小萄汽
数据结构数据结构java
                        
    内含单链表的头插法、尾插法、根据位置插入数据、根据位置删除数据、得到链表长度等操作。//基于单链表的一些基础操作importjava.util.Scanner;publicclasslnode{//单链表初始化publicintdata;publiclnodenext=null;lnodehead=null;//作为头结点//无参构造函数publiclnode(){}//带参构造函数publicl
    
                    
    • 
                    
  • Java集成MQTT和Kafka实现稳定、可靠、高性能的物联网消息处理系统
                        qzw1210
javakafka物联网
                        
    Java集成MQTT和Kafka实现高可用方案1.概述在物联网(IoT)和分布式系统中，消息传递的可靠性和高可用性至关重要。本文将详细介绍如何使用Java集成MQTT和Kafka来构建一个高可用的消息处理系统。MQTT(消息队列遥测传输)是一种轻量级的发布/订阅协议，适用于资源受限的设备和低带宽、高延迟网络。而Kafka是一个分布式流处理平台，提供高吞吐量、可扩展性和持久性。将两者结合，可以创建一
    
                    
    • 
                    
  • 带过期时间的LRUCache java实现
                        .禾火
java算法数据结构
                        
    实现代码，惰性删除过期节点importjava.util.*;publicclassLRUWithExpire{staticclassListNode{intkey;intvalue;//单位为毫秒longexpire;ListNodepre;ListNodenext;publicListNode(intkey,intvalue,longexpire){this.key=key;this.valu
    
                    
    • 
                    
  • Java 代码的重构技巧：从混乱到整洁的蜕变
                        叶间清风1998
java重构python
                        
    目录一、重构的概念与重要性二、常见的重构手法提取方法（ExtractMethod）引入多态（IntroducePolymorphism）三、重构的实施步骤制定重构计划编写单元测试逐步重构与验证在Java项目的生命周期中，随着业务的不断发展和功能的持续迭代，代码往往会逐渐变得复杂和混乱。代码中可能出现重复逻辑、不合理的类与方法设计以及难以理解的复杂算法等问题，这不仅增加了开发人员的理解成本，还使得后
    
                    
    • 
                                
  • Js函数返回值
                                    _wy_
jsreturn
                                    
    一、返回控制与函数结果，语法为：return 表达式;作用: 结束函数执行，返回调用函数，而且把表达式的值作为函数的结果 二、返回控制语法为：return;作用: 结束函数执行，返回调用函数，而且把undefined作为函数的结果 在大多数情况下,为事件处理函数返回false,可以防止默认的事件行为.例如,默认情况下点击一个<a>元素,页面会跳转到该元素href属性
    
                                
    • 
                                
  • MySQL 的 char 与 varchar
                                    bylijinnan
mysql
                                    
     
今天发现，create table 时，MySQL 4.1有时会把 char 自动转换成 varchar 
 
测试举例： 
 

CREATE TABLE `varcharLessThan4` (
  `lastName` varchar(3)
) ;

mysql> desc varcharLessThan4;
+----------+---------+------+-
    
                                
    • 
                                
  • Quartz——TriggerListener和JobListener
                                    eksliang
TriggerListenerJobListenerquartz
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2208624 一.概述 
listener是一个监听器对象，用于监听scheduler中发生的事件，然后执行相应的操作；你可能已经猜到了，TriggerListeners接受与trigger相关的事件，JobListeners接受与jobs相关的事件。 
  二.JobListener监听器 
 j
    
                                
    • 
                                
  • oracle层次查询
                                    18289753290
oracle；层次查询；树查询
                                    
    .oracle层次查询(connect  by) 
oracle的emp表中包含了一列mgr指出谁是雇员的经理，由于经理也是雇员，所以经理的信息也存储在emp表中。这样emp表就是一个自引用表，表中的mgr列是一个自引用列，它指向emp表中的empno列，mgr表示一个员工的管理者， 
select   empno,mgr,ename,sal  from e
    
                                
    • 
                                
  • 通过反射把map中的属性赋值到实体类bean对象中
                                    酷的飞上天空
javaee泛型类型转换
                                    
    使用过struts2后感觉最方便的就是这个框架能自动把表单的参数赋值到action里面的对象中 
但现在主要使用Spring框架的MVC，虽然也有@ModelAttribute可以使用但是明显感觉不方便。 
好吧，那就自己再造一个轮子吧。 
原理都知道，就是利用反射进行字段的赋值，下面贴代码 
主要类如下： 
  
import java.lang.reflect.Field;
imp
    
                                
    • 
                                
  • SAP HANA数据存储：传统硬盘的瓶颈问题
                                    蓝儿唯美
HANA
                                    
    SAPHANA平台有各种各样的应用场景，这也意味着客户的实施方法有许多种选择，关键是如何挑选最适合他们需求的实施方案。 
在 《Implementing SAP HANA》这本书中，介绍了SAP平台在现实场景中的运作原理，并给出了实施建议和成功案例供参考。本系列文章节选自《Implementing SAP HANA》，介绍了行存储和列存储的各自特点，以及SAP HANA的数据存储方式如何提升空间压
    
                                
    • 
                                
  • Java Socket 多线程实现文件传输
                                    随便小屋
javasocket
                                    
            高级操作系统作业，让用Socket实现文件传输，有些代码也是在网上找的，写的不好，如果大家能用就用上。 
客户端类： 
  
package edu.logic.client;

import java.io.BufferedInputStream;
import java.io.Buffered
    
                                
    • 
                                
  • java初学者路径
                                    aijuans
java
                                    
    学习Java有没有什么捷径?要想学好Java，首先要知道Java的大致分类。自从Sun推出Java以来，就力图使之无所不包，所以Java发展到现在，按应用来分主要分为三大块：J2SE,J2ME和J2EE,这也就是Sun ONE(Open Net Environment)体系。J2SE就是Java2的标准版，主要用于桌面应用软件的编程；J2ME主要应用于嵌入是系统开发，如手机和PDA的编程；J2EE
    
                                
    • 
                                
  • APP推广
                                    aoyouzi
APP推广
                                    
    一，免费篇 
1，APP推荐类网站自主推荐 
最美应用、酷安网、DEMO8、木蚂蚁发现频道等,如果产品独特新颖，还能获取最美应用的评测推荐。PS：推荐简单。只要产品有趣好玩，用户会自主分享传播。例如足迹APP在最美应用推荐一次，几天用户暴增将服务器击垮。 
2，各大应用商店首发合作 
老实盯着排期，多给应用市场官方负责人献殷勤。 
3，论坛贴吧推广 
百度知道，百度贴吧，猫扑论坛，天涯社区，豆瓣（
    
                                
    • 
                                
  • JSP转发与重定向
                                    百合不是茶
jspservletJava Webjsp转发
                                    
      
在servlet和jsp中我们经常需要请求,这时就需要用到转发和重定向; 
  
转发包括;forward和include   
  
例子;forwrad转发;  将请求装法给reg.html页面 
  
关键代码; 
   
   req.getRequestDispatcher("reg.html
    
                                
    • 
                                
  • web.xml之jsp-config
                                    bijian1013
javaweb.xmlservletjsp-config
                                    
    1.作用：主要用于设定JSP页面的相关配置。 
2.常见定义： 
<jsp-config>
 <taglib>
  <taglib-uri>URI(定义TLD文件的URI,JSP页面的tablib命令可以经由此URI获取到TLD文件)</tablib-uri>
  <taglib-location>
   TLD文件所在的位置

    
                                
    • 
                                
  • JSF2.2 ViewScoped Using CDI
                                    sunjing
CDIJSF 2.2ViewScoped
                                    
    JSF 2.0 introduced annotation @ViewScoped; A bean annotated with this scope maintained its state as long as the user stays on the same view(reloads or navigation - no intervening views). One problem w
    
                                
    • 
                                
  • 【分布式数据一致性二】Zookeeper数据读写一致性
                                    bit1129
zookeeper
                                    
    很多文档说Zookeeper是强一致性保证，事实不然。关于一致性模型请参考http://bit1129.iteye.com/blog/2155336 
  
  Zookeeper的数据同步协议 
Zookeeper采用称为Quorum Based Protocol的数据同步协议。假如Zookeeper集群有N台Zookeeper服务器(N通常取奇数，3台能够满足数据可靠性同时
    
                                
    • 
                                
  • Java开发笔记
                                    白糖_
java开发
                                    
    1、Map<key,value>的remove方法只能识别相同类型的key值 
  
Map<Integer,String> map = new HashMap<Integer,String>();
map.put(1,"a");
map.put(2,"b");
map.put(3,"c"
    
                                
    • 
                                
  • 图片黑色阴影
                                    bozch
图片
                                    
     .event{ padding:0;    width:460px;    min-width: 460px;    border:0px solid #e4e4e4;    height: 350px;    min-heig
    
                                
    • 
                                
  • 编程之美-饮料供货-动态规划
                                    bylijinnan
动态规划
                                    
    

import java.util.Arrays;
import java.util.Random;

public class BeverageSupply {

	/**
	 * 编程之美 饮料供货
	 * 设Opt（V’，i）表示从i到n-1种饮料中，总容量为V’的方案中，满意度之和的最大值。
	 * 那么递归式就应该是：Opt（V’，i）=max{ k * Hi+Op
    
                                
    • 
                                
  • ajax大参数（大数据）提交性能分析
                                    chenbowen00
WebAjax框架浏览器prototype
                                    
    近期在项目中发现如下一个问题 
项目中有个提交现场事件的功能，该功能主要是在web客户端保存现场数据（主要有截屏，终端日志等信息）然后提交到服务器上方便我们分析定位问题。客户在使用该功能的过程中反应点击提交后反应很慢，大概要等10到20秒的时间浏览器才能操作，期间页面不响应事件。 
根据客户描述分析了下的代码流程，很简单，主要通过OCX控件截屏，在将前端的日志等文件使用OCX控件打包，在将之转换为
    
                                
    • 
                                
  • [宇宙与天文]在太空采矿,在太空建造
                                    comsci

                                    
         我们在太空进行工业活动...但是不太可能把太空工业产品又运回到地面上进行加工,而一般是在哪里开采,就在哪里加工,太空的微重力环境,可能会使我们的工业产品的制造尺度非常巨大.... 
 
     地球上制造的最大工业机器是超级油轮和航空母舰,再大些就会遇到困难了,但是在空间船坞中,制造的最大工业机器,可能就没
    
                                
    • 
                                
  • ORACLE中CONSTRAINT的四对属性
                                    daizj
oracleCONSTRAINT
                                    
    ORACLE中CONSTRAINT的四对属性 
summary:在data migrate时,某些表的约束总是困扰着我们,让我们的migratet举步维艰,如何利用约束本身的属性来处理这些问题呢?本文详细介绍了约束的四对属性: Deferrable/not deferrable, Deferred/immediate, enalbe/disable, validate/novalidate,以及如
    
                                
    • 
                                
  • Gradle入门教程
                                    dengkane
gradle
                                    
    一、寻找gradle的历程 
一开始的时候，我们只有一个工程，所有要用到的jar包都放到工程目录下面，时间长了，工程越来越大，使用到的jar包也越来越多，难以理解jar之间的依赖关系。再后来我们把旧的工程拆分到不同的工程里，靠ide来管理工程之间的依赖关系，各工程下的jar包依赖是杂乱的。一段时间后，我们发现用ide来管理项程很不方便，比如不方便脱离ide自动构建，于是我们写自己的ant脚本。再后
    
                                
    • 
                                
  • C语言简单循环示例
                                    dcj3sjt126com
c
                                    
    # include <stdio.h>

int main(void)
{
	int i;
	int count = 0;
	int sum = 0;
	float avg;
	
	for (i=1; i<=100; i++)
	{
		if (i%2==0) 
		{
			count++;
			sum += i;
		}
	}

	avg
    
                                
    • 
                                
  • presentModalViewController 的动画效果
                                    dcj3sjt126com
controller
                                    
    系统自带(四种效果)： 
presentModalViewController模态的动画效果设置：        
[cpp]  
view plain 
copy       
 
 UIViewController *detailViewController = [[UIViewController al
    
                                
    • 
                                
  • java 二分查找
                                    shuizhaosi888
二分查找java二分查找
                                    
    需求：在排好顺序的一串数字中，找到数字T 
  
一般解法：从左到右扫描数据，其运行花费线性时间O(N)。然而这个算法并没有用到该表已经排序的事实。 
	/**
	 * 
	 * @param array
	 *            顺序数组
	 * @param t
	 *            要查找对象
	 * @return
	 */
	public stati
    
                                
    • 
                                
  • Spring Security（07）——缓存UserDetails
                                    234390216
ehcache缓存Spring Security
                                    
     
       Spring Security提供了一个实现了可以缓存UserDetails的UserDetailsService实现类，CachingUserDetailsService。该类的构造接收一个用于真正加载UserDetails的UserDetailsService实现类。当需要加载UserDetails时，其首先会从缓存中获取，如果缓存中没
    
                                
    • 
                                
  • Dozer 深层次复制
                                    jayluns
VOmavenpo
                                    
    最近在做项目上遇到了一些小问题，因为架构在做设计的时候web前段展示用到了vo层，而在后台进行与数据库层操作的时候用到的是Po层。这样在业务层返回vo到控制层，每一次都需要从po-->转化到vo层，用到BeanUtils.copyProperties(source, target)只能复制简单的属性，因为实体类都配置了hibernate那些关联关系，所以它满足不了现在的需求，但后发现还有个很
    
                                
    • 
                                
  • CSS规范整理（摘自懒人图库）
                                    a409435341
htmlUIcss浏览器
                                    
       刚没事闲着在网上瞎逛，找了一篇CSS规范整理，粗略看了一下后还蛮有一定的道理，并自问是否有这样的规范，这也是初入前端开发的人一个很好的规范吧。 
 
 
一、文件规范 
 
1、文件均归档至约定的目录中。 
 
具体要求通过豆瓣的CSS规范进行讲解： 
 
所有的CSS分为两大类：通用类和业务类。通用的CSS文件，放在如下目录中： 
 
基本样式库 /css/core 

    
                                
    • 
                                
  • C++动态链接库创建与使用
                                    你不认识的休道人
C++dll
                                    
    一、创建动态链接库 
1.新建工程test中选择”MFC [dll]”dll类型选择第二项"Regular DLL With MFC shared linked"，完成 
2.在test.h中添加 
extern “C” 返回类型 _declspec(dllexport)函数名(参数列表); 
3.在test.cpp中最后写 
 
extern “C” 返回类型 _decls
    
                                
    • 
                                
  • Android代码混淆之ProGuard
                                    rensanning
ProGuard
                                    
    Android应用的Java代码，通过反编译apk文件（dex2jar、apktool）很容易得到源代码，所以在release版本的apk中一定要混淆一下一些关键的Java源码。 
 
ProGuard是一个开源的Java代码混淆器（obfuscation）。ADT r8开始它被默认集成到了Android SDK中。 
 
官网： 
http://proguard.sourceforge.net/
    
                                
    • 
                                
  • 程序员在编程中遇到的奇葩弱智问题
                                    tomcat_oracle
jquery编程ide
                                    
    　　现在收集一下： 
   
  
  
　　排名不分先后，按照发言顺序来的。 
  
1、Jquery插件一个通用函数一直报错，尤其是很明显是存在的函数，很有可能就是你没有引入jquery。。。或者版本不对 
2、调试半天没变化：不在同一个文件中调试。这个很可怕，我们很多时候会备份好几个项目，改完发现改错了。有个群友说的好：   在汤匙
    
                                
    • 
                                
  • 解决maven-dependency-plugin (goals "copy-dependencies","unpack") is not supported
                                    xp9802
dependency
                                    
    解决办法：在plugins之前添加如下pluginManagement，二者前后顺序如下： 
     
[html]  
view plain 
copy       
 
 <build>   
         <pluginManagement
    
                                
    •