czp11210
czp11210

分享下去年底写的分库分表中间件heisenberg


       好久没有写博了，去年年底的时候写了一个分库分表中间件服务器，当时正在看绝命毒师，觉得heisenberg这个名字很叼，然后就以这个命名了，炼毒也要精益求精啊。。。

 

      公司在java分布式这块的基础设施很差，然后之前也看过一些老东家的tddl，cobar之类的东东；但是灵活性和语言通用性方面不是太好，所以当时就想做一款比较通用性，并且低侵入性的分库分表中间件，于是想法诞生了

 

目前代码只在googlecode上维护，虽然有点不稳定,其实我是不知道github怎么打版本包，虽然github也上传了，但是没有更新了。

https://code.google.com/p/heisenberg/

其优点： 分库分表与应用脱离，分库表如同使用单库表一样
减少db 连接数压力 
热重启配置
可水平扩容
遵守Mysql原生协议
无语言限制，mysqlclient,c,java等都可以使用
Heisenberg服务器通过管理命令可以查看，如连接数，线程池，结点等，并可以调整
采用velocity的分库分表脚本进行自定义分库表，相当的灵活

 

之前在组里有做过简单的分享，这段时间稍微轻松了点，先分享出来，看有没有更好的idea在这块有所提升

 

 下面开始介绍heisenberg

 

1.heisenberg总体架构

      首先这块架构：

      

      
分享下去年底写的分库分表中间件heisenberg_第1张图片
 

应用对于heisenberg集群来说就是mysql客户端，

而heisenberg也是集成了mysql的原生协议，所以对于应用来说，就相当于单库单表的数据源

无论是mysql客户端，c,jdbc驱动等都可以访问heisenberg服务器，由服务器把分库分表的工作给做掉了

 

访问heisenberg集群可以通过像lvs,F5等负载软件/设备解决，

其实一台heisenberg的性能是相当的赞了，我压力到2320TPS load 都还只有0.1-0.3左右（CPU 8core,16G），由于找不到mysql物理机器了，只得做罢

 

服务端内部结构：


分享下去年底写的分库分表中间件heisenberg_第2张图片

 

其中FrontConnectionFactory为面向应用的连接管理，ManagerConnectionFactory为面向heisenberg服务器内部管理的一些连接管理，比如更改配置后热重启，关闭 某个连接等功能

mysql协议贯穿于应用程序与mysql服务器，最终解析为相关的mysql数据包, 授权包，注册包等

 

当heisenberg服务器接收到SQL语句后，通过AST语法解析 解析成 DML,DCL,DDL类型以及相关列名的值等等，然后通过ServerRouter这一层，经过分库分表的切分，最终将切分好的语句放入对应数据结点进行执行

 

分库分表的切分，为了满足各种通用性灵活性，使用了velocity和groovy 2种语法来支持，其中groovy是初始化表和库和映射关系的，只在加载时初始化一次；而velocity是用来渲染对应的分库和分表规则的。

 

OK，知道了原理，那么开始说明如何使用分库分表吧

 

2.heisenberg开发

Maven +JDK 部署好

svn checkout http://heisenberg.googlecode.com/svn/trunk/

 

下载到本地后，

Mvn package 之

 

在本地target里会生成一个heisenberg-server-1.0.0.zip 文件

 

解压之 unzip  heisenberg-server-1.0.0.zip 这个版本以googlecode上的最新为主

进入conf目录

有下面几个目录 

     conf

      ---log4j.xml

      ---rule.xml

      ---schema.xml

      ---server.xml

log4j.xml就不介绍了

  sql_route.log就是分库表切分的时间

  sql_execute.log 为sql总执行时间

 

server.xml 

    "serverPort">8166

    "managerPort">8266

    "initExecutor">16

    "timerExecutor">4

    "managerExecutor">4

    "processors">4

    "processorHandler">8

    "processorExecutor">8

    "clusterHeartbeatUser">_HEARTBEAT_USER_

    "clusterHeartbeatPass">_HEARTBEAT_PASS_

 

 

serverPort为服务端口，即对上层应用的端口

managerPort为管理端口，即管理的监听端口，用于操作服务器一些配置等

initExecutor 为初始化的线程个数

timerExecutor 心跳执行线程个数

managerExecutor管理执行线程个数

processors应用接收处理器核数

processorHandler 应用接收处理类个数

processorExecutor 应用接收处理线程个数

 

clusterHeartbeatUser和clusterHeartbeatPass 不必改，用于集群的认证方式使用

 

 "brucexx">

    "password">st0078

    "schemas">trans_shard

 

Brucexx为自定义应用用户名，st0078为自定义应用密码

Schemas为自定义schema,具体见schema.xml中，

 

这里的schemas可为多个，以逗号分隔

 

白名单限制：

 

  

   

      test

   

 

 

                

schema.xml配置

mysql数据源

 

    "transDS" type="mysql">

        "location">

            10.58.49.14:8701/db$0-9

   

        "user">root

        "password">st0078

        "sqlMode">STRICT_TRANS_TABLES

   

 

这里指定的mysql的数据源，后面$0-9是一种自定义的缩略写法

也可以在property里面定义多个location，比如：

"location">

            10.58.49.14:8701/db0

10.58.49.14:8701/db1

10.58.49.14:8701/db2

   

 

 

 

效果是一样的

 

Shard结点配置

Shard结点相当于一个逻辑结点，提供给外部相关的schema，对应于数据源有

主/备/灾，

"transDN">

        "dataSource">

           

            transDS$0-9

           

            transSlaveDS$0-9

           

            transSlaveDS$0-9

           

           

       

        "rwRule">

        "poolSize">256

        "heartbeatSQL">select user()

   

 

属性dataSource 第一个是主库，第二个备库，第三个灾库，需要多少配置多少个

 

读写分离规则rwRule，m和s代表读取的比例，表示主库读取为0,从库读取1，这样直接读写分离，如果是1:1的话相当读取各1：1的比例

 

池大小poolSize为到mysqlDB的连接数和心跳sql heartbeatSQL，无特殊需求保持不变

 

Schema配置

"trans_shard">

 

       

"trans_online, trans_content, trans_tb " dataNode="transDN$0-9" rule="rule1" />

   

 trans_shard 提供的schema,对应于server.xml中的名字

下面会有多个需要分库的表，

"trans_online" dataNode="transDN$0-9" rule="rule1" />

这里必须要把需要分库分表的内容写出来，当然，如果不分库表也是可以的

 

”tbxxx" dataNode="transDN0" ruleRequired=”false”/

 

rule.xml 

分库分表规则配置，其中columns,dbRuleList,tbRuleList里面的列名要保持大写

 

首先先上一个整体配置

    "rule1">

        TRANS_ID

   

           

            #set($end=$TRANS_ID.length() - 1)##

            $stringUtil.substring($TRANS_ID,$start,$end)]]>

           

       

       

           

             $stringUtil.substring($TRANS_ID,$start)]]>

       

       

       

               

                        def map = [:];

                        for (int i=0; i<10; i++) {

                           def list = [];

                            for (int j=0; j<10; j++) {

                                list.add(i+""+j);

                            }

                             map.put(i,list);

                        };

                        return map;

                ]]>

       

   

 

其中dbRuleList 为分库规则

 

           

            #set($end=$TRANS_ID.length() - 1)##

            $stringUtil.substring($TRANS_ID,$start,$end)]]>

           

       

 分库规则dbRuleList可以有多个dbRule，当第一个不满足时，可以用第二个，当然这个效率不好，如果有规则区分，尽量再写一个rule，

dbRule 最后的结果是表的前缀

比如分库分表 库名为db0-db9,那么这个dbRule渲染时

 

取到TRANS_ID 这个为后，在脚本里计算出取倒数第2位为库后缀

比如上图的分库为


分享下去年底写的分库分表中间件heisenberg_第3张图片
 

分表规则配置

           

             $stringUtil.substring($TRANS_ID,$start)]]>

       

这个和上面分库一样了，以倒数1，2位为库的后缀

如下图：


分享下去年底写的分库分表中间件heisenberg_第4张图片
 

 

 有个潜规则就是

需要保证全局的表名不能重复

比如db0有个trans_tb00,db1就不能有叫trans_tb00的表

 

表初始化

       

       

               

                        def map = [:];

                        for (int i=0; i<10; i++) {

                           def list = [];

                            for (int j=0; j<10; j++) {

                                list.add(i+""+j);

                            }

                             map.put(i,list);

                        };

                        return map;

                ]]>

       

 

需要初始化个表，其中key为db的下标索引，比如db0 的下标为0,

list为每个库里的表后缀名

 

 

目录是为了初始化定义这些库表

 

如何使用呢？

通过命令行


 

这里就不用讲了，wms_shard就是在server.xml里面配置的逻辑分库分表的数据源schema,应用只要访问这个就好了


分享下去年底写的分库分表中间件heisenberg_第5张图片
 

show tables;也可以看到自己的一些表信息


分享下去年底写的分库分表中间件heisenberg_第6张图片
 

ok.

 

mysql> select * from t_user_id_map;

+-----------+---------------------------+-----------+------------+---------------------+---------------------+

| F_uid     | F_uname                   | F_enabled | F_user_id  | F_create_time       | F_modify_time       |

+-----------+---------------------------+-----------+------------+---------------------+---------------------+

| 105001050 | @8230762802717b6a723fe9cd |         1 | 1287824017 | 2014-03-10 15:38:44 | 2014-03-10 15:38:44 |

|     62000 |                           |         1 |  533885000 | 2014-03-26 23:02:31 | 2014-03-26 23:02:31 |

|     86000 |                           |         1 |  237406000 | 2014-03-27 01:04:23 | 2014-03-27 01:04:23 |

|     96000 |                           |         1 |  767684000 | 2014-03-27 00:30:32 | 2014-03-27 00:30:32 |

|    130000 |                           |         1 |  506552000 | 2014-03-27 15:57:31 | 2014-03-27 15:57:31 |

|    149000 |                           |         1 |  868483000 | 2014-03-27 15:50:09 | 2014-03-27 15:50:09 |

|    179000 |                           |         1 |  245626000 | 2014-03-26 21:33:46 | 2014-03-26 21:33:46 |

当没有指定分库分表规则时，是进行的全表扫描，当然我们可以通过学习

mysql> explain select * from t_user_id_map;

+-----------+-----------------------------------

| DATA_NODE | SQL

+-----------+-----------------------------------

| wmsDN[0]  |  select * from t_user_id_map_00_0

| wmsDN[0]  |  select * from t_user_id_map_00_1

| wmsDN[0]  |  select * from t_user_id_map_00_2

| wmsDN[0]  |  select * from t_user_id_map_00_3

| wmsDN[0]  |  select * from t_user_id_map_00_4

| wmsDN[0]  |  select * from t_user_id_map_00_5

| wmsDN[0]  |  select * from t_user_id_map_00_6

| wmsDN[0]  |  select * from t_user_id_map_00_7

| wmsDN[0]  |  select * from t_user_id_map_00_8

| wmsDN[0]  |  select * from t_user_id_map_00_9

| wmsDN[1]  |  select * from t_user_id_map_01_0

| wmsDN[1]  |  select * from t_user_id_map_01_1

| wmsDN[1]  |  select * from t_user_id_map_01_2

| wmsDN[1]  |  select * from t_user_id_map_01_3

| wmsDN[1]  |  select * from t_user_id_map_01_4

| wmsDN[1]  |  select * from t_user_id_map_01_5

| wmsDN[1]  |  select * from t_user_id_map_01_6

| wmsDN[1]  |  select * from t_user_id_map_01_7

| wmsDN[1]  |  select * from t_user_id_map_01_8

| wmsDN[1]  |  select * from t_user_id_map_01_9

| wmsDN[2]  |  select * from t_user_id_map_02_0

....

这边表很多，其中dataNode是我们里面对应的结点

 

mysql> select * from t_user_id_map where f_uid=196606999;

+-----------+---------+-----------+-----------+---------------------+---------------------+

| F_uid     | F_uname | F_enabled | F_user_id | F_create_time       | F_modify_time       |

+-----------+---------+-----------+-----------+---------------------+---------------------+

| 196606999 |         |         1 | 749331999 | 2014-04-04 14:46:58 | 2014-04-04 14:46:58 |

+-----------+---------+-----------+-----------+---------------------+---------------------+

1 row in set (0.04 sec)

这边配置的是按F_uid最后三位分库分表的，dbRuleList配置的是倒数2，3位，

tbRuleList配置的是最后1位

 

我们看下是怎么路由的

 

mysql> explain select * from t_user_id_map where f_uid=196606999;

+-----------+---------------------------------------------------------+

| DATA_NODE | SQL                                                     |

+-----------+---------------------------------------------------------+

| wmsDN[99] |  select * from t_user_id_map_99_9 where f_uid=196606999 |

+-----------+---------------------------------------------------------+

1 row in set (0.03 sec)

 

可以看到data_node --> wmsDN[99] ,分库位

t_user_id_map_99_9 对应的表

 

 

OK，先写到这里面，有什么问题随时欢迎交流！

 

你可能感兴趣的:(数据库技术)

  • 「2024 年度技术精华盘点」IvorySQL & PostgreSQL 技术干货全解析！ 数据库
    2024年，IvorySQL公众号持续输出高质量技术内容，涵盖PostgreSQL核心技术解析和IvorySQL创新实践两大方向。无论您是数据库领域的初学者，还是经验丰富的开发者，这些干货文章都能为您带来新的启发与实用价值。现在，让我们一起回顾这些精彩内容，探索数据库技术的无限可能！PostgreSQL技术干货PostgreSQL16中的新增功能：双向逻辑复制想要在多主数据库间实现无缝同步？Pos
  • MVCC（多版本并发控制）机制讲解 十五001 基础oracle数据库mysql
    MVCC（Multi-VersionConcurrencyControl，多版本并发控制）这是一个在数据库管理系统中非常重要的技术，尤其是在处理并发事务时。别担心，我会用简单易懂的方式来讲解，让你轻松掌握它的原理和作用。1.什么是MVCC？定义MVCC是一种数据库技术，用于通过保留数据的多个版本来提高并发性能，同时避免事务之间的冲突。简单来说，它允许数据库在读取和写入操作时，同时存在多个版本的数据
  • c#编程：基于C#+Access的学生信息管理系统 课程设计报告撰写提纲 gu20 C#c#课程设计开发语言数据库开发
    1.摘要简述系统目标、技术选型（C#+Access）、核心功能及数据库设计亮点。关键词：学生信息管理系统；数据库原理；C#；Access；事务处理。2.引言背景与意义：信息化管理需求、数据库技术在教育领域的应用价值。设计目标：实现学生信息的高效管理，体现数据库规范化、安全性等原理。技术路线：C#（WinForm）、Access数据库、ADO.NET数据访问技术。3.需求分析3.1功能需求：1.学生
  • 【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.1-GaussDB存储引擎层关键技术方案 江中散人 云原生进阶-数据库专栏云原生进阶-PaaS专栏后台开发专栏数据库云原生gaussdbdatabase存储引擎
    1存储引擎概览早期计算机程序通过文件系统管理数据，到了20世纪60年代这种方式就开始不能满足数据管理要求了，用户逐渐对数据并发写入的完整性、高效的检索提出更高的要求。由于机械磁盘的随机读写性能问题，从20世纪80年代开始，大多数数据库一直围绕着减少随机读写磁盘进行设计。主要思路是把对数据页面的随机写盘转化为对WAL(WriteAheadLog，预写式日志)的顺序写盘，WAL持久化完成，事务就算提交
  • android database SQLite 一路阳光随行 Androidsqlitedatabaseandroid存储数据库
    2.数据库基本知识观花对于一些和我一样还没有真正系统学习数据库技术的同学来说，把SQL92标准中的一些基本概念、基本语句快速的了解一下，是很有必要的，这样待会用Android的database相关方法去执行一些数据库语句时就不会茫然了。①数据库的基本结构——表格表格是数据库中储存资料的基本架构。表格被分为栏位(column)及列位(row)。每一列代表一笔资料，而每一栏代表一笔资料的一部份。举例来
  • influxdb数据过期_「监控」InfluxDB系统架构分析 云锋金融 influxdb数据过期
    InfluxDB系统架构参考：时序数据库技术体系–初识InfluxDB简单的理解:DatabaseInfluxDB中有着和传统数据库一样的Database的概念RetentionPolicy(RP)数据保留策略。核心作用有3个：指定数据的过期时间，指定数据副本数量以及指定ShardGroupDuration.RP创建语句如下：CREATERETENTIONPOLICYONONDURATIONREP
  • 时序数据库技术体系 – 初识InfluxDB（原理） weixin_30622181 数据库大数据系统架构
    原贴地址：http://hbasefly.com/2017/12/08/influxdb-1/?qytefg=c4ft23在上篇文章《时序数据库体系技术–时序数据存储模型设计》中笔者分别介绍了多种时序数据库在存储模型设计上的一些考虑，其中OpenTSDB基于HBase对维度值进行了全局字典编码优化，Druid采用列式存储并实现了Bitmap索引以及局部字典编码优化，InfluxDB和Beringe
  • MySQL调用存储过程和存储函数 夏天又到了 MySQL数据库技术mysqladbandroid
    【图书推荐】《MySQL9从入门到性能优化（视频教学版）》-CSDN博客《MySQL9从入门到性能优化（视频教学版）（数据库技术丛书）》(王英英)【摘要书评试读】-京东图书(jd.com)MySQL9数据库技术_夏天又到了的博客-CSDN博客存储过程和存储函数已经定义好了，接下来需要知道如何调用这些过程和函数。存储过程和存储函数有多种调用方法：存储过程必须使用CALL语句调用，并且存储过程和数据库
  • 主流国产数据库存储架构层的差异分析 宋罗世家技术屋 VIP专栏数据库
    【摘要】因采用的存储架构和技术不同，数据库产品均面临着类似如负载均衡、数据同步、数据恢复等问题和难点。本文将从金融行业出发，通过聚焦信创数据库主流产品的存储架构，探讨信创国产数据库的本地存储和集中式存储在产品设计上的异同分析、难点分析、面临挑战及当前解决方案。一、引言金融行业作为一个高度信息化的领域，业务场景需要处理大量交易数据和用户数据，需要高效、安全、可靠、自主的数据库技术支持。本文将从金融行
  • 【云原生进阶之数据库技术】第二章-Oracle-使用-3.3.1-Oracle Data Guard综述 江中散人 云原生进阶-数据库专栏云原生进阶-PaaS专栏oracle数据库DG日志同步数据同步
    1OracleDG简介1.1OracleDG综述OracleDG，即OracleDataGuard，是一种数据库容灾和数据保护解决方案，旨在提供高可用性和灾难恢复能力。它通过在主数据库和备用数据库之间实时复制数据来实现这一点。DataGuard的核心功能在于它能够保持主节点和备用节点之间的数据一致性，即使发生故障也能保证业务的连续性。OracleDataGuard是OracleMAA(Maximu
  • 面试指南：Python开发工程师（Django框架） 闲人编程 程序员面试python面试djangoREST中间件Docker数据库
    目录面试指南：Python开发工程师（Django框架）1.岗位职责解析2.技术栈3.面试准备4.自我介绍模板面试题及答案（40个问题）Python基础与进阶Django与DjangoRESTFrameworkLinux与Docker数据库技术Git与团队协作面试时可以问公司的一些问题总结面试指南：Python开发工程师（Django框架）作为一名Python开发工程师，面试时需要展示你在多个技术
  • 禁止使用存储过程 web18285482512 面试学习路线阿里巴巴java
    优质博文：IT-BLOG-CN灵感来源什么是存储过程存储过程StoredProcedure是指为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户可通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行。存储过程在数据库技术中属于一种服务端编程方式，是一组预编译的SQL语句集，常用于对数据库进行操作、控制和管理。存储过程通常包括流程控制语句、数据操作语句、变量的定义和赋值、条
  • MySQL数据库技术深入学习：从基础知识到高级特性 小码快撩 数据库
    引言MySQL是一个开源的关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于甲骨文公司。它使用SQL（结构化查询语言）进行数据操作和管理，是众多Web应用背后的数据存储选择。在MySQL中，数据库是由表组成的集合，每个表由行和列构成，行代表记录，列代表属性。每个表都有一个或多个主键，用于唯一标识表中的每一行。一、SQL语法示例与讲解1创建数据库和表创建数据库：CREATEDATABASE
  • 向量数据库技术全景 萌之哧哧 数据库
    本文深入探讨了向量数据库的基础概念、架构设计及实现技术，详细介绍了HNSW、FAISS和Milvus等关键算法和工具，旨在为高效管理和检索高维向量数据提供全面的技术指南。关注TechLead，复旦博士，分享云服务领域全维度开发技术。拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，阿里云认证的资深架构师，
  • 活动预告 | 12月21日，中国数据库联盟（ACDU）中国行·南京站邀您共赴技术新篇
    随着冬日的脚步悄然而至，墨天轮社区2024年的【ACDU中国行】活动也即将画上圆满的句点，最后一站我们来到古都——南京。古老的城墙与雄伟的建筑见证了千年历史的变迁，而在这个充满活力的城市，我们将聚焦数据库技术的前沿发展与未来趋势，深入探讨技术的历史脉络、当下应用及未来发展。活动时间：12月21日13:30-17:30活动地点：南京市玄武区珠江路389号东方珍珠voco酒店10楼燕雀多功能厅报名地址
  • vue3基于SpringBoot的航空散货调度系统 计算机专业码农一枚 springboot后端java
    目录功能和开发技术介绍具体实现截图开发核心技术介绍：技术创新点vue3和vue2的区别：核心代码部分展示非功能需求分析系统开发流程系统运行步骤软件测试源码获取功能和开发技术介绍本课题拟采用主流的MVC架构、开发工具idea、java语言编程、MySQL数据库技术、Vue.js技术和现代网络通讯技术来完成。1.前后端分离项目，前端使用vue3框架2.后端使用java编程语言的springboot框架
  • chatgpt赋能python：Python如何将数据存储在数据库中 虚幻私塾 chatgptpython数据库计算机
    Python如何将数据存储在数据库中Python作为一种开发语言，不仅支持各种数据操作，还可以方便地将数据存储在数据库中。数据库技术是一项基础且重要的IT领域知识，掌握Python如何将数据存储在数据库中，对于开发者来说具有重要的意义。介绍在Python中存储数据可以选择使用文件，但是对于大量数据的存储和管理来说文件并不是最好的选择。相比之下，使用数据库可以更好地组织数据。Python有很多支持数
  • 流数据库中的RisingWave和Materialize weixin_30777913 数据库
    流数据库（StreamingDatabase）是一种专门设计用于处理大量实时流数据的数据库，它能够在数据生成时立即进行处理，从而实现实时洞察和分析。RisingWave和Materialize都是这一领域的代表性技术。RisingWave和Materialize都是强大的流数据库技术，它们各自具有独特的技术特点和应用场景。通过利用这些技术，企业可以构建实时、高效、可扩展的数据处理系统，以满足不断变
  • mysql和Nosql到底有什么区别，分别应用与什么场景？ ALGORITHM LOL mysqlnosql数据库
    MySQL和NoSQL是两种不同类型的数据库技术，它们各有其特点和适用场景。了解它们之间的区别和应用场景可以帮助选择合适的技术来支持特定的应用需求。MySQLMySQL是一种关系数据库管理系统（RDBMS），它使用结构化查询语言（SQL）来访问数据库。MySQL是基于表的系统，数据存储在行和列中，每个表有固定的模式，定义了数据在表中如何存储，包括数据类型和是否允许为空等。特点:结构化和严格的模式：
  • PostgreSQL中级专家是什么意思？ leegong23111 postgresqloracle数据库
    数据库技术领域，PostgreSQL作为一种广泛使用的开源关系型数据库管理系统，吸引了众多技术人员深入学习和研究。“PostgreSQL中级专家”是对掌握该数据库特定技能层次的一种描述。知识储备中级专家深入理解PostgreSQL的体系结构，包括进程模型、内存管理机制等。他们清楚数据库是如何存储数据，以及各个组件如何协同工作来保证数据的一致性和完整性。精通SQL语言在PostgreSQL中的高级特
  • python 查询sqlserver 视图_SQL Server 2017 数据库教与学（教学大纲，含Python+SQL Server案例）... weixin_39724748 python查询sqlserver视图
    原标题：SQLServer2017数据库教与学(教学大纲，含Python+SQLServer案例)本书提供Python+SQLServer案例SQLServer教学大纲一、课程的性质和教学目的课程性质：数据库技术是各类信息系统、管理系统的基础。SQLServer数据库是微软公司的一款数据库产品，它被广泛应用到各大软件公司。本课程适合在计算机专业、非计算机专业但需要数据库辅助科研的理工科专业。教学目
  • python连sql server学生管理系统_SQL Server 2017 数据库教与学（教学大纲，含Python+SQL Server案例）... weixin_39529302 python连sqlserver学生管理系统
    原标题：SQLServer2017数据库教与学(教学大纲，含Python+SQLServer案例)本书提供Python+SQLServer案例SQLServer教学大纲一、课程的性质和教学目的课程性质：数据库技术是各类信息系统、管理系统的基础。SQLServer数据库是微软公司的一款数据库产品，它被广泛应用到各大软件公司。本课程适合在计算机专业、非计算机专业但需要数据库辅助科研的理工科专业。教学目
  • python查询sqlserver视图_SQL Server 2017 数据库教与学（教学大纲，含Python+SQL Server案例）... weixin_39614874
    原标题：SQLServer2017数据库教与学(教学大纲，含Python+SQLServer案例)本书提供Python+SQLServer案例SQLServer教学大纲一、课程的性质和教学目的课程性质：数据库技术是各类信息系统、管理系统的基础。SQLServer数据库是微软公司的一款数据库产品，它被广泛应用到各大软件公司。本课程适合在计算机专业、非计算机专业但需要数据库辅助科研的理工科专业。教学目
  • 数据挖掘：定义、挑战与应用 黑色叉腰丶大魔王 数据挖掘人工智能
    一、数据挖掘的定义（一）概念阐述数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。它融合了数据库技术、统计学、机器学习、人工智能等多学科的理论和方法，旨在通过对数据的深入分析和处理，发现有价值的模式、关联、趋势等，从而为决策提供支持。（二）与相关概念的区别与联系数据库管理：数据库管理侧重于数据的存储、组织、检索和维护
  • 洋酒销售系统的设计与实现 clover926 java毕设资料java基础redis
    源码及论文下载：源码及论文下载：http://www.byamd.xyz/tag/java/摘要随着洋酒与中国市场的相互适应以及电子商务和网上商店的普及，洋酒类商品的网上展示与订购逐渐成为主流，如今洋酒不仅仅是贵族身份的象征，也渐渐进入了寻常百姓家。网上商店的技术实现同时也成为了一个比较常见的课题。本文就网上商店的实现做了一些研究。此设计主要采用JSP开发技术和mysql数据库技术来开发，根据实际
  • 什么是Oracle认证专家（OCP）？ leegong23111 oracleocp数据库
    Oracle认证专家（OracleCertifiedProfessional，简称OCP），是甲骨文公司精心打造的一项专业级数据库认证体系。该认证深度聚焦于Oracle数据库技术范畴，致力于培育并精准认证一批能够熟练管理、高效维护以及深度优化Oracle数据库系统的资深专业人才。一旦成功获取OCP认证，即标志着个人已全面掌握了一系列高级数据库技能，其中囊括了数据库软件的安装部署、系统参数的精细配置
  • MPP数据库：大数据处理的“高手” 狮歌~资深攻城狮 数据仓库数据分析数据库
    MPP数据库：大数据处理的“高手”最近听到很多朋友讨论大数据处理的技术，其中就有一个词常常被提起，那就是MPP（MassivelyParallelProcessing，大规模并行处理）。那么，什么是MPP数据库呢？简单来说，它是一种专门用于大数据分析和处理的数据库技术，通过将数据和计算任务分配到多个节点上，达到高效、快速地处理海量数据的效果。1.MPP数据库是如何工作的？MPP数据库的工作方式和我
  • MySQL新建和删除普通用户 夏天又到了 MySQL数据库技术mysql数据库
    【图书推荐】《MySQL9从入门到性能优化（视频教学版）》-CSDN博客《MySQL9从入门到性能优化（视频教学版）（数据库技术丛书）》(王英英)【摘要书评试读】-京东图书(jd.com)MySQL9数据库技术_夏天又到了的博客-CSDN博客13.2.2新建普通用户要创建新用户，必须有相应的权限来执行创建操作。在MySQL数据库中，有两种方式创建新用户：一种是使用CREATEUSER语句；另一种是
  • GaussDB lanlingxueyu 数据库gaussdb
    HCIA-GaussDB思维导图https://download.csdn.net/download/lanlingxueyu/88797517数据库介绍数据库技术概述数据库技术数据Data记录Record数据库DatabaseDB数据库是存放数据的仓库，是大量数据的集合。存放在数据库中数据的特点永久存储有组织可共享数据库管理系统DBMS数据库管理系统是一个能够科学地组织和存储数据，高效地获
  • DuckDB-Wasm 库详解 maply Node.jswasm前端node.js数据库IndexedDB
    DuckDB-Wasm详解DuckDB-Wasm是一种浏览器端实现的DuckDB数据库技术，旨在将DuckDB的强大功能移植到浏览器环境中，通过WebAssembly技术在浏览器内运行SQL查询。它为处理本地数据、快速分析和交互式数据探索提供了一种高效的解决方案，避免了服务器端依赖。1.DuckDB简介DuckDB是一个开源的列存储数据库，专注于在线分析处理（OLAP），特别适合处理中小型数据集。
  • Js函数返回值 _wy_ jsreturn
    一、返回控制与函数结果，语法为：return 表达式;作用: 结束函数执行，返回调用函数，而且把表达式的值作为函数的结果 二、返回控制语法为：return;作用: 结束函数执行，返回调用函数，而且把undefined作为函数的结果 在大多数情况下,为事件处理函数返回false,可以防止默认的事件行为.例如,默认情况下点击一个<a>元素,页面会跳转到该元素href属性
  • MySQL 的 char 与 varchar bylijinnan mysql
    今天发现，create table 时，MySQL 4.1有时会把 char 自动转换成 varchar 测试举例： CREATE TABLE `varcharLessThan4` ( `lastName` varchar(3) ) ; mysql> desc varcharLessThan4; +----------+---------+------+-
  • Quartz——TriggerListener和JobListener eksliang TriggerListenerJobListenerquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208624 一.概述 listener是一个监听器对象，用于监听scheduler中发生的事件，然后执行相应的操作；你可能已经猜到了，TriggerListeners接受与trigger相关的事件，JobListeners接受与jobs相关的事件。   二.JobListener监听器  j
  • oracle层次查询 18289753290 oracle；层次查询；树查询
    .oracle层次查询(connect  by) oracle的emp表中包含了一列mgr指出谁是雇员的经理，由于经理也是雇员，所以经理的信息也存储在emp表中。这样emp表就是一个自引用表，表中的mgr列是一个自引用列，它指向emp表中的empno列，mgr表示一个员工的管理者， select   empno,mgr,ename,sal  from e
  • 通过反射把map中的属性赋值到实体类bean对象中 酷的飞上天空 javaee泛型类型转换
    使用过struts2后感觉最方便的就是这个框架能自动把表单的参数赋值到action里面的对象中 但现在主要使用Spring框架的MVC，虽然也有@ModelAttribute可以使用但是明显感觉不方便。 好吧，那就自己再造一个轮子吧。 原理都知道，就是利用反射进行字段的赋值，下面贴代码 主要类如下：   import java.lang.reflect.Field; imp
  • SAP HANA数据存储：传统硬盘的瓶颈问题 蓝儿唯美 HANA
    SAPHANA平台有各种各样的应用场景，这也意味着客户的实施方法有许多种选择，关键是如何挑选最适合他们需求的实施方案。 在 《Implementing SAP HANA》这本书中，介绍了SAP平台在现实场景中的运作原理，并给出了实施建议和成功案例供参考。本系列文章节选自《Implementing SAP HANA》，介绍了行存储和列存储的各自特点，以及SAP HANA的数据存储方式如何提升空间压
  • Java Socket 多线程实现文件传输 随便小屋 javasocket
            高级操作系统作业，让用Socket实现文件传输，有些代码也是在网上找的，写的不好，如果大家能用就用上。 客户端类：   package edu.logic.client; import java.io.BufferedInputStream; import java.io.Buffered
  • java初学者路径 aijuans java
    学习Java有没有什么捷径?要想学好Java，首先要知道Java的大致分类。自从Sun推出Java以来，就力图使之无所不包，所以Java发展到现在，按应用来分主要分为三大块：J2SE,J2ME和J2EE,这也就是Sun ONE(Open Net Environment)体系。J2SE就是Java2的标准版，主要用于桌面应用软件的编程；J2ME主要应用于嵌入是系统开发，如手机和PDA的编程；J2EE
  • APP推广 aoyouzi APP推广
    一，免费篇 1，APP推荐类网站自主推荐 最美应用、酷安网、DEMO8、木蚂蚁发现频道等,如果产品独特新颖，还能获取最美应用的评测推荐。PS：推荐简单。只要产品有趣好玩，用户会自主分享传播。例如足迹APP在最美应用推荐一次，几天用户暴增将服务器击垮。 2，各大应用商店首发合作 老实盯着排期，多给应用市场官方负责人献殷勤。 3，论坛贴吧推广 百度知道，百度贴吧，猫扑论坛，天涯社区，豆瓣（
  • JSP转发与重定向 百合不是茶 jspservletJava Webjsp转发
      在servlet和jsp中我们经常需要请求,这时就需要用到转发和重定向;   转发包括;forward和include     例子;forwrad转发;  将请求装法给reg.html页面   关键代码;    req.getRequestDispatcher("reg.html
  • web.xml之jsp-config bijian1013 javaweb.xmlservletjsp-config
    1.作用：主要用于设定JSP页面的相关配置。 2.常见定义： <jsp-config> <taglib> <taglib-uri>URI(定义TLD文件的URI,JSP页面的tablib命令可以经由此URI获取到TLD文件)</tablib-uri> <taglib-location> TLD文件所在的位置
  • JSF2.2 ViewScoped Using CDI sunjing CDIJSF 2.2ViewScoped
    JSF 2.0 introduced annotation @ViewScoped; A bean annotated with this scope maintained its state as long as the user stays on the same view(reloads or navigation - no intervening views). One problem w
  • 【分布式数据一致性二】Zookeeper数据读写一致性 bit1129 zookeeper
    很多文档说Zookeeper是强一致性保证，事实不然。关于一致性模型请参考http://bit1129.iteye.com/blog/2155336    Zookeeper的数据同步协议 Zookeeper采用称为Quorum Based Protocol的数据同步协议。假如Zookeeper集群有N台Zookeeper服务器(N通常取奇数，3台能够满足数据可靠性同时
  • Java开发笔记 白糖_ java开发
    1、Map<key,value>的remove方法只能识别相同类型的key值   Map<Integer,String> map = new HashMap<Integer,String>(); map.put(1,"a"); map.put(2,"b"); map.put(3,"c"
  • 图片黑色阴影 bozch 图片
     .event{ padding:0;    width:460px;    min-width: 460px;    border:0px solid #e4e4e4;    height: 350px;    min-heig
  • 编程之美-饮料供货-动态规划 bylijinnan 动态规划
    import java.util.Arrays; import java.util.Random; public class BeverageSupply { /** * 编程之美 饮料供货 * 设Opt（V’，i）表示从i到n-1种饮料中，总容量为V’的方案中，满意度之和的最大值。 * 那么递归式就应该是：Opt（V’，i）=max{ k * Hi+Op
  • ajax大参数（大数据）提交性能分析 chenbowen00 WebAjax框架浏览器prototype
    近期在项目中发现如下一个问题 项目中有个提交现场事件的功能，该功能主要是在web客户端保存现场数据（主要有截屏，终端日志等信息）然后提交到服务器上方便我们分析定位问题。客户在使用该功能的过程中反应点击提交后反应很慢，大概要等10到20秒的时间浏览器才能操作，期间页面不响应事件。 根据客户描述分析了下的代码流程，很简单，主要通过OCX控件截屏，在将前端的日志等文件使用OCX控件打包，在将之转换为
  • [宇宙与天文]在太空采矿,在太空建造 comsci
         我们在太空进行工业活动...但是不太可能把太空工业产品又运回到地面上进行加工,而一般是在哪里开采,就在哪里加工,太空的微重力环境,可能会使我们的工业产品的制造尺度非常巨大....      地球上制造的最大工业机器是超级油轮和航空母舰,再大些就会遇到困难了,但是在空间船坞中,制造的最大工业机器,可能就没
  • ORACLE中CONSTRAINT的四对属性 daizj oracleCONSTRAINT
    ORACLE中CONSTRAINT的四对属性 summary:在data migrate时,某些表的约束总是困扰着我们,让我们的migratet举步维艰,如何利用约束本身的属性来处理这些问题呢?本文详细介绍了约束的四对属性: Deferrable/not deferrable, Deferred/immediate, enalbe/disable, validate/novalidate,以及如
  • Gradle入门教程 dengkane gradle
    一、寻找gradle的历程 一开始的时候，我们只有一个工程，所有要用到的jar包都放到工程目录下面，时间长了，工程越来越大，使用到的jar包也越来越多，难以理解jar之间的依赖关系。再后来我们把旧的工程拆分到不同的工程里，靠ide来管理工程之间的依赖关系，各工程下的jar包依赖是杂乱的。一段时间后，我们发现用ide来管理项程很不方便，比如不方便脱离ide自动构建，于是我们写自己的ant脚本。再后
  • C语言简单循环示例 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i; int count = 0; int sum = 0; float avg; for (i=1; i<=100; i++) { if (i%2==0) { count++; sum += i; } } avg
  • presentModalViewController 的动画效果 dcj3sjt126com controller
    系统自带(四种效果)： presentModalViewController模态的动画效果设置：     [cpp]  view plain copy   UIViewController *detailViewController = [[UIViewController al
  • java 二分查找 shuizhaosi888 二分查找java二分查找
    需求：在排好顺序的一串数字中，找到数字T   一般解法：从左到右扫描数据，其运行花费线性时间O(N)。然而这个算法并没有用到该表已经排序的事实。 /** * * @param array * 顺序数组 * @param t * 要查找对象 * @return */ public stati
  • Spring Security（07）——缓存UserDetails 234390216 ehcache缓存Spring Security
           Spring Security提供了一个实现了可以缓存UserDetails的UserDetailsService实现类，CachingUserDetailsService。该类的构造接收一个用于真正加载UserDetails的UserDetailsService实现类。当需要加载UserDetails时，其首先会从缓存中获取，如果缓存中没
  • Dozer 深层次复制 jayluns VOmavenpo
    最近在做项目上遇到了一些小问题，因为架构在做设计的时候web前段展示用到了vo层，而在后台进行与数据库层操作的时候用到的是Po层。这样在业务层返回vo到控制层，每一次都需要从po-->转化到vo层，用到BeanUtils.copyProperties(source, target)只能复制简单的属性，因为实体类都配置了hibernate那些关联关系，所以它满足不了现在的需求，但后发现还有个很
  • CSS规范整理（摘自懒人图库） a409435341 htmlUIcss浏览器
       刚没事闲着在网上瞎逛，找了一篇CSS规范整理，粗略看了一下后还蛮有一定的道理，并自问是否有这样的规范，这也是初入前端开发的人一个很好的规范吧。 一、文件规范 1、文件均归档至约定的目录中。 具体要求通过豆瓣的CSS规范进行讲解： 所有的CSS分为两大类：通用类和业务类。通用的CSS文件，放在如下目录中： 基本样式库 /css/core
  • C++动态链接库创建与使用 你不认识的休道人 C++dll
    一、创建动态链接库 1.新建工程test中选择”MFC [dll]”dll类型选择第二项"Regular DLL With MFC shared linked"，完成 2.在test.h中添加 extern “C” 返回类型 _declspec(dllexport)函数名(参数列表); 3.在test.cpp中最后写 extern “C” 返回类型 _decls
  • Android代码混淆之ProGuard rensanning ProGuard
    Android应用的Java代码，通过反编译apk文件（dex2jar、apktool）很容易得到源代码，所以在release版本的apk中一定要混淆一下一些关键的Java源码。 ProGuard是一个开源的Java代码混淆器（obfuscation）。ADT r8开始它被默认集成到了Android SDK中。 官网： http://proguard.sourceforge.net/
  • 程序员在编程中遇到的奇葩弱智问题 tomcat_oracle jquery编程ide
    　　现在收集一下：       　　排名不分先后，按照发言顺序来的。   1、Jquery插件一个通用函数一直报错，尤其是很明显是存在的函数，很有可能就是你没有引入jquery。。。或者版本不对 2、调试半天没变化：不在同一个文件中调试。这个很可怕，我们很多时候会备份好几个项目，改完发现改错了。有个群友说的好：   在汤匙
  • 解决maven-dependency-plugin (goals "copy-dependencies","unpack") is not supported xp9802 dependency
    解决办法：在plugins之前添加如下pluginManagement，二者前后顺序如下：   [html]  view plain copy   <build>           <pluginManagement