czp11210
czp11210

分享下去年底写的分库分表中间件heisenberg


       好久没有写博了，去年年底的时候写了一个分库分表中间件服务器，当时正在看绝命毒师，觉得heisenberg这个名字很叼，然后就以这个命名了，炼毒也要精益求精啊。。。

 

      公司在java分布式这块的基础设施很差，然后之前也看过一些老东家的tddl，cobar之类的东东；但是灵活性和语言通用性方面不是太好，所以当时就想做一款比较通用性，并且低侵入性的分库分表中间件，于是想法诞生了

 

目前代码只在googlecode上维护，虽然有点不稳定,其实我是不知道github怎么打版本包，虽然github也上传了，但是没有更新了。

https://code.google.com/p/heisenberg/

其优点： 分库分表与应用脱离，分库表如同使用单库表一样
减少db 连接数压力 
热重启配置
可水平扩容
遵守Mysql原生协议
无语言限制，mysqlclient,c,java等都可以使用
Heisenberg服务器通过管理命令可以查看，如连接数，线程池，结点等，并可以调整
采用velocity的分库分表脚本进行自定义分库表，相当的灵活

 

之前在组里有做过简单的分享，这段时间稍微轻松了点，先分享出来，看有没有更好的idea在这块有所提升

 

 下面开始介绍heisenberg

 

1.heisenberg总体架构

      首先这块架构：

      

      
分享下去年底写的分库分表中间件heisenberg_第1张图片
 

应用对于heisenberg集群来说就是mysql客户端，

而heisenberg也是集成了mysql的原生协议，所以对于应用来说，就相当于单库单表的数据源

无论是mysql客户端，c,jdbc驱动等都可以访问heisenberg服务器，由服务器把分库分表的工作给做掉了

 

访问heisenberg集群可以通过像lvs,F5等负载软件/设备解决，

其实一台heisenberg的性能是相当的赞了，我压力到2320TPS load 都还只有0.1-0.3左右（CPU 8core,16G），由于找不到mysql物理机器了，只得做罢

 

服务端内部结构：


分享下去年底写的分库分表中间件heisenberg_第2张图片

 

其中FrontConnectionFactory为面向应用的连接管理，ManagerConnectionFactory为面向heisenberg服务器内部管理的一些连接管理，比如更改配置后热重启，关闭 某个连接等功能

mysql协议贯穿于应用程序与mysql服务器，最终解析为相关的mysql数据包, 授权包，注册包等

 

当heisenberg服务器接收到SQL语句后，通过AST语法解析 解析成 DML,DCL,DDL类型以及相关列名的值等等，然后通过ServerRouter这一层，经过分库分表的切分，最终将切分好的语句放入对应数据结点进行执行

 

分库分表的切分，为了满足各种通用性灵活性，使用了velocity和groovy 2种语法来支持，其中groovy是初始化表和库和映射关系的，只在加载时初始化一次；而velocity是用来渲染对应的分库和分表规则的。

 

OK，知道了原理，那么开始说明如何使用分库分表吧

 

2.heisenberg开发

Maven +JDK 部署好

svn checkout http://heisenberg.googlecode.com/svn/trunk/

 

下载到本地后，

Mvn package 之

 

在本地target里会生成一个heisenberg-server-1.0.0.zip 文件

 

解压之 unzip  heisenberg-server-1.0.0.zip 这个版本以googlecode上的最新为主

进入conf目录

有下面几个目录 

     conf

      ---log4j.xml

      ---rule.xml

      ---schema.xml

      ---server.xml

log4j.xml就不介绍了

  sql_route.log就是分库表切分的时间

  sql_execute.log 为sql总执行时间

 

server.xml 

    "serverPort">8166

    "managerPort">8266

    "initExecutor">16

    "timerExecutor">4

    "managerExecutor">4

    "processors">4

    "processorHandler">8

    "processorExecutor">8

    "clusterHeartbeatUser">_HEARTBEAT_USER_

    "clusterHeartbeatPass">_HEARTBEAT_PASS_

 

 

serverPort为服务端口，即对上层应用的端口

managerPort为管理端口，即管理的监听端口，用于操作服务器一些配置等

initExecutor 为初始化的线程个数

timerExecutor 心跳执行线程个数

managerExecutor管理执行线程个数

processors应用接收处理器核数

processorHandler 应用接收处理类个数

processorExecutor 应用接收处理线程个数

 

clusterHeartbeatUser和clusterHeartbeatPass 不必改，用于集群的认证方式使用

 

 "brucexx">

    "password">st0078

    "schemas">trans_shard

 

Brucexx为自定义应用用户名，st0078为自定义应用密码

Schemas为自定义schema,具体见schema.xml中，

 

这里的schemas可为多个，以逗号分隔

 

白名单限制：

 

  

   

      test

   

 

 

                

schema.xml配置

mysql数据源

 

    "transDS" type="mysql">

        "location">

            10.58.49.14:8701/db$0-9

   

        "user">root

        "password">st0078

        "sqlMode">STRICT_TRANS_TABLES

   

 

这里指定的mysql的数据源，后面$0-9是一种自定义的缩略写法

也可以在property里面定义多个location，比如：

"location">

            10.58.49.14:8701/db0

10.58.49.14:8701/db1

10.58.49.14:8701/db2

   

 

 

 

效果是一样的

 

Shard结点配置

Shard结点相当于一个逻辑结点，提供给外部相关的schema，对应于数据源有

主/备/灾，

"transDN">

        "dataSource">

           

            transDS$0-9

           

            transSlaveDS$0-9

           

            transSlaveDS$0-9

           

           

       

        "rwRule">

        "poolSize">256

        "heartbeatSQL">select user()

   

 

属性dataSource 第一个是主库，第二个备库，第三个灾库，需要多少配置多少个

 

读写分离规则rwRule，m和s代表读取的比例，表示主库读取为0,从库读取1，这样直接读写分离，如果是1:1的话相当读取各1：1的比例

 

池大小poolSize为到mysqlDB的连接数和心跳sql heartbeatSQL，无特殊需求保持不变

 

Schema配置

"trans_shard">

 

       

"trans_online, trans_content, trans_tb " dataNode="transDN$0-9" rule="rule1" />

   

 trans_shard 提供的schema,对应于server.xml中的名字

下面会有多个需要分库的表，

"trans_online" dataNode="transDN$0-9" rule="rule1" />

这里必须要把需要分库分表的内容写出来，当然，如果不分库表也是可以的

 

”tbxxx" dataNode="transDN0" ruleRequired=”false”/

 

rule.xml 

分库分表规则配置，其中columns,dbRuleList,tbRuleList里面的列名要保持大写

 

首先先上一个整体配置

    "rule1">

        TRANS_ID

   

           

            #set($end=$TRANS_ID.length() - 1)##

            $stringUtil.substring($TRANS_ID,$start,$end)]]>

           

       

       

           

             $stringUtil.substring($TRANS_ID,$start)]]>

       

       

       

               

                        def map = [:];

                        for (int i=0; i<10; i++) {

                           def list = [];

                            for (int j=0; j<10; j++) {

                                list.add(i+""+j);

                            }

                             map.put(i,list);

                        };

                        return map;

                ]]>

       

   

 

其中dbRuleList 为分库规则

 

           

            #set($end=$TRANS_ID.length() - 1)##

            $stringUtil.substring($TRANS_ID,$start,$end)]]>

           

       

 分库规则dbRuleList可以有多个dbRule，当第一个不满足时，可以用第二个，当然这个效率不好，如果有规则区分，尽量再写一个rule，

dbRule 最后的结果是表的前缀

比如分库分表 库名为db0-db9,那么这个dbRule渲染时

 

取到TRANS_ID 这个为后，在脚本里计算出取倒数第2位为库后缀

比如上图的分库为


分享下去年底写的分库分表中间件heisenberg_第3张图片
 

分表规则配置

           

             $stringUtil.substring($TRANS_ID,$start)]]>

       

这个和上面分库一样了，以倒数1，2位为库的后缀

如下图：


分享下去年底写的分库分表中间件heisenberg_第4张图片
 

 

 有个潜规则就是

需要保证全局的表名不能重复

比如db0有个trans_tb00,db1就不能有叫trans_tb00的表

 

表初始化

       

       

               

                        def map = [:];

                        for (int i=0; i<10; i++) {

                           def list = [];

                            for (int j=0; j<10; j++) {

                                list.add(i+""+j);

                            }

                             map.put(i,list);

                        };

                        return map;

                ]]>

       

 

需要初始化个表，其中key为db的下标索引，比如db0 的下标为0,

list为每个库里的表后缀名

 

 

目录是为了初始化定义这些库表

 

如何使用呢？

通过命令行


 

这里就不用讲了，wms_shard就是在server.xml里面配置的逻辑分库分表的数据源schema,应用只要访问这个就好了


分享下去年底写的分库分表中间件heisenberg_第5张图片
 

show tables;也可以看到自己的一些表信息


分享下去年底写的分库分表中间件heisenberg_第6张图片
 

ok.

 

mysql> select * from t_user_id_map;

+-----------+---------------------------+-----------+------------+---------------------+---------------------+

| F_uid     | F_uname                   | F_enabled | F_user_id  | F_create_time       | F_modify_time       |

+-----------+---------------------------+-----------+------------+---------------------+---------------------+

| 105001050 | @8230762802717b6a723fe9cd |         1 | 1287824017 | 2014-03-10 15:38:44 | 2014-03-10 15:38:44 |

|     62000 |                           |         1 |  533885000 | 2014-03-26 23:02:31 | 2014-03-26 23:02:31 |

|     86000 |                           |         1 |  237406000 | 2014-03-27 01:04:23 | 2014-03-27 01:04:23 |

|     96000 |                           |         1 |  767684000 | 2014-03-27 00:30:32 | 2014-03-27 00:30:32 |

|    130000 |                           |         1 |  506552000 | 2014-03-27 15:57:31 | 2014-03-27 15:57:31 |

|    149000 |                           |         1 |  868483000 | 2014-03-27 15:50:09 | 2014-03-27 15:50:09 |

|    179000 |                           |         1 |  245626000 | 2014-03-26 21:33:46 | 2014-03-26 21:33:46 |

当没有指定分库分表规则时，是进行的全表扫描，当然我们可以通过学习

mysql> explain select * from t_user_id_map;

+-----------+-----------------------------------

| DATA_NODE | SQL

+-----------+-----------------------------------

| wmsDN[0]  |  select * from t_user_id_map_00_0

| wmsDN[0]  |  select * from t_user_id_map_00_1

| wmsDN[0]  |  select * from t_user_id_map_00_2

| wmsDN[0]  |  select * from t_user_id_map_00_3

| wmsDN[0]  |  select * from t_user_id_map_00_4

| wmsDN[0]  |  select * from t_user_id_map_00_5

| wmsDN[0]  |  select * from t_user_id_map_00_6

| wmsDN[0]  |  select * from t_user_id_map_00_7

| wmsDN[0]  |  select * from t_user_id_map_00_8

| wmsDN[0]  |  select * from t_user_id_map_00_9

| wmsDN[1]  |  select * from t_user_id_map_01_0

| wmsDN[1]  |  select * from t_user_id_map_01_1

| wmsDN[1]  |  select * from t_user_id_map_01_2

| wmsDN[1]  |  select * from t_user_id_map_01_3

| wmsDN[1]  |  select * from t_user_id_map_01_4

| wmsDN[1]  |  select * from t_user_id_map_01_5

| wmsDN[1]  |  select * from t_user_id_map_01_6

| wmsDN[1]  |  select * from t_user_id_map_01_7

| wmsDN[1]  |  select * from t_user_id_map_01_8

| wmsDN[1]  |  select * from t_user_id_map_01_9

| wmsDN[2]  |  select * from t_user_id_map_02_0

....

这边表很多，其中dataNode是我们里面对应的结点

 

mysql> select * from t_user_id_map where f_uid=196606999;

+-----------+---------+-----------+-----------+---------------------+---------------------+

| F_uid     | F_uname | F_enabled | F_user_id | F_create_time       | F_modify_time       |

+-----------+---------+-----------+-----------+---------------------+---------------------+

| 196606999 |         |         1 | 749331999 | 2014-04-04 14:46:58 | 2014-04-04 14:46:58 |

+-----------+---------+-----------+-----------+---------------------+---------------------+

1 row in set (0.04 sec)

这边配置的是按F_uid最后三位分库分表的，dbRuleList配置的是倒数2，3位，

tbRuleList配置的是最后1位

 

我们看下是怎么路由的

 

mysql> explain select * from t_user_id_map where f_uid=196606999;

+-----------+---------------------------------------------------------+

| DATA_NODE | SQL                                                     |

+-----------+---------------------------------------------------------+

| wmsDN[99] |  select * from t_user_id_map_99_9 where f_uid=196606999 |

+-----------+---------------------------------------------------------+

1 row in set (0.03 sec)

 

可以看到data_node --> wmsDN[99] ,分库位

t_user_id_map_99_9 对应的表

 

 

OK，先写到这里面，有什么问题随时欢迎交流！

 

你可能感兴趣的:(数据库技术)

  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • 梧桐数据库（WuTongDB）：数据库技术中都有哪些常见的优化器 鲁鲁517 梧桐数据库梧桐数据库
    以下是一些常见的数据库优化器：1.CBO（Cost-BasedOptimizer）应用场景：广泛应用于关系型数据库中，如Oracle、PostgreSQL、MySQL等。工作原理：通过计算不同执行计划的代价（如CPU、I/O等资源消耗），选择最低代价的执行计划。代表数据库：Oracle、PostgreSQL、MySQL。特点：CBO使用统计信息（如表大小、索引分布）来评估查询的代价。2.RBO（R
  • 斯尔福智慧实验室三阶段详解 斯尔福实验室设备 大数据
    未来二十时间，实验室智能化是各类实验室的发展方向。在这样的时代背景下，斯尔福提出设计建造更安全、舒适、高效、节能的智慧实验室，是整个实验室设计、建设的核心目地。斯尔福将智慧实验室分为3个阶段。如何实现实验室信息数据智能化，LEMS实验室智能环境设施管理系统，以实验室为中心，采用先进的计算机网络技术、数据库技术以及三维仿真技术，将实验室整体环境，包括设备。人员。危险物等数据，结合实验室用户标准化管理
  • 区块链:数据库技术 时汝佳
    图片发自App0引言对于区块链的解读，有一种观点是数据库。正好手头有本书《计算机是怎样跑起来的》（日文版重印18次，中文版也多达10次印刷），里面有一章介绍数据库，浅显易懂。1基础概念数据库是数据的基地。适合大规模数据存储的是关系型数据库（RelationalDatabase）。现在大多在用的是关系型数据库，数据被拆分到多张表（Table）中，表与表之间的关系可以被记录下来，为了在表之间建立关系，
  • Python下载中国数据库大会（DTCC2024）PPT全集 2401_86391915 数据库pythonoracle
    程序下载网盘下载背景==前几天中国数据库大会风风火火的在京举行了，期间干货满满，收获良多。在学大佬们的ppt时，发现只能一篇一篇预览，对于求知欲强烈的小编来说简直太难受了，于是便写了个程序，一键获取所有ppt。2020年12月21日~12月23日，由IT168旗下ITPUB企业社区平台主办的第十一届中国数据库技术大会（DTCC2020），将在北京隆重召开。大会以“架构革新高效可控”为主题，设置2大
  • 分布式数据库架构：从单实例到分布式，开发人员需及早掌握？ 我爱娃哈哈 MySQL实战分布式数据库架构数据库
    现在互联网应用已经普及，数据量不断增大。对淘宝、美团、百度等互联网业务来说，传统单实例数据库很难支撑其性能和存储的要求，所以分布式架构得到了很大发展。而开发人员、项目经理，一定要认识到数据库技术正在经历一场较大的变革，及早掌握好分布式架构设计，帮助公司从古老的单实例架构迁移到分布式架构，对自己在职场的竞争力来说，大有益处。一、什么是分布式数据库？Wiki官方对分布式数据库的定义为：Adistrib
  • TDsql 大数据- 数据库大数据中间件
    TDsql的特点TDengineDistributedSQL（TDsql）是一个基于TDengine时序数据库技术的开源分布式关系型数据库管理系统。作为TDengine团队开发和维护的产品，TDsql已经广泛应用于互联网、电信、金融等领域，为用户提供高效、可靠的数据存储和查询服务。一、TDsql的特点高度优化的查询计划和执行引擎：TDsql可以快速响应大量的查询请求。其查询计划和执行引擎采用了多种
  • 区块链1——区块链基础概念 风不归Alkaid 区块链区块链
    区块链索引目录一、介绍区块链技术1、什么是区块链区块链是一种基于分布式数据库和加密技术的技术，它的特点包括去中心化、不可篡改、安全可靠等。这些特点使得区块链技术在金融、供应链、医疗等领域都有着广泛的应用前景。当谈到区块链技术时，我们首先需要了解什么是区块链。区块链是一种分布式数据库技术，它以一种特殊的方式存储数据，使得数据无法被篡改，并且可以被多个参与者共享和访问。更详细地解释一下：分布式数据库：
  • 梧桐数据库（WuTongDB）：存算分离和存算一体架构的分布式数据库技术分析 鲁鲁517 梧桐数据库数据库架构分布式梧桐数据库
    摘要：随着数据量的不断增长和对数据处理性能的要求越来越高，分布式数据库技术成为了数据存储和处理的重要解决方案。存算分离和存算一体是两种常见的分布式数据库架构，它们在数据存储和计算方面有着不同的特点和优势。本文将对存算分离和存算一体架构的分布式数据库技术进行分析，比较它们的优缺点，并探讨它们在不同场景下的应用。一、引言在大数据时代，数据的存储和处理成为了企业面临的重要挑战。传统的单机数据库已经无法满
  • Oracle数据库高级技术探索与应用 我的运维人生 oracle数据库运维开发技术共享
    Oracle数据库高级技术探索与应用在数据库技术领域，Oracle数据库以其强大的性能、可靠性和灵活性，成为众多企业应用的首选。本文将从Oracle数据库的连接、查询优化、常见操作及高级功能四个方面展开，通过具体的代码示例，深入探讨Oracle数据库的高级技术与应用。一、Oracle数据库的连接在进行任何数据库操作之前，首先需要建立与Oracle数据库的连接。Python作为一种流行的编程语言，通
  • 区块链技术 寂然如故 区块链
    区块链技术是一种去中心化的数据库技术，透过分布式账本的方式，记录和验证数据的交易和交流。它具有以下应用场景和优势：金融领域：区块链技术可以用于支付、跨境汇款、众筹等金融交易，提供安全、快速和低成本的交易方式，减少中间环节和降低交易风险。物联网：区块链技术可以用于物联网设备之间的数据交流和认证，确保数据的真实性和完整性，以及设备之间的安全互操作性。供应链管理：区块链技术可以追踪和验证产品的供应链信息
  • 梧桐数据库（WuTongDB）：数据库技术中 MetaData 和 Catalog 的区别和联系 鲁鲁517 梧桐数据库梧桐数据库元数据MetaDataCatalog
    在数据库技术中，MetaData（元数据）和Catalog（目录）都是描述和管理数据的重要概念，但它们有不同的侧重点和用途。以下是它们的区别和具体说明：MetaData（元数据）定义：MetaData是描述数据的数据，它提供了关于数据的结构、内容、格式和管理的信息。作用和用途：描述数据结构：元数据包含表、列、数据类型、约束条件等信息，帮助用户和数据库管理员理解数据的结构。数据管理：元数据帮助管理数
  • iOS 数据库 iOS_愛OS
    数据库coredatahttps://www.jianshu.com/p/4c059a05441cCoreData简单查询查询大全https://www.jianshu.com/p/217a769f184eiOS数据库技术进阶https://www.jianshu.com/p/50e0efb66bdfRealm数据库从入门到“放弃”https://www.jianshu.com/p/7986ce3
  • 【SQL数据库技术开发】第8课时-数据库SQL INSERT INTO 语句 青少年编程作品集 【SQL数据库技术文档】SQL脚本研究数据库sqljavascriptes6linux
    SQLINSERTINTO语句INSERTINTO语句用于向表中插入新记录。SQLINSERTINTO语句INSERTINTO语句用于向表中插入新记录。SQLINSERTINTO语法INSERTINTO语句可以有两种编写形式。第一种形式无需指定要插入数据的列名，只需提供被插入的值即可：INSERTINTOtable_nameVALUES(value1,value2,value3,...);第二种形
  • 深入理解数据库：从基础到高级应用 魏时还 数据库
    引言在当今这个数据洪流汹涌的时代，数据库技术已蜕变成为企业数字化转型与智能决策不可或缺的基石。它不再仅仅是数据的简单堆砌之地，而是驱动业务洞察、支撑复杂分析、加速创新决策的强大引擎。从金融、医疗到零售、科技，各行各业都在借助数据库技术挖掘数据价值，推动行业进步。本文将引领您踏上一场深入数据库世界的探索之旅。从基础概念的扎实构建，到架构设计的精妙布局，再到性能优化的极致追求，我们将一一揭开数据库技术
  • 《区块链： 重塑经济与世界》 simple涯
    《区块链：重塑经济与世界》：我们生活在一个奔腾的年代，苹果重塑手机，谷歌战胜李世石，特斯拉重新定义汽车。科技不断重塑着我们的经济、生活和世界。一种全新的金融网络、分布式数据库技术从底层蓬勃而出，将重塑整个金融和经济，可能会让比尔•盖茨的预言“你们传统银行如果不改变，就是21世纪要灭绝的恐龙”应验。这个技术就是区块链。区块链的诞生颇具传奇色彩，而它引发的一系列产物：数字货币、智能合约、分布式治理等更
  • 数据库集群技术分析和比较(一) Allen----Liu 数据库服务器集群
    一、引言数据库是用来保存计算的最终结果的，所以是整个信息系统的最重要组成部分。在许多人看来，当前的数据库技术已经可以说是非常地成熟了。然而，在满足不断增长的联机事务处理应用方面，当前的数据库技术其实还存在不少急迫需要解决的技术问题。对于所有的数据库而言，除了记录正确的处理结果之外，它们都面临着四方面的挑战：如何提高处理速度，数据可用性、数据安全性和数据集可扩性，也就是说，如何使当前的数据库具有这四
  • 《C++与新兴数据库技术的完美交互：开启高效数据处理新时代》 程序猿阿伟 c++数据库开发语言
    在当今快速发展的科技领域，数据库技术不断推陈出新，为数据的存储、管理和检索带来了更高效、更灵活的解决方案。而C++作为一种强大的编程语言，如何更好地与新兴的数据库技术进行交互，成为了众多开发者关注的热点问题。一、新兴数据库技术的崛起随着大数据、云计算和人工智能等技术的飞速发展，传统的关系型数据库在某些场景下已经难以满足日益增长的需求。新兴的数据库技术，如NoSQL数据库、NewSQL数据库、分布式
  • MYSQL 消失的年轮 java学习javamysql开发语言
    文章目录数据库数据库的基本组成部分包括数据库的类型包括数据库技术的发展史SQL的发展史MySQLMySQL的特点包括：RDBMS关系数据库管理系统的特点RDBMS关系数据库管理系统的相关术语MySQL安装Navicat安装MySQL创建数据库的语法MySQL创建表的语法MySQL删除表的语法MySQL插入数据的语法MySQLSELECT子句的语法--查询MySQLWHERE子句的语法--条件查询M
  • 为什么搜索引擎可以检索到网站？ 程序员T哥 搜索引擎爬虫网络安全网络爬虫网络协议javapython
    搜索引擎和爬虫，基于百度举例为什么搜索引擎可以快速检索到所有对应页面？搜索引擎能够快速检索到所有对应页面，主要归功于以下几个方面：爬虫技术：自动遍历互联网上的网页。索引：将爬取的网页内容转换成数据结构存储。关键词匹配：检索包含用户输入关键词的网页。页面排名：使用复杂算法对搜索结果排序。数据库技术：处理和存储大量数据。分布式计算：提高处理速度。缓存机制：快速返回热门查询结果。用户行为分析：优化搜索结
  • 数据库 SQLite3 军胜a 数据库linux
    一、数据库综述数据库（DataBase，简记为DB）就是一个有结构的、集成的、可共享的统一管理的数据集合。它不仅包括数据本身，而且包括相关数据之间的联系。数据库技术主要研究如何存储、使用和管理数据；所谓有结构的，指的是数据是按一定的模型组织起来的。数据模型可用数据结构来描述。数据模型决定数据的组织方式、操作方法。理解数据库的前提是理解数据模型。现在的数据库多数是以关系模型来组织数据的。可以简单地把
  • 区块链技术的应用场景和优势 田木木 区块链区块链
    区块链技术是一种去中心化、安全、透明的分布式数据库技术，被广泛应用于各个行业。以下是区块链技术的一些应用场景和优势：1.金融领域：区块链可以用于构建安全的、可追溯的支付系统，提高发起支付和清算效率，减少中间商的参与，降低交易成本。2.物联网：区块链可以建立可信、安全的物联网网络，用于设备之间的身份验证、数据传输和交易记录，确保物联网数据的真实性和可靠性。3.供应链管理：区块链技术可以追踪产品的整个
  • 基于HBase和Spark构建企业级数据处理平台 weixin_34071713 大数据数据库爬虫
    摘要：在中国HBase技术社区第十届Meetup杭州站上，阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和Spark体系构建企业级数据处理平台，并且针对于一些具体落地场景进行了介绍。演讲嘉宾简介：李伟（花名：沐远），阿里云数据库技术专家。专注于大数据分布式计算和数据库领域，具有6年分布式开发经验，先后研发Spark及自主研发内存计算，目前为广大公有云用户提供专业的云HBase数据
  • 万字带你走过数据库的这激荡的三年 数据库
    本文收集了卡内基梅隆大学计算机科学系数据库学副教授AndyPavlo从2021到2023连续三年对数据库领域的回顾，希望通过连续三年的回顾让你对数据库领域的技术发展有所了解。关于AndyPavlo：卡内基梅隆大学计算机科学系数据库学副教授，数据库调优公司OtterTune的CEO兼联合创始人。为了聚焦于数据库技术趋势演变，本文未对原文“寒暄式”开头和注释性语句作翻译。此外，为了节约部分读者的时间，
  • Oracle大型数据库技术 曹博Blog 数据库数据库oracleffmpeg
    实验环境sqlplus记录实验过程的方法：spool带有绝对路径的文件名[append]--SQL语句spooloff开启相关服务oracleserviceORCL控制面板–管理–服务–找到后开启命令行方法：cmd–netstart|stoporacleserviceorcl常用操作显示当前用户名showuser常用的用户名和口令：dba用户，默认口令：change_on_install,Orac
  • 区块链技术和Hyperledger Fabric介绍 dnice 区块链区块链
    1区块链介绍1.1区块链技术形成1.1.1起源在比特币诞生之时，技术专家们开始研究比特币的底层技术，并抽象提取出来，形成区块链技术，或者称分布式账本技术。1.1.2定义简称BT（Blockchaintechnology），也称为分布式账本技术，是一种互联网数据库技术，其特点是去中心化、公开透明，让每个人均可参与数据库记录，同时数据不可篡改。1.1.3理解把数据库比喻为一个账本，一次记账的行为就是一
  • 黄东旭：“向量数据库”还是“向量搜索插件 + SQL 数据库”？丨我对 2024 年数据库发展趋势的思考 TiDB_PingCAP tidb分布式云原生数据库
    本文由PingCAP黄东旭撰写，讨论了数据库技术在2023年的快速变革，并对2024年的数据库发展趋势进行了预测。文章重点关注了GenAI时代对数据库的影响，提出了在数据库选择上的两种路径：“向量数据库”和“向量搜索插件+SQL数据库”。文章强调了个性化数据服务的重要性，以及数据库在实时交互和弹性方面所起到的关键作用。如果我们用一个词来总结2023年的数据技术领域，那个词无疑是“急速变革”。我们见
  • Oracle数据库 编织幻境的妖 数据库oracle
    1.请解释什么是分区表（PartitionedTable）以及它的优点。分区表是一种数据库技术，它将一个大表分成多个小的、更易于管理的部分，每个部分称为一个分区。以下是Oracle分区表的一些优点：提高查询性能：通过对数据进行分区，可以只针对特定分区执行查询操作，从而减少需要扫描的数据量，提高查询效率。便于数据维护：分区表允许对单个分区进行操作，如删除、备份或恢复，而不会影响到整个表，这简化了数据
  • 黄东旭：“向量数据库”还是“向量搜索插件 + SQL 数据库”？丨我对 2024 年数据库发展趋势的思考
    本文由PingCAP黄东旭撰写，讨论了数据库技术在2023年的快速变革，并对2024年的数据库发展趋势进行了预测。文章重点关注了GenAI时代对数据库的影响，提出了在数据库选择上的两种路径：“向量数据库”和“向量搜索插件+SQL数据库”。文章强调了个性化数据服务的重要性，以及数据库在实时交互和弹性方面所起到的关键作用。如果我们用一个词来总结2023年的数据技术领域，那个词无疑是“急速变革”。我们见
  • Js函数返回值 _wy_ jsreturn
    一、返回控制与函数结果，语法为：return 表达式;作用: 结束函数执行，返回调用函数，而且把表达式的值作为函数的结果 二、返回控制语法为：return;作用: 结束函数执行，返回调用函数，而且把undefined作为函数的结果 在大多数情况下,为事件处理函数返回false,可以防止默认的事件行为.例如,默认情况下点击一个<a>元素,页面会跳转到该元素href属性
  • MySQL 的 char 与 varchar bylijinnan mysql
    今天发现，create table 时，MySQL 4.1有时会把 char 自动转换成 varchar 测试举例： CREATE TABLE `varcharLessThan4` ( `lastName` varchar(3) ) ; mysql> desc varcharLessThan4; +----------+---------+------+-
  • Quartz——TriggerListener和JobListener eksliang TriggerListenerJobListenerquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208624 一.概述 listener是一个监听器对象，用于监听scheduler中发生的事件，然后执行相应的操作；你可能已经猜到了，TriggerListeners接受与trigger相关的事件，JobListeners接受与jobs相关的事件。   二.JobListener监听器  j
  • oracle层次查询 18289753290 oracle；层次查询；树查询
    .oracle层次查询(connect  by) oracle的emp表中包含了一列mgr指出谁是雇员的经理，由于经理也是雇员，所以经理的信息也存储在emp表中。这样emp表就是一个自引用表，表中的mgr列是一个自引用列，它指向emp表中的empno列，mgr表示一个员工的管理者， select   empno,mgr,ename,sal  from e
  • 通过反射把map中的属性赋值到实体类bean对象中 酷的飞上天空 javaee泛型类型转换
    使用过struts2后感觉最方便的就是这个框架能自动把表单的参数赋值到action里面的对象中 但现在主要使用Spring框架的MVC，虽然也有@ModelAttribute可以使用但是明显感觉不方便。 好吧，那就自己再造一个轮子吧。 原理都知道，就是利用反射进行字段的赋值，下面贴代码 主要类如下：   import java.lang.reflect.Field; imp
  • SAP HANA数据存储：传统硬盘的瓶颈问题 蓝儿唯美 HANA
    SAPHANA平台有各种各样的应用场景，这也意味着客户的实施方法有许多种选择，关键是如何挑选最适合他们需求的实施方案。 在 《Implementing SAP HANA》这本书中，介绍了SAP平台在现实场景中的运作原理，并给出了实施建议和成功案例供参考。本系列文章节选自《Implementing SAP HANA》，介绍了行存储和列存储的各自特点，以及SAP HANA的数据存储方式如何提升空间压
  • Java Socket 多线程实现文件传输 随便小屋 javasocket
            高级操作系统作业，让用Socket实现文件传输，有些代码也是在网上找的，写的不好，如果大家能用就用上。 客户端类：   package edu.logic.client; import java.io.BufferedInputStream; import java.io.Buffered
  • java初学者路径 aijuans java
    学习Java有没有什么捷径?要想学好Java，首先要知道Java的大致分类。自从Sun推出Java以来，就力图使之无所不包，所以Java发展到现在，按应用来分主要分为三大块：J2SE,J2ME和J2EE,这也就是Sun ONE(Open Net Environment)体系。J2SE就是Java2的标准版，主要用于桌面应用软件的编程；J2ME主要应用于嵌入是系统开发，如手机和PDA的编程；J2EE
  • APP推广 aoyouzi APP推广
    一，免费篇 1，APP推荐类网站自主推荐 最美应用、酷安网、DEMO8、木蚂蚁发现频道等,如果产品独特新颖，还能获取最美应用的评测推荐。PS：推荐简单。只要产品有趣好玩，用户会自主分享传播。例如足迹APP在最美应用推荐一次，几天用户暴增将服务器击垮。 2，各大应用商店首发合作 老实盯着排期，多给应用市场官方负责人献殷勤。 3，论坛贴吧推广 百度知道，百度贴吧，猫扑论坛，天涯社区，豆瓣（
  • JSP转发与重定向 百合不是茶 jspservletJava Webjsp转发
      在servlet和jsp中我们经常需要请求,这时就需要用到转发和重定向;   转发包括;forward和include     例子;forwrad转发;  将请求装法给reg.html页面   关键代码;    req.getRequestDispatcher("reg.html
  • web.xml之jsp-config bijian1013 javaweb.xmlservletjsp-config
    1.作用：主要用于设定JSP页面的相关配置。 2.常见定义： <jsp-config> <taglib> <taglib-uri>URI(定义TLD文件的URI,JSP页面的tablib命令可以经由此URI获取到TLD文件)</tablib-uri> <taglib-location> TLD文件所在的位置
  • JSF2.2 ViewScoped Using CDI sunjing CDIJSF 2.2ViewScoped
    JSF 2.0 introduced annotation @ViewScoped; A bean annotated with this scope maintained its state as long as the user stays on the same view(reloads or navigation - no intervening views). One problem w
  • 【分布式数据一致性二】Zookeeper数据读写一致性 bit1129 zookeeper
    很多文档说Zookeeper是强一致性保证，事实不然。关于一致性模型请参考http://bit1129.iteye.com/blog/2155336    Zookeeper的数据同步协议 Zookeeper采用称为Quorum Based Protocol的数据同步协议。假如Zookeeper集群有N台Zookeeper服务器(N通常取奇数，3台能够满足数据可靠性同时
  • Java开发笔记 白糖_ java开发
    1、Map<key,value>的remove方法只能识别相同类型的key值   Map<Integer,String> map = new HashMap<Integer,String>(); map.put(1,"a"); map.put(2,"b"); map.put(3,"c"
  • 图片黑色阴影 bozch 图片
     .event{ padding:0;    width:460px;    min-width: 460px;    border:0px solid #e4e4e4;    height: 350px;    min-heig
  • 编程之美-饮料供货-动态规划 bylijinnan 动态规划
    import java.util.Arrays; import java.util.Random; public class BeverageSupply { /** * 编程之美 饮料供货 * 设Opt（V’，i）表示从i到n-1种饮料中，总容量为V’的方案中，满意度之和的最大值。 * 那么递归式就应该是：Opt（V’，i）=max{ k * Hi+Op
  • ajax大参数（大数据）提交性能分析 chenbowen00 WebAjax框架浏览器prototype
    近期在项目中发现如下一个问题 项目中有个提交现场事件的功能，该功能主要是在web客户端保存现场数据（主要有截屏，终端日志等信息）然后提交到服务器上方便我们分析定位问题。客户在使用该功能的过程中反应点击提交后反应很慢，大概要等10到20秒的时间浏览器才能操作，期间页面不响应事件。 根据客户描述分析了下的代码流程，很简单，主要通过OCX控件截屏，在将前端的日志等文件使用OCX控件打包，在将之转换为
  • [宇宙与天文]在太空采矿,在太空建造 comsci
         我们在太空进行工业活动...但是不太可能把太空工业产品又运回到地面上进行加工,而一般是在哪里开采,就在哪里加工,太空的微重力环境,可能会使我们的工业产品的制造尺度非常巨大....      地球上制造的最大工业机器是超级油轮和航空母舰,再大些就会遇到困难了,但是在空间船坞中,制造的最大工业机器,可能就没
  • ORACLE中CONSTRAINT的四对属性 daizj oracleCONSTRAINT
    ORACLE中CONSTRAINT的四对属性 summary:在data migrate时,某些表的约束总是困扰着我们,让我们的migratet举步维艰,如何利用约束本身的属性来处理这些问题呢?本文详细介绍了约束的四对属性: Deferrable/not deferrable, Deferred/immediate, enalbe/disable, validate/novalidate,以及如
  • Gradle入门教程 dengkane gradle
    一、寻找gradle的历程 一开始的时候，我们只有一个工程，所有要用到的jar包都放到工程目录下面，时间长了，工程越来越大，使用到的jar包也越来越多，难以理解jar之间的依赖关系。再后来我们把旧的工程拆分到不同的工程里，靠ide来管理工程之间的依赖关系，各工程下的jar包依赖是杂乱的。一段时间后，我们发现用ide来管理项程很不方便，比如不方便脱离ide自动构建，于是我们写自己的ant脚本。再后
  • C语言简单循环示例 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i; int count = 0; int sum = 0; float avg; for (i=1; i<=100; i++) { if (i%2==0) { count++; sum += i; } } avg
  • presentModalViewController 的动画效果 dcj3sjt126com controller
    系统自带(四种效果)： presentModalViewController模态的动画效果设置：     [cpp]  view plain copy   UIViewController *detailViewController = [[UIViewController al
  • java 二分查找 shuizhaosi888 二分查找java二分查找
    需求：在排好顺序的一串数字中，找到数字T   一般解法：从左到右扫描数据，其运行花费线性时间O(N)。然而这个算法并没有用到该表已经排序的事实。 /** * * @param array * 顺序数组 * @param t * 要查找对象 * @return */ public stati
  • Spring Security（07）——缓存UserDetails 234390216 ehcache缓存Spring Security
           Spring Security提供了一个实现了可以缓存UserDetails的UserDetailsService实现类，CachingUserDetailsService。该类的构造接收一个用于真正加载UserDetails的UserDetailsService实现类。当需要加载UserDetails时，其首先会从缓存中获取，如果缓存中没
  • Dozer 深层次复制 jayluns VOmavenpo
    最近在做项目上遇到了一些小问题，因为架构在做设计的时候web前段展示用到了vo层，而在后台进行与数据库层操作的时候用到的是Po层。这样在业务层返回vo到控制层，每一次都需要从po-->转化到vo层，用到BeanUtils.copyProperties(source, target)只能复制简单的属性，因为实体类都配置了hibernate那些关联关系，所以它满足不了现在的需求，但后发现还有个很
  • CSS规范整理（摘自懒人图库） a409435341 htmlUIcss浏览器
       刚没事闲着在网上瞎逛，找了一篇CSS规范整理，粗略看了一下后还蛮有一定的道理，并自问是否有这样的规范，这也是初入前端开发的人一个很好的规范吧。 一、文件规范 1、文件均归档至约定的目录中。 具体要求通过豆瓣的CSS规范进行讲解： 所有的CSS分为两大类：通用类和业务类。通用的CSS文件，放在如下目录中： 基本样式库 /css/core
  • C++动态链接库创建与使用 你不认识的休道人 C++dll
    一、创建动态链接库 1.新建工程test中选择”MFC [dll]”dll类型选择第二项"Regular DLL With MFC shared linked"，完成 2.在test.h中添加 extern “C” 返回类型 _declspec(dllexport)函数名(参数列表); 3.在test.cpp中最后写 extern “C” 返回类型 _decls
  • Android代码混淆之ProGuard rensanning ProGuard
    Android应用的Java代码，通过反编译apk文件（dex2jar、apktool）很容易得到源代码，所以在release版本的apk中一定要混淆一下一些关键的Java源码。 ProGuard是一个开源的Java代码混淆器（obfuscation）。ADT r8开始它被默认集成到了Android SDK中。 官网： http://proguard.sourceforge.net/
  • 程序员在编程中遇到的奇葩弱智问题 tomcat_oracle jquery编程ide
    　　现在收集一下：       　　排名不分先后，按照发言顺序来的。   1、Jquery插件一个通用函数一直报错，尤其是很明显是存在的函数，很有可能就是你没有引入jquery。。。或者版本不对 2、调试半天没变化：不在同一个文件中调试。这个很可怕，我们很多时候会备份好几个项目，改完发现改错了。有个群友说的好：   在汤匙
  • 解决maven-dependency-plugin (goals "copy-dependencies","unpack") is not supported xp9802 dependency
    解决办法：在plugins之前添加如下pluginManagement，二者前后顺序如下：   [html]  view plain copy   <build>           <pluginManagement