不会写代码的女程序猿
不会写代码的女程序猿

SpringCloud分布式、微服务、云架构快速开发平台源码之ClickHouse 存算分离架构

背景

ClickHouse 作为开源 OLAP 引擎，因其出色的性能表现在大数据生态中得到了广泛的应用。区别于 Hadoop 生态组件通常依赖 HDFS 作为底层的数据存储，ClickHouse 使用本地盘来自己管理数据，官方推荐使用 SSD 作为存储介质来提升性能。但受限于本地盘的容量上限以及 SSD 盘的价格，用户很难在容量、成本和性能这三者之间找到一个好的平衡。JuiceFS 的某个客户近期就遇到了这样的难题，希望将 ClickHouse 中的温冷数据从 SSD 盘迁移到更大容量、更低成本的存储介质，更好地支撑业务查询更长时间数据的需求。

需要框架源码的朋友可以看我个人简介联系我。推荐分布式架构源码

SpringCloud分布式、微服务、云架构快速开发平台源码之ClickHouse 存算分离架构_第1张图片

 

JuiceFS 是基于对象存储实现并完全兼容 POSIX 的开源分布式文件系统，同时 JuiceFS 的数据缓存特性可以智能管理查询热点数据，非常适合作为 ClickHouse 的存储系统，下面将详细介绍这个方案。

MergeTree 存储格式简介

在介绍具体方案之前先简单了解一下 MergeTree 的存储格式。MergeTree 是 ClickHouse 最主要使用的存储引擎，当创建表时可以通过 PARTITION BY 语句指定以某一个或多个字段作为分区字段，数据在磁盘上的目录结构类似如下形式：

$ ls -l /var/lib/clickhouse/data//
drwxr-xr-x  2 test  test    64B Mar  8 13:46 202102_1_3_0
drwxr-xr-x  2 test  test    64B Mar  8 13:46 202102_4_6_1
drwxr-xr-x  2 test  test    64B Mar  8 13:46 202103_1_1_0
drwxr-xr-x  2 test  test    64B Mar  8 13:46 202103_4_4_0

以 202102_1_3_0 为例，202102 是分区的名称，1 是最小的数据块编号，3 是最大的数据块编号，0 是 MergeTree 的深度。可以看到 202102 这个分区不止一个目录，这是因为 ClickHouse 每次在写入的时候都会生成一个新的目录，并且一旦写入以后就不会修改（immutable）。每一个目录称作一个「part」，当 part 逐渐变多以后 ClickHouse 会在后台对多个 part 进行合并（compaction），通常的建议是不要保留过多 part，否则会影响查询性能。
每个 part 目录内部又由很多大大小小的文件组成，这里面既有数据，也有一些元信息，一个典型的目录结构如下所示：
$ ls -l /var/lib/clickhouse/data//




/202102_1_3_0
-rw-r--r--  1 test  test     ?? Mar  8 14:06 ColumnA.bin
-rw-r--r--  1 test  test     ?? Mar  8 14:06 ColumnA.mrk
-rw-r--r--  1 test  test     ?? Mar  8 14:06 ColumnB.bin
-rw-r--r--  1 test  test     ?? Mar  8 14:06 ColumnB.mrk
-rw-r--r--  1 test  test     ?? Mar  8 14:06 checksums.txt
-rw-r--r--  1 test  test     ?? Mar  8 14:06 columns.txt
-rw-r--r--  1 test  test     ?? Mar  8 14:06 count.txt
-rw-r--r--  1 test  test     ?? Mar  8 14:06 minmax_ColumnC.idx
-rw-r--r--  1 test  test     ?? Mar  8 14:06 partition.dat
-rw-r--r--  1 test  test     ?? Mar  8 14:06 primary.idx

其中比较重要的文件有：
primary.idx：这个文件包含的是主键信息，但不是当前 part 全部行的主键，默认会按照 8192 这个区间来存储，也就是每 8192 行存储一次主键。 ColumnA.bin：这是压缩以后的某一列的数据，ColumnA 只是这一列的代称，实际情况会是真实的列名。压缩是以 block 作为最小单位，每个 block 的大小从 64KiB 到 1MiB 不等。 ColumnA.mrk：这个文件保存的是对应的 ColumnA.bin 文件中每个 block 压缩后和压缩前的偏移。 partition.dat：这个文件包含的是经过分区表达式计算以后的分区 ID。 minmax_ColumnC.idx：这个文件包含的是分区字段对应的原始数据的最小值和最大值。
基于 JuiceFS 的存算分离方案
因为 JuiceFS 完全兼容 POSIX，所以可以把 JuiceFS 挂载的文件系统直接作为 ClickHouse 的磁盘来使用。这种方案下数据会直接写入 JuiceFS，结合为 ClickHouse 节点配置的缓存盘，查询时涉及的热数据会自动缓存在 ClickHouse 节点本地。整体方案如下图所示。
SpringCloud分布式、微服务、云架构快速开发平台源码之ClickHouse 存算分离架构_第2张图片
ClickHouse 在写入时会产生大量的小文件，因此如果写入压力较大这个方案对写入和查询性能都会有一定影响。建议在写入数据时增大写入缓存，尽量一次写入更多数据来避免这个小文件过多的问题。最简单的做法是使用 ClickHouse 的 Buffer 表，基本上不需要修改应用代码就可以解决小文件过多的问题，适合当 ClickHouse 宕机时允许少量数据丢失的场景。这样做的好处是存储和计算完全分离，ClickHouse 节点完全无状态，如果节点故障可以很快恢复，不涉及任何数据拷贝。未来可以让 ClickHouse 感知到底层存储是共享的，实现自动的无数据拷贝迁移。
同时由于 ClickHouse 通常应用在实时分析场景，这个场景对于数据实时更新的要求比较高，在分析时也需要经常性地查询新数据。因此数据具有比较明显的冷热特征，即一般新数据是热数据，随着时间推移历史数据逐渐变为冷数据。利用 ClickHouse 的存储策略（storage policy）来配置多块磁盘，通过一定条件可以实现自动迁移冷数据到 JuiceFS。整体方案如下图所示。
SpringCloud分布式、微服务、云架构快速开发平台源码之ClickHouse 存算分离架构_第3张图片
这个方案中数据会先写入本地磁盘，当满足一定条件时 ClickHouse 的后台线程会异步把数据从本地磁盘迁移到 JuiceFS 上。和第一个方案一样，查询时也会自动缓存热数据。注意图中为了区分写和读因此画了两块磁盘，实际使用中没有这个限制，可以使用同一个盘。虽然这个方案不是完全的存储计算分离，但是可以满足对写入性能要求特别高的场景需求，也保留一定的存储资源弹性伸缩能力。下面会详细介绍这个方案在 ClickHouse 中如何配置。
ClickHouse 支持配置多块磁盘用于数据存储，下面是示例的配置文件：

    
        
            /jfs
        
    


上面的 /jfs 目录即是 JuiceFS 文件系统挂载的路径。在把以上配置添加到 ClickHouse 的配置文件中，并成功挂载 JuiceFS 文件系统以后，就可以通过 MOVE PARTITION 命令将某个 partition 移动到 JuiceFS 上，例如：
ALTER TABLE test MOVE PARTITION 'xxx' TO DISK 'jfs';

当然这种手动移动的方式只是用于测试，ClickHouse 支持通过配置存储策略的方式来将数据自动从某个磁盘移动到另一个磁盘。下面是示例的配置文件：

    
        
            /jfs
        
    
    
        
            
                
                    default
                    1073741824
                
                
                    jfs
                
            
            0.1
        
    



上面的配置文件中有一个名为 hot_and_cold 的存储策略，其中定义了两个 volume，名为 hot 的 volume 是默认的 SSD 盘，名为 cold 的 volume 即是上一步 disks 中定义的 JuiceFS 盘。这些 volume 在配置文件中的顺序很重要，数据会首先存储到第一个 volume 中，而 max_data_part_size_bytes 这个配置表示当数据 part 超过指定的大小时（示例中是 1GiB）自动从当前 volume 移动到下一个 volume，也就是把数据从 SSD 盘移动到 JuiceFS。最后的 move_factor 配置表示当 SSD 盘的磁盘容量超过 90% 时也会触发数据移动到 JuiceFS。
最后在创建表时需要显式指定要用到的存储策略：
CREATE TABLE test (
  ...
) ENGINE = MergeTree
...
SETTINGS storage_policy = 'hot_and_cold';


当满足数据移动的条件时，ClickHouse 就会启动后台线程去执行移动数据的操作，默认会有 8 个线程同时工作，这个线程数量可以通过 background_move_pool_size配置调整。
除了配置存储策略以外，还可以在创建表时通过 TTL 将超过一段时间的数据移动到 JuiceFS 上，例如：
CREATE TABLE test (
  d DateTime,
  ...
) ENGINE = MergeTree
...
TTL d + INTERVAL 1 DAY TO DISK 'jfs'
SETTINGS storage_policy = 'hot_and_cold';

上面的例子是将超过 1 天的数据移动到 JuiceFS 上，结合存储策略一起可以非常灵活地管理数据的生命周期。
写入性能测试
采用冷热数据分离方案以后数据并不会直接写入 JuiceFS，而是先写入 SSD 盘，再通过后台线程异步迁移到 JuiceFS 上。但是我们希望直接评估不同存储介质在写数据的场景有多大的性能差异，因此这里在测试写入性能时没有配置冷热数据分离的存储策略，而是让 ClickHouse 直接写入不同的存储介质。
具体测试方法是将真实业务中的某一张 ClickHouse 表作为数据源，然后使用 INSERT INTO 语句批量插入千万级行数的数据，比较直接写入 SSD 盘、JuiceFS 以及对象存储的吞吐。最终的测试结果如下图：
SpringCloud分布式、微服务、云架构快速开发平台源码之ClickHouse 存算分离架构_第4张图片
**以 SSD 盘作为基准，可以看到 JuiceFS 的写入性能与 SSD 盘有 30% 左右的性能差距，但是相比对象存储有 11 倍的性能提升。**这里 JuiceFS 的测试中开启了 writeback 选项，这是因为 ClickHouse 在写入时每个 part 会产生大量的小文件（KiB 级），客户端采用异步写入的方式能明显提升性能，同时大量的小文件对于查询性能也会造成一定影响。
在了解了直接写入不同介质的性能以后，接下来测试冷热数据分离方案的写入性能。经过实际业务测试，基于 JuiceFS 的冷热数据分离方案表现稳定，因为新数据都是直接写入 SSD 盘，因此写入性能与上面测试中的 SSD 盘性能相当。SSD 盘上的数据可以很快迁移到 JuiceFS 上，在 JuiceFS 上对数据 part 进行合并也都是没有问题的。
查询性能测试
查询性能测试使用真实业务中的数据，并选取几个典型的查询场景进行测试。其中 q1-q4 是扫描全表的查询，q5-q7 是命中主键索引的查询。测试结果如下图：
SpringCloud分布式、微服务、云架构快速开发平台源码之ClickHouse 存算分离架构_第5张图片
SpringCloud分布式、微服务、云架构快速开发平台源码之ClickHouse 存算分离架构_第6张图片
**可以看到 JuiceFS 与 SSD 盘的查询性能基本相当，平均差异在 6% 左右，但是对象存储相比 SSD 盘有 1.4 至 30 倍的性能下降。**得益于 JuiceFS 高性能的元数据操作以及本地缓存特性，可以自动将查询请求需要的热数据缓存在 ClickHouse 节点本地，大幅提升了 ClickHouse 的查询性能。需要注意的是以上测试中对象存储是通过 ClickHouse 的 S3 磁盘类型进行访问，这种方式只有数据是存储在对象存储上，元数据还是在本地磁盘。如果通过类似 S3FS 的方式把对象存储挂载到本地，性能会有进一步的下降。
在完成基础的查询性能测试以后，接下来测试冷热数据分离方案下的查询性能。区别于前面的测试，当采用冷热数据分离方案时，并不是所有数据都在 JuiceFS 中，数据会优先写入 SSD 盘。
首先选取一个固定的查询时间范围，评估 JuiceFS 缓存对性能的影响，测试结果如下图：
SpringCloud分布式、微服务、云架构快速开发平台源码之ClickHouse 存算分离架构_第7张图片
跟固定时间范围的查询一样，从第二次查询开始因为缓存的建立带来了 78% 左右的性能提升。不同的地方在于第四次查询因为涉及到查询新写入或者合并后的数据，而 JuiceFS 目前不会在写入时缓存大文件，会对查询性能造成一定影响，之后会提供参数允许缓存写入数据来改善新数据的查询性能。
总结
通过 ClickHouse 的存储策略可以很简单地将 SSD 和 JuiceFS 结合使用，实现性能与成本的两全方案。从写入和查询性能测试的结果上来看 JuiceFS 完全可以满足 ClickHouse 的使用场景，用户不必再担心容量问题，在增加少量成本的情况下轻松应对未来几倍的数据增长需求。JuiceFS 目前已经支持超过 20 家公有云的对象存储，结合完全兼容 POSIX 的特性，不需要改动 ClickHouse 任何一行代码就可以轻松接入云上的对象存储。
展望
在当前越来越强调云原生的环境下，存储计算分离已经是大势所趋。ClickHouse 2021 年的 roadmap 上已经明确把存储计算分离作为了主要目标，虽然目前 ClickHouse 已经支持把数据存储到 S3 上，但这个实现还比较粗糙。未来 JuiceFS 也会与 ClickHouse 社区紧密合作共同探索存算分离的方向，让 ClickHouse 更好地识别和支持共享存储，实现集群伸缩时不需要做任何数据拷贝。





你可能感兴趣的:(程序人生,java,微服务)






    

  • 高频面试题：ReactNative前端面试频率较高的面试题和答案（十六）
夲奋亻Jay
高频面试题react跨端reactnative前端面试

    ReactNative是一个由Facebook开发的框架，它允许使用React来开发原生移动应用。以下是一些在前端面试中可能会问到的关于ReactNative的高频面试题及答案：ReactNative是什么？答案：ReactNative是一个基于React构建的框架，允许使用JavaScript和React的编程方式来开发原生移动应用。ReactNative与React有什么不同？答案：React
    

    • 

  • EasyPOI入门
傲雪凌霜，松柏长青
后端开发语言java

    EasyPOI入门前言EasyPOI是一个基于ApachePOI的Java库，用于简化Excel文档的导入和导出操作。EasyPOI通过注解的方式，极大地减少了代码量和复杂度，使得Excel操作变得更加简单直观。本篇博客将介绍如何使用EasyPOI进行Excel文件的导入和导出操作。一、引入EasyPOI依赖首先，在你的项目中引入EasyPOI的依赖。这里以Maven项目为例，添加以下依赖到pom
    

    • 

  • 前端基础面试题·第三篇——JavaScript（其四）
DT——
前端面试javascript前端开发语言

    highlight:atom-one-dark1.JSON.stringifyJSON.stringify()方法将一个JavaScript值（对象或者数组）转换为一个JSON字符串，如果指定了一个replacer函数，则可以替换值。语法：JSON.stringify(value,replacer,space)参数value：要转换的值。replacer：替换值，可以是一个函数或者数组。（这个参数
    

    • 

  • Rancher 与 Kubernetes（K8s）的关系
litGrey
rancherkubernetes容器

    1.简介1.1Kubernetes作为容器编排平台Kubernetes是一个开源平台，用于自动化部署、扩展和管理容器化的应用。它提供了容器调度、自动伸缩、健康检查、滚动更新等功能。例子：假设您有一个微服务架构的应用程序，需要运行在多个节点上，并且要求自动伸缩以应对不同的负载。您可以使用Kubernetes来创建和管理这些容器化的服务。1.2.Rancher作为Kubernetes的管理工具Ranc
    

    • 

  • 【Python/Java/C++三种语言】20天拿下华为OD笔试之【位运算】2023B-出错的或电路【欧弟算法】全网注释最详细分类最全的华为OD真题
闭着眼睛学算法
最新华为OD真题#数学#位运算算法pythonjava

    文章目录题目描述与示例题目描述输入描述输出描述示例一输入输出说明示例二输入输出说明解题思路代码PythonJavaC++时空复杂度华为OD算法/大厂面试高频题算法练习冲刺训练题目描述与示例题目描述某生产门电路的厂商发现某一批次的或门电路不稳定，具体现象为计算两个二进制数的或操作时，第一个二进制数中某两个比特位会出现交换，交换的比特位置是随机的，但只交换这两个位，其他位不变。很明显，这个交换可能会影
    

    • 

  • java list 去重_Java lambda list，map，转换，过滤，去重操作
莲池书院
javalist<map>去重

    1、实体类packagecom.lzk.test01.entity;publicclassPerson{privateLongid;privateStringcode;publicLonggetId(){returnid;}publicvoidsetId(Longid){this.id=id;}publicStringgetCode(){returncode;}publicvoidsetCode(
    

    • 

  • JAVA数组元素的遍历_Java数组元素的遍历
知更社区
JAVA数组元素的遍历

    Java数组元素的遍历packagecom.wkcto.chapter03.demo01;importjava.util.Arrays;/***数组的定义,元素的访问与遍历*@author蛙课网**/publicclassTest01{publicstaticvoidmain(String[]args){//1)定义一个数组,存储5个int类型数据int[]data=newint[5];//定义数
    

    • 

  • AJAX实时表单验证系统
三年九班蓝同学

    本文还有配套的精品资源，点击获取简介：在网页开发中，"ajax验证表单"是一项关键任务，确保数据符合格式和规则，提升数据质量和用户体验。本应用通过使用JavaScript和XMLHttpRequest对象实现后台验证，无需页面刷新。它包括前端验证、事件处理、Ajax调用、服务器端处理、响应处理、用户体验和安全性等关键步骤，以jQuery库简化开发流程，创建高效、安全的表单验证系统。1.表单验证的重
    

    • 

  • java 不四舍五入 保留,java保留两位小数（不四舍五入）
三年九班蓝同学
java不四舍五入保留

    这篇文章主要介绍了java使double类型保留两位小数的方法,大家参考使用吧复制代码代码如下:mportjava.text.DecimalFormat;DecimalFormatdf=newDecimalFormat("######0.00");doubled1=3.23456doubled2=0.0;doubled3=2.0;df.format(d1);df.format(d2);df.for
    

    • 

  • 「 网络安全常用术语解读 」同源策略SOP详解：没有SOP就没有隐私
全栈安全
安全术语web安全安全术语

    同源策略可保护用户的隐私和数据安全，防止恶意网站通过跨域请求（例如，通过JavaScript）访问或修改其他网站的数据。1.同源策略产生背景当浏览器从一个域发送一个HTTP请求到另一个域时，与另一个域相关的任何cookies，包括身份验证会话cookie，也会作为请求的一部分发送。如果没有同源策略，如果你访问一个恶意网站，该网站将能够读取你的电子邮件、私人消息等。2.同源策略定义同源策略（Same
    

    • 

  • SpringBoot整合H2数据库并将其打包成jar包、转换成exe文件
暗雪之格
Springspringboot数据库jarjava-ee

    SpringBoot整合H2数据库并将其打包成jar包、转换成exe文件H2是一个用Java开发的嵌入式数据库，它的主要特性使其成为嵌入式应用程序的理想选择。H2仅是一个类库，可以直接嵌入到应用项目中，而无需独立安装客户端和服务器端。常用开源数据库常用的开源数据库包括H2、Derby、HSQLDB、MySQL和PostgreSQL。相比之下，H2和HSQLDB非常适合作为嵌入式数据库使用，而其他数
    

    • 

  • synchronized锁状态和底层实现
码了三年又三年
java开发语言

    锁的状态无锁状态，偏向锁状态，轻量级锁状态，重量级锁状态。锁的状态是通过对象监视器在对象头中的字段来表明的，四种状态会随着竞争的情况逐渐升级。偏向锁、轻量级锁、重量级锁是针对synchronized的状态。这四种状态都不是Java语言中的锁，而是JVM为了提高锁的获取与释放效率而做的优化(使用synchronized时)无锁：没有任何线程使用锁对象。偏向锁：当前只有一个线程访问，在对象头MarkW
    

    • 

  • idea中 google-java-format 插件的使用
用户昵称23
javaintellij-ideajavaide全文检索运维

    google-java-format是一个重新格式化Java源代码以符合GoogleJavaStyle的插件。一个google-java-format可从插件库下载也可以在IDE的File→Settings–>Plugins中下载。单击Marketplace选项卡，搜索google-java-format插件，然后单击Install按钮。默认情况下，该插件将被禁用。要在当前项目中启用它，请转到Fi
    

    • 

  • Java SE 6 新特性: XML API 与 Web 服务
love_baobao
Java基础类xmljavawebapi框架import

    JavaSE6做为一个开发平台，针对不同的应用开发需求，提供了各种各样的技术框架。XML处理框架是JDK6的重要组成部分之一。它为应用程序开发人员提供了一个统一的XML处理API。这种框架结构有两个作用：一方面，开发人员透过这些框架，可以透明的替换不同厂商提供的XML处理服务；另一方面，服务提供商可以透过这些框架，将自己的产品插入到JDK中。这种框架一般被称为ServiceProvider机制。J
    

    • 

  • xml与java对象转换
iteye_10822
xmlxml

    xml的解析技术包括了很多，其中dom4j,jdom,SAX等技术估计已经在大部分的人心中成为了耳熟能详的东西，但是如果是关于xml与对象直接的转换技术，那么下面几种技术是不错的选择。A.commons-digesterDigester本来仅仅是JakartaStruts中的一个工具，用于处理struts-config.xml配置文件。显然，将XML文件转换成相应的Java对象是一项很通用的功能，
    

    • 

  • 解锁Apache Shiro：新手友好的安全框架指南(一)——整体架构与身份认证_apache shiro的配置包括安全管理器(2)
2401_84281748
程序员apache安全架构

    ApacheShiro是一个功能强大且易于使用的Java安全框架，它执行身份验证、授权、加密和会话管理，可用于保护任何应用程序——从命令行应用程序、移动应用程序到最大的web和企业应用程序。Shiro提供了应用程序安全API来执行以下方面：Authentication（认证）：验证用户身份，即用户登录。Authorization（授权）：访问控制Cryptography（密码学）：保护或隐藏私密数
    

    • 

  • 【华为笔试题汇总】2024-05-22-华为春招笔试题-三语言题解(Python/Java/Cpp)
春秋招笔试突围
华为春秋招笔试题汇总最新互联网春秋招试题合集华为pythonjava算法

    大家好这里是清隆学长，一枚热爱算法的程序员✨本系列打算持续跟新小米近期的春秋招笔试题汇总～ACM银牌|多次AK大厂笔试｜编程一对一辅导感谢大家的订阅➕和喜欢清隆这边最近正在收集近一年互联网各厂的笔试题汇总，如果有需要的小伙伴可以关注后私信一下清隆领取，会在飞书进行同步的跟新。文章目录01.获取公共链表片段问题描述输入格式输出格式样例输入样例输出数据范围题解参考代码02.矿车运输成本问题描述输入格式
    

    • 

  • JavaEE初阶-多线程2
炙热的大叔
JavaEE初阶java-eejavajvm

    文章目录一、多线程安全问题1.1线程安全问题的原因1.2如何解决线程安全问题二、加锁2.1synchronized2.2synchronized的几种使用方式2.3synchronized的可重入性三、死锁3.1死锁的必要条件一、多线程安全问题代码示例如下：publicclassDemo20{staticintcount=0;publicstaticvoidmain(String[]args)th
    

    • 

  • Gin-封装自动路由
揽月随风醉
gin

    O.0思路一、API二、控制层三、自动路由核心四、分组路由外加中间件使用思路由于Java转Go直接使用的goframe框架，然学习Gin时觉得一个接口一个路由太麻烦，于是有了...1、在请求结构体中采用标签的形式，直接给出路由和请求方式2、在控制层引用xxxReq开头的结构体作为入参（此时API结构体就与方法形成了联系）3、通过反射获取控制层的所有方法，通过每个方法拿到结构体，并获取到标签信息，随
    

    • 

  • 这可能是全网最详细的 Spring Cloud OAuth2 单点登录使用教程了，妈妈再也不用担心我被面试官吊打了！
2401_84558091
程序员java面试学习

    最后对于很多Java工程师而言，想要提升技能，往往是自己摸索成长，不成体系的学习效果低效漫长且无助。整理的这些资料希望对Java开发的朋友们有所参考以及少走弯路，本文的重点是你有没有收获与成长，其余的都不重要，希望读者们能谨记这一点。再分享一波我的Java面试真题+视频学习详解+技能进阶书籍本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收
    

    • 

  • Java 【数据结构】 哈希（Hash超详解）HashSet&HashMap【神装】
中草药z
【Java】登神长阶史诗般的Java成神之路哈希算法数据结构javahashhashtableMapSet

    登神长阶第十神装HashSet第十一神装HashMap目录一.哈希1.概念2.Object类的hashCode()方法:3.String类的哈希码:4.注意事项:二.哈希桶1.哈希桶原理2.哈希桶的实现细节3.总结三.解决哈希冲突的常用方法*四.HashSet1.定义2.操作3.特性4.内部实现5.应用场景✏️五.HashMap✒️1.定义️2.操作️3.特性️4.内部实现️5.应用场景六.对比七
    

    • 

  • Java Kafka生产者实现
stormsha
Javawebjavakafkalinq

    欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐：「stormsha的主页」，「stormsha的知识库」持续学习，不断总结，共同进步，为了踏实，做好当下事儿~专栏导航Python系列:Python面试题合集，剑指大厂Git系列:Git操作技巧GO系列:记录博主学习GO语言的笔记，该笔记专栏
    

    • 

  • Java中项目名、包名、类名、接口名、方法名、类名命名规范（简单示范）
我叫WJP
java开发语言

    项目名（ProjectName）例子：my-blog-system说明：这是一个简单的博客系统项目，使用连字符（-）来分隔“my”、“blog”和“system”这三个单词，全部使用小写字母。包名（PackageName）例子：com.example.blog.service说明：这个包名遵循了公司或组织域名反转的规则（假设example.com是域名），并添加了blog.service来进一步描
    

    • 

  • 分布式跟踪服务实战应用指南
CRMEB系统商城
分布式

    已成为了决解复杂系统运行效率问题的关键手段之一，随着企业向微服务化与分布式系统的转变，应用复杂度不断提升，监控技术的挑战更为严峻。此项服务不仅能协助开发与运维团队更直观地理解系统运作状况，还可增强系统稳定性及提升用户满意度。接下来，文章将详细剖析分布式追踪服务的优点、适用场景、可能存在的风险以及安全性，同时还会介绍如何在Python项目中进行集成操作，并对比其他可用选项，为您推荐合适的服务提供商。
    

    • 

  • bfs 迷宫打印所有路径 java,bfs 较为全面的迷宫路径问题,包括路径的打印,起点到任一点的最小步数. | 学步园...
微果酱

    /*提供的输入数据:输入行数列数起点终点然后输入任意点的位置,可求起点到终点的距离,00表示结束.input:6500041101110111101001011111101111110413404400output:DDDDRRUUURUR1210410#include#include#includeusingnamespacestd;constintmm=301;intmap[mm][mm];i
    

    • 

  • Java实现建造者模式和源码中的应用
coffee_baby
JAVA实现设计模式java建造者模式开发语言

    Java实现建造者模式（BuilderPattern）文章目录Java实现建造者模式（BuilderPattern）案例：汉堡制作建造者模式的核心角色代码实现：汉堡制作内部类实现：Step1：产品类BurgerStep2：指挥者DirectorStep3：客户端代码结果总结抽象类实现Step1：产品类BurgerStep2：抽象的Builder类Step3：具体的Builder类Step4：指挥者
    

    • 

  • Java实现单例模式
coffee_baby
JAVA实现设计模式java单例模式javascript

    文章目录Java实现单例模式饿汉式（静态常量）代码实现优缺点说明饿汉式（静态代码块）代码实现优缺点说明：懒汉式(线程不安全)代码实现优缺点说明：懒汉式(线程安全，同步方法)优缺点说明：懒汉式(线程安全，同步代码块)代码实现优缺点说明：双重检查实现代码实现优缺点说明：静态内部类代码实现优缺点说明：枚举代码实现优缺点说明：单例在JDK中的应用单例模式注意事项Java实现单例模式单例模式（Singlet
    

    • 

  • notepad++软件介绍（含安装包）
LQS2020
notepad++

    Notepad++是一款开源的文本编辑器，主要用于编程和代码编辑。它是一个功能强大的替代品，常常被用来替代Windows系统自带的记事本。Notepad++win系统免费下载地址以下是Notepad++的一些主要特点和功能：多语言支持：Notepad++支持多种编程语言，包括Python、JavaScript、HTML、CSS、C++、Java等。它能够根据文件类型自动高亮显示语法，使代码更加易读
    

    • 

  • 设计模式之七大设计原则详解
carl的分享笔记
设计模式与设计原则设计模式java设计原则面试

    七大设计原则：七大设计原则：开闭原则、依赖倒置原则、单一职责原则、接口隔离原则、迪米特原则、里氏替换原则、合成复用原则Java有三大特性：封装、继承、多态。而这七大设计原则，更像是对三大特性的一种体现。七大原则并不是分别独立的原则，他们之间是相互有联系的，甚至可以看做是一体的。有时候你为了符合某种原则会无意之间破坏另一个原则有时候你为了符合某种原则还会发现这也符合另外几种原则开闭原则对（类、方法）
    

    • 

  • Python快速入门到实战（三）逻辑控制语句，函数与类
年少遗梦oo
PythonPython逻辑控制函数类

    目录一、逻辑控制语句条件控制语句if-elsefor循环语句while循环break语句continue语句Pass语句二、函数函数的定义与调用参数传递函数的参数类型Return语句三、类类的定义self参数实例化Python中类定义与Java、C++的差别继承函数的重写私有属性与私有方法一、逻辑控制语句条件控制语句if-elsePython条件控制语句的形式为：ifCondition1:Acti
    

    • 

  • HQL之投影查询
归来朝歌
HQLHibernate查询语句投影查询

            在HQL查询中，常常面临这样一个场景，对于多表查询，是要将一个表的对象查出来还是要只需要每个表中的几个字段，最后放在一起显示？
针对上面的场景，如果需要将一个对象查出来：
HQL语句写“from 对象”即可
Session session = HibernateUtil.openSession();

    

    • 

  • Spring整合redis
bylijinnan
redis

    pom.xml
<dependencies>
<!-- Spring Data - Redis Library -->
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-redi
    

    • 

  • org.hibernate.NonUniqueResultException: query did not return a unique result: 2
0624chenhong
Hibernate

    参考：http://blog.csdn.net/qingfeilee/article/details/7052736
org.hibernate.NonUniqueResultException: query did not return a unique result: 2
        在项目中出现了org.hiber
    

    • 

  • android动画效果
不懂事的小屁孩
android动画

    前几天弄alertdialog和popupwindow的时候，用到了android的动画效果，今天专门研究了一下关于android的动画效果，列出来，方便以后使用。
Android 平台提供了两类动画。 一类是Tween动画，就是对场景里的对象不断的进行图像变化来产生动画效果（旋转、平移、放缩和渐变）。
第二类就是 Frame动画，即顺序的播放事先做好的图像，与gif图片原理类似。

    

    • 

  • js delete 删除机理以及它的内存泄露问题的解决方案
换个号韩国红果果
JavaScript

    delete删除属性时只是解除了属性与对象的绑定，故当属性值为一个对象时，删除时会造成内存泄露  （其实还未删除）
举例：
var person={name:{firstname:'bob'}}
var p=person.name
delete person.name
p.firstname -->'bob'
// 依然可以访问p.firstname，存在内存泄露
    

    • 

  • Oracle将零干预分析加入网络即服务计划
蓝儿唯美
oracle

    由Oracle通信技术部门主导的演示项目并没有在本月较早前法国南斯举行的行业集团TM论坛大会中获得嘉奖。但是，Oracle通信官员解雇致力于打造一个支持零干预分配和编制功能的网络即服务（NaaS）平台，帮助企业以更灵活和更适合云的方式实现通信服务提供商（CSP）的连接产品。这个Oracle主导的项目属于TM Forum Live!活动上展示的Catalyst计划的19个项目之一。Catalyst计
    

    • 

  • spring学习——springmvc（二）
a-john
springMVC

    Spring MVC提供了非常方便的文件上传功能。
1，配置Spring支持文件上传：
DispatcherServlet本身并不知道如何处理multipart的表单数据，需要一个multipart解析器把POST请求的multipart数据中抽取出来，这样DispatcherServlet就能将其传递给我们的控制器了。为了在Spring中注册multipart解析器，需要声明一个实现了Mul
    

    • 

  • POJ-2828-Buy Tickets
aijuans
ACM_POJ

    POJ-2828-Buy Tickets
http://poj.org/problem?id=2828
线段树，逆序插入
#include<iostream>#include<cstdio>#include<cstring>#include<cstdlib>using namespace std;#define N 200010struct
    

    • 

  • Java Ant build.xml详解
asia007
build.xml

    1,什么是antant是构建工具2,什么是构建概念到处可查到，形象来说，你要把代码从某个地方拿来，编译，再拷贝到某个地方去等等操作，当然不仅与此，但是主要用来干这个3,ant的好处跨平台   --因为ant是使用java实现的，所以它跨平台使用简单--与ant的兄弟make比起来语法清晰--同样是和make相比功能强大--ant能做的事情很多，可能你用了很久，你仍然不知道它能有
    

    • 

  • android按钮监听器的四种技术
百合不是茶
androidxml配置监听器实现接口

    android开发中经常会用到各种各样的监听器,android监听器的写法与java又有不同的地方; 
 
1,activity中使用内部类实现接口 ,创建内部类实例  使用add方法  与java类似
 
创建监听器的实例
myLis lis = new myLis();
 
使用add方法给按钮添加监听器
 
    

    • 

  • 软件架构师不等同于资深程序员
bijian1013
程序员架构师架构设计

            本文的作者Armel Nene是ETAPIX Global公司的首席架构师，他居住在伦敦，他参与过的开源项目包括 Apache Lucene,，Apache Nutch， Liferay 和 Pentaho等。
        如今很多的公司
    

    • 

  • TeamForge Wiki Syntax & CollabNet User Information Center
sunjing
TeamForgeHow doAttachementAnchorWiki Syntax

    the CollabNet user information center http://help.collab.net/
 
How do I create a new Wiki page?
A CollabNet TeamForge project can have any number of Wiki pages. All Wiki pages are linked, and
    

    • 

  • 【Redis四】Redis数据类型
bit1129
redis

    概述
Redis是一个高性能的数据结构服务器，称之为数据结构服务器的原因是，它提供了丰富的数据类型以满足不同的应用场景，本文对Redis的数据类型以及对这些类型可能的操作进行总结。
Redis常用的数据类型包括string、set、list、hash以及sorted set.Redis本身是K/V系统，这里的数据类型指的是value的类型，而不是key的类型，key的类型只有一种即string
    

    • 

  • SSH2整合-附源码
白糖_
eclipsespringtomcatHibernateGoogle

    今天用eclipse终于整合出了struts2+hibernate+spring框架。
我创建的是tomcat项目，需要有tomcat插件。导入项目以后，鼠标右键选择属性，然后再找到“tomcat”项，勾选一下“Is a tomcat project”即可。具体方法见源码里的jsp图片，sql也在源码里。
 
 
补充1：项目中部分jar包不是最新版的，可能导
    

    • 

  • [转]开源项目代码的学习方法
braveCS
学习方法

    转自：
http://blog.sina.com.cn/s/blog_693458530100lk5m.html
http://www.cnblogs.com/west-link/archive/2011/06/07/2074466.html
 
1）阅读features。以此来搞清楚该项目有哪些特性2）思考。想想如果自己来做有这些features的项目该如何构架3）下载并安装d
    

    • 

  • 编程之美-子数组的最大和（二维）
bylijinnan
编程之美

    package beautyOfCoding;
import java.util.Arrays;
import java.util.Random;
public class MaxSubArraySum2 {
/**
* 编程之美 子数组之和的最大值（二维）
*/
private static final int ROW = 5;
private stat
    

    • 

  • 读书笔记-3
chengxuyuancsdn
jquery笔记resultMap配置ibatis一对多配置

    1、resultMap配置
2、ibatis一对多配置
3、jquery笔记
1、resultMap配置
当<select resultMap="topic_data">
<resultMap id="topic_data">必须一一对应。
(1)<resultMap class="tblTopic&q
    

    • 

  • [物理与天文]物理学新进展
comsci

    
      如果我们必须获得某种地球上没有的矿石,才能够进行某些能量输出装置的设计和建造,而要获得这种矿石,又必须首先进行深空探测,而要进行深空探测,又必须获得这种能量输出装置,这个矛盾的循环,会导致地球联盟在与宇宙文明建立关系的时候,陷入困境
      怎么办呢?
 
    

    • 

  • Oracle 11g新特性:Automatic Diagnostic Repository
daizj
oracleADR

    Oracle Database 11g的FDI（Fault Diagnosability Infrastructure）是自动化诊断方面的又一增强。
FDI的一个关键组件是自动诊断库（Automatic Diagnostic Repository-ADR）。
在oracle 11g中，alert文件的信息是以xml的文件格式存在的，另外提供了普通文本格式的alert文件。
这两份log文
    

    • 

  • 简单排序:选择排序
dieslrae
选择排序

    
public void selectSort(int[] array){
int select;
for(int i=0;i<array.length;i++){
select = i;
for(int k=i+1;k<array.leng
    

    • 

  • C语言学习六指针的经典程序，互换两个数字
dcj3sjt126com
c

    示例程序，swap_1和swap_2都是错误的，推理从1开始推到2，2没完成，推到3就完成了
# include <stdio.h>
void swap_1(int, int);
void swap_2(int *, int *);
void swap_3(int *, int *);
int main(void)
{
int a = 3;
int b = 
    

    • 

  • php 5.4中php-fpm 的重启、终止操作命令
dcj3sjt126com
PHP

    php 5.4中php-fpm 的重启、终止操作命令:
查看php运行目录命令：which php/usr/bin/php
查看php-fpm进程数：ps aux | grep -c php-fpm
查看运行内存/usr/bin/php  -i|grep mem
重启php-fpm/etc/init.d/php-fpm restart
在phpinfo()输出内容可以看到php
    

    • 

  • 线程同步工具类
shuizhaosi888
同步工具类

    同步工具类包括信号量（Semaphore）、栅栏（barrier）、闭锁（CountDownLatch）
 
闭锁（CountDownLatch）
public class RunMain {
public long timeTasks(int nThreads, final Runnable task) throws InterruptedException {
fin
    

    • 

  • bleeding edge是什么意思
haojinghua
DI

    不止一次，看到很多讲技术的文章里面出现过这个词语。今天终于弄懂了——通过朋友给的浏览软件，上了wiki。 
我再一次感到，没有辞典能像WiKi一样，给出这样体贴人心、一清二楚的解释了。为了表达我对WiKi的喜爱，只好在此一一中英对照，给大家上次课。
 
In computer science, bleeding edge is a term that 
    

    • 

  • c中实现utf8和gbk的互转
jimmee
ciconvutf8&gbk编码

    #include <iconv.h>
#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <string.h>
#include <sys/stat.h>
int code_c
    

    • 

  • 大型分布式网站架构设计与实践
lilin530
应用服务器搜索引擎

    1.大型网站软件系统的特点？
a.高并发，大流量。
b.高可用。
c.海量数据。
d.用户分布广泛，网络情况复杂。
e.安全环境恶劣。
f.需求快速变更，发布频繁。
g.渐进式发展。
2.大型网站架构演化发展历程？
a.初始阶段的网站架构。
应用程序，数据库，文件等所有的资源都在一台服务器上。
b.应用服务器和数据服务器分离。
c.使用缓存改善网站性能。
d.使用应用
    

    • 

  • 在代码中获取Android theme中的attr属性值
OliveExcel
androidtheme

    Android的Theme是由各种attr组合而成, 每个attr对应了这个属性的一个引用, 这个引用又可以是各种东西.
 
在某些情况下, 我们需要获取非自定义的主题下某个属性的内容 (比如拿到系统默认的配色colorAccent), 操作方式举例一则:
int defaultColor = 0xFF000000;
int[] attrsArray = { andorid.r.
    

    • 

  • 基于Zookeeper的分布式共享锁
roadrunners
zookeeper分布式共享锁

    首先，说说我们的场景，订单服务是做成集群的，当两个以上结点同时收到一个相同订单的创建指令，这时并发就产生了，系统就会重复创建订单。等等......场景。这时，分布式共享锁就闪亮登场了。
 
共享锁在同一个进程中是很容易实现的，但在跨进程或者在不同Server之间就不好实现了。Zookeeper就很容易实现。具体的实现原理官网和其它网站也有翻译，这里就不在赘述了。
 
官
    

    • 

  • 两个容易被忽略的MySQL知识
tomcat_oracle
mysql

    1、varchar(5)可以存储多少个汉字，多少个字母数字？ 　　相信有好多人应该跟我一样，对这个已经很熟悉了，根据经验我们能很快的做出决定，比如说用varchar(200)去存储url等等，但是，即使你用了很多次也很熟悉了，也有可能对上面的问题做出错误的回答。 　　这个问题我查了好多资料，有的人说是可以存储5个字符，2.5个汉字（每个汉字占用两个字节的话），有的人说这个要区分版本，5.0
    

    • 

  • zoj 3827 Information Entropy(水题)
阿尔萨斯
format

     题目链接：zoj 3827 Information Entropy
题目大意：三种底，计算和。
解题思路：调用库函数就可以直接算了，不过要注意Pi = 0的时候，不过它题目里居然也讲了。。。limp→0+plogb(p)=0，因为p是logp的高阶。
#include <cstdio>
#include <cstring>
#include <cmath&
    

    •