字节数据平台
字节数据平台

克服 ClickHouse 运维难题：ByteHouse 水平扩容功能上线

前言

对于分析型数据库产品，通过增加服务节点实现集群水平扩容，并提升集群性能和容量，是运维的必要手段。

但是对于熟悉 ClickHouse 的工程师而言，听到“扩容”二字一定会头疼不已。开源 ClickHouse 的 MPP 架构导致扩容成本高，已是 ClickHouse 运维的核心痛点。

主要体现在：

  • 流程全手动，无数据可靠性保证。

  • 扩容期间性能开销大，通常需要暂停服务。

基于字节跳动内广泛的使用场景，ByteHouse 企业版基于开源社区 ClickHouse 进行了诸多优化，现已正式公测“水平扩容”功能。

如果将“ClickHouse”比作一辆汽车，那么此次ByteHouse升级则实现了扩容“手动挡”变“自动挡”，同时“自动档"过程中还能省油加速，使得扩容整体操作更顺滑流畅。

开源社区的实现方案

在 开源社区文档 中，社区工程师通常推荐使用“数据重分布”思路来解决扩容问题，但存在以下问题：

  • 新增节点后，手动提升新节点的导入权重，或暂时停止旧节点的数据导入，直至数据均衡。这种配置要求 Distributed 表的分片键（Sharding-key）设置为 random，对于设定了指定的 sharding-key 的表，无法采用这种模式。此外，如果存量数据很大，通过该方式实现均衡非常缓慢，可能花费数天乃至数个月才能追平。

  • 手动在节点之间移动分区，使节点间均衡。该方式需要大表均已设置比较合理的分区键（Partition Key），并且分片键也只能为 Random，并且需要手动计算分区的移动目标节点。

  • 使用 ClickHouse Copier或 Insert Into Select 方式，将现存表全部重新插入实现均衡。该方式开销非常高，将占用大量的 CPU / 存储 IO / 网络 IO 资源。

此外，不管是哪种方式，都需要用户手动在新节点复制元数据、校验数据，拼装各环节流程，因此被称为“手动挡”。

ByteHouse 的优化方案

在字节跳动内部，业务的快速增长带来集群规划性能不足、亟需扩容的问题。ByteHouse 对内主要支撑数据看板、用户行为分析性等业务模块，因此对服务持续在线、性能迅速提升要求高，并且用户表的表结构也异常丰富。因此，社区提供的方案均不能满足字节内部业务诉求。

基于以上背景，ByteHouse 自研集群扩容能力，解决自动化流程的问题，也为用户提供了性能开销更低的扩容方式。

具体我们通过数据库引擎优化和操作界面优化两方面来实现。

数据库引擎优化

ByteHouse 的数据库引擎自研 Alter Table...Resharding命令，将一张表以分区的粒度进行重分布到另一张表。该命令支持两种方式：

  • 重分布到其他集群的另一张表

  • 重分布到本集群的另一张表

命令格式如下：

 
  
alter table .
 resharding partition  with  to shard [shard_list]
通过该命令，可以实现提交从源表扩容到目标表的任务，该任务将实现 Split - Fetch，在原表拆分 Part，目标表拉取 Part，实现扩容。
克服 ClickHouse 运维难题：ByteHouse 水平扩容功能上线_第1张图片
 
具体操作步骤如下：
     
   
  1.  
    对于要扩容的表 table，新建目标表，如 table1_new；
     
    2.  
   
  2.  
    提交 Alter Table table1 Resharding Partition  with  to table [table1_new_list]；提交的任务会被存储到 ZooKeeper 上，后台线程负责调度执行；
     
    3.  
   
  3.  
    所有提交的任务逐个开始执行。每个任务首先执行 Part 拆分，将一个 Part 根据 Sharding-key 拆分为 N 份（N 为扩容后的分片数）；
     
    4.  
   
  4.  
    Part 拆分结束后，将 Part 信息发布到对应的分片上，对应不同分片上的目标表 table1_new 会进入 FETCHING 状态，开始拉取 Part；
     
    5.  
   
  5.  
    等待这些 Part 被拉取完成，然后开始执行下一个任务，直至一张表的所有 Part 都被重分布完成
     
    6.  
  
在一张表完成后，可以进行校验数据，删除旧表（table1），重命名新表（table1_new -> table1）。实现了一张表的扩容。
扩容全程可以通过系统表 system.reshard_partition追踪进度，取得状态。
这种扩容方式相比社区推荐的方式，有以下优势：
     
   
  1.  
    扩容的适应性好，对于是否设置分片键、分区键，均无硬性要求，都可以进行扩容。
     
    2.  
   
  2.  
    性能损耗小。整个重分布过程为一个旁路计算任务，开销远低于insert into select 全局数据重新插入的方式。
     
    3.  
   
  3.  
    执行过程中，数据保持可查询，下游数据看板、数据分析等服务不用暂停。目前在扩容过程中，ByteHouse暂时不支持写入。但就原理而言，扩容进度90%前都可写入，只需要最后阶段一次性 Resharding 在扩容任务执行过程中新写入的 Part 即可。因此，ByteHouse未来功能也有继续提升的空间。
     
    4.  
  
操作界面优化
ByteHouse 数据库实现了 SQL 的底层能力进行数据重分布，实现了开销更低、适应性更强的重分布能力，但对于普通用户而言仍有使用门槛。
因此 ByteHouse 在控制台也支持水平扩容功能，组装底层能力，实现产品化。
通过 ByteHouse 控制台，可通过以下步骤完成集群的水平扩容：
   1.在集群列表/详情页选择“更改配置”，选择“水平更配”。克服 ClickHouse 运维难题：ByteHouse 水平扩容功能上线_第2张图片
 
2.用户选择集群更配后节点数，支持增加节点（水平扩容），也支持减少节点（水平缩容）；
3.可在扩容前勾选“完成后自动重分布”，也可不勾选，在扩容后再手动重分布；如果勾选“自动重分布”，则需要选择需要在扩容后立即重分布的表。
4.界面会给出预估扩容时间。用户可以根据实际情况，对下游业务发出扩容公告
5.提交扩容任务，集群进入“运维任务中”状态。后台执行两阶段任务：
a.阶段1，新增节点。实际在进行新节点的初始化，并在新节点上新建元数据；
b.阶段2，集群节点完成增加后，则开始重分布，可以查看每张表的重分布进度。
6.上述步骤完成，集群恢复“运行中”状态。
通过界面化操作，ByteHouse 给用户的扩容流程带来了全新的便利：
     
   
  •  
    全流程自动化，不再需要自行编写脚本。
     
    •  
   
  •  
    也开放一小部分手动空间。例如，在扩容前可选立即重分布的表，对于剩余的表，可在扩容后再选择时间重分布任务，适应一些希望在业务低峰时扩容大表，进一步降低大表只读带来的影响。
     
    •  
   
  •  
    包含容错处理，自动校验数据，流程便利可靠。
     
    •  
  
总结
ByteHouse 团队通过自研“水平扩容”能力，实现了数据库底层与界面支持数据重分布。相比于开源社区的方式，ByteHouse 的数据重分布有以下优势：
     
   
  •  
    低 CPU / IO 开销，数据重分布期间可读；
     
    •  
   
  •  
    全程自动化，界面化；
     
    •  
   
  •  
    不依赖其他外置工具，在 ByteHouse 产品内闭环；
     
    •  
  
目前，水平扩容功能现已在 ByteHouse 企业版公测上线，同时支持私有化部署与火山引擎版本，欢迎体验。
点击跳转  【云原生数据仓库ByteHouse】 了解更多

                    
                

        
你可能感兴趣的:(clickhouse,运维)

        

            

                
    
                    
  • 02 微服务架构下的质量挑战
                        源码头
java微服务架构运维
                        
    相比传统的单体应用架构，微服务架构具有更多优势，但微服务同样不是万能的。它的许多优点同时也带来了明显的缺点，比如单个微服务虽然编译得更快了，但微服务数量却翻了数倍。再比如单个微服务可以针对热点服务进行单独扩缩容，但也就需要投入更多的运维成本，等等。这也使得微服务架构在架构设计、团队协作、测试环节等层面引发一系列挑战。我们知道，“越晚发现的问题，修复的成本也就越高”，如果在项目开始对这些挑战处理不当
    
                    
    • 
                    
  • 方舟生存进化mysql_基于MySQL 的 SQL 优化总结_卡盟,辅助
                        weixin_36307344
方舟生存进化mysql
                        
    SonarQube搭建手记dnf辅助基于MySQL的SQL优化总结在数据库运维过程中，优化SQL是DBA团队的一样平常义务。例行SQL优化，不仅可以提高程序性能，还能减低线上故障的概率。现在常用的SQL优化方式包罗但不限于：营业层优化、SQL逻辑优化、索引优化等。其中索引优化通常通过调整索引或新增索引从而到达SQL优化的目的。索引优化往往可以在短时间内发生异常伟大的效果。---来自美团手艺团队SQ
    
                    
    • 
                    
  • 正式开源，Doris Operator 支持高效 Kubernetes 容器化部署方案
                        SelectDB技术团队
kubernetes容器化部署数据仓库云原生开源
                        
    容器化凭借其灵活性、跨平台性、自动化管理和极致弹性，吸引了众多企业的关注。一些企业希望将ApacheDoris容器化部署，以实现高效的资源利用与部署迭代。Kubernetes提供的编排和管理功能，能完成大规模容器部署，但Kubernetes自身的复杂性也导致众多企业面临部署复杂、运维困难、使用难度高等挑战。为满足用户在Kubernetes平台上对Doris的高效部署和运维要求，飞轮科技推出了Dor
    
                    
    • 
                    
  • MySQL 进阶：运维与架构 - 从链式复制到主从复制
                        墨夶
数据库学习资料1mysql运维架构
                        
    MySQL进阶：运维与架构-从链式复制到主从复制在MySQL数据库的高可用性和扩展性架构中，链式复制提供了一种灵活的方式来扩展复制拓扑结构。然而，在某些情况下，你可能需要将复杂的链式复制架构简化为主从复制架构，例如为了减少延迟、简化管理或者应对特定的安全要求。本文将详细介绍如何从链式复制架构转换回主从复制架构，并提供相应的操作步骤和注意事项。❓引言：为什么从链式复制回到主从复制❓尽管链式复制提供了
    
                    
    • 
                    
  • MySQL 进阶：运维与架构 - 从主从复制到链式复制
                        墨夶
数据库学习资料1mysql运维架构
                        
    MySQL进阶：运维与架构-从主从复制到链式复制在MySQL数据库的高可用性和扩展性架构中，主从复制是一种常见的技术手段。通过主从复制，可以实现数据的备份、故障恢复、读写分离等功能。然而，随着业务规模的扩大和复杂度的增加，单一的主从复制架构可能无法满足更高的需求。因此，链式复制作为一种扩展形式，逐渐成为数据库架构师们关注的重点。本文将详细介绍从主从复制到链式复制的演进过程，以及如何实现和管理链式复
    
                    
    • 
                    
  • MySQL 进阶：运维与架构 - 延迟复制
                        墨夶
数据库学习资料1mysql运维架构
                        
    MySQL进阶：运维与架构-延迟复制在MySQL的主从复制架构中，延迟复制（DelayedReplication）是一种特殊的复制策略，它允许从服务器（Slave）在接收到主服务器（Master）的二进制日志事件后，延迟一段时间再执行这些事件。这种机制在多种场景下都非常有用，例如，当需要在从服务器上保留旧的数据版本以供审计或备份时，或者当需要在从服务器上进行一些非实时的数据分析时。本文将详细介绍M
    
                    
    • 
                    
  • 深入理解 Windows Server 的核心功能：现代 IT 架构的基石
                        Echo_Wish
让你快速入坑运维运维探秘windows架构
                        
    深入理解WindowsServer的核心功能：现代IT架构的基石在现代IT基础架构中，WindowsServer一直扮演着不可或缺的角色。它不仅是一个强大的服务器操作系统，更是企业级解决方案的核心支柱。从中小型企业到跨国公司，WindowsServer提供了从身份管理到高可用性的一系列功能，帮助组织应对复杂的IT挑战。作为一名运维人员或IT架构师，理解其核心功能对于设计高效、安全、可扩展的IT环境
    
                    
    • 
                    
  • 隐私计算开源助力数据要素流通
                        HZGame.
算法安全
                        
    主讲老师：李宏宇课程链接：第2讲：隐私计算开源助力数据要素流通丨隐私计算实训营第2期_哔哩哔哩_bilibili1、数据要素流转与数据内外循环这是数据的生命周期也是数据流转的链路图，我们可以发现数据流转可以分为数据采集加工和数据价值释放两个部分，而数据价值释放也分成两个部分：一部分是内循环，数据持有方在自己的运维管控域内对自己的数据使用和安全拥有全责，一部分是外循环，数据要素离开了持有方管控域，在
    
                    
    • 
                    
  • 数据可信流通
                        HZGame.
大数据网络运维
                        
    主讲老师：韦韬学习链接：第1讲：数据可信流通，从运维信任到技术信任丨隐私计算实训营第1期_哔哩哔哩_bilibili【一图读懂｜数据二十条】-国家发展和改革委员会(ndrc.gov.cn)“数据二十条”对外发布，构建数据基础制度体系——做强做优做大数字经济_政策解读_中国政府网(www.gov.cn)通过以上的图片和链接，让我们可以了解什么是“数据二十条”，建立数据来源可确认、使用范围可界定、流通
    
                    
    • 
                    
  • doris 安装部署
                        猫猫姐
Dorisdoris
                        
    doris安装部署架构Doris的主要架构分为FE（frontend）、BE（backend）两个角色、两个进程，不依赖于外部的组件，极易部署、运维，FE和BE都有很好的拓展性。FE：存储和维护集群的元数据，负责接收和解析用户的查询请求，规划查询计化，调度查询结果，FE主要分为三个角色：Leader、Follower、ObserverLeader和Follower主要是用来实现Doris集群的高可
    
                    
    • 
                    
  • JVM 监控与分析工具你用过哪些？介绍一下。思维导图 代码示例（java 架构）
                        用心去追梦
jvmjava架构
                        
    JVM监控与分析工具介绍在Java应用开发和运维过程中，使用合适的监控与分析工具可以帮助我们更好地理解应用的运行状态，优化性能，诊断问题。以下是一些常用的JVM监控与分析工具及其特点和使用方法。常用的JVM监控与分析工具VisualVM特点：内置在JDK中，无需额外安装，功能强大，界面友好。功能：实时监控JVM的内存、CPU使用情况，查看线程状态，分析垃圾回收，生成和分析heapdump文件。使用
    
                    
    • 
                    
  • 数仓建模（五）选择数仓技术栈：Hive & ClickHouse & 其它
                        昊昊该干饭了
数仓建模大数据hiveclickhousehadoop
                        
    在大数据技术的飞速发展下，数据仓库（DataWarehouse，简称数仓）成为企业处理和分析海量数据的核心工具。市场上主流数仓技术栈丰富，如Hive、ClickHouse、Druid、Greenplum等，对于初学者而言，选择合适的技术栈是一项挑战。本文将详细解析Hive、ClickHouse及其他数仓技术，帮助读者根据场景需求选择最佳工具。目录一、数据仓库的基础概念和技术选型原则1.1什么是数据
    
                    
    • 
                    
  • 做商城系统，是选择SaaS还是源码？
                        hunzi_1
运维
                        
    做商城系统时，选择SaaS还是源码各有优劣，需要综合考虑多个因素，以下是详细的对比分析：成本方面SaaS：前期投入成本低，通常以订阅模式付费，一般每月几百元到数千元不等，具体取决于功能和使用规模。无需承担服务器运维、软件升级等额外成本，适合预算有限、不想投入过多资金进行技术建设的中小企业。源码：一次性购买源码费用可能较高，从数万元到数十万元都有可能，还需自行搭建服务器、数据库等基础设施，加上后续运
    
                    
    • 
                    
  • 远程连接排错全流程 - 实战指南
                        阿贾克斯的黎明
运维运维
                        
    目录远程连接排错全流程-实战指南一、问题出现二、排错步骤（一）检查网络连接（二）确认远程服务是否运行（三）检查防火墙设置（四）验证账号和密码三、案例分析在运维工作中，远程连接出现问题是较为常见的情况。本文将详细介绍远程连接排错的全流程，并结合实际案例和相关代码进行说明，帮助大家更好地应对此类问题。一、问题出现当尝试进行远程连接时，可能会遇到各种错误提示，如连接超时、无法连接到目标主机、身份验证失败
    
                    
    • 
                    
  • Bash 命令：系统操作的得力助手
                        阿贾克斯的黎明
运维bash开发语言
                        
    目录Bash命令：系统操作的得力助手目录操作命令文件操作命令文件查看命令在Linux系统的日常使用与运维工作中，Bash命令起着核心作用。它就像一把万能钥匙，能够开启系统各种功能的大门，让我们高效地管理和操作计算机资源。接下来，我们将详细介绍一些常用的Bash命令及其用法。目录操作命令ls（list）：用于列出目录内容。例如，在终端输入ls，会显示当前目录下的文件和子目录。如果要查看详细信息，可以
    
                    
    • 
                    
  • 【自动化革命】——Java云原生应用故障注入测试的全自动化之旅
                        墨夶
Java学习资料2自动化java云原生
                        
    在当今快速变化的技术环境中，确保应用程序的高可用性和容错能力是开发者和运维团队的核心关注点。特别是在微服务架构之上构建的Java云原生应用中，面对复杂的网络环境、动态变化的服务依赖关系以及随时可能出现的各种意外情况，传统的手动测试方法已经难以满足需求。为了验证这些系统在遭遇突发状况时依然能够保持稳定运行，故障注入测试（FaultInjectionTesting,FIT）应运而生，并逐渐成为一种不可
    
                    
    • 
                    
  • “云计算+中职”：VR虚拟仿真实训室的发展前景
                        武汉唯众智创
云计算vr云计算实训室云计算实验室
                        
    在技术革新的浪潮中，中等职业教育（中职）正面临着转型升级的机遇。云计算与虚拟现实（VR）技术的结合，为中职教育提供了全新的教学模式和实训平台。一、云计算与VR虚拟仿真实训室的融合云计算技术以其高可靠性、可扩展性和灵活性，为VR虚拟仿真实训室提供了强大的技术支撑。通过云计算，学校可以构建高效、稳定的VR实训平台，实现资源的集中管理和动态分配。这不仅可以降低学校的运维成本，还能提高实训室的利用率和实训
    
                    
    • 
                    
  • 麒麟操作系统服务架构保姆级教程（十一）https配置
                        小屁不止是运维
系统架构架构https网络协议linux运维LNMP服务器
                        
    如果你想拥有你从未拥有过的东西，那么你必须去做你从未做过的事情在运维工作中，加密和安全的作用是十分重要的，如果仅仅用http协议来对外展示我们的网站，过一段时间就会发现网站首页被人奇奇怪怪的篡改了，本来好好的博客论坛，被人篡改的五毒俱全，这个时候我们的网站就需要加密访问了，这个加密不是说要密码才可以查看网站，而是通过https协议进行加密访问，客户端进行访问的时候会进行加密和解密，防止我们的web
    
                    
    • 
                    
  • Python学习路线
                        Python_JC
python
                        
    Python是一门易学易用的编程语言，广泛应用于数据处理、Web开发、人工智能、自动化运维、游戏开发等领域。本篇文章将介绍Python的学习路线以及一些值得参考的书籍。Python学习路线Python的学习路线主要包括以下几个方面：掌握Python基础知识：了解变量、数据类型、表达式、流程控制、函数、模块等基础概念。学习Python面向对象编程：学习类、对象、继承、多态等面向对象编程的概念和技术。
    
                    
    • 
                    
  • 大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
                        武子康
大数据离线数仓大数据数据仓库java后端hadoophive
                        
    点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！目前开始更新MyBatis，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）ClickHouse（已
    
                    
    • 
                    
  • 产品解读 | 构建数智融合时代下的一站式大数据平台
                        

                        
    随着智能化技术的飞速发展，尤其是以生成式AI为代表的技术快速应用，推动了数据与智能的深化融合，给数据基础设施带来了新的变革和挑战。如何简化日益复杂的系统架构，提高数据处理效率，降低开发运维成本，促进数据开放共享和创新应用，成为企业关注的核心问题。一站式大数据平台，旨在通过一个平台即可满足各类业务需求，成为数智融合时代下数据基础设施的发展趋势，并从四个维度向四个“一体化”方向演进：数据架构-湖仓集一
    
                    
    • 
                    
  • TDengine 查询如何做到高效过滤
                        TDengine （老段）
算法数据库tdengine大数据时序数据库物联网
                        
    目的：带大家了解查询条件过滤是如何实现及编写高效过滤条件阅读对象:开发人员、构架师、运维人员等一、应用背景大家知道，TDengine的查询语句where条件中可以对普通列及标签列进行各种组合过滤查询，那这些过滤是如何高效实现的呢？今天带大家一起来了解一下。二、整体流程图我们先熟悉下查询过滤的整体流程，整体流程图对实现过程进行了概括及抽象，这样有助于大家能快速理解整个实现过程小结：先对TAG过滤，过
    
                    
    • 
                    
  • IoT安全软件：Forescout二次开发_Forescout部署与运维
                        chenlz2007
物联网物联网运维网络php安全java
                        
    Forescout部署与运维1.Forescout架构概述Forescout是一个高度灵活且可扩展的IoT安全平台，旨在帮助组织保护其网络免受各种威胁。Forescout的架构由多个组件组成，包括核心服务器、传感器、代理和客户端。这些组件协同工作，实现对网络中IoT设备的全面监控和管理。1.1核心服务器核心服务器是Forescout平台的中心枢纽，负责管理和协调所有其他组件。它提供了一个集中式的管
    
                    
    • 
                    
  • 运维笔记43 使用saltstack配置完整线上服务(haproxy+keepalived,nginx+php+memcache,mysql主从)
                        No_red
运维学习mysql数据库web服务phpsaltstack
                        
    概述:之前我们所介绍过了很多实用的服务，有负载均衡类的，web服务类的，数据库类的等等，这些服务有的配置容易，有的配置困难，那我们现在设想一下在生成环境中，有上百台，甚至上千台服务器的情况下，难道要我们去挨个去配置每一台服务器吗，这是无法想象的，所以有了saltstack这类自动化运维工具的出现，帮助我们高效快速的部署服务。线上服务拓扑这次的拓扑基本上已经可以胜任一个相当活跃的服务的后端架构了，但
    
                    
    • 
                    
  • centos、docker、python等开发运维常用处理命令
                        LensonYuan
项目发布自然语言处理linux自然语言处理ssh服务器dockerlinux
                        
    centos、docker、python等开发运维常用处理命令dockerdockerimages：显示所有docker镜像,dockerbuild之后查询用。dockerps-a：显示所有容器，包括已退出的容器。-a会显示名称和已退出容器。dockerexec-it容器名称/bin/bash：切换到docker已up容器d的bash环境。dockerexec491efab002f9/bin/ba
    
                    
    • 
                    
  • 在Linux系统中无网络安装Nginx并配置负载均衡
                        LensonYuan
项目发布linux网络nginx
                        
    在Linux系统中无网络安装Nginx并配置负载均衡在现代的Web开发和运维中，Nginx作为一个高性能的HTTP和反向代理服务器，被广泛应用于负载均衡、静态资源服务、SSL终端等场景。然而，在某些特殊环境下，服务器可能无法访问互联网，这就需要在无网络的情况下手动安装和配置Nginx。本文将详细介绍如何在Linux系统中无网络安装Nginx，并通过Nginx实现负载均衡。1.环境准备在开始安装之前
    
                    
    • 
                    
  • spark读取、写入Clickhouse以及遇到的问题
                        Alex_81D
大数据基础大数据从入门到精通clickhousespark
                        
    最近需要处理Clickhouse里面的数据，经过上网查找总结一下spark读写Clickhouse的工具类已经遇到的问题点。具体Clickhouse的讲解本篇不做讲解，后面专门讲解这个。一、clickhouse代码操作话不多说直接看代码1.引入依赖：ru.yandex.clickhouseclickhouse-jdbc0.2.40.2.4这个版本用的比较多一点2.spark对象创建valspark
    
                    
    • 
                    
  • 运维自动化系统各模块介绍
                        快乐非自愿
运维自动化
                        
    接触运维自动化系统开发好多年，也陆陆续续开发上线了不少的系统及功能模块，但至今还没有写过一个比较全面的文章，来系统的介绍下整个运维自动化平台都包含了哪些系统及功能模块，最近正好在梳理文档，那这篇文章就来介绍下一个较为完善的运维自动化系统都包含了哪些功能模块。曾经开发过的系统很多，有些已经下线了，有些扔在使用，为了便于介绍，就以当前的系统版本为基础，仅介绍当前这个版本都具有的功能模块以下是系统应用切
    
                    
    • 
                    
  • SpringBoot多数据源架构实现
                        柚几哥哥
Spring全家桶及相关框架springboot架构后端数据库架构clickhouse
                        
    文章目录1.环境准备2.创建SpringBoot项目3.添加依赖4.配置多数据源5.配置MyBatis-Plus6.使用多数据源7.创建Mapper接口8.实体类定义9.测试多数据源10.注意事项10.1事务导致多数据源失效问题解决方案：10.2ClickHouse的事务支持10.3数据源切换的性能开销10.4数据源配置的优先级11.总结使用SpringBoot3.x+MyBatis-Plus+M
    
                    
    • 
                    
  • Kubernetes 监控实践：基于 Prometheus-Operator 的完整解决方案
                        
云计算
                        
    Kubernetes（K8s）的动态性和分布式特性为应用部署带来了极大的便利，同时也使监控变得复杂而繁琐。幸运的是，Prometheus-Operator提供了一种高效的方式，通过抽象Kubernetes的原生资源（CRD）来配置和管理整个监控栈，极大地简化了监控的部署和运维。本文将从实际操作出发，介绍如何通过Prometheus-Operator快速搭建Kubernetes的监控体系，包括如何配
    
                    
    • 
                                
  • web前段跨域nginx代理配置
                                    刘正强
nginxcmsWeb
                                    
    nginx代理配置可参考server部分 
 
server { 
        listen       80; 
        server_name  localhost; 
 

    
                                
    • 
                                
  • spring学习笔记
                                    caoyong
spring
                                    
    一、概述 
    a>、核心技术 : IOC与AOP 
 b>、开发为什么需要面向接口而不是实现 
     接口降低一个组件与整个系统的藕合程度，当该组件不满足系统需求时，可以很容易的将该组件从系统中替换掉，而不会对整个系统产生大的影响 
 c>、面向接口编口编程的难点在于如何对接口进行初始化,(使用工厂设计模式) 
    
                                
    • 
                                
  • Eclipse打开workspace提示工作空间不可用
                                    0624chenhong
eclipse
                                    
    做项目的时候，难免会用到整个团队的代码，或者上一任同事创建的workspace， 
1.电脑切换账号后，Eclipse打开时，会提示Eclipse对应的目录锁定，无法访问，根据提示，找到对应目录，G:\eclipse\configuration\org.eclipse.osgi\.manager，其中文件.fileTableLock提示被锁定。 
解决办法，删掉.fileTableLock文件，重
    
                                
    • 
                                
  • Javascript 面向对面写法的必要性？
                                    一炮送你回车库
JavaScript
                                    
    现在Javascript面向对象的方式来写页面很流行，什么纯javascript的mvc框架都出来了：ember 
这是javascript层的mvc框架哦,不是j2ee的mvc框架 
  
我想说的是，javascript本来就不是一门面向对象的语言，用它写出来的面向对象的程序，本身就有些别扭，很多人提到js的面向对象首先提的是：复用性。那么我请问你写的js里有多少是可以复用的，用fu
    
                                
    • 
                                
  • js array对象的迭代方法
                                    换个号韩国红果果
array
                                    
    1.forEach 该方法接受一个函数作为参数， 对数组中的每个元素 
使用该函数  return 语句失效 
 

function square(num) {
print(num, num * num);
}
var nums = [1,2,3,4,5,6,7,8,9,10];
nums.forEach(square);
 
2.every 该方法接受一个返回值为布尔类型
    
                                
    • 
                                
  • 对Hibernate缓存机制的理解
                                    归来朝歌
session一级缓存对象持久化
                                    
    在hibernate中session一级缓存机制中，有这么一种情况： 
问题描述：我需要new一个对象，对它的几个字段赋值，但是有一些属性并没有进行赋值，然后调用 
session.save()方法，在提交事务后，会出现这样的情况： 
1：在数据库中有默认属性的字段的值为空 
2：既然是持久化对象，为什么在最后对象拿不到默认属性的值？ 
通过调试后解决方案如下： 
对于问题一，如你在数据库里设置了
    
                                
    • 
                                
  • WebService调用错误合集
                                    darkranger
webservice
                                    
     Java.Lang.NoClassDefFoundError: Org/Apache/Commons/Discovery/Tools/DiscoverSingleton   
调用接口出错， 
一个简单的WebService 
import org.apache.axis.client.Call;import org.apache.axis.client.Service; 
首先必不可
    
                                
    • 
                                
  • JSP和Servlet的中文乱码处理
                                    aijuans
Java Web
                                    
    JSP和Servlet的中文乱码处理 
前几天学习了JSP和Servlet中有关中文乱码的一些问题，写成了博客，今天进行更新一下。应该是可以解决日常的乱码问题了。现在作以下总结希望对需要的人有所帮助。我也是刚学，所以有不足之处希望谅解。 
一、表单提交时出现乱码： 
在进行表单提交的时候，经常提交一些中文，自然就避免不了出现中文乱码的情况，对于表单来说有两种提交方式：get和post提交方式。所以
    
                                
    • 
                                
  • 面试经典六问
                                    atongyeye
工作面试
                                    
    题记：因为我不善沟通，所以在面试中经常碰壁，看了网上太多面试宝典，基本上不太靠谱。只好自己总结，并试着根据最近工作情况完成个人答案。以备不时之需。 
 
以下是人事了解应聘者情况的最典型的六个问题： 
 
 
1 简单自我介绍  
 
关于这个问题，主要为了弄清两件事，一是了解应聘者的背景，二是应聘者将这些背景信息组织成合适语言的能力。 
 
我的回答：(针对技术面试回答，如果是人事面试，可以就掌
    
                                
    • 
                                
  • contentResolver.query()参数详解
                                    百合不是茶
androidquery()详解
                                    
    收藏csdn的博客,介绍的比较详细,新手值得一看 1.获取联系人姓名 
一个简单的例子，这个函数获取设备上所有的联系人ID和联系人NAME。    
[java]  
view plain 
copy       
 
 public void fetchAllContacts() {   
    
    
                                
    • 
                                
  • ora-00054:resource busy and acquire with nowait specified解决方法
                                    bijian1013
oracle数据库killnowait
                                    
            当某个数据库用户在数据库中插入、更新、删除一个表的数据，或者增加一个表的主键时或者表的索引时，常常会出现ora-00054:resource busy and acquire with nowait specified这样的错误。主要是因为有事务正在执行（或者事务已经被锁），所有导致执行不成功。 
1.下面的语句
    
                                
    • 
                                
  • web 开发乱码
                                    征客丶
springWeb
                                    
    以下前端都是 utf-8 字符集编码 
 
一、后台接收 
1.1、 get 请求乱码 
get 请求中，请求参数在请求头中； 
乱码解决方法： 
a、通过在web 服务器中配置编码格式：tomcat 中，在 Connector 中添加URIEncoding="UTF-8"； 
 
1.2、post 请求乱码 
post 请求中，请求参数分两部份， 
1.2.1、url？参数，
    
                                
    • 
                                
  • 【Spark十六】： Spark SQL第二部分数据源和注册表的几种方式
                                    bit1129
spark
                                    
    Spark SQL数据源和表的Schema 
 
  case class  
  apply schema  
  parquet  
  json  
 JSON数据源 准备源数据 
{"name":"Jack", "age": 12, "addr":{"city":"beijing&
    
                                
    • 
                                
  • JVM学习之:调优总结 -Xms -Xmx -Xmn -Xss
                                    BlueSkator
-Xss-Xmn-Xms-Xmx
                                    
      
堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置： 
 
 java -Xmx355
    
                                
    • 
                                
  • jqGrid 各种参数 详解(转帖)
                                    BreakingBad
jqGrid
                                    
      
jqGrid 各种参数 详解   分类： 
源代码分享 
个人随笔请勿参考 
解决开发问题 2012-05-09 20:29   84282人阅读   
评论(22)   
收藏   
举报   
jquery 
服务器 
parameters 
function 
ajax 
string      
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-代理模式-Proxy
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 



import java.lang.reflect.InvocationHandler;
import java.lang.reflect.Method;
import java.lang.reflect.Proxy;

/*
 * 下面
    
                                
    • 
                                
  • 应用升级iOS8中遇到的一些问题
                                    chenhbc
ios8升级iOS8
                                    
    1、很奇怪的问题，登录界面，有一个判断，如果不存在某个值，则跳转到设置界面，ios8之前的系统都可以正常跳转，iOS8中代码已经执行到下一个界面了，但界面并没有跳转过去，而且这个值如果设置过的话，也是可以正常跳转过去的，这个问题纠结了两天多，之前的判断我是在 
-(void)viewWillAppear:(BOOL)animated 
 中写的，最终的解决办法是把判断写在 
-(void
    
                                
    • 
                                
  • 工作流与自组织的关系？
                                    comsci
设计模式工作
                                    
      目前的工作流系统中的节点及其相互之间的连接是事先根据管理的实际需要而绘制好的，这种固定的模式在实际的运用中会受到很多限制，特别是节点之间的依存关系是固定的，节点的处理不考虑到流程整体的运行情况，细节和整体间的关系是脱节的，那么我们提出一个新的观点，一个流程是否可以通过节点的自组织运动来自动生成呢？这种流程有什么实际意义呢？ 
 
  这里有篇论文，摘要是：“针对网格中的服务
    
                                
    • 
                                
  • Oracle11.2新特性之INSERT提示IGNORE_ROW_ON_DUPKEY_INDEX
                                    daizj
oracle
                                    
    insert提示IGNORE_ROW_ON_DUPKEY_INDEX 
 
转自：http://space.itpub.net/18922393/viewspace-752123 
 
在 insert into tablea ...select * from tableb中，如果存在唯一约束，会导致整个insert操作失败。使用IGNORE_ROW_ON_DUPKEY_INDEX提示，会忽略唯一
    
                                
    • 
                                
  • 二叉树:堆
                                    dieslrae
二叉树
                                    
        这里说的堆其实是一个完全二叉树,每个节点都不小于自己的子节点,不要跟jvm的堆搞混了.由于是完全二叉树,可以用数组来构建.用数组构建树的规则很简单: 
    一个节点的父节点下标为: (当前下标 - 1)/2 
    一个节点的左节点下标为: 当前下标 * 2 + 1 
  &
    
                                
    • 
                                
  • C语言学习八结构体
                                    dcj3sjt126com
c
                                    
    为什么需要结构体，看代码 
# include <stdio.h>

struct Student	//定义一个学生类型，里面有age, score, sex, 然后可以定义这个类型的变量
{
	int age;
	float score;
	char sex;
}

int main(void)
{
	struct Student st = {80, 66.6,
    
                                
    • 
                                
  • centos安装golang
                                    dcj3sjt126com
centos
                                    
    #在国内镜像下载二进制包 
wget -c  http://www.golangtc.com/static/go/go1.4.1.linux-amd64.tar.gz 
tar -C /usr/local -xzf go1.4.1.linux-amd64.tar.gz 
  
#把golang的bin目录加入全局环境变量 
cat >>/etc/profile<
    
                                
    • 
                                
  • 10.性能优化-监控-MySQL慢查询
                                    frank1234
性能优化MySQL慢查询
                                    
    1.记录慢查询配置 
show variables where variable_name like 'slow%' ; --查看默认日志路径 
查询结果：--不用的机器可能不同 
slow_query_log_file=/var/lib/mysql/centos-slow.log 
 
修改mysqld配置文件：/usr /my.cnf[一般在/etc/my.cnf，本机在/user/my.cn
    
                                
    • 
                                
  • Java父类取得子类类名
                                    happyqing
javathis父类子类类名
                                    
      
在继承关系中，不管父类还是子类，这些类里面的this都代表了最终new出来的那个类的实例对象，所以在父类中你可以用this获取到子类的信息！ 
  
package com.urthinker.module.test;

import org.junit.Test;

abstract class BaseDao<T> {
	public void 
    
                                
    • 
                                
  • Spring3.2新注解@ControllerAdvice
                                    jinnianshilongnian
@Controller
                                    
    @ControllerAdvice，是spring3.2提供的新注解，从名字上可以看出大体意思是控制器增强。让我们先看看@ControllerAdvice的实现： 
  
@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Component
public @interface Co
    
                                
    • 
                                
  • Java spring mvc多数据源配置
                                    liuxihope
spring
                                    
    转自：http://www.itpub.net/thread-1906608-1-1.html 
 
 
1、首先配置两个数据库 
 
<bean id="dataSourceA"         class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close&quo
    
                                
    • 
                                
  • 第12章 Ajax（下）
                                    onestopweb
Ajax
                                    
    index.html 
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
    
                                
    • 
                                
  • BW / Universe Mappings
                                    blueoxygen
BO
                                    
          
BW Element    
OLAP Universe Element      
Cube  Dimension    
Class      
Charateristic    
A class with dimension and detail objects (Detail objects for key and desription)      
Hi
    
                                
    • 
                                
  • Java开发熟手该当心的11个错误
                                    tomcat_oracle
java多线程工作单元测试
                                    
    #1、不在属性文件或XML文件中外化配置属性。比如，没有把批处理使用的线程数设置成可在属性文件中配置。你的批处理程序无论在DEV环境中，还是UAT（用户验收 
测试）环境中，都可以顺畅无阻地运行，但是一旦部署在PROD 上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因可能是JDBC驱动版本不同，也可能是#2中讨论的问题。如果线程数目 可以在属性文件中配置，那么使它成为
    
                                
    • 
                                
  • 推行国产操作系统的优劣
                                    yananay
windowslinux国产操作系统
                                    
    最近刮起了一股风，就是去“国外货”。从应用程序开始，到基础的系统，数据库，现在已经刮到操作系统了。原因就是“棱镜计划”，使我们终于认识到了国外货的危害，开始重视起了信息安全。操作系统是计算机的灵魂。既然是灵魂，为了信息安全，那我们就自然要使用和推行国货。可是，一味地推行，是否就一定正确呢？ 
 
先说说信息安全。其实从很早以来大家就在讨论信息安全。很多年以前，就据传某世界级的网络设备制造商生产的交
    
                                
    •