字节数据平台
字节数据平台

克服 ClickHouse 运维难题：ByteHouse 水平扩容功能上线

前言

对于分析型数据库产品，通过增加服务节点实现集群水平扩容，并提升集群性能和容量，是运维的必要手段。

但是对于熟悉 ClickHouse 的工程师而言，听到“扩容”二字一定会头疼不已。开源 ClickHouse 的 MPP 架构导致扩容成本高，已是 ClickHouse 运维的核心痛点。

主要体现在：

  • 流程全手动，无数据可靠性保证。

  • 扩容期间性能开销大，通常需要暂停服务。

基于字节跳动内广泛的使用场景，ByteHouse 企业版基于开源社区 ClickHouse 进行了诸多优化，现已正式公测“水平扩容”功能。

如果将“ClickHouse”比作一辆汽车，那么此次ByteHouse升级则实现了扩容“手动挡”变“自动挡”，同时“自动档"过程中还能省油加速，使得扩容整体操作更顺滑流畅。

开源社区的实现方案

在 开源社区文档 中，社区工程师通常推荐使用“数据重分布”思路来解决扩容问题，但存在以下问题：

  • 新增节点后，手动提升新节点的导入权重，或暂时停止旧节点的数据导入，直至数据均衡。这种配置要求 Distributed 表的分片键（Sharding-key）设置为 random，对于设定了指定的 sharding-key 的表，无法采用这种模式。此外，如果存量数据很大，通过该方式实现均衡非常缓慢，可能花费数天乃至数个月才能追平。

  • 手动在节点之间移动分区，使节点间均衡。该方式需要大表均已设置比较合理的分区键（Partition Key），并且分片键也只能为 Random，并且需要手动计算分区的移动目标节点。

  • 使用 ClickHouse Copier或 Insert Into Select 方式，将现存表全部重新插入实现均衡。该方式开销非常高，将占用大量的 CPU / 存储 IO / 网络 IO 资源。

此外，不管是哪种方式，都需要用户手动在新节点复制元数据、校验数据，拼装各环节流程，因此被称为“手动挡”。

ByteHouse 的优化方案

在字节跳动内部，业务的快速增长带来集群规划性能不足、亟需扩容的问题。ByteHouse 对内主要支撑数据看板、用户行为分析性等业务模块，因此对服务持续在线、性能迅速提升要求高，并且用户表的表结构也异常丰富。因此，社区提供的方案均不能满足字节内部业务诉求。

基于以上背景，ByteHouse 自研集群扩容能力，解决自动化流程的问题，也为用户提供了性能开销更低的扩容方式。

具体我们通过数据库引擎优化和操作界面优化两方面来实现。

数据库引擎优化

ByteHouse 的数据库引擎自研 Alter Table...Resharding命令，将一张表以分区的粒度进行重分布到另一张表。该命令支持两种方式：

  • 重分布到其他集群的另一张表

  • 重分布到本集群的另一张表

命令格式如下：

 
  
alter table .
 resharding partition  with  to shard [shard_list]
通过该命令，可以实现提交从源表扩容到目标表的任务，该任务将实现 Split - Fetch，在原表拆分 Part，目标表拉取 Part，实现扩容。
克服 ClickHouse 运维难题：ByteHouse 水平扩容功能上线_第1张图片
 
具体操作步骤如下：
     
   
  1.  
    对于要扩容的表 table，新建目标表，如 table1_new；
     
    2.  
   
  2.  
    提交 Alter Table table1 Resharding Partition  with  to table [table1_new_list]；提交的任务会被存储到 ZooKeeper 上，后台线程负责调度执行；
     
    3.  
   
  3.  
    所有提交的任务逐个开始执行。每个任务首先执行 Part 拆分，将一个 Part 根据 Sharding-key 拆分为 N 份（N 为扩容后的分片数）；
     
    4.  
   
  4.  
    Part 拆分结束后，将 Part 信息发布到对应的分片上，对应不同分片上的目标表 table1_new 会进入 FETCHING 状态，开始拉取 Part；
     
    5.  
   
  5.  
    等待这些 Part 被拉取完成，然后开始执行下一个任务，直至一张表的所有 Part 都被重分布完成
     
    6.  
  
在一张表完成后，可以进行校验数据，删除旧表（table1），重命名新表（table1_new -> table1）。实现了一张表的扩容。
扩容全程可以通过系统表 system.reshard_partition追踪进度，取得状态。
这种扩容方式相比社区推荐的方式，有以下优势：
     
   
  1.  
    扩容的适应性好，对于是否设置分片键、分区键，均无硬性要求，都可以进行扩容。
     
    2.  
   
  2.  
    性能损耗小。整个重分布过程为一个旁路计算任务，开销远低于insert into select 全局数据重新插入的方式。
     
    3.  
   
  3.  
    执行过程中，数据保持可查询，下游数据看板、数据分析等服务不用暂停。目前在扩容过程中，ByteHouse暂时不支持写入。但就原理而言，扩容进度90%前都可写入，只需要最后阶段一次性 Resharding 在扩容任务执行过程中新写入的 Part 即可。因此，ByteHouse未来功能也有继续提升的空间。
     
    4.  
  
操作界面优化
ByteHouse 数据库实现了 SQL 的底层能力进行数据重分布，实现了开销更低、适应性更强的重分布能力，但对于普通用户而言仍有使用门槛。
因此 ByteHouse 在控制台也支持水平扩容功能，组装底层能力，实现产品化。
通过 ByteHouse 控制台，可通过以下步骤完成集群的水平扩容：
   1.在集群列表/详情页选择“更改配置”，选择“水平更配”。克服 ClickHouse 运维难题：ByteHouse 水平扩容功能上线_第2张图片
 
2.用户选择集群更配后节点数，支持增加节点（水平扩容），也支持减少节点（水平缩容）；
3.可在扩容前勾选“完成后自动重分布”，也可不勾选，在扩容后再手动重分布；如果勾选“自动重分布”，则需要选择需要在扩容后立即重分布的表。
4.界面会给出预估扩容时间。用户可以根据实际情况，对下游业务发出扩容公告
5.提交扩容任务，集群进入“运维任务中”状态。后台执行两阶段任务：
a.阶段1，新增节点。实际在进行新节点的初始化，并在新节点上新建元数据；
b.阶段2，集群节点完成增加后，则开始重分布，可以查看每张表的重分布进度。
6.上述步骤完成，集群恢复“运行中”状态。
通过界面化操作，ByteHouse 给用户的扩容流程带来了全新的便利：
     
   
  •  
    全流程自动化，不再需要自行编写脚本。
     
    •  
   
  •  
    也开放一小部分手动空间。例如，在扩容前可选立即重分布的表，对于剩余的表，可在扩容后再选择时间重分布任务，适应一些希望在业务低峰时扩容大表，进一步降低大表只读带来的影响。
     
    •  
   
  •  
    包含容错处理，自动校验数据，流程便利可靠。
     
    •  
  
总结
ByteHouse 团队通过自研“水平扩容”能力，实现了数据库底层与界面支持数据重分布。相比于开源社区的方式，ByteHouse 的数据重分布有以下优势：
     
   
  •  
    低 CPU / IO 开销，数据重分布期间可读；
     
    •  
   
  •  
    全程自动化，界面化；
     
    •  
   
  •  
    不依赖其他外置工具，在 ByteHouse 产品内闭环；
     
    •  
  
目前，水平扩容功能现已在 ByteHouse 企业版公测上线，同时支持私有化部署与火山引擎版本，欢迎体验。
点击跳转  【云原生数据仓库ByteHouse】 了解更多

                    
                

        
你可能感兴趣的:(clickhouse,运维)

        

            

                
    
                    
  • Linux骨灰级玩家修炼秘籍！从零基础到精通，收藏这篇就够了！
                        程序员肉肉
linux运维服务器网络学习oracle数据库
                        
    Linux骨灰级玩家修炼秘籍！99.99%的人已跪！Linux运维？想玩转它？那可得经历九九八十一难！咱得把这事儿分成四个阶段：新手村、进阶副本、高手进阶、以及最终的封神之路！之前爆肝半年，搞了篇云计算学习路线，新手直接起飞，从小白到大神！第一阶段：新手村新手村里，你得先把Linux这游戏的基本操作摸透。别急，一步一个脚印，咱得有个路线图。新手上路：Linux的前世今生、基本指令（比如cp、ls、
    
                    
    • 
                    
  • 服务器运维---服务器假死
                        johnrui
Java
                        
    在线上环境中，经常会出现服务卡顿，造成数据无法更新、获取的现象。对于这种现象现，个人一自身的工作经历总结如下：一、定时任务时间间隔短，造成服务卡顿，线程池爆满，线程锁无法释放，进而服务崩溃：设定的时间间隔内，程序未执行完成，又开始进行下一轮的程序执行，这样的幂等性执行最终造成线程池爆满，服务崩溃；解决办法：根据业务量计算程序执行一次耗时，科学合理设定时间间隔；二、定时任务，程序中存在HTTP请求，
    
                    
    • 
                    
  • 2020年全国职业院校技能大赛改革试点赛高职组“云计算”竞赛赛卷
                        春生黎至1005
云计算全国职业技能竞赛样题云计算
                        
    2020年全国职业院校技能大赛改革试点赛高职组“云计算”竞赛赛卷第一场次题目：OpenStack平台部署与运维某企业拟使用OpenStack搭建一个企业云平台，以实现资源池化弹性管理、企业应用集中管理、统一安全认证和授权等管理。系统架构如图1所示，IP地址规划如表1所示。图1系统架构图表1IP地址规划设备名称主机名接口IP地址说明云服务器1Controllereth0192.168.x.10/24
    
                    
    • 
                    
  • 202年充电计划——自学手册 网络安全（黑客技术）
                        网安康sir
web安全安全网络php开发语言
                        
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习
    
                    
    • 
                    
  • prometheus使用alertmanager实现报警功能
                        平凡似水的人生
监控系列运维linux监控类
                        
    前言在运维工作中，最重要的事情就是监控，监控中最重要的就是报警功能，这样可以使我们收到告警之后及时处理，以免事态发展到无可挽回的地步，下面就给大家分享一下prometheus中的告警如何实现吧。一、安装altermanager1、解压安装包tarzxfalertmanager-0.21.0.linux-amd64.tar.gz-C/data/#查看是否安装成功cd/data/alertmanage
    
                    
    • 
                    
  • 一键掌控海量文件！Shell的find命令终极指南 + 高阶组合技
                        芯有所享
java前端android经验分享
                        
    你是否经历过这些崩溃瞬间？想清理3个月前的日志却无从下手要在10万张图片里找出某个版本突然发现服务器被临时文件塞爆…今天介绍的Linux三剑客之find命令，就是你的超级救星！不仅能精准定位文件，结合其他命令更能玩出自动化运维的花样！一、Find基础三连击（新手必看）按图索骥-名称搜索查找当前目录所有.txt文件（精准匹配）find.-name“*.txt”忽略大小写找配置文件（模糊匹配）find
    
                    
    • 
                    
  • 【运维的七种武器】
                        搞技术的季
运维
                        
    最近项目陆续增加，相应的运维方面压力逐步攀升，经常出现打包和发布失败的情况，给交付团队带来困扰。运维技术是随着软件技术的发展同步发展起来的，当前复杂的软件技术架构对运维的稳定和高效带了了很大挑战。一、运维平台发展史：1.第一阶段，以专业化网管工具为代表，包括网络设备、主机、数据库、中间件、存储等进行专业监控管理的各种专业化工具。2.第二阶段，以ITIL流程化管理为代表的综合网管，通过事件、服务、流
    
                    
    • 
                    
  • clickhouse创建数据库以及表
                        鸭梨山大哎
clickhouse
                        
    创建数据库语法CREATEDATABASE[IFNOTEXISTS]db_name[ONCLUSTERcluster][ENGINE=engine(...)]例子CREATEDATABASEIFNOTEXISTSchtest;--使用默认库引擎创建库默认情况下，ClickHouse使用的是原生的数据库引擎Ordinary(在此数据库下可以使用任意类型的表引擎，在绝大多数情况下都只需使用默认的数据库
    
                    
    • 
                    
  • helm安装kubernetes-dashboard(2，Linux运维开发技巧
                        2401_83974783
2024年程序员学习kuberneteslinux运维开发
                        
    当前k8s集群版本1.23.61.1添加repo[root@masterhelm]#helmrepoaddkubernetes-dashboardhttps://kubernetes.github.io/dashboard/[root@masterhelm]#helmsearchrepokubernetes-dashboard/kubernetes-dashboardNAMECHARTVERSIO
    
                    
    • 
                    
  • 嵌入式硬件篇---WIFI模块
                        Ronin-Lotus
程序代码篇嵌入式硬件篇嵌入式硬件cWIFI
                        
    文章目录前言一、核心工作原理1.物理层（PHY）工作频段2.4GHz5GHz调制技术直接序列扩频正交频分复用高效数据编码2.协议栈架构MAC层Beacon帧4次握手3.核心工作模式二、典型应用场景1.智能家居系统远程控制环境监测视频监测2.工业物联网设备远程运维生产线监控仓储管理3.医疗设备远程诊疗医疗影像药品管理4.消费电子智能音箱游戏设备打印设备三、ESP32开发示例1.环境配置（Platfo
    
                    
    • 
                    
  • 自学网络安全（黑客技术）2025年 —三个月学习计划
                        csbDD
web安全学习安全网络python
                        
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习
    
                    
    • 
                    
  • 自学网络安全（黑客技术）2025年 —90天学习计划
                        网安CILLE
web安全学习安全网络linux
                        
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习
    
                    
    • 
                    
  • 自学网络安全（黑客技术）2025年 —90天学习计划
                        网安CILLE
web安全学习安全网络网络安全
                        
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习
    
                    
    • 
                    
  • 2024下半年——【寒假】自学黑客计划（网络安全）
                        网安CILLE
web安全网络安全linux网络安全密码学ddos
                        
    CSDN大礼包：基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客
    
                    
    • 
                    
  • 2024自学手册——网络安全（黑客技术）
                        网安CILLE
web安全安全网络
                        
    前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习导航三大章节，涉及价值观、方法论、执行力、行业分类、职位解读、法
    
                    
    • 
                    
  • 运维颠覆！一文解锁AI赋能运维实战秘籍，效率飙升！
                        ivwdcwso
运维人工智能运维机器学习智能运维自动化运维故障预测
                        
    导语在科技飞速发展的当下，运维领域正经历着深刻变革，AI的融入成为提升运维效率与质量的关键。然而，许多运维人员虽对AI满怀期待，却不知如何将其真正落地到实际工作中。本文将深入实战，带你领略AI如何在运维各环节大显身手，让你的运维工作开启智能高效新模式。一、AI在故障预测与诊断中的实战故障预测实战数据收集：以Linux服务器为例，利用Prometheus监控工具收集服务器的CPU使用率、内存使用率、
    
                    
    • 
                    
  • go clickhouse query
                        leijmdas
golangclickhouse开发语言
                        
    在Go中使用clickhouse-go查询ClickHouse数据库非常简单。以下是一个完整的示例，展示如何连接ClickHouse并执行查询操作。1.安装依赖首先，安装clickhouse-go：bash复制goget-ugithub.com/ClickHouse/clickhouse-go/v22.示例代码以下是一个完整的示例，展示如何连接ClickHouse并执行查询操作。go复制packa
    
                    
    • 
                    
  • 云原生边缘计算：分布式智能的时代黎明
                        桂月二二
云原生边缘计算分布式
                        
    引言：从集中式算力到万物智联的范式裂变AT&T边缘节点部署超5000个，特斯拉自动驾驶系统每节点200TOPS算力。国家电网通过边缘计算实现毫秒级电网故障隔离，菜鸟物流分拣效率提升400%。IDC预测2027年边缘基础设施支出将达亿，宝马汽车工厂设备预测性维护准确率达9亿运维成本。一、边缘计算范式进化论1.1算力拓扑结构演变世代大型主机中心化云计算分布式雾计算去中心化边缘计算泛在化神经形态计算体计
    
                    
    • 
                    
  • 从 DeepSeek 到 AI 工具箱：Websoft9 应用托管平台赋能高校教学与科研
                        
人工智能deepseek
                        
    从DeepSeek到AI工具箱：Websoft9应用托管平台赋能高校教学与科研人工智能技术的快速发展正在重塑高校的教学与科研生态。从智能教学辅助到跨学科研究，AI工具的应用场景不断扩展，而技术落地的复杂性也带来新的挑战。在这一背景下，如何将大模型能力与多样化AI工具无缝整合，构建安全、易用的科研教学环境，成为高校数字化转型的关键命题。一、高校智能化转型的三大痛点技术门槛高•AI工具部署依赖专业运维
    
                    
    • 
                    
  • Websoft9 开源多应用平台：培养学生数字化能力的实战工具
                        
开源实践
                        
    引言数字化教育转型的核心在于将技术工具与教学场景深度融合，但传统模式常因环境配置复杂、工具链割裂等问题阻碍实践教学效率。Websoft9开源多应用平台以标准化部署、多工具集成、轻量化运维为核心能力，为教育场景提供了一种技术门槛更低、协作效率更高的解决方案。本文基于实际教学需求与技术验证，探讨如何通过该平台构建数字化能力培养体系。一、技术特性与教育场景的适配性开源生态覆盖全技术栈，缩短教学准备周期平
    
                    
    • 
                    
  • nginx性能优化有哪些方式？
                        企鹅侠客
linux面试nginx性能优化php
                        
    0.运维干货分享软考高级系统架构设计师备考学习资料软考高级网络规划设计师备考学习资料KubernetesCKA认证学习资料分享信息安全管理体系（ISMS）制度模板分享免费文档翻译工具(支持word、pdf、ppt、excel)PuTTY中文版安装包MobaXterm中文版安装包pinginfoview网络诊断工具中文版Nginx是一个高性能的HTTP服务器和反向代理服务器，但在高并发场景下，仍然有
    
                    
    • 
                    
  • 202年充电计划——自学手册 网络安全（黑客技术）
                        网安康sir
web安全安全网络pythonlinux
                        
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习
    
                    
    • 
                    
  • 自学网络安全（黑客技术）2025年 —90天学习计划
                        网安CILLE
web安全学习安全网络网络安全
                        
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习
    
                    
    • 
                    
  • Kafka集群部署实战
                        Gold Steps.
技术博文分享kafka分布式
                        
    服务背景ApacheKafka作为分布式流处理平台，在金融交易系统、物联网数据处理、实时日志分析等场景中发挥关键作用。某电商平台日均处理订单消息1.2亿条，峰值QPS达5万，采用Kafka集群实现订单状态流转、用户行为追踪和库存同步等功能。以下是经过生产验证的集群部署方案及典型故障处理经验。集群运维最佳实践1.容量规划建议指标推荐值监控阈值分区数量/Broker≤4000≥3500告警副本同步延迟
    
                    
    • 
                    
  • 数据中台（二）数据中台相关技术栈
                        Yuan_CSDF
#数据中台
                        
    1.平台搭建1.1.Amabari+HDP1.2.CM+CDH2.相关的技术栈数据存储：HDFS，HBase，Kudu等数据计算：MapReduce,Spark,Flink交互式查询：Impala,Presto在线实时分析：ClickHouse，Kylin，Doris，Druid，Kudu等资源调度：YARN，Mesos，Kubernetes任务调度：Oozie，Azakaban，AirFlow，
    
                    
    • 
                    
  • 【mysql】mysql之主从部署以及介绍
                        向往风的男子
DBAmysql数据库
                        
    本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
    
                    
    • 
                    
  • 大模型应用编排工具Dify二开之登录Token改造
                        Daphnis_z
Python开发LLMchatgptpythondockerweb
                        
    1.前言dify工作室支持在画布上直接编辑业务流程，通过调用开源大模型可以实现特定场景的业务，而且可以迅速更新发布。因此，某些项目要求在产品里面能够直接编辑dify业务流程，使得现场开发人员能够迅速响应客户需求。另外，方便对dify进行运维，比如更新开源大模型认证信息。环境信息：dify-0.8.3,docker-212.实现思路分析常规的思路有两种：把dify源码迁移到产品中代码改造量大、难度高
    
                    
    • 
                    
  • 《Linux运维总结：基于银河麒麟V10+ARM64架构部署多机elasticsearch7.17.21分布式集群+单机kibana7.17.21二进制版ssl集群》
                        东城绝神
《Linux运维实战总结》运维linuxelasticsearchssl
                        
    总结：整理不易，如果对你有帮助，可否点赞关注一下？更多详细内容请参考：Linux运维实战总结一、背景elasticsearch是一个分布式、实时、高性能的搜索和分析引擎，它广泛应用于企业级搜索、日志分析、实时数据处理等领域。随着elasticsearch的广泛应用，安全性变得越来越重要。这里将从安全策略和访问控制两方面来部署elasticsearch集群安全策略涉及到数据安全、访问安全和操作安全等
    
                    
    • 
                    
  • 信息系统运行管理员教程4--信息系统软件运维
                        LRX_198927
信息系统运行管理运维数据库
                        
    第四章信息系统软件运维信息系统软件是信息系统运行的核心，其运维的目的是保证信息系统软件能正常而可靠地运行，并能使系统不断得到改善和提高，以充分发挥作用。第1节信息系统软件运维概述1.信息系统软件运维的概念信息系统软件运维是指信息系统软件在开发完后投入使用后，对信息系统软件进行的改正性维护、适应性维护、完善性维护、预防性维护等软件工程活动。2.信息系统软件的可维护性及维护类型软件可维护性的度量可以从
    
                    
    • 
                    
  • 基于 KubeSphere v4 的 Kubernetes 生产环境部署架构设计及成本分析
                        KubeSphere 云原生
kubernetes容器云原生
                        
    本文作者：运维有术。今天分享的主题是：如何规划设计一个高可用、可扩展的中小规模生产级K8s集群？通过本文的指导，您将掌握以下设计生产级K8s集群的必备技能：集群规划能力合理规划节点规模和资源配置设计高可用的控制平面、计算平面、存储平面架构规划网络拓扑和安全策略制定存储解决方案组件选型能力选择适合的容器运行时(ContainerRuntime)评估和选择网络插件(CNIPlugin)规划监控、日志等
    
                    
    • 
                                
  • web前段跨域nginx代理配置
                                    刘正强
nginxcmsWeb
                                    
    nginx代理配置可参考server部分 
 
server { 
        listen       80; 
        server_name  localhost; 
 

    
                                
    • 
                                
  • spring学习笔记
                                    caoyong
spring
                                    
    一、概述 
    a>、核心技术 : IOC与AOP 
 b>、开发为什么需要面向接口而不是实现 
     接口降低一个组件与整个系统的藕合程度，当该组件不满足系统需求时，可以很容易的将该组件从系统中替换掉，而不会对整个系统产生大的影响 
 c>、面向接口编口编程的难点在于如何对接口进行初始化,(使用工厂设计模式) 
    
                                
    • 
                                
  • Eclipse打开workspace提示工作空间不可用
                                    0624chenhong
eclipse
                                    
    做项目的时候，难免会用到整个团队的代码，或者上一任同事创建的workspace， 
1.电脑切换账号后，Eclipse打开时，会提示Eclipse对应的目录锁定，无法访问，根据提示，找到对应目录，G:\eclipse\configuration\org.eclipse.osgi\.manager，其中文件.fileTableLock提示被锁定。 
解决办法，删掉.fileTableLock文件，重
    
                                
    • 
                                
  • Javascript 面向对面写法的必要性？
                                    一炮送你回车库
JavaScript
                                    
    现在Javascript面向对象的方式来写页面很流行，什么纯javascript的mvc框架都出来了：ember 
这是javascript层的mvc框架哦,不是j2ee的mvc框架 
  
我想说的是，javascript本来就不是一门面向对象的语言，用它写出来的面向对象的程序，本身就有些别扭，很多人提到js的面向对象首先提的是：复用性。那么我请问你写的js里有多少是可以复用的，用fu
    
                                
    • 
                                
  • js array对象的迭代方法
                                    换个号韩国红果果
array
                                    
    1.forEach 该方法接受一个函数作为参数， 对数组中的每个元素 
使用该函数  return 语句失效 
 

function square(num) {
print(num, num * num);
}
var nums = [1,2,3,4,5,6,7,8,9,10];
nums.forEach(square);
 
2.every 该方法接受一个返回值为布尔类型
    
                                
    • 
                                
  • 对Hibernate缓存机制的理解
                                    归来朝歌
session一级缓存对象持久化
                                    
    在hibernate中session一级缓存机制中，有这么一种情况： 
问题描述：我需要new一个对象，对它的几个字段赋值，但是有一些属性并没有进行赋值，然后调用 
session.save()方法，在提交事务后，会出现这样的情况： 
1：在数据库中有默认属性的字段的值为空 
2：既然是持久化对象，为什么在最后对象拿不到默认属性的值？ 
通过调试后解决方案如下： 
对于问题一，如你在数据库里设置了
    
                                
    • 
                                
  • WebService调用错误合集
                                    darkranger
webservice
                                    
     Java.Lang.NoClassDefFoundError: Org/Apache/Commons/Discovery/Tools/DiscoverSingleton   
调用接口出错， 
一个简单的WebService 
import org.apache.axis.client.Call;import org.apache.axis.client.Service; 
首先必不可
    
                                
    • 
                                
  • JSP和Servlet的中文乱码处理
                                    aijuans
Java Web
                                    
    JSP和Servlet的中文乱码处理 
前几天学习了JSP和Servlet中有关中文乱码的一些问题，写成了博客，今天进行更新一下。应该是可以解决日常的乱码问题了。现在作以下总结希望对需要的人有所帮助。我也是刚学，所以有不足之处希望谅解。 
一、表单提交时出现乱码： 
在进行表单提交的时候，经常提交一些中文，自然就避免不了出现中文乱码的情况，对于表单来说有两种提交方式：get和post提交方式。所以
    
                                
    • 
                                
  • 面试经典六问
                                    atongyeye
工作面试
                                    
    题记：因为我不善沟通，所以在面试中经常碰壁，看了网上太多面试宝典，基本上不太靠谱。只好自己总结，并试着根据最近工作情况完成个人答案。以备不时之需。 
 
以下是人事了解应聘者情况的最典型的六个问题： 
 
 
1 简单自我介绍  
 
关于这个问题，主要为了弄清两件事，一是了解应聘者的背景，二是应聘者将这些背景信息组织成合适语言的能力。 
 
我的回答：(针对技术面试回答，如果是人事面试，可以就掌
    
                                
    • 
                                
  • contentResolver.query()参数详解
                                    百合不是茶
androidquery()详解
                                    
    收藏csdn的博客,介绍的比较详细,新手值得一看 1.获取联系人姓名 
一个简单的例子，这个函数获取设备上所有的联系人ID和联系人NAME。    
[java]  
view plain 
copy       
 
 public void fetchAllContacts() {   
    
    
                                
    • 
                                
  • ora-00054:resource busy and acquire with nowait specified解决方法
                                    bijian1013
oracle数据库killnowait
                                    
            当某个数据库用户在数据库中插入、更新、删除一个表的数据，或者增加一个表的主键时或者表的索引时，常常会出现ora-00054:resource busy and acquire with nowait specified这样的错误。主要是因为有事务正在执行（或者事务已经被锁），所有导致执行不成功。 
1.下面的语句
    
                                
    • 
                                
  • web 开发乱码
                                    征客丶
springWeb
                                    
    以下前端都是 utf-8 字符集编码 
 
一、后台接收 
1.1、 get 请求乱码 
get 请求中，请求参数在请求头中； 
乱码解决方法： 
a、通过在web 服务器中配置编码格式：tomcat 中，在 Connector 中添加URIEncoding="UTF-8"； 
 
1.2、post 请求乱码 
post 请求中，请求参数分两部份， 
1.2.1、url？参数，
    
                                
    • 
                                
  • 【Spark十六】： Spark SQL第二部分数据源和注册表的几种方式
                                    bit1129
spark
                                    
    Spark SQL数据源和表的Schema 
 
  case class  
  apply schema  
  parquet  
  json  
 JSON数据源 准备源数据 
{"name":"Jack", "age": 12, "addr":{"city":"beijing&
    
                                
    • 
                                
  • JVM学习之:调优总结 -Xms -Xmx -Xmn -Xss
                                    BlueSkator
-Xss-Xmn-Xms-Xmx
                                    
      
堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置： 
 
 java -Xmx355
    
                                
    • 
                                
  • jqGrid 各种参数 详解(转帖)
                                    BreakingBad
jqGrid
                                    
      
jqGrid 各种参数 详解   分类： 
源代码分享 
个人随笔请勿参考 
解决开发问题 2012-05-09 20:29   84282人阅读   
评论(22)   
收藏   
举报   
jquery 
服务器 
parameters 
function 
ajax 
string      
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-代理模式-Proxy
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 



import java.lang.reflect.InvocationHandler;
import java.lang.reflect.Method;
import java.lang.reflect.Proxy;

/*
 * 下面
    
                                
    • 
                                
  • 应用升级iOS8中遇到的一些问题
                                    chenhbc
ios8升级iOS8
                                    
    1、很奇怪的问题，登录界面，有一个判断，如果不存在某个值，则跳转到设置界面，ios8之前的系统都可以正常跳转，iOS8中代码已经执行到下一个界面了，但界面并没有跳转过去，而且这个值如果设置过的话，也是可以正常跳转过去的，这个问题纠结了两天多，之前的判断我是在 
-(void)viewWillAppear:(BOOL)animated 
 中写的，最终的解决办法是把判断写在 
-(void
    
                                
    • 
                                
  • 工作流与自组织的关系？
                                    comsci
设计模式工作
                                    
      目前的工作流系统中的节点及其相互之间的连接是事先根据管理的实际需要而绘制好的，这种固定的模式在实际的运用中会受到很多限制，特别是节点之间的依存关系是固定的，节点的处理不考虑到流程整体的运行情况，细节和整体间的关系是脱节的，那么我们提出一个新的观点，一个流程是否可以通过节点的自组织运动来自动生成呢？这种流程有什么实际意义呢？ 
 
  这里有篇论文，摘要是：“针对网格中的服务
    
                                
    • 
                                
  • Oracle11.2新特性之INSERT提示IGNORE_ROW_ON_DUPKEY_INDEX
                                    daizj
oracle
                                    
    insert提示IGNORE_ROW_ON_DUPKEY_INDEX 
 
转自：http://space.itpub.net/18922393/viewspace-752123 
 
在 insert into tablea ...select * from tableb中，如果存在唯一约束，会导致整个insert操作失败。使用IGNORE_ROW_ON_DUPKEY_INDEX提示，会忽略唯一
    
                                
    • 
                                
  • 二叉树:堆
                                    dieslrae
二叉树
                                    
        这里说的堆其实是一个完全二叉树,每个节点都不小于自己的子节点,不要跟jvm的堆搞混了.由于是完全二叉树,可以用数组来构建.用数组构建树的规则很简单: 
    一个节点的父节点下标为: (当前下标 - 1)/2 
    一个节点的左节点下标为: 当前下标 * 2 + 1 
  &
    
                                
    • 
                                
  • C语言学习八结构体
                                    dcj3sjt126com
c
                                    
    为什么需要结构体，看代码 
# include <stdio.h>

struct Student	//定义一个学生类型，里面有age, score, sex, 然后可以定义这个类型的变量
{
	int age;
	float score;
	char sex;
}

int main(void)
{
	struct Student st = {80, 66.6,
    
                                
    • 
                                
  • centos安装golang
                                    dcj3sjt126com
centos
                                    
    #在国内镜像下载二进制包 
wget -c  http://www.golangtc.com/static/go/go1.4.1.linux-amd64.tar.gz 
tar -C /usr/local -xzf go1.4.1.linux-amd64.tar.gz 
  
#把golang的bin目录加入全局环境变量 
cat >>/etc/profile<
    
                                
    • 
                                
  • 10.性能优化-监控-MySQL慢查询
                                    frank1234
性能优化MySQL慢查询
                                    
    1.记录慢查询配置 
show variables where variable_name like 'slow%' ; --查看默认日志路径 
查询结果：--不用的机器可能不同 
slow_query_log_file=/var/lib/mysql/centos-slow.log 
 
修改mysqld配置文件：/usr /my.cnf[一般在/etc/my.cnf，本机在/user/my.cn
    
                                
    • 
                                
  • Java父类取得子类类名
                                    happyqing
javathis父类子类类名
                                    
      
在继承关系中，不管父类还是子类，这些类里面的this都代表了最终new出来的那个类的实例对象，所以在父类中你可以用this获取到子类的信息！ 
  
package com.urthinker.module.test;

import org.junit.Test;

abstract class BaseDao<T> {
	public void 
    
                                
    • 
                                
  • Spring3.2新注解@ControllerAdvice
                                    jinnianshilongnian
@Controller
                                    
    @ControllerAdvice，是spring3.2提供的新注解，从名字上可以看出大体意思是控制器增强。让我们先看看@ControllerAdvice的实现： 
  
@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Component
public @interface Co
    
                                
    • 
                                
  • Java spring mvc多数据源配置
                                    liuxihope
spring
                                    
    转自：http://www.itpub.net/thread-1906608-1-1.html 
 
 
1、首先配置两个数据库 
 
<bean id="dataSourceA"         class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close&quo
    
                                
    • 
                                
  • 第12章 Ajax（下）
                                    onestopweb
Ajax
                                    
    index.html 
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
    
                                
    • 
                                
  • BW / Universe Mappings
                                    blueoxygen
BO
                                    
          
BW Element    
OLAP Universe Element      
Cube  Dimension    
Class      
Charateristic    
A class with dimension and detail objects (Detail objects for key and desription)      
Hi
    
                                
    • 
                                
  • Java开发熟手该当心的11个错误
                                    tomcat_oracle
java多线程工作单元测试
                                    
    #1、不在属性文件或XML文件中外化配置属性。比如，没有把批处理使用的线程数设置成可在属性文件中配置。你的批处理程序无论在DEV环境中，还是UAT（用户验收 
测试）环境中，都可以顺畅无阻地运行，但是一旦部署在PROD 上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因可能是JDBC驱动版本不同，也可能是#2中讨论的问题。如果线程数目 可以在属性文件中配置，那么使它成为
    
                                
    • 
                                
  • 推行国产操作系统的优劣
                                    yananay
windowslinux国产操作系统
                                    
    最近刮起了一股风，就是去“国外货”。从应用程序开始，到基础的系统，数据库，现在已经刮到操作系统了。原因就是“棱镜计划”，使我们终于认识到了国外货的危害，开始重视起了信息安全。操作系统是计算机的灵魂。既然是灵魂，为了信息安全，那我们就自然要使用和推行国货。可是，一味地推行，是否就一定正确呢？ 
 
先说说信息安全。其实从很早以来大家就在讨论信息安全。很多年以前，就据传某世界级的网络设备制造商生产的交
    
                                
    •