字节数据平台
字节数据平台

克服 ClickHouse 运维难题：ByteHouse 水平扩容功能上线

前言

对于分析型数据库产品，通过增加服务节点实现集群水平扩容，并提升集群性能和容量，是运维的必要手段。

但是对于熟悉 ClickHouse 的工程师而言，听到“扩容”二字一定会头疼不已。开源 ClickHouse 的 MPP 架构导致扩容成本高，已是 ClickHouse 运维的核心痛点。

主要体现在：

  • 流程全手动，无数据可靠性保证。

  • 扩容期间性能开销大，通常需要暂停服务。

基于字节跳动内广泛的使用场景，ByteHouse 企业版基于开源社区 ClickHouse 进行了诸多优化，现已正式公测“水平扩容”功能。

如果将“ClickHouse”比作一辆汽车，那么此次ByteHouse升级则实现了扩容“手动挡”变“自动挡”，同时“自动档"过程中还能省油加速，使得扩容整体操作更顺滑流畅。

开源社区的实现方案

在 开源社区文档 中，社区工程师通常推荐使用“数据重分布”思路来解决扩容问题，但存在以下问题：

  • 新增节点后，手动提升新节点的导入权重，或暂时停止旧节点的数据导入，直至数据均衡。这种配置要求 Distributed 表的分片键（Sharding-key）设置为 random，对于设定了指定的 sharding-key 的表，无法采用这种模式。此外，如果存量数据很大，通过该方式实现均衡非常缓慢，可能花费数天乃至数个月才能追平。

  • 手动在节点之间移动分区，使节点间均衡。该方式需要大表均已设置比较合理的分区键（Partition Key），并且分片键也只能为 Random，并且需要手动计算分区的移动目标节点。

  • 使用 ClickHouse Copier或 Insert Into Select 方式，将现存表全部重新插入实现均衡。该方式开销非常高，将占用大量的 CPU / 存储 IO / 网络 IO 资源。

此外，不管是哪种方式，都需要用户手动在新节点复制元数据、校验数据，拼装各环节流程，因此被称为“手动挡”。

ByteHouse 的优化方案

在字节跳动内部，业务的快速增长带来集群规划性能不足、亟需扩容的问题。ByteHouse 对内主要支撑数据看板、用户行为分析性等业务模块，因此对服务持续在线、性能迅速提升要求高，并且用户表的表结构也异常丰富。因此，社区提供的方案均不能满足字节内部业务诉求。

基于以上背景，ByteHouse 自研集群扩容能力，解决自动化流程的问题，也为用户提供了性能开销更低的扩容方式。

具体我们通过数据库引擎优化和操作界面优化两方面来实现。

数据库引擎优化

ByteHouse 的数据库引擎自研 Alter Table...Resharding命令，将一张表以分区的粒度进行重分布到另一张表。该命令支持两种方式：

  • 重分布到其他集群的另一张表

  • 重分布到本集群的另一张表

命令格式如下：

 
  
alter table .
 resharding partition  with  to shard [shard_list]
通过该命令，可以实现提交从源表扩容到目标表的任务，该任务将实现 Split - Fetch，在原表拆分 Part，目标表拉取 Part，实现扩容。
克服 ClickHouse 运维难题：ByteHouse 水平扩容功能上线_第1张图片
 
具体操作步骤如下：
     
   
  1.  
    对于要扩容的表 table，新建目标表，如 table1_new；
     
    2.  
   
  2.  
    提交 Alter Table table1 Resharding Partition  with  to table [table1_new_list]；提交的任务会被存储到 ZooKeeper 上，后台线程负责调度执行；
     
    3.  
   
  3.  
    所有提交的任务逐个开始执行。每个任务首先执行 Part 拆分，将一个 Part 根据 Sharding-key 拆分为 N 份（N 为扩容后的分片数）；
     
    4.  
   
  4.  
    Part 拆分结束后，将 Part 信息发布到对应的分片上，对应不同分片上的目标表 table1_new 会进入 FETCHING 状态，开始拉取 Part；
     
    5.  
   
  5.  
    等待这些 Part 被拉取完成，然后开始执行下一个任务，直至一张表的所有 Part 都被重分布完成
     
    6.  
  
在一张表完成后，可以进行校验数据，删除旧表（table1），重命名新表（table1_new -> table1）。实现了一张表的扩容。
扩容全程可以通过系统表 system.reshard_partition追踪进度，取得状态。
这种扩容方式相比社区推荐的方式，有以下优势：
     
   
  1.  
    扩容的适应性好，对于是否设置分片键、分区键，均无硬性要求，都可以进行扩容。
     
    2.  
   
  2.  
    性能损耗小。整个重分布过程为一个旁路计算任务，开销远低于insert into select 全局数据重新插入的方式。
     
    3.  
   
  3.  
    执行过程中，数据保持可查询，下游数据看板、数据分析等服务不用暂停。目前在扩容过程中，ByteHouse暂时不支持写入。但就原理而言，扩容进度90%前都可写入，只需要最后阶段一次性 Resharding 在扩容任务执行过程中新写入的 Part 即可。因此，ByteHouse未来功能也有继续提升的空间。
     
    4.  
  
操作界面优化
ByteHouse 数据库实现了 SQL 的底层能力进行数据重分布，实现了开销更低、适应性更强的重分布能力，但对于普通用户而言仍有使用门槛。
因此 ByteHouse 在控制台也支持水平扩容功能，组装底层能力，实现产品化。
通过 ByteHouse 控制台，可通过以下步骤完成集群的水平扩容：
   1.在集群列表/详情页选择“更改配置”，选择“水平更配”。克服 ClickHouse 运维难题：ByteHouse 水平扩容功能上线_第2张图片
 
2.用户选择集群更配后节点数，支持增加节点（水平扩容），也支持减少节点（水平缩容）；
3.可在扩容前勾选“完成后自动重分布”，也可不勾选，在扩容后再手动重分布；如果勾选“自动重分布”，则需要选择需要在扩容后立即重分布的表。
4.界面会给出预估扩容时间。用户可以根据实际情况，对下游业务发出扩容公告
5.提交扩容任务，集群进入“运维任务中”状态。后台执行两阶段任务：
a.阶段1，新增节点。实际在进行新节点的初始化，并在新节点上新建元数据；
b.阶段2，集群节点完成增加后，则开始重分布，可以查看每张表的重分布进度。
6.上述步骤完成，集群恢复“运行中”状态。
通过界面化操作，ByteHouse 给用户的扩容流程带来了全新的便利：
     
   
  •  
    全流程自动化，不再需要自行编写脚本。
     
    •  
   
  •  
    也开放一小部分手动空间。例如，在扩容前可选立即重分布的表，对于剩余的表，可在扩容后再选择时间重分布任务，适应一些希望在业务低峰时扩容大表，进一步降低大表只读带来的影响。
     
    •  
   
  •  
    包含容错处理，自动校验数据，流程便利可靠。
     
    •  
  
总结
ByteHouse 团队通过自研“水平扩容”能力，实现了数据库底层与界面支持数据重分布。相比于开源社区的方式，ByteHouse 的数据重分布有以下优势：
     
   
  •  
    低 CPU / IO 开销，数据重分布期间可读；
     
    •  
   
  •  
    全程自动化，界面化；
     
    •  
   
  •  
    不依赖其他外置工具，在 ByteHouse 产品内闭环；
     
    •  
  
目前，水平扩容功能现已在 ByteHouse 企业版公测上线，同时支持私有化部署与火山引擎版本，欢迎体验。
点击跳转  【云原生数据仓库ByteHouse】 了解更多

                    
                

        
你可能感兴趣的:(clickhouse,运维)

        

            

                
    
                    
  • KubeEdge 1.20.0 版本发布
                        laowangsen
数据库
                        
    KubeEdge1.20.0现已发布。新版本针对大规模、离线等边缘场景对边缘节点和应用的管理、运维等能力进行了增强，同时新增了多语言Mapper-Framework的支持。新增特性：支持批量节点操作多语言Mapper-Framework支持边缘keadmctl新增podslogs/exec/describe和Devicesget/edit/describe能力解耦边缘应用与节点组，支持使用Node
    
                    
    • 
                    
  • Amazon ec2 云服务免费一年
                        无己心

                        
    国内的小伙伴用惯了阿里云的服务，但是国外的机房是不是没有机会体验一下。现在亚马逊有一年的免费体验，可以尝试一下，服务器在国外的好处就不多说了，运维国外应用服务，代理服务这些都可以玩起来了，下面简单介绍一下如果去把Amazon的ec2云服务给耍起来注册账户注册地址如下：点击这里然后按照流程一步一步填写用户信息填写信用卡信息，信用卡账单这个应该随便填都ok的不过要都是英文字母。visa/master的
    
                    
    • 
                    
  • AI 大模型应用数据中心建设：高性能计算与存储架构
                        AI天才研究院
计算AI大模型企业级应用开发实战DeepSeekR1&大数据AI人工智能大模型javapythonjavascriptkotlingolang架构人工智能大厂程序员硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLM系统架构设计软件哲学Agent程序员实现财富自由
                        
    《AI大模型应用数据中心建设：高性能计算与存储架构》关键词：AI大模型，数据中心建设，高性能计算，存储架构，分布式系统，能耗优化，运维管理。摘要：本文深入探讨了AI大模型应用数据中心建设中的高性能计算与存储架构。首先回顾了AI大模型的发展历程和数据中心的含义，然后详细解析了高性能计算架构，包括计算节点、编程模型和网络技术。接着，讨论了存储架构，包括存储类型、分布式存储系统和数据一致性策略。本文还提
    
                    
    • 
                    
  • FastAPI开发与运维最佳实践
                        ivwdcwso
开发运维fastapi运维数据库开发python
                        
    FastAPI是一个现代、快速（高性能）的Web框架,用于构建API,基于Python3.6+标准。它不仅易于使用,而且具有出色的性能和可扩展性。本文将探讨FastAPI的开发最佳实践,以及如何有效地部署和维护FastAPI应用。1.项目结构一个良好组织的项目结构对于长期维护至关重要。以下是一个推荐的FastAPI项目结构:myproject/│├──app/│├──__init__.py│├──
    
                    
    • 
                    
  • 无线工业物联数据交互优化方案，基于巨控GRM240
                        何工13763355074
巨控GRM240巨控GRM230GRM241Q-4D4I4Q
                        
    无线工业物联数据交互优化方案1.方案背景与技术优势广州巨控科技深耕工业物联领域十余年，依托4G+边缘计算技术打造新一代无线传输体系。针对化工行业防爆、长距离传输及信号干扰等痛点，本方案采用多重隔离架构与动态加密协议，确保数据在复杂工业环境下的完整性与安全性。相比传统有线方案，部署效率提升80%，运维成本降低76%。2.客户场景与核心需求目标场景：A/B/C/D四区部署485流量计（10台）及液位计
    
                    
    • 
                    
  • 运维脚本——2.备份与恢复
                        F——
运维运维学习大数据服务器人工智能
                        
    备份与恢复是IT运维中的核心任务，确保数据安全和业务连续性。必要性数据保护：防止因硬件故障、软件错误、人为操作失误或恶意攻击导致的数据丢失。业务连续性：在发生灾难性事件（如火灾、洪水）时，能够快速恢复业务操作，减少停机时间。合规要求：许多行业和法规要求定期备份数据，并确保备份的可恢复性，以满足合规性要求。版本控制：备份可以用于保存数据的多个版本，便于在需要时恢复到特定时间点的状态。减少损失：通过定
    
                    
    • 
                    
  • 运维脚本——3.自动化部署
                        F——
运维运维物联网人工智能学习web安全自动化边缘计算
                        
    自动化部署是现代IT运维和开发中的关键实践，能够显著提升效率、减少错误并加速交付流程。必要性提高效率：自动化部署能够快速、一致地完成部署任务，减少手动操作的时间和精力。减少人为错误：自动化流程减少了人为干预，降低了因手动操作导致的错误风险。加速交付：通过自动化部署，可以更快地将新功能和修复推送到生产环境，缩短交付周期。增强一致性：自动化部署确保每次部署的环境和配置一致，避免了“在我机器上能运行”的
    
                    
    • 
                    
  • APO全量日志对接logstash和fluent日志采集生态
                        
日志
                        
    APO日志介绍采集流程图APO使用ilogtail作为日志采集组件并改造支持额外功能，在vector中进行日志结构化处理。APO日志功能日志指标统计日志数并生成日志数指标。出现错误日志时，计算日志错误指标故障现场日志应用程序出现慢或者错误trace时，将这段时间内的日志收集并写入clickhouse中。使用k8s信息或pid信息关联故障链路和故障现场日志全量日志1.APO日志界面中提供了为不同应用
    
                    
    • 
                    
  • APO v0.7.0 更新：日志功能完整版发布！
                        
日志后端
                        
    在v0.6.0版本中，APO发布了基于ClickHouse开箱即用的高效日志方案，为用户提供了采集、处理和检索全量日志的基础功能。新版本在此基础上进一步强化了日志处理和检索的能力，提升了用户体验。支持为不同日志设置不同的解析规则，提取出关键信息并加速检索日志中往往存在许多关键信息，将这些关键信息提取出来能够针对性的检索数据，通过分析此类关键信息能够发现平时难以注意到的洞察。通常不同的应用在输出日志
    
                    
    • 
                    
  • oracle pls-00302 ora-06550,案例:Oracle报错PLS-00302 DBA在exp导出数据报错PLS-00302:component‘SET_NO_OUTLINES mus...
                        weixin_39860919
oraclepls-00302ora-06550
                        
    天萃荷净运维DBA在使用逻辑导出EXP导出数据时报错PLS-00302:component‘SET_NO_OUTLINES’mustbedeclared，分析原因为客户端版本问题导致今天接到测试报告，他的客户端不能导出数据库1.逻辑导出exp时报错Exportstartedon2012-1-1615:30:05D:\oracle\product\10.2.0\client_3\BIN\exp.ex
    
                    
    • 
                    
  • 义父们，支持我兄弟参加CSDN博客之星2024！他是一名优秀的运维工程师！
                        qq_42856429
运维java开发语言
                        
    标题：支持我兄弟参加CSDN博客之星2024！他是一名优秀的运维工程师！大家好，今天想为大家推荐一位非常优秀的技术博主——XMYX-0。他是一名专注于运维领域的开发者，尤其擅长Kubernetes（K8s）和Python自动化运维。他正在参加CSDN博客之星2024活动，希望大家能够为他投上宝贵的一票！为什么支持他？Kubernetes（K8s）领域的深度实践者在K8s领域有着丰富的实战经验。他的
    
                    
    • 
                    
  • 数据驱动业务增长，E-MapReduce 真实案例解析
                        Anna_Tong
mapreduce大数据云计算数据分析阿里云实时计算数据驱动
                        
    在大数据时代，数据已经成为企业核心竞争力的关键因素之一。无论是电商、金融、物流还是制造业，企业都在探索如何更高效地处理、分析和利用海量数据，以实现精准决策、优化运营并提升业务增长。然而，面对PB级甚至EB级的数据规模，传统的本地大数据计算架构往往难以满足性能和成本的要求。如何在保证计算效率的同时降低运维成本，成为企业数据战略中的关键挑战。阿里云E-MapReduce（EMR）作为一款云原生的大数据
    
                    
    • 
                    
  • Linux常见的性能优化策略
                        这多冒昧啊
linux服务器运维
                        
    目录1.CPU性能优化：调整进程优先级2.内存优化：禁用透明大页3.磁盘I/O优化：切换I/O调度器4.网络优化：TCP缓冲区调优5.文件句柄优化：高并发API服务器策略总结：1.CPU性能优化：调整进程优先级场景描述：某跨境电商平台在“黑色星期五”大促期间，订单处理系统（Java服务）出现响应延迟。运维团队通过pidstat-u1发现名为log_aggregator的Python日志收集进程（P
    
                    
    • 
                    
  • 重启服务器：临时救火还是长久之策？深度探讨缓存溢出与网络超时的解决方案
                        月落星还在
运维服务器缓存网络
                        
    在运维和开发工作中，重启服务器似乎成了一种“万能药”：缓存溢出？重启！网络请求超时？重启！服务不可用？还是重启！然而，重启真的能解决问题吗？它背后的原理是什么？又有哪些局限性？更重要的是，我们是否有更好的替代方案？本文将深入探讨这些问题，并结合实际场景，提供具体的解决方案。一、重启服务器的“魔力”从何而来？1.缓存溢出与重启缓存溢出通常是由于内存泄漏、缓存淘汰策略失效或瞬时流量激增导致的。重启服务
    
                    
    • 
                    
  • Linux使用chrony让局域网内的服务器时间同步_chrony同步间隔，走进Linux运维架构
                        2401_87298546
服务器运维linux
                        
    在所有节点上执行chrony服务安装命令，将主节点设置时间服务器，其他的节点都从主节点同步时间。#安装服务yum-yinstallchrony#查看状态systemctlstatuschronyd#重启chronydsystemctlrestartchronyd二、检查设置时区在所有节点上设置统一的时间区域，本文中将其设置为亚洲时区，用户可自行定义。#查看时区[root@x~]#timedatec
    
                    
    • 
                    
  • 2025年——【寒假】自学黑客计划（网络安全）
                        网安CILLE
web安全网络安全网络安全linux
                        
    CSDN大礼包：基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客
    
                    
    • 
                    
  • 为什么DevOps很好，但却很难落地
                        
devops
                        
    DevOps的优势在于加速交付、提升协作效率、增强系统稳定性，但落地难的核心原因集中在文化冲突、技术复杂性、流程脱节三大层面。以文化冲突为例，传统开发与运维团队的“部门墙”是最大阻碍。开发团队追求快速迭代，而运维团队强调稳定可控，两者的目标天然对立。根据2023年《全球DevOps现状报告》，78%的企业承认“跨部门协作不足”是转型失败的主因。正如GeneKim在《DevOps实践指南》中所说：“
    
                    
    • 
                    
  • 基于 LLM 的智能运维 Agent 系统设计与实现
                        LLM教程
人工智能embeddingLLMpython大模型Agent智能体
                        
    摘要本文详细介绍了一个基于大语言模型(LLM)的智能运维Agent系统的设计与实现。该系统采用多Agent协同的架构，通过事件驱动的方式实现了自动化运维流程。系统集成了先进的AI能力，能够实现故障自动诊断、预测性维护、知识沉淀等核心功能。一、运维Agent架构设计在设计智能运维Agent系统时，我们采用了模块化和事件驱动的架构思想，将复杂的运维场景分解为多个独立的能力域，并通过消息总线实现各组件的
    
                    
    • 
                    
  • Linux 磁盘扩容：常见问题及解决方案详解（附操作步骤与代码）
                        梦想编码家
linux5G运维
                        
    前言在Linux运维过程中，磁盘空间不足是常见的运维问题之一，特别是在服务器长时间运行后，磁盘的分区可能无法满足新的业务需求。因此，合理地扩容磁盘显得尤为重要。本文将针对Linux系统中的磁盘扩容问题，提供一套完整的、详细的操作步骤，并附带相关代码，帮助您轻松应对这一运维难题。常见问题描述1.磁盘空间不足导致服务中断系统运行一段时间后，磁盘空间被消耗殆尽，导致无法再写入数据，从而影响服务的正常运行
    
                    
    • 
                    
  • 网络安全（黑客）——自学2024
                        白帽子黑客-宝哥
web安全安全嵌入式硬件网络单片机
                        
    一、什么是网络安全网络安全是一种综合性的概念，涵盖了保护计算机系统、网络基础设施和数据免受未经授权的访问、攻击、损害或盗窃的一系列措施和技术。经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。二、网络安全怎么入门安全并非孤立存在，而是建立在其计算机基础之上的应用技术。
    
                    
    • 
                    
  • mysql数据误删恢复_MySQL数据库误删除后如何恢复？
                        啟潍
mysql数据误删恢复
                        
    原标题：MySQL数据库误删除后如何恢复？在日常运维工作中，对于数据库的备份是至关重要的！数据库对于网站的重要性使得我们对MySQL数据库的管理不容有失！然而是人总难免会犯错误，说不定哪天大脑短路了，误操作把数据库给删除了，怎么办？下面，就MySQL数据库误删除后的恢复方案进行说明。一、工作场景(1)MySQL数据库每晚12:00自动完全备份。(2)某天早上上班，9点的时候，一同事犯晕drop了一
    
                    
    • 
                    
  • 网络安全（黑客）——自学2025
                        网安大师兄
web安全安全网络网络安全linux
                        
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习
    
                    
    • 
                    
  • “告别服务器：5步在AWS S3部署静态网站，费用低至每月4刀？
                        AWS官方合作商
aws云计算云存储静态网站java
                        
    在数字化转型的浪潮中，静态网站凭借其速度快、安全性高、维护成本低的优势，成为企业官网、博客、产品展示页的首选。然而，传统的服务器托管方案不仅需要高昂的运维成本，还可能面临流量突增导致的宕机风险。AWSS3（SimpleStorageService）作为全球领先的云存储服务，提供了一种革命性的静态网站托管方案，将成本、性能和易用性完美结合。本文带你深入解析AWSS3托管的优势与成本，助你轻松上云一、
    
                    
    • 
                    
  • 自学网络安全（黑客技术）2024年 —100天学习计划
                        帝王挥剑指天下
C++web安全学习网络
                        
    基于入门网络安全/黑客打造的：前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习导航三大章节，涉及价值观、方法论、
    
                    
    • 
                    
  • 自学网络安全（黑客技术）2024年 —100天学习计划
                        白帽黑客cst
学习网络安全web安全linux
                        
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习
    
                    
    • 
                    
  • 从文化到实践：DevOps的基本概念与核心实践详解
                        Echo_Wish
运维探秘让你快速入坑运维devops运维linux
                        
    一、引言：什么是DevOps？在当前快速发展的IT世界中，开发与运维之间的协作显得越来越重要。传统软件开发和运维模式的“隔离”导致了沟通不畅和效率低下，而DevOps应运而生，旨在通过文化和工具的结合，将开发（Development）与运维（Operations）之间的隔阂打破。DevOps不仅是一套技术和工具，更是一种文化、一种思维方式，能够帮助组织更高效、持续地交付高质量的软件。二、DevOp
    
                    
    • 
                    
  • 钢铁行业设备智能运维实战：基于DuodooBMS+SKF的减速机全生命周期管理方案
                        邹工转型手札
风吟九宵企业信息化Duodoo开源运维数据库人工智能制造开源
                        
    （导语：在钢铁行业"设备即产能"的竞争格局下，某大型钢铁集团通过DuodooBMS+SKFObseverPhoenixAPI系统实现核心设备预测性维护，热轧产线非计划停机减少42%，设备综合效率OEE提升17%）一、钢铁企业设备管理之痛某年产800万吨的钢铁联合企业热轧车间，12台关键减速机连续发生异常磨损事故：2023年Q1因1#摆剪减速机轴承失效导致非计划停机23小时，直接损失超200万元传统
    
                    
    • 
                    
  • 如何通过5G和边缘计算提升工业远程运维效能？
                        钡铼技术物联网关
linuxarm开发自动化大数据人工智能python
                        
    在当今快速发展的工业4.0时代，企业对于设备的高效维护和管理提出了更高的要求。边缘计算工控机结合5G网络技术，为工业远程运维提供了一个全新的软硬件协同解决方案。本文将探讨这一方案的具体实施方式及其带来的变革，并通过实例展示其应用效果。工业远程运维面临的挑战传统工业现场往往分布广泛，设备种类繁多且环境复杂，这给设备的监控、维护和故障排除带来了巨大挑战。以往的远程运维手段受限于网络带宽和延迟问题，难以
    
                    
    • 
                    
  • 《一文讲透》第4期：KWDB 数据库运维（2） —— 集群参数
                        KWDB 数据库
数据库开源sql分布式
                        
    作为一款“多模融合”的开源数据库，KWDB旨在为用户提供“灵活快速、可靠易用“的操作体验。因此，KWDB的一大任务就是：简化数据库集群配置。为避免每个节点单独编写配置文件或者重启中断服务，KWDB跳出传统的配置文件方式，采用了启动参数和集群参数组合的方式来控制数据库集群。本文就带领大家一起快速了解KWDB的集群参数。01概述根据参数使用场景和生效范围，KWDB的参数分为三类：启动参数、环境变量和实
    
                    
    • 
                    
  • mysql数据库恢复操作_MySQL 数据库误删后的数据该如何恢复操作？
                        高效率攻略
mysql数据库恢复操作
                        
    原标题：MySQL数据库误删后的数据该如何恢复操作？纯手工打造每一篇开源资讯与技术干货，数十万程序员和Linuxer已经关注。在日常运维工作中，对于数据库的备份是至关重要的！数据库对于网站的重要性使得我们对MySQL数据库的管理不容有失！然而是人总难免会犯错误，说不定哪天大脑短路了，误操作把数据库给删除了，怎么办？下面，就MySQL数据库误删除后的恢复方案进行说明。一、工作场景(1)MySQL数据
    
                    
    • 
                                
  • web前段跨域nginx代理配置
                                    刘正强
nginxcmsWeb
                                    
    nginx代理配置可参考server部分 
 
server { 
        listen       80; 
        server_name  localhost; 
 

    
                                
    • 
                                
  • spring学习笔记
                                    caoyong
spring
                                    
    一、概述 
    a>、核心技术 : IOC与AOP 
 b>、开发为什么需要面向接口而不是实现 
     接口降低一个组件与整个系统的藕合程度，当该组件不满足系统需求时，可以很容易的将该组件从系统中替换掉，而不会对整个系统产生大的影响 
 c>、面向接口编口编程的难点在于如何对接口进行初始化,(使用工厂设计模式) 
    
                                
    • 
                                
  • Eclipse打开workspace提示工作空间不可用
                                    0624chenhong
eclipse
                                    
    做项目的时候，难免会用到整个团队的代码，或者上一任同事创建的workspace， 
1.电脑切换账号后，Eclipse打开时，会提示Eclipse对应的目录锁定，无法访问，根据提示，找到对应目录，G:\eclipse\configuration\org.eclipse.osgi\.manager，其中文件.fileTableLock提示被锁定。 
解决办法，删掉.fileTableLock文件，重
    
                                
    • 
                                
  • Javascript 面向对面写法的必要性？
                                    一炮送你回车库
JavaScript
                                    
    现在Javascript面向对象的方式来写页面很流行，什么纯javascript的mvc框架都出来了：ember 
这是javascript层的mvc框架哦,不是j2ee的mvc框架 
  
我想说的是，javascript本来就不是一门面向对象的语言，用它写出来的面向对象的程序，本身就有些别扭，很多人提到js的面向对象首先提的是：复用性。那么我请问你写的js里有多少是可以复用的，用fu
    
                                
    • 
                                
  • js array对象的迭代方法
                                    换个号韩国红果果
array
                                    
    1.forEach 该方法接受一个函数作为参数， 对数组中的每个元素 
使用该函数  return 语句失效 
 

function square(num) {
print(num, num * num);
}
var nums = [1,2,3,4,5,6,7,8,9,10];
nums.forEach(square);
 
2.every 该方法接受一个返回值为布尔类型
    
                                
    • 
                                
  • 对Hibernate缓存机制的理解
                                    归来朝歌
session一级缓存对象持久化
                                    
    在hibernate中session一级缓存机制中，有这么一种情况： 
问题描述：我需要new一个对象，对它的几个字段赋值，但是有一些属性并没有进行赋值，然后调用 
session.save()方法，在提交事务后，会出现这样的情况： 
1：在数据库中有默认属性的字段的值为空 
2：既然是持久化对象，为什么在最后对象拿不到默认属性的值？ 
通过调试后解决方案如下： 
对于问题一，如你在数据库里设置了
    
                                
    • 
                                
  • WebService调用错误合集
                                    darkranger
webservice
                                    
     Java.Lang.NoClassDefFoundError: Org/Apache/Commons/Discovery/Tools/DiscoverSingleton   
调用接口出错， 
一个简单的WebService 
import org.apache.axis.client.Call;import org.apache.axis.client.Service; 
首先必不可
    
                                
    • 
                                
  • JSP和Servlet的中文乱码处理
                                    aijuans
Java Web
                                    
    JSP和Servlet的中文乱码处理 
前几天学习了JSP和Servlet中有关中文乱码的一些问题，写成了博客，今天进行更新一下。应该是可以解决日常的乱码问题了。现在作以下总结希望对需要的人有所帮助。我也是刚学，所以有不足之处希望谅解。 
一、表单提交时出现乱码： 
在进行表单提交的时候，经常提交一些中文，自然就避免不了出现中文乱码的情况，对于表单来说有两种提交方式：get和post提交方式。所以
    
                                
    • 
                                
  • 面试经典六问
                                    atongyeye
工作面试
                                    
    题记：因为我不善沟通，所以在面试中经常碰壁，看了网上太多面试宝典，基本上不太靠谱。只好自己总结，并试着根据最近工作情况完成个人答案。以备不时之需。 
 
以下是人事了解应聘者情况的最典型的六个问题： 
 
 
1 简单自我介绍  
 
关于这个问题，主要为了弄清两件事，一是了解应聘者的背景，二是应聘者将这些背景信息组织成合适语言的能力。 
 
我的回答：(针对技术面试回答，如果是人事面试，可以就掌
    
                                
    • 
                                
  • contentResolver.query()参数详解
                                    百合不是茶
androidquery()详解
                                    
    收藏csdn的博客,介绍的比较详细,新手值得一看 1.获取联系人姓名 
一个简单的例子，这个函数获取设备上所有的联系人ID和联系人NAME。    
[java]  
view plain 
copy       
 
 public void fetchAllContacts() {   
    
    
                                
    • 
                                
  • ora-00054:resource busy and acquire with nowait specified解决方法
                                    bijian1013
oracle数据库killnowait
                                    
            当某个数据库用户在数据库中插入、更新、删除一个表的数据，或者增加一个表的主键时或者表的索引时，常常会出现ora-00054:resource busy and acquire with nowait specified这样的错误。主要是因为有事务正在执行（或者事务已经被锁），所有导致执行不成功。 
1.下面的语句
    
                                
    • 
                                
  • web 开发乱码
                                    征客丶
springWeb
                                    
    以下前端都是 utf-8 字符集编码 
 
一、后台接收 
1.1、 get 请求乱码 
get 请求中，请求参数在请求头中； 
乱码解决方法： 
a、通过在web 服务器中配置编码格式：tomcat 中，在 Connector 中添加URIEncoding="UTF-8"； 
 
1.2、post 请求乱码 
post 请求中，请求参数分两部份， 
1.2.1、url？参数，
    
                                
    • 
                                
  • 【Spark十六】： Spark SQL第二部分数据源和注册表的几种方式
                                    bit1129
spark
                                    
    Spark SQL数据源和表的Schema 
 
  case class  
  apply schema  
  parquet  
  json  
 JSON数据源 准备源数据 
{"name":"Jack", "age": 12, "addr":{"city":"beijing&
    
                                
    • 
                                
  • JVM学习之:调优总结 -Xms -Xmx -Xmn -Xss
                                    BlueSkator
-Xss-Xmn-Xms-Xmx
                                    
      
堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置： 
 
 java -Xmx355
    
                                
    • 
                                
  • jqGrid 各种参数 详解(转帖)
                                    BreakingBad
jqGrid
                                    
      
jqGrid 各种参数 详解   分类： 
源代码分享 
个人随笔请勿参考 
解决开发问题 2012-05-09 20:29   84282人阅读   
评论(22)   
收藏   
举报   
jquery 
服务器 
parameters 
function 
ajax 
string      
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-代理模式-Proxy
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 



import java.lang.reflect.InvocationHandler;
import java.lang.reflect.Method;
import java.lang.reflect.Proxy;

/*
 * 下面
    
                                
    • 
                                
  • 应用升级iOS8中遇到的一些问题
                                    chenhbc
ios8升级iOS8
                                    
    1、很奇怪的问题，登录界面，有一个判断，如果不存在某个值，则跳转到设置界面，ios8之前的系统都可以正常跳转，iOS8中代码已经执行到下一个界面了，但界面并没有跳转过去，而且这个值如果设置过的话，也是可以正常跳转过去的，这个问题纠结了两天多，之前的判断我是在 
-(void)viewWillAppear:(BOOL)animated 
 中写的，最终的解决办法是把判断写在 
-(void
    
                                
    • 
                                
  • 工作流与自组织的关系？
                                    comsci
设计模式工作
                                    
      目前的工作流系统中的节点及其相互之间的连接是事先根据管理的实际需要而绘制好的，这种固定的模式在实际的运用中会受到很多限制，特别是节点之间的依存关系是固定的，节点的处理不考虑到流程整体的运行情况，细节和整体间的关系是脱节的，那么我们提出一个新的观点，一个流程是否可以通过节点的自组织运动来自动生成呢？这种流程有什么实际意义呢？ 
 
  这里有篇论文，摘要是：“针对网格中的服务
    
                                
    • 
                                
  • Oracle11.2新特性之INSERT提示IGNORE_ROW_ON_DUPKEY_INDEX
                                    daizj
oracle
                                    
    insert提示IGNORE_ROW_ON_DUPKEY_INDEX 
 
转自：http://space.itpub.net/18922393/viewspace-752123 
 
在 insert into tablea ...select * from tableb中，如果存在唯一约束，会导致整个insert操作失败。使用IGNORE_ROW_ON_DUPKEY_INDEX提示，会忽略唯一
    
                                
    • 
                                
  • 二叉树:堆
                                    dieslrae
二叉树
                                    
        这里说的堆其实是一个完全二叉树,每个节点都不小于自己的子节点,不要跟jvm的堆搞混了.由于是完全二叉树,可以用数组来构建.用数组构建树的规则很简单: 
    一个节点的父节点下标为: (当前下标 - 1)/2 
    一个节点的左节点下标为: 当前下标 * 2 + 1 
  &
    
                                
    • 
                                
  • C语言学习八结构体
                                    dcj3sjt126com
c
                                    
    为什么需要结构体，看代码 
# include <stdio.h>

struct Student	//定义一个学生类型，里面有age, score, sex, 然后可以定义这个类型的变量
{
	int age;
	float score;
	char sex;
}

int main(void)
{
	struct Student st = {80, 66.6,
    
                                
    • 
                                
  • centos安装golang
                                    dcj3sjt126com
centos
                                    
    #在国内镜像下载二进制包 
wget -c  http://www.golangtc.com/static/go/go1.4.1.linux-amd64.tar.gz 
tar -C /usr/local -xzf go1.4.1.linux-amd64.tar.gz 
  
#把golang的bin目录加入全局环境变量 
cat >>/etc/profile<
    
                                
    • 
                                
  • 10.性能优化-监控-MySQL慢查询
                                    frank1234
性能优化MySQL慢查询
                                    
    1.记录慢查询配置 
show variables where variable_name like 'slow%' ; --查看默认日志路径 
查询结果：--不用的机器可能不同 
slow_query_log_file=/var/lib/mysql/centos-slow.log 
 
修改mysqld配置文件：/usr /my.cnf[一般在/etc/my.cnf，本机在/user/my.cn
    
                                
    • 
                                
  • Java父类取得子类类名
                                    happyqing
javathis父类子类类名
                                    
      
在继承关系中，不管父类还是子类，这些类里面的this都代表了最终new出来的那个类的实例对象，所以在父类中你可以用this获取到子类的信息！ 
  
package com.urthinker.module.test;

import org.junit.Test;

abstract class BaseDao<T> {
	public void 
    
                                
    • 
                                
  • Spring3.2新注解@ControllerAdvice
                                    jinnianshilongnian
@Controller
                                    
    @ControllerAdvice，是spring3.2提供的新注解，从名字上可以看出大体意思是控制器增强。让我们先看看@ControllerAdvice的实现： 
  
@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Component
public @interface Co
    
                                
    • 
                                
  • Java spring mvc多数据源配置
                                    liuxihope
spring
                                    
    转自：http://www.itpub.net/thread-1906608-1-1.html 
 
 
1、首先配置两个数据库 
 
<bean id="dataSourceA"         class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close&quo
    
                                
    • 
                                
  • 第12章 Ajax（下）
                                    onestopweb
Ajax
                                    
    index.html 
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
    
                                
    • 
                                
  • BW / Universe Mappings
                                    blueoxygen
BO
                                    
          
BW Element    
OLAP Universe Element      
Cube  Dimension    
Class      
Charateristic    
A class with dimension and detail objects (Detail objects for key and desription)      
Hi
    
                                
    • 
                                
  • Java开发熟手该当心的11个错误
                                    tomcat_oracle
java多线程工作单元测试
                                    
    #1、不在属性文件或XML文件中外化配置属性。比如，没有把批处理使用的线程数设置成可在属性文件中配置。你的批处理程序无论在DEV环境中，还是UAT（用户验收 
测试）环境中，都可以顺畅无阻地运行，但是一旦部署在PROD 上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因可能是JDBC驱动版本不同，也可能是#2中讨论的问题。如果线程数目 可以在属性文件中配置，那么使它成为
    
                                
    • 
                                
  • 推行国产操作系统的优劣
                                    yananay
windowslinux国产操作系统
                                    
    最近刮起了一股风，就是去“国外货”。从应用程序开始，到基础的系统，数据库，现在已经刮到操作系统了。原因就是“棱镜计划”，使我们终于认识到了国外货的危害，开始重视起了信息安全。操作系统是计算机的灵魂。既然是灵魂，为了信息安全，那我们就自然要使用和推行国货。可是，一味地推行，是否就一定正确呢？ 
 
先说说信息安全。其实从很早以来大家就在讨论信息安全。很多年以前，就据传某世界级的网络设备制造商生产的交
    
                                
    •