Lucien168
Lucien168

ceph分布式存储-数据不均衡调整

1. 查看数据分布是否均衡

#查看osd使用情况
$ ceph osd df tree
ID CLASS WEIGHT    REWEIGHT SIZE   USE    AVAIL  %USE VAR  PGS TYPE NAME
-1       196.21051        -   190T   347G   190T 0.18 1.00   - root default
-3        65.40106        - 61390G   115G 61274G 0.19 1.06   -     host ceph-xxx-osd01
 0   hdd   5.45009        0      0      0      0    0    0   0         osd.0
 1   hdd   5.45009  1.00000  5580G  8640M  5572G 0.15 0.85 125         osd.1
 2   hdd   5.45009  1.00000  5580G  7797M  5573G 0.14 0.77 128         osd.2
 3   hdd   5.45009  1.00000  5580G 10811M  5570G 0.19 1.06 131         osd.3
 4   hdd   5.45009  1.00000  5580G 11150M  5570G 0.20 1.10 124         osd.4
 5   hdd   5.45009  0.95001  5580G 13175M  5568G 0.23 1.29 114         osd.5
 6   hdd   5.45009  1.00000  5580G  9769M  5571G 0.17 0.96 141         osd.6
 7   hdd   5.45009  0.90002  5580G 11773M  5569G 0.21 1.16 102         osd.7
 8   hdd   5.45009  1.00000  5580G 11805M  5569G 0.21 1.16 118         osd.8
 9   hdd   5.45009  1.00000  5580G 12964M  5568G 0.23 1.27 123         osd.9
10   hdd   5.45009  0.90002  5580G 12315M  5568G 0.22 1.21 123         osd.10
11   hdd   5.45009  1.00000  5580G  8549M  5572G 0.15 0.84 115         osd.11
-5        65.40106        - 66971G   115G 66855G 0.17 0.97   -     host ceph-xxx-osd02
12   hdd   5.45009  1.00000  5580G  8975M  5572G 0.16 0.88 115         osd.12
13   hdd   5.45009  1.00000  5580G 10832M  5570G 0.19 1.06 106         osd.13
14   hdd   5.45009  1.00000  5580G 10183M  5570G 0.18 1.00 111         osd.14
15   hdd   5.45009  1.00000  5580G  9337M  5571G 0.16 0.92  93         osd.15
16   hdd   5.45009  1.00000  5580G 11508M  5569G 0.20 1.13 111         osd.16
17   hdd   5.45009  1.00000  5580G  6237M  5574G 0.11 0.61 118         osd.17
18   hdd   5.45009  1.00000  5580G  9822M  5571G 0.17 0.97 116         osd.18
19   hdd   5.45009  0.95001  5580G 13169M  5568G 0.23 1.29 122         osd.19
20   hdd   5.45009  1.00000  5580G  7996M  5573G 0.14 0.79 132         osd.20
21   hdd   5.45009  1.00000  5580G  7671M  5573G 0.13 0.75  97         osd.21
22   hdd   5.45009  1.00000  5580G  7959M  5573G 0.14 0.78 121         osd.22
23   hdd   5.45009  0.85004  5580G 15036M  5566G 0.26 1.48 102         osd.23
-7        65.40839        - 66978G   115G 66862G 0.17 0.97   -     host ceph-xxx-osd03
24   hdd   5.45070  1.00000  5581G  8716M  5572G 0.15 0.86 128         osd.24
25   hdd   5.45070  1.00000  5581G 11036M  5570G 0.19 1.08 113         osd.25
26   hdd   5.45070  1.00000  5581G  9507M  5572G 0.17 0.93 113         osd.26
27   hdd   5.45070  0.85004  5581G 12854M  5568G 0.22 1.26 105         osd.27
28   hdd   5.45070  1.00000  5581G  9550M  5572G 0.17 0.94 102         osd.28
29   hdd   5.45070  1.00000  5581G  9189M  5572G 0.16 0.90 109         osd.29
30   hdd   5.45070  1.00000  5581G  7804M  5573G 0.14 0.77 105         osd.30
31   hdd   5.45070  1.00000  5581G 11366M  5570G 0.20 1.12 116         osd.31
32   hdd   5.45070  1.00000  5581G  9286M  5572G 0.16 0.91 110         osd.32
33   hdd   5.45070  1.00000  5581G 10233M  5571G 0.18 1.01 115         osd.33
34   hdd   5.45070  1.00000  5581G  8223M  5573G 0.14 0.81 107         osd.34
35   hdd   5.45070  1.00000  5581G 10989M  5570G 0.19 1.08 121         osd.35
                      TOTAL   190T   347G   190T 0.18
MIN/MAX VAR: 0.61/1.48  STDDEV: 0.03
  
#查看osd_num,PGS, %USE
ceph osd df tree | awk '/osd\./{print $NF" "$(NF-1)" "$(NF-3) }'
osd.1 125 0.15
osd.2 128 0.14
osd.3 131 0.19
osd.4 124 0.20
osd.5 114 0.23
osd.6 141 0.17
osd.7 102 0.21
osd.8 118 0.21
osd.9 123 0.23
osd.10 123 0.22
osd.11 115 0.15
osd.12 115 0.16
osd.13 106 0.19
osd.14 111 0.18
osd.15 93 0.16
osd.16 111 0.20
osd.17 118 0.11
osd.18 116 0.17
osd.19 122 0.23
osd.20 132 0.14
osd.21 97 0.13
osd.22 121 0.14
osd.23 102 0.26
osd.24 128 0.15
osd.25 113 0.19
osd.26 113 0.17
osd.27 105 0.22
osd.28 102 0.17
osd.29 109 0.16
osd.30 105 0.14
osd.31 116 0.20
osd.32 110 0.16
osd.33 115 0.18
osd.34 107 0.14
osd.35 121 0.19

2. reweight-by-pg 按归置组分布情况调整 OSD 的权重

$ceph osd reweight-by-pg
moved 35 / 4032 (0.868056%)                                         #35个PG发送迁移
avg 115.2                                                           #每个OSD承载的平均PG数目为115.2
stddev 10.378 -> 9.47418 (expected baseline 10.5787)             #执行本次调整后， 标准方差将由10.378变为9.47418
min osd.15 with 93 -> 92 pgs (0.807292 -> 0.798611 * mean)            #当前负载最轻的OSD为osd.15，只承载了93个PG, 执行本次调整后，将承载92个PG
max osd.6 with 141 -> 132 pgs (1.22396 -> 1.14583 * mean)         #当前负载最重的OSD为osd.6, 承载了141个PG, 执行本次调整后，讲承载132个PG
  
 
oload 120
max_change 0.05
max_change_osds 4
average_utilization 21.1365
overload_utilization 25.3638
osd.6 weight 1.0000 -> 0.9500                                        #执行本次调整后，对osd.6,osd.23,osd.7,osd.27的reweight进行调整
osd.23 weight 0.8500 -> 0.9000
osd.7 weight 0.9000 -> 0.9500
osd.27 weight 0.8500 -> 0.9000

3. reweight-by-utilization 按利用率调整 OSD 的权重

$ceph osd reweight-by-utilization
moved 35 / 4032 (0.868056%)                                         #35个PG发送迁移
avg 115.2                                                           #每个OSD承载的平均PG数目为115.2
stddev 10.378 -> 9.47418 (expected baseline 10.5787)             #执行本次调整后， 标准方差将由10.378变为9.47418
min osd.15 with 93 -> 92 pgs (0.807292 -> 0.798611 * mean)            #当前负载最轻的OSD为osd.15，只承载了93个PG, 执行本次调整后，将承载92个PG
max osd.6 with 141 -> 132 pgs (1.22396 -> 1.14583 * mean)         #当前负载最重的OSD为osd.6, 承载了141个PG, 执行本次调整后，讲承载132个PG
  
  
oload 120
max_change 0.05
max_change_osds 4
average_utilization 21.1365
overload_utilization 25.3638
osd.6 weight 1.0000 -> 0.9500                                        #执行本次调整后，对osd.6,osd.23,osd.7,osd.27的reweight进行调整
osd.23 weight 0.8500 -> 0.9000
osd.7 weight 0.9000 -> 0.9500
osd.27 weight 0.8500 -> 0.9000

4. 数据均衡后还原权重

#统计osd_num, REWEIGHT
$ceph osd df tree | awk '/osd\./{print $NF" "$4 }'
osd.1 1.00000
osd.2 1.00000
osd.3 1.00000
osd.4 1.00000
osd.5 0.90002
osd.6 0.95001
osd.7 0.90002
osd.8 1.00000
osd.9 1.00000
osd.10 0.90002
osd.11 1.00000
osd.12 1.00000
osd.13 1.00000
osd.14 1.00000
osd.15 1.00000
osd.16 1.00000
osd.17 1.00000
osd.18 1.00000
osd.19 0.95001
osd.20 1.00000
osd.21 1.00000
osd.22 1.00000
osd.23 0.85004
osd.24 1.00000
osd.25 1.00000
osd.26 1.00000
osd.27 0.85004
osd.28 1.00000
osd.29 1.00000
osd.30 1.00000
osd.31 1.00000
osd.32 1.00000
osd.33 1.00000
osd.34 1.00000
osd.35 1.00000
  
#依次设置osd权重为默认值，1.0
#ceph osd reweight {id} {weight}
#说明：osd weight的取值为0~1
  
$ ceph osd reweight 5 1.0

你可能感兴趣的:(ceph分布式存储-数据不均衡调整)

  • 微服务中的设计模式：如何使用 API 网关、服务注册与发现等模式 全栈探索者chen 微服务微服务设计模式架构开发语言APIweb安全网关
    微服务中的设计模式：如何使用API网关、服务注册与发现等模式在微服务架构中，系统被拆分为许多独立的服务，每个服务专注于一个业务功能。虽然这种架构提供了高可扩展性和灵活性，但也带来了复杂性，例如服务之间的通信、负载均衡、安全性等问题。因此，设计模式的应用显得尤为重要。本文将探讨在微服务架构中常用的设计模式，特别是API网关、服务注册与发现，并结合示例说明如何实现这些模式。一、API网关模式1.什么是
  • python数据类型 大哥喝阔落 python开发语言
    数据类型七种可变类型:列表[]字典{}集合{}不可变:数值布尔字符串元组()字符串在计算机中python属于序列结构假设字符串为"adc123"索引下标--从0开始索引下标最大值len(“adc123”)-1列表字符串元组支持索引切片:所谓的切片是指对操作的对象截取其中一部分的操作。字符串、列表、元组都支持切片操作。(只顾头不顾尾)序列名称[开始位置下标:结束位置下标:步长(步阶)]切片例子:nu
  • Transformer架构和Transformers 库和Hugging Face 大哥喝阔落 transformer架构深度学习
    Transformer架构和HuggingFace之间的关系非常紧密，HuggingFace是推动Transformer架构普及和应用的重要力量。以下是两者的关系及其具体联系：1.Transformer架构背景:Transformer是由Google在2017年提出的革命性架构，基于自注意力机制（Self-Attention），解决了传统RNN和CNN在处理长序列数据时的局限性。特点:并行计算能力
  • web自动化——前端知识 大哥喝阔落 前端自动化运维
    是HTML中的一个元素，用于在当前网页中嵌入另一个网页或文档。它就像一个“窗口”，可以在页面中显示其他内容。主要特点：嵌入外部内容：可以在网页中嵌入其他网页、视频、地图等。独立上下文：嵌入的内容与主页面相互独立，拥有自己的JavaScript和CSS环境。可定制：可以通过属性调整大小、边框等。常用属性：src：指定要嵌入内容的URL。width和height：设置iframe的宽度和高度。fram
  • fixture测试夹具是什么？在pytest中有何作用？ 爱软测的小凡 pythonpytest
    前言大家晚上好呀，今天呢来和大家唠唠pytest中的fixtures夹具的详解，废话就不多说了咱们直接进入主题哈。一、fixture的优势pytest框架的fixture测试夹具就相当于unittest框架的setup、teardown，但相对之下它的功能更加强大和灵活。命名方式灵活，不限于unittest的setup、teardown可以实现数据共享，多个模块跨文件共享前置后置可以实现多个模块跨
  • Spring Boot项目中使用MockMvc进行测试的详细指南 一休哥助手 javaspringboot后端java
    目录MockMvc简介安装和配置基本用法高级用法集成测试测试最佳实践总结MockMvc简介MockMvc是Spring框架提供的一种用于测试SpringMVC控制器的工具。它允许开发者在不启动完整的Web服务器的情况下，模拟HTTP请求并验证响应。MockMvc的主要优点包括：快速执行：
  • RPC是什么？ 项三城 笔记
    RPC概述RPC是什么RPC（RemoteProcedureCall）远程过程调用协议，一种通过网络从远程计算机上请求服务，而不需要了解底层网络技术的协议。RPC它假定某些协议的存在，例如TPC/UDP等，为通信程序之间携带信息数据。在OSI网络七层模型中，RPC跨越了传输层和应用层，RPC使得开发，包括网络分布式多程序在内的应用程序更加容易。过程是什么？过程就是业务处理、计算任务，更直白的说，就
  • 热备份和冷备份 K. Bob MySQL
    目录冷备份热备份双机热备的实现模式冷备份  冷备份发生在数据库已经正常关闭的情况下，当正常关闭时会提供一个完整的数据库。冷备份是将关键性文件拷贝到另外位置的一种说法。对于备份数据库信息而言，冷备份是最快和最安全的方法。冷备份的优点：1．是非常快速的备份方法（只需拷贝文件）2．容易归档（简单拷贝即可）3．容易恢复到某个时间点上（只需将文件再拷贝回去）4．能与归档方法相结合，作数据库“最新状态”的恢复
  • 智能工厂的设计软件 应用场景的一个例子：为AI聊天工具添加一个知识系统 之7 附件（项目文档） 一水鉴天 人工语言智能制造软件智能人工智能
    为AI聊天工具添加一个知识系统Part1人性化&去中心化前情提要这一次我们暂时抛开前面对“智能工厂的软件设计”的考虑--其软件智能产品就是应用程序。直接将这些思维方式和方法论运用在其具体应用场景中。本文是其中的一个应用场景。今天用了一个新的AI助手工具来交流。下面是就这一应用场景和“天意ChatGPT”（自称是ChatGPT4.0的直通通道）的Q&A。在现在各种AI聊天工具层出不穷的今天，我觉得特
  • 服务器中热备份和冷备份的区别 wanhengidc 服务器运维
    服务器中最为常见的两种备份策略为热备份和冷备份，是用于在数据丢失或者是系统出现故障时恢复服务器状态和数据信息的，小编今天主要来为大家介绍一下热备份和冷备份之间的区别都有哪些！热备份通常是指在服务器正常运行的状态下进行的数据备份，在进行热备份的过程中，服务器依旧可以继续接收并处理用户的请求，其中备份程序会将数据信息实时复制到另一个存储位置或者是备份服务器中。冷备份则是指在服务器停止运行后再进行的备份
  • 「Py」模块篇 之 Python中的subprocess模块详解 何曾参静谧 「Py」Python程序设计python数据库开发语言
    ✨博客主页何曾参静谧的博客（✅关注、点赞、⭐收藏、转发）全部专栏（专栏会有变化，以最新发布为准）「Win」Windows程序设计「IDE」集成开发环境「定制」定制开发集合「C/C++」C/C++程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「UG/NX」BlockUI集合「Py」Python程序设计「Math」探秘数学世界「PK」Paras
  • 鸿蒙学习自由流转与分布式运行环境-价值与架构定义(1) 技术分享，共享成长 鸿蒙harmonyos学习架构
    文章目录价值与架构定义1、价值2、架构定义随着个人设备数量越来越多，跨多个设备间的交互将成为常态。基于传统OS开发跨设备交互的应用程序时，需要解决设备发现、设备认证、设备连接、数据同步等技术难题，不但开发成本高，还存在安全隐私、兼容性、性能等诸多问题。为了适应万物互联时代的环境变化，鸿蒙系统构建了基于分布式运行环境所需要的基础设施，为开发者提供了基础的分布式框架能力，使开发者可以更方便的实现跨设备
  • 系统设计面试题 慢慢慢时光 面试准备面试系统设计
    比较开放，需要灵活应对，列出基本的一些思路。文章目录**设计一个短网址服务**：如何将长网址转换为短网址，并支持短网址的生成、存储、解析和重定向等功能**设计一个分布式文件系统**：考虑如何实现文件的存储、访问、备份、容错等功能，以及如何处理大规模数据和高并发访问。**设计一个聊天系统**：包括消息的发送、接收、存储、展示等功能，以及如何处理实时通信、离线消息、群聊等需求设计一个推荐系统：根据用户
  • 分布式架构搭建 ManchiBB 分布式架构
    搭建分布式架构涉及多个方面，包括系统设计、网络架构、数据存储、服务拆分、负载均衡、容错处理等。基本步骤和考虑因素1、需求分析明确业务需求，包括系统的功能、性能、扩展性、安全性等要求。确定系统的用户规模、数据规模以及可能的增长趋势。2、系统设计微服务架构：将系统拆分为多个独立的服务，每个服务负责特定的业务功能。这有助于提高系统的可维护性和可扩展性。服务治理：使用服务注册与发现、负载均衡、熔断降级等机
  • 真实互联网线上系统JVM内存溢出排查流程(文末彩蛋) 程序健跑人生 JVM多线程高并发工作感悟jvmjava架构后端分布式
    起因：近期在工作中发生因jvm内存溢出导致线上应用进程崩溃，导致服务瞬间瘫痪。期间发现集群中每台应用服务器JVM内存使用率高达96%左右，存在瞬间内存打满，导致服务瘫痪情况。根据经验分析，大概率是由于JVM中存在长期无法回收的（大）对象（此问题属代码本身问题）或瞬间流量激增导致垃圾收集器来不及回收（可调整JVM参数或横向增加服务器）导致。排查过程：1.通过命令（jmap-dump:format=b
  • 《spring编程常见错误50例》学习笔记 Day1 qq_31273845 学习spring
    1.为什么有时候我们代码移了一下包，就扫描不到了？在构建web服务的时候，我们启动服务程度如果不设置扫描包的话，默认会扫描运行程序所在的包。如果包和应用程序不在同一个包，就会失效。这个之前知道，至于为什么？今天才了解到，我就这里复述一下：@SpringBootApplication里面会有@ComponentScan注解。参考配置如下@ComponentScan(excludeFilters={@
  • 深入理解JVM中的栈和堆 刘小豆豆豆 Java#JVMjavajvm栈内存泄漏
    深入理解栈栈又名堆栈，它是一种运算受限的线性表。其限制是仅允许在表的一端进行插入和删除运算。这一端被称为栈顶，相对地，把另一端称为栈底。其特性是先进后出。栈是线程私有的，生命周期跟线程相同，当创建一个线程时，同时会创建一个栈，栈的大小和深度都是固定的。方法参数列表中的变量，方法体中的基本数据类型的变量和引用数据类型的引用都存放在栈中，成员变量和对象本身不存放在栈中。运行时，成员函数的局部变量引用也
  • 【Java Web】JSON 以及 JSON 转换 一二¬ #JavaWebjavajson
    JSON（JavaScriptObjectNotation）一种灵活、高效、轻量级的数据交换格式，广泛应用于各种数据交换和存储场景。基本特点1、简单易用：JSON格式非常简单，易于理解和使用。2、轻量级：相比XML等其他数据格式，JSON占用的空间更小，传输效率更高。3、跨平台：JSON是一种纯文本格式，可以轻松地在不同的系统和编程语言之间交换数据。4、可读性强：JSON格式的数据结构清晰，易于阅
  • chatgpt赋能python：Python如何删除一个对象 atest166 ChatGptchatgptjvmjava计算机
    Python如何删除一个对象Python是一种高级、面向对象、动态类型解释型语言，它有广泛的应用，尤其在数据分析、机器学习、人工智能和Web开发等领域。但是，在Python编程过程中，我们也可能需要删除对象。那么，Python如何删除一个对象呢？Python对象和变量在Python中，一切都是对象。对象是内存中的一块数据，有自己的身份、类型和值。变量是指向对象的引用，通过变量可以访问对象的属性和方
  • Typescript新特性关键字readyonly详细解读 黑码小帅 自己总结typescriptjavascript前端htmlcssvue.jsvue
    readonly修饰符：首先是一个关键字，对类中的属性成员进行修饰，修饰后，该属性成员，就不能在外部被随意的修改了一构造函数中，可以对只读的属性成员的数据进行修改(()=>{//定义一个类型classPerson{//属性readonlyname:string//构造函数constructor(name:string){this.name=name}}//实例化对象constperson:Pers
  • Typescript泛型详解解读 黑码小帅 自己总结typescriptjavascript前端vue.jsvue前端框架jquery
    泛型:在定义函数、接口、类的时候不能预先确定要使用的数据的类型,而是在使用函数、接口、类的时候才能确定数据的类型普通方法示例：需求:定义一个函数,传入两个参数,第一参数是数据,第二个参数是数量,函数的作用:根据数量产生对应个数的数据,存放在一个数组中(()=>{//需求:定义一个函数,传入两个参数,第一参数是数据,第二个参数是数量,函数的作用:根据数量产生对应个数的数据,存放在一个数组中//定义一
  • Python：使用PyInstaller打包 Faylynn Pythonpython
    本文所讲仅为独立的项目文件夹下如何进行打包，不涉及存在依赖关系的多个文件夹共同打包。项目结构示例D:/└──myproject└──my_project├──main.py├──module1.py└──other_files...项目文件夹：my_project主程序文件：main.py其他自定义模块：如module1.py、module2.py…其他资源文件（如图片、配置文件等）：放在imag
  • TaskManager的JVM OOM退出配置 艾丽丝的爱情 jvm大数据
    在大数据领域中，TaskManager是执行并行任务的关键组件之一。它负责管理任务的执行和资源分配。在处理大规模数据时，内存管理是一个重要的考虑因素。当TaskManager的Java虚拟机（JVM）遇到内存不足的情况时，可以通过配置相应的参数来控制其行为。本文将介绍如何配置TaskManager的JVM，以便在OOM（内存溢出）发生时退出。OOM（OutofMemory）是指在程序运行过程中，J
  • 【面试题】构建高并发、高可用服务架构：技术选型与设计 言之。 redispython面试架构
    监控系统消息队列缓存层数据存储层应用层Web层负载均衡与流量分配GrafanaPrometheusAlertmanager消息队列Kafka/RabbitMQ集群/镜像队列缓存层Redis/Memcached数据库MySQL/PostgreSQL主从复制/主主复制应用服务器SpringBoot/Node.js应用服务器SpringBoot/Node.js应用服务器SpringBoot/Node.j
  • 基于Python的多元医疗知识图谱构建与应用研究（下） Allen_LVyingbo 医疗高效编程研发pythonpython知识图谱健康医疗
    五、基于医疗知识图谱的医疗知识图谱程序构建5.1数据层构建5.1.1数据源选择与获取在构建基于医疗知识图谱的医疗知识图谱数据层时，数据源的选择与获取至关重要。数据源的质量和丰富度直接决定了知识图谱的可靠性和实用性。医学文献是重要的数据源之一，包括学术期刊论文、医学研究报告等。这些文献包含了大量经过科学验证的医学知识，如疾病的发病机制、诊断标准、治疗方法等。可以通过专业的医学文献数据库，如PubMe
  • 性能测试丨JVM 性能数据采集 霍格沃兹测试开发学社测试人社区 jvm测试工具测试开发软件测试
    什么是JVM性能数据采集？JVM性能数据采集是指通过一些工具和技术采集与Java虚拟机相关的性能数据。这些数据包括但不限于内存使用、CPU使用、垃圾回收（GC）行为、线程活动等。合理地分析这些数据，可以帮助我们找出系统的瓶颈，从而进一步优化我们的Java应用。具体来说，性能数据采集使得我们能够监控和诊断Java应用的健康状态，定位性能问题，评估优化方案的效果。使用JVM性能数据采集的好处使用JVM
  • tcp/ip协议中ip层协议，tcp/ip协议中ip协议属于 zzyh123456 tcp/ip网络网络协议
    在TCP/IP协议栈中，IP（InternetProtocol）协议属于网络层（NetworkLayer）。TCP/IP协议栈是一个四层架构，从上到下依次为：应用层（ApplicationLayer）：这一层提供了应用程序间通信的接口，如HTTP、FTP、SMTP等协议都在这一层。传输层（TransportLayer）：这一层负责应用程序之间的数据传输，包括面向连接的TCP（Transmissio
  • REST风格（SPRINGBOOT框架） 一只藏羚吖 SPRINGBOOT框架javaspringboot
    目录一、核心概念二、主要特点三、优点四、缺点五、应用实例1.添加SpringBootStarterWeb依赖2.创建RESTful控制器3.配置和测试4.部署和运行REST（RepresentationalStateTransfer）风格是一种针对网络应用设计和开发的架构风格，它强调资源的表示、无状态通信以及统一接口，它定义了一种在网络上创建、读取、更新和删除资源（通常指数据）的方式。以下从多个方
  • MongoDB aggregate学习 mongodbsqljava
    MongoDB中的aggregate主要用于数据统计平均值，求和等，并返回计算后的数据结果，有点类似sql语句中的count,sum,avg功能。一些表达式及对应功能：表达式功能$sum计算总和$avg计算平均值$min获取集合文档中最小值$max获取集合文档中最大值$push在集合文档中插入值到一个数组中$pull在集合文档中删除指定的值$addToSet在集合文档中插入值到一个数组中，如果之前
  • 分表数据通过canal同步数据 javacanal数据同步
    项目使用的canal版本：1.1.4，使用rocketMQ进行消费之前项目中一直是单库单表进行数据同步，后面遇到分表数据也需要进行同步，数据表是用户登录数据：user_login_info_0、user_login_info_1...共分了10张表，但不想配置多个表与topic，想有一种正则的写法只配置一个就行，需要重点关注canal.instance.filter.regex与canal.mq.
  • Java开发中，spring mvc 的线程怎么调用？ 小麦麦子 springmvc
    今天逛知乎，看到最近很多人都在问spring mvc 的线程http://www.maiziedu.com/course/java/ 的启动问题，觉得挺有意思的，那哥们儿问的也听仔细，下面的回答也很详尽，分享出来，希望遇对遇到类似问题的Java开发程序猿有所帮助。 问题：     在用spring mvc架构的网站上，设一线程在虚拟机启动时运行，线程里有一全局
  • maven依赖范围 bitcarter maven
    1.test 测试的时候才会依赖，编译和打包不依赖，如junit不被打包 2.compile 只有编译和打包时才会依赖 3.provided 编译和测试的时候依赖，打包不依赖，如：tomcat的一些公用jar包 4.runtime 运行时依赖，编译不依赖 5.默认compile 依赖范围compile是支持传递的，test不支持传递 1.传递的意思是项目A，引用
  • Jaxb org.xml.sax.saxparseexception : premature end of file darrenzhu xmlprematureJAXB
    如果在使用JAXB把xml文件unmarshal成vo(XSD自动生成的vo)时碰到如下错误： org.xml.sax.saxparseexception : premature end of file 很有可能时你直接读取文件为inputstream，然后将inputstream作为构建unmarshal需要的source参数。InputSource inputSource = new In
  • CSS Specificity 周凡杨 html权重Specificitycss
      有时候对于页面元素设置了样式，可为什么页面的显示没有匹配上呢？ because specificity CSS 的选择符是有权重的，当不同的选择符的样式设置有冲突时，浏览器会采用权重高的选择符设置的样式。     规则：   HTML标签的权重是1 Class 的权重是10 Id 的权重是100
  • java与servlet g21121 servlet
    servlet 搞java web开发的人一定不会陌生，而且大家还会时常用到它。 下面是java官方网站上对servlet的介绍： java官网对于servlet的解释 写道 Java Servlet Technology Overview Servlets are the Java platform technology of choice for extending and enha
  • eclipse中安装maven插件 510888780 eclipsemaven
    1.首先去官网下载 Maven： http://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.2.3-bin.tar.gz 下载完成之后将其解压， 我将解压后的文件夹：apache-maven-3.2.3， 并将它放在 D:\tools目录下， 即 maven 最终的路径是：D:\tools\apache-mave
  • jpa@OneToOne关联关系 布衣凌宇 jpa
    Nruser里的pruserid关联到Pruser的主键id，实现对一个表的增删改，另一个表的数据随之增删改。 Nruser实体类 //***************************************************************** @Entity @Table(name="nruser") @DynamicInsert @Dynam
  • 我的spring学习笔记11-Spring中关于声明式事务的配置 aijuans spring事务配置
    这两天学到事务管理这一块，结合到之前的terasoluna框架，觉得书本上讲的还是简单阿。我就把我从书本上学到的再结合实际的项目以及网上看到的一些内容，对声明式事务管理做个整理吧。我看得Spring in Action第二版中只提到了用TransactionProxyFactoryBean和<tx:advice/>,定义注释驱动这三种，我承认后两种的内容很好，很强大。但是实际的项目当中
  • java 动态代理简单实现 antlove javahandlerproxydynamicservice
    dynamicproxy.service.HelloService package dynamicproxy.service; public interface HelloService { public void sayHello(); }   dynamicproxy.service.impl.HelloServiceImpl package dynamicp
  • JDBC连接数据库 百合不是茶 JDBC编程JAVA操作oracle数据库
             如果我们要想连接oracle公司的数据库，就要首先下载oralce公司的驱动程序，将这个驱动程序的jar包导入到我们工程中;   JDBC链接数据库的代码和固定写法;     1,加载oracle数据库的驱动;     &nb
  • 单例模式中的多线程分析 bijian1013 javathread多线程java多线程
    谈到单例模式，我们立马会想到饿汉式和懒汉式加载，所谓饿汉式就是在创建类时就创建好了实例，懒汉式在获取实例时才去创建实例，即延迟加载。 饿汉式： package com.bijian.study; public class Singleton { private Singleton() { } // 注意这是private 只供内部调用 private static
  • javascript读取和修改原型特别需要注意原型的读写不具有对等性 bijian1013 JavaScriptprototype
            对于从原型对象继承而来的成员，其读和写具有内在的不对等性。比如有一个对象A，假设它的原型对象是B，B的原型对象是null。如果我们需要读取A对象的name属性值，那么JS会优先在A中查找，如果找到了name属性那么就返回；如果A中没有name属性，那么就到原型B中查找name，如果找到了就返回；如果原型B中也没有
  • 【持久化框架MyBatis3六】MyBatis3集成第三方DataSource bit1129 dataSource
    MyBatis内置了数据源的支持，如：   <environments default="development"> <environment id="development"> <transactionManager type="JDBC" /> <data
  • 我程序中用到的urldecode和base64decode,MD5 bitcarter cMD5base64decodeurldecode
    这里是base64decode和urldecode，Md5在附件中。因为我是在后台所以需要解码： string Base64Decode(const char* Data,int DataByte,int& OutByte) { //解码表 const char DecodeTable[] = { 0, 0, 0, 0, 0, 0
  • 腾讯资深运维专家周小军：QQ与微信架构的惊天秘密 ronin47
    社交领域一直是互联网创业的大热门，从PC到移动端，从OICQ、MSN到QQ。到了移动互联网时代，社交领域应用开始彻底爆发，直奔黄金期。腾讯在过去几年里，社交平台更是火到爆，QQ和微信坐拥几亿的粉丝，QQ空间和朋友圈各种刷屏，写心得，晒照片，秀视频，那么谁来为企鹅保驾护航呢？支撑QQ和微信海量数据背后的架构又有哪些惊天内幕呢？本期大讲堂的内容来自今年2月份ChinaUnix对腾讯社交网络运营服务中心
  • java-69-旋转数组的最小元素。把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个排好序的数组的一个旋转，输出旋转数组的最小元素 bylijinnan java
    public class MinOfShiftedArray { /** * Q69 旋转数组的最小元素 * 把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个排好序的数组的一个旋转，输出旋转数组的最小元素。 * 例如数组{3, 4, 5, 1, 2}为{1, 2, 3, 4, 5}的一个旋转，该数组的最小值为1。 */ publ
  • 看博客，应该是有方向的 Cb123456 反省看博客
    看博客，应该是有方向的:  我现在就复习以前的，在补补以前不会的，现在还不会的，同时完善完善项目，也看看别人的博客.  我刚突然想到的:  1.应该看计算机组成原理，数据结构，一些算法，还有关于android,java的。  2.对于我，也快大四了，看一些职业规划的，以及一些学习的经验，看看别人的工作总结的.    为什么要写
  • [开源与商业]做开源项目的人生活上一定要朴素,尽量减少对官方和商业体系的依赖 comsci 开源项目
         为什么这样说呢？  因为科学和技术的发展有时候需要一个平缓和长期的积累过程，但是行政和商业体系本身充满各种不稳定性和不确定性，如果你希望长期从事某个科研项目，但是却又必须依赖于某种行政和商业体系，那其中的过程必定充满各种风险。。。       所以，为避免这种不确定性风险，我
  • 一个 sql优化 （[精华] 一个查询优化的分析调整全过程！很值得一看 ） cwqcwqmax9 sql
    见   http://www.itpub.net/forum.php?mod=viewthread&tid=239011 Web翻页优化实例 提交时间: 2004-6-18 15:37:49      回复    发消息  环境： Linux ve
  • Hibernat and Ibatis dashuaifu Hibernateibatis
    Hibernate  VS  iBATIS 简介 Hibernate 是当前最流行的O/R mapping框架，当前版本是3.05。它出身于sf.net，现在已经成为Jboss的一部分了 iBATIS 是另外一种优秀的O/R mapping框架，当前版本是2.0。目前属于apache的一个子项目了。 相对Hibernate“O/R”而言，iBATIS 是一种“Sql Mappi
  • 备份MYSQL脚本 dcj3sjt126com mysql
    #!/bin/sh # this shell to backup mysql #[email protected] (QQ:1413161683 DuChengJiu) _dbDir=/var/lib/mysql/ _today=`date +%w` _bakDir=/usr/backup/$_today [ ! -d $_bakDir ] && mkdir -p
  • iOS第三方开源库的吐槽和备忘 dcj3sjt126com ios
    转自 ibireme的博客   做iOS开发总会接触到一些第三方库，这里整理一下，做一些吐槽。   目前比较活跃的社区仍旧是Github，除此以外也有一些不错的库散落在Google Code、SourceForge等地方。由于Github社区太过主流，这里主要介绍一下Github里面流行的iOS库。   首先整理了一份 Github上排名靠
  • html wlwmanifest.xml eoems htmlxml
    所谓优化wp_head()就是把从wp_head中移除不需要元素，同时也可以加快速度。 步骤： 加入到function.php remove_action('wp_head', 'wp_generator'); //wp-generator移除wordpress的版本号，本身blog的版本号没什么意义，但是如果让恶意玩家看到，可能会用官网公布的漏洞攻击blog remov
  • 浅谈Java定时器发展 hacksin java并发timer定时器
    java在jdk1.3中推出了定时器类Timer,而后在jdk1.5后由Dou Lea从新开发出了支持多线程的ScheduleThreadPoolExecutor，从后者的表现来看，可以考虑完全替代Timer了。 Timer与ScheduleThreadPoolExecutor对比： 1.    Timer始于jdk1.3,其原理是利用一个TimerTask数组当作队列
  • 移动端页面侧边导航滑入效果 ini jqueryWebhtml5cssjavascirpt
    效果体验：http://hovertree.com/texiao/mobile/2.htm可以使用移动设备浏览器查看效果。效果使用到jquery-2.1.4.min.js，该版本的jQuery库是用于支持HTML5的浏览器上，不再兼容IE8以前的浏览器，现在移动端浏览器一般都支持HTML5，所以使用该jQuery没问题。HTML文件代码： <!DOCTYPE html> <h
  • AspectJ+Javasist记录日志 kane_xie aspectjjavasist
    在项目中碰到这样一个需求，对一个服务类的每一个方法，在方法开始和结束的时候分别记录一条日志，内容包括方法名，参数名+参数值以及方法执行的时间。   @Override public String get(String key) { // long start = System.currentTimeMillis(); // System.out.println("Be
  • redis学习笔记 MJC410621 redisNoSQL
    1)nosql数据库主要由以下特点：非关系型的、分布式的、开源的、水平可扩展的。 1，处理超大量的数据 2，运行在便宜的PC服务器集群上， 3，击碎了性能瓶颈。 1)对数据高并发读写。 2)对海量数据的高效率存储和访问。 3)对数据的高扩展性和高可用性。 redis支持的类型： Sring 类型 set name lijie get name lijie set na
  • 使用redis实现分布式锁 qifeifei
    在多节点的系统中，如何实现分布式锁机制，其中用redis来实现是很好的方法之一，我们先来看一下jedis包中，有个类名BinaryJedis,它有个方法如下：   public Long setnx(final byte[] key, final byte[] value) { checkIsInMulti(); client.setnx(key, value); ret
  • BI并非万能，中层业务管理报表要另辟蹊径 张老师的菜 大数据BI商业智能信息化
           BI是商业智能的缩写，是可以帮助企业做出明智的业务经营决策的工具，其数据来源于各个业务系统，如ERP、CRM、SCM、进销存、HER、OA等。        BI系统不同于传统的管理信息系统，他号称是一个整体应用的解决方案，是融入管理思想的强大系统：有着系统整体的设计思想，支持对所有
  • 安装rvm后出现rvm not a function 或者ruby -v后提示没安装ruby的问题 wudixiaotie function
    1.在~/.bashrc最后加入 [[ -s "$HOME/.rvm/scripts/rvm" ]] && source "$HOME/.rvm/scripts/rvm"  2.重新启动terminal输入：   rvm use ruby-2.2.1 --default  把当前安装的ruby版本设为默
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他