陈晨辰~
陈晨辰~

GC原理介绍、排查FGC及线上故障的步骤

一、GC的原理介绍

JAVA堆分为新生代（Young Generation）和老年代（Old Generation）（ 也就是图中对应的New Generation 和 tenured Generation）用于存储对象实例。

而新生代有分为三个区一个Eden（伊甸）和两个Survivor（幸存者）：From Survivor区（简称S0），To Survivor区（简称S1区），三者的默认比例为8:1:1。另外，新生代和老年代的默认比例为1:2。一般情况下，当new 出一个对象时，生成的对象实例即放入Eden中，回收的时候先将Eden中的没有被回收的对象移入其中一个Survivor，假设是Survivor0，

然后清空Eden,那么现在的Eden为空，Survivor0存在还在使用的对象实例，Survivor0为空。当下次再回收时，照样将Eden中还在使用的对象实例放入Survivor0，并把Survivor0需要回收的对象实例标记-清除，最后再把整块Survivor0复制到Survivor1，再清除Survivor0。

　　当回收很多次后，发现有些对象一直被用，不能回收，那么就认为这个对象实例可能以后还是不会被收回，就放到老年代吧，这样以后在标记-清除-复制新生代是就不会操作它了，节约了很多时间。因为平时新生代经常执行回收操作，而老年代要达到一定条件后才执行回收。

年轻代（Young Generation）

  • 所有新生成的对象首先都是放在年轻代的。年轻代的目标就是尽可能快速的收集掉那些生命周期短的对象。
  • 新生代内存按照8:1:1的比例分为一个eden区和两个survivor(survivor0,survivor1)区。一个Eden区，两个 Survivor区(一般而言)。大部分对象在Eden区中生成。回收时先将eden区存活对象复制到一个survivor0区，然后清空eden区，当这个survivor0区也存放满了时，则将eden区和survivor0区存活对象复制到另一个survivor1区，然后清空eden和这个survivor0区，此时survivor0区是空的，然后将survivor0区和survivor1区交换，即保持survivor1区为空， 如此往复。
  •  当survivor1区不足以存放 eden和survivor0的存活对象时，就将存活对象直接存放到老年代。若是老年代也满了就会触发一次Full GC，也就是新生代、老年代都进行回收
  • 新生代发生的GC也叫做Minor GC，MinorGC发生频率比较高(不一定等Eden区满了才触发)

年老代（Old Generation）

  • YGC时，To Survivor区不足以存放存活的对象，对象会直接进入到老年代。
  • 经过多次YGC后，如果存活对象的年龄达到了设定阈值（默认15），则会晋升到老年代中。
  • 动态年龄判定规则，To Survivor区中相同年龄的对象，如果其大小之和占到了 To Survivor区一半以上的空间，那么大于此年龄的对象会直接进入老年代，而不需要达到默认的分代年龄。
  • 大对象：由-XX:PretenureSizeThreshold启动参数控制，若对象大小大于此值，就会绕过新生代, 直接在老年代中分配。

持久代（Permanent Generation）

用于存放静态文件，如Java类、方法等。持久代对垃圾回收没有显著影响，但是有些应用可能动态生成或者调用一些class，例如Hibernate 等，在这种时候需要设置一个比较大的持久代空间来存放这些运行过程中新增的类。

YGC是什么时候触发的？

大多数情况下，对象直接在年轻代中的Eden区进行分配，如果Eden区域没有足够的空间，那么就会触发YGC（Minor GC），YGC处理的区域只有新生代。因为大部分对象在短时间内都是可收回掉的，因此YGC后只有极少数的对象能存活下来，而被移动到S0区（采用的是复制算法）。

当触发下一次YGC时，会将Eden区和S0区的存活对象移动到S1区，同时清空Eden区和S0区。当再次触发YGC时，这时候处理的区域就变成了Eden区和S1区（即S0和S1进行角色交换）。每经过一次YGC，存活对象的年龄就会加1。

FGC是什么时候触发的？

  • 当晋升到老年代的对象大于老年代的剩余空间时，就会触发FGC（Major GC），FGC处理的区域同时包括新生代和老年代。
  • 老年代的内存使用率达到了一定阈值（可通过参数调整），直接触发FGC。
  • 空间分配担保：在YGC之前，会先检查老年代最大可用的连续空间是否大于新生代所有对象的总空间。如果小于，说明YGC是不安全的，则会查看参数 HandlePromotionFailure 是否被设置成了允许担保失败，如果不允许则直接触发Full GC；如果允许，那么会进一步检查老年代最大可用的连续空间是否大于历次晋升到老年代对象的平均大小，如果小于也会触发 Full GC。
  • Metaspace（元空间）在空间不足时会进行扩容，当扩容到了-XX:MetaspaceSize 参数的指定值时，也会触发FGC。
  • System.gc() 或者Runtime.gc() 被显式调用时，触发FGC。

 

在什么情况下，GC会对程序产生影响？

不管YGC还是FGC，都会造成一定程度的程序卡顿（即Stop The World问题：GC线程开始工作，其他工作线程被挂起），即使采用ParNew、CMS或者G1这些更先进的垃圾回收算法，也只是在减少卡顿时间，而并不能完全消除卡顿。

那到底什么情况下，GC会对程序产生影响呢？根据严重程度从高到底，我认为包括以下4种情况：

  • FGC过于频繁：FGC通常是比较慢的，少则几百毫秒，多则几秒，正常情况FGC每隔几个小时甚至几天才执行一次，对系统的影响还能接受。但是，一旦出现FGC频繁（比如几十分钟就会执行一次），这种肯定是存在问题的，它会导致工作线程频繁被停止，让系统看起来一直有卡顿现象，也会使得程序的整体性能变差。

  • YGC耗时过长：一般来说，YGC的总耗时在几十或者上百毫秒是比较正常的，虽然会引起系统卡顿几毫秒或者几十毫秒，这种情况几乎对用户无感知，对程序的影响可以忽略不计。但是如果YGC耗时达到了1秒甚至几秒（都快赶上FGC的耗时了），那卡顿时间就会增大，加上YGC本身比较频繁，就会导致比较多的服务超时问题。

  • FGC耗时过长：FGC耗时增加，卡顿时间也会随之增加，尤其对于高并发服务，可能导致FGC期间比较多的超时问题，可用性降低，这种也需要关注。

  • YGC过于频繁：即使YGC不会引起服务超时，但是YGC过于频繁也会降低服务的整体性能，对于高并发服务也是需要关注的。

 

Java有了GC同样会出现内存泄露问题

1.静态集合类像HashMap、Vector等的使用最容易出现内存泄露

2.各种连接，数据库连接，网络连接，IO连接等没有显示调用close关闭，不被GC回收导致内存泄露。

3.监听器的使用，在释放对象的同时没有相应删除监听器的时候也可能导致内存泄露。

 

内存泄漏和内存溢出的区别

1. 内存泄漏（memory leak ）

申请了内存用完了不释放，比如一共有 1024M 的内存，分配了 521M 的内存一直不回收，那么可以用的内存只有 521M 了，仿佛泄露掉了一部分；通俗一点讲的话，内存泄漏就是【占着茅坑不拉shi】。

 

2. 内存溢出（out of memory）

申请内存时，没有足够的内存可以使用；

通俗一点儿讲，一个厕所就三个坑，有两个站着茅坑不走的（内存泄漏），剩下最后一个坑，厕所表示接待压力很大，这时候一下子来了两个人，坑位（内存）就不够了，内存泄漏变成内存溢出了。

 

对象 X 引用对象 Y，X 的生命周期比 Y 的生命周期长；那么当Y生命周期结束的时候，X依然引用着Y，这时候，垃圾回收期是不会回收对象Y的；如果对象X还引用着生命周期比较短的A、B、C，对象A又引用着对象 a、b、c，这样就可能造成大量无用的对象不能被回收，进而占据了内存资源，造成内存泄漏，直到内存溢出。

可见，内存泄漏和内存溢出的关系：内存泄露的增多，最终会导致内存溢出。

GC原理介绍、排查FGC及线上故障的步骤_第1张图片

 

注意：匿名内部类会持有外部类的引用，可能会导致内存泄漏，静态内部类则不会（https://mp.weixin.qq.com/s/ZX-BvkQ4B7ql62Mi8v_rLw）


 

检查JVM配置、设置Java堆大小

通过以下命令查看JVM的启动参数：

ps aux | grep "applicationName=adsearch"

可以看到堆内存为4G，新生代为2G，老年代也为2G，新生代采用ParNew收集器，老年代采用并发标记清除的CMS收集器，当老年代的内存占用率达到80%时会进行FGC。

  
-Xms4g -Xmx4g -Xmn2g -Xss1024K 

-XX:ParallelGCThreads=5 

-XX:+UseConcMarkSweepGC 

-XX:+UseParNewGC 

-XX:+UseCMSCompactAtFullCollection 

-XX:CMSInitiatingOccupancyFraction=80

Java整个堆大小设置，Xmx 和 Xms设置为老年代存活对象的3-4倍，即FullGC之后的老年代内存占用的3-4倍

永久代 PermSize和MaxPermSize设置为老年代存活对象的1.2-1.5倍。

年轻代Xmn的设置为老年代存活对象的1-1.5倍。

老年代的内存大小设置为老年代存活对象的2-3倍。

Xms=xmx=(3-4)( full gc后oc大小)

Xmn=(1-1.5)( full gc后oc大小)

 

GC原理介绍、排查FGC及线上故障的步骤_第2张图片



JVM参数中添加GC日志

-XX:+PrintGC  -XX:+PrintGCDetils
或
-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps

GC日志中会记录每次FullGC之后各代的内存大小，观察老年代GC之后的空间大小。可观察一段时间内（比如2天）的FullGC之后的内存情况，根据多次的FullGC之后的老年代的空间大小数据来预估FullGC之后老年代的存活对象大小（可根据多次FullGC之后的内存大小取平均值）

[GC (Allocation Failure) [PSYoungGen: 228290K->3505K(244224K)] 264814K->43652K(506368K), 0.0368352 secs] [Times: user=0.14 sys=0.00, real=0.04 secs]

针对gc日志，我们就能大致推断出youngGC与fullGC是否过于频繁或者耗时过长，从而对症下药。我们下面将对G1垃圾收集器来做分析，这边也建议大家使用G1-XX:+UseG1GC。

youngGC过频繁
youngGC频繁一般是短周期小对象较多，先考虑是不是Eden区/新生代设置的太小了，看能否通过调整-Xmn、-XX:SurvivorRatio等参数设置来解决问题。如果参数正常，但是young gc频率还是太高，就需要使用Jmap和MAT对dump文件进行进一步排查了。

youngGC耗时过长
耗时过长问题就要看GC日志里耗时耗在哪一块了。以G1日志为例，可以关注Root Scanning、Object Copy、Ref Proc等阶段。Ref Proc耗时长，就要注意引用相关的对象。Root Scanning耗时长，就要注意线程数、跨代引用。Object Copy则需要关注对象生存周期。而且耗时分析它需要横向比较，就是和其他项目或者正常时间段的耗时比较。比如说图中的Root Scanning和正常时间段比增长较多，那就是起的线程太多了。

触发fullGC
G1中更多的还是mixedGC，但mixedGC可以和youngGC思路一样去排查。触发fullGC了一般都会有问题，G1会退化使用Serial收集器来完成垃圾的清理工作，暂停时长达到秒级别，可以说是半跪了。
fullGC的原因可能包括以下这些，以及参数调整方面的一些思路：

  • 并发阶段失败：在并发标记阶段，MixGC之前老年代就被填满了，那么这时候G1就会放弃标记周期。这种情况，可能就需要增加堆大小，或者调整并发标记线程数-XX:ConcGCThreads。
  • 晋升失败：在GC的时候没有足够的内存供存活/晋升对象使用，所以触发了Full GC。这时候可以通过-XX:G1ReservePercent来增加预留内存百分比，减少-XX:InitiatingHeapOccupancyPercent来提前启动标记，-XX:ConcGCThreads来增加标记线程数也是可以的。
  • 大对象分配失败：大对象找不到合适的region空间进行分配，就会进行fullGC，这种情况下可以增大内存或者增大-XX:G1HeapRegionSize。
  • 程序主动执行System.gc()：不要随便写就对了。

另外，我们可以在启动参数中配置-XX:HeapDumpPath=/xxx/dump.hprof来dump fullGC相关的文件，并通过jinfo来进行gc前后的dump

jinfo -flag +HeapDumpBeforeFullGC pid 
jinfo -flag +HeapDumpAfterFullGC pid

这样得到2份dump文件，对比后主要关注被gc掉的问题对象来定位问题。

 

二、对于FGC问题的排查步骤

1. 清楚从程序角度，有哪些原因导致FGC？ 

  • 大对象：系统一次性加载了过多数据到内存中（比如SQL查询未做分页），导致大对象进入了老年代。

  • 内存泄漏：频繁创建了大量对象，但是无法被回收（比如IO对象使用完后未调用close方法释放资源），先引发FGC，最后导致OOM.

  • 程序频繁生成一些长生命周期的对象，当这些对象的存活年龄超过分代年龄时便会进入老年代，最后引发FGC. （即本文中的案例）

  • 程序BUG导致动态生成了很多新类，使得 Metaspace 不断被占用，先引发FGC，最后导致OOM.

  • 代码中显式调用了gc方法，包括自己的代码甚至框架中的代码。

  • JVM参数设置问题：包括总内存大小、新生代和老年代的大小、Eden区和S区的大小、元空间大小、垃圾回收算法等等。

 

2. 清楚排查问题时能使用哪些工具

  • 公司的监控系统：大部分公司都会有，可全方位监控JVM的各项指标。

  • JDK的自带工具，包括jmap、jstat等常用命令：

    # 查看堆内存各区域的使用率以及GC情况

    jstat -gcutil -h20 pid 1000

    # 查看堆内存中的存活对象，并按空间排序

    jmap -histo pid | head -n20

    # dump堆内存文件

    jmap -dump:format=b,file=heap pid

  • 可视化的堆内存分析工具：JVisualVM、MAT等

 

3.查看gc情况命令

1、查看某个进程的对象占用对象最大情况

pid是进程号，20表示排名前二十，instances表示实例数量，bytes表示占用内存大小（1M=1024KB,1KB=1024Bytes）

 jmap -histo pid | head -n 20

2、监控jvm内存，查看full gc频率

监控jvm，每5秒打印一次，循环100次

jstat -gc pid 5000 100
 
jstat -gcutil pid 5000 100

 

GC原理介绍、排查FGC及线上故障的步骤_第3张图片

  • S0C：第一个幸存区的大小
  • S1C：第二个幸存区的大小
  • S0U：第一个幸存区的使用大小
  • S1U：第二个幸存区的使用大小
  • EC：伊甸园区的大小
  • EU：伊甸园区的使用大小
  • OC：老年代大小
  • OU：老年代使用大小
  • MC：方法区大小
  • MU：方法区使用大小
  • CCSC:压缩类空间大小
  • CCSU:压缩类空间使用大小
  • YGC：年轻代垃圾回收次数
  • YGCT：年轻代垃圾回收消耗时间
  • FGC：老年代垃圾回收次数
  • FGCT：老年代垃圾回收消耗时间
  • GCT：垃圾回收消耗总时间 

 

查看进程运行时间，频率=持续时间 /FGC

# ps -eo pid,tty,user,comm,lstart,etime | grep 24019
24019 ?        admin    java            Thu Dec 13 11:17:14 2018    01:29:43
进程id                  进程名            开始时间                    持续时间 

 

4. 排查指南

  • 查看监控，以了解出现问题的时间点以及当前FGC的频率（可对比正常情况看频率是否正常）

  • 了解该时间点之前有没有程序上线、基础组件升级等情况。

  • 了解JVM的参数设置，包括：堆空间各个区域的大小设置，新生代和老年代分别采用了哪些垃圾收集器，然后分析JVM参数设置是否合理。

  • 再对步骤1中列出的可能原因做排除法，其中元空间被打满、内存泄漏、代码显式调用gc方法比较容易排查。

  • 针对大对象或者长生命周期对象导致的FGC，可通过 jmap -histo 命令并结合dump堆内存文件作进一步分析，需要先定位到可疑对象。

  • 通过可疑对象定位到具体代码再次分析，这时候要结合GC原理和JVM参数设置，弄清楚可疑对象是否满足了进入到老年代的条件才能下结论。

 

5. 内存溢出的定位与分析 

　　内存溢出在实际的生产环境中经常会遇到，比如，不断的将数据写入到一个集合中，出现了死循环，读取超大的文件等等，都可能会造成内存溢出。

如果出现了内存溢出，首先我们需要定位到发生内存溢出的环节，并且进行分析，是正常还是非正常情况，如果是正常的需求，就应该考虑加大内存的设置，如果是非正常需求，那么就要对代码进行修改，修复这个bug。

　　首先，我们得先学会如何定位问题，然后再进行分析。如何定位问题呢，我们需要借助于jmap与MAT工具进行定位分析。 

1、模拟内存溢出 

　　编写代码，向List集合中添加100万个字符串，每个字符串由1000个UUID组成。如果程序能够正常执行，最后打印ok

package com.zn;

import java.util.ArrayList;
import java.util.List;
import java.util.UUID;

public class TestJvmOutOfMemory {
    public static void main(String[] args) {
        List list = new ArrayList<>();
        for (int i = 0; i < 10000000; i++) {
            String str = "";
            for (int j = 0; j < 1000; j++) {
                str += UUID.randomUUID().toString();
            }
            list.add(str);
        }
        System.out.println("ok");
    }
} 
  
2、设置VM options参数　　
 
  
-Xms8m -Xmx8m -XX:+HeapDumpOnOutOfMemoryError
 
  
GC原理介绍、排查FGC及线上故障的步骤_第4张图片
 
  
3、运行测试
 
  
GC原理介绍、排查FGC及线上故障的步骤_第5张图片
 
  
4、当发生内存溢出时，会dump文件到java_pid65828.hprof
 
  
　　GC原理介绍、排查FGC及线上故障的步骤_第6张图片 
 
  
5、导入到MAT工具中进行分析
 
  
GC原理介绍、排查FGC及线上故障的步骤_第7张图片
 
  
　　可以看到，有87.99%的内存由Object[]数组占有，所以比较可疑。
 
  
　　分析：这个可疑是正确的，因为已经有超过90%的内存都被它占有，这是非常有可能出现内存溢出的。
 
  
6、查看详情　
 
  
　　可以看到集合中存储了大量的uuid字符串
 
  
　　GC原理介绍、排查FGC及线上故障的步骤_第8张图片
 
  
 
 
  
 
 
  
三、线上故障排查
 
  
Linux 系统运行缓慢，CPU 100%，以及Full GC次数过多问题的排查思路
 
  
这种情况可能的原因主要有两种：
 
  
     
   
  • 代码中某个位置读取数据量较大，导致系统内存耗尽，从而导致Full GC次数过多，系统缓慢；
    •  
   
  • 代码中有比较耗CPU的操作，导致CPU过高，系统运行缓慢；
    •  
  
 
  
       相对来说，这是出现频率最高的两种线上问题，而且它们会直接导致系统不可用。另外有几种情况也会导致某个功能运行缓慢，但是不至于导致系统不可用：
 
  
     
   
  • 代码某个位置有阻塞性的操作，导致该功能调用整体比较耗时，但出现是比较随机的；
    •  
   
  • 某个线程由于某种原因而进入WAITING状态，此时该功能整体不可用，但是无法复现；
    •  
   
  • 由于锁使用不当，导致多个线程进入死锁状态，从而导致系统整体比较缓慢。
    •  
  
 
  
       对于这三种情况，通过查看CPU和系统内存情况是无法查看出具体问题的，因为它们相对来说都是具有一定阻塞性操作，CPU和系统内存使用情况都不高，但是功能却很慢。
 
  
 
 
  
CPU
 
  
一般来讲我们首先会排查cpu方面的问题。cpu异常往往还是比较好定位的。原因包括业务逻辑问题(代码中有比较耗时的计算)、频繁gc以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导致的，可以使用jstack来分析对应的堆栈情况。
 
  
使用jstack分析cpu问题
 
  
top -H -p pid 查看某一进程下的各个线程运行情况
 
  
可以看到该进程下的各个线程运行情况
 
  
GC原理介绍、排查FGC及线上故障的步骤_第9张图片
 
  
转换线程ID
 
  
在jsatck命令展示的结果中，线程id都转换成了十六进制形式。可以用如下命令查看转换结果，也可以找一个科学计算器进行转换：
 
  
# printf "%x\n" pid
 
  
printf "%x\n" 17880          
45d8
 
  
jstack定位cpu占用线程
 
  
30代表查看30行日志
 
  
jstack 进程ID | grep 线程ID -A 30
 
  
GC原理介绍、排查FGC及线上故障的步骤_第10张图片
 
  
查看堆栈信息jstack pid |grep 'nid' -C5 –color

 可以看到我们已经找到了nid为0x42的堆栈信息，接着只要仔细分析一番即可。通常我们会比较关注WAITING和TIMED_WAITING的部分，BLOCKED就不用说了。我们可以使用命令cat jstack.log | grep "java.lang.Thread.State" | sort -nr | uniq -c来对jstack的状态有一个整体的把握，如果WAITING之类的特别多，那么多半是有问题啦。
 
  
 
 
  
jstack查看Gc情况
 
  
可以先确定下gc是不是太频繁，使用jstat -gc pid 1000命令来对gc分代变化情况进行观察，1000表示采样间隔(ms)，S0C/S1C、S0U/S1U、EC/EU、OC/OU、MC/MU分别代表两个Survivor区、Eden区、老年代、元数据区的容量和使用量。YGC/YGT、FGC/FGCT、GCT则代表YoungGc、FullGc的耗时和次数以及总耗时。如果看到gc比较频繁，再针对gc方面做进一步分析
 
  
 
 
  
vmstat查看上下文切换
 
  
针对频繁上下文问题，我们可以使用vmstat命令来进行查看

 cs(context switch)一列则代表了上下文切换的次数。
 如果我们希望对特定的pid进行监控那么可以使用 pidstat -w pid命令，cswch和nvcswch表示自愿及非自愿切换。
 
  
 
 
  
 
 
  
内存
 
  
内存问题排查起来相对比CPU麻烦一些，场景也比较多。主要包括OOM、GC问题和堆外内存。一般来讲，我们会先用free命令先来检查一发内存的各种情况。
 
  
堆内内存
 
  
内存问题大多还都是堆内内存问题。表象上主要分为OOM和StackOverflow。
 
  
OOM
 
  
JMV中的内存不足，OOM大致可以分为以下几种：
 
  
Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread
 这个意思是没有足够的内存空间给线程分配java栈，基本上还是线程池代码写的有问题，比如说忘记shutdown，所以说应该首先从代码层面来寻找问题，使用jstack或者jmap。如果一切都正常，JVM方面可以通过指定Xss来减少单个thread stack的大小。另外也可以在系统层面，可以通过修改/etc/security/limits.confnofile和nproc来增大os对线程的限制
 
  
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
 这个意思是堆的内存占用已经达到-Xmx设置的最大值，应该是最常见的OOM错误了。解决思路仍然是先应该在代码中找，怀疑存在内存泄漏，通过jstack和jmap去定位问题。如果说一切都正常，才需要通过调整Xmx的值来扩大内存。
 
  
Caused by: java.lang.OutOfMemoryError: Meta space
 这个意思是元数据区的内存占用已经达到XX:MaxMetaspaceSize设置的最大值，排查思路和上面的一致，参数方面可以通过XX:MaxPermSize来进行调整(这里就不说1.8以前的永久代了)。
 
  
Stack Overflow
 
  
栈内存溢出，这个大家见到也比较多。
Exception in thread "main" java.lang.StackOverflowError
 表示线程栈需要的内存大于Xss值，同样也是先进行排查，参数方面通过Xss来调整，但调整的太大可能又会引起OOM。
 
  
使用JMAP定位代码内存泄漏
 
  
上述关于OOM和StackOverflow的代码排查方面，我们一般使用JMAPjmap -dump:format=b,file=filename pid来导出dump文件
 
  

 另一方面，我们可以在启动参数中指定-XX:+HeapDumpOnOutOfMemoryError来保存OOM时的dump文件。
 
  
参考《jmap的使用以及内存溢出分析》：https://blog.csdn.net/weixin_38004638/article/details/106135505
 
  
 
 
  
gc问题和线程
 
  
堆内内存泄漏总是和GC异常相伴。不过GC问题不只是和内存问题相关，还有可能引起CPU负载、网络问题等系列并发症，只是相对来说和内存联系紧密些，所以我们在此单独总结一下GC相关问题。
 
  

 线程的话太多而且不被及时gc也会引发oom，大部分就是之前说的unable to create new native thread。除了jstack细细分析dump文件外，我们一般先会看下总体线程，通过pstreee -p pid |wc -l。

 或者直接通过查看/proc/pid/task的数量即为线程数量。
 
  
 
 
  
堆外内存
 
  
如果碰到堆外内存溢出，那可真是太不幸了。首先堆外内存溢出表现就是物理常驻内存增长快，报错的话视使用方式都不确定。堆外内存溢出往往是和NIO的使用相关，一般我们先通过pmap来查看下进程占用的内存情况pmap -x pid | sort -rn -k3 | head -30，这段意思是查看对应pid倒序前30大的内存段。这边可以再一段时间后再跑一次命令看看内存增长情况，或者和正常机器比较可疑的内存段在哪里。
 
  
一般对于堆外内存缓慢增长直到爆炸的情况来说，可以先设一个基线jcmd pid VM.native_memory baseline。

 然后等放一段时间后再去看看内存增长的情况，通过jcmd pid VM.native_memory detail.diff(summary.diff)做一下summary或者detail级别的diff。
 
  
可以看到jcmd分析出来的内存十分详细，包括堆内、线程以及gc(所以上述其他内存异常其实都可以用nmt来分析)，这边堆外内存我们重点关注Internal的内存增长，如果增长十分明显的话那就是有问题了。
 
  
 
 
  
磁盘
 
  
磁盘问题和cpu一样是属于比较基础的。首先是磁盘空间方面，我们直接使用df -hl来查看文件系统状态
 
  
更多时候，磁盘问题还是性能上的问题。我们可以通过iostatiostat -d -k -x来进行分析

 最后一列%util可以看到每块磁盘写入的程度，而rrqpm/s以及wrqm/s分别表示读写速度，一般就能帮助定位到具体哪块磁盘出现问题了。
 
  
另外我们还需要知道是哪个进程在进行读写，一般来说开发自己心里有数，或者用iotop命令来进行定位文件读写的来源。

 不过这边拿到的是tid，我们要转换成pid，可以通过readlink来找到pidreadlink -f /proc/*/task/tid/../..。

 找到pid之后就可以看这个进程具体的读写情况cat /proc/pid/io

 我们还可以通过lsof命令来确定具体的文件读写情况lsof -p pid
 
  
网络
 
  
涉及到网络层面的问题一般都比较复杂，场景多，定位难，成为了大多数开发的噩梦，应该是最复杂的了。这里会举一些例子，并从tcp层、应用层以及工具的使用等方面进行阐述。
 
  
超时
 
  
超时错误大部分处在应用层面，所以这块着重理解概念。超时大体可以分为连接超时和读写超时，某些使用连接池的客户端框架还会存在获取连接超时和空闲连接清理超时。
 
  
     
   
  •  
    读写超时。readTimeout/writeTimeout，有些框架叫做so_timeout或者socketTimeout，均指的是数据读写超时。注意这边的超时大部分是指逻辑上的超时。soa的超时指的也是读超时。读写超时一般都只针对客户端设置。
     
    •  
   
  •  
    连接超时。connectionTimeout，客户端通常指与服务端建立连接的最大时间。服务端这边connectionTimeout就有些五花八门了，jetty中表示空闲连接清理时间，tomcat则表示连接维持的最大时间。
     
    •  
   
  •  
    其他。包括连接获取超时connectionAcquireTimeout和空闲连接清理超时idleConnectionTimeout。多用于使用连接池或队列的客户端或服务端框架。
     
    •  
  
 
  
我们在设置各种超时时间中，需要确认的是尽量保持客户端的超时小于服务端的超时，以保证连接正常结束。
 
  
在实际开发中，我们关心最多的应该是接口的读写超时了。
 
  
如何设置合理的接口超时是一个问题。如果接口超时设置的过长，那么有可能会过多地占用服务端的tcp连接。而如果接口设置的过短，那么接口超时就会非常频繁。
 
  
服务端接口明明rt降低，但客户端仍然一直超时又是另一个问题。这个问题其实很简单，客户端到服务端的链路包括网络传输、排队以及服务处理等，每一个环节都可能是耗时的原因。
 
  
TCP队列溢出
 
  
tcp队列溢出是个相对底层的错误，它可能会造成超时、rst等更表层的错误。因此错误也更隐蔽，所以我们单独说一说。
 
  
如上图所示，这里有两个队列：syns queue(半连接队列）、accept queue（全连接队列）。三次握手，在server收到client的syn后，把消息放到syns queue，回复syn+ack给client，server收到client的ack，如果这时accept queue没满，那就从syns queue拿出暂存的信息放入accept queue中，否则按tcp_abort_on_overflow指示的执行。
 
  
tcp_abort_on_overflow 0表示如果三次握手第三步的时候accept queue满了那么server扔掉client发过来的ack。tcp_abort_on_overflow 1则表示第三步的时候如果全连接队列满了，server发送一个rst包给client，表示废掉这个握手过程和这个连接，意味着日志里可能会有很多connection reset / connection reset by peer。
 
  
那么在实际开发中，我们怎么能快速定位到tcp队列溢出呢？
 
  
netstat命令，执行netstat -s | egrep "listen|LISTEN"

 如上图所示，overflowed表示全连接队列溢出的次数，sockets dropped表示半连接队列溢出的次数。
 
  
ss命令，执行ss -lnt

 上面看到Send-Q 表示第三列的listen端口上的全连接队列最大为5，第一列Recv-Q为全连接队列当前使用了多少。
 
  
接着我们看看怎么设置全连接、半连接队列大小吧：
 
  
全连接队列的大小取决于min(backlog, somaxconn)。backlog是在socket创建的时候传入的，somaxconn是一个os级别的系统参数。而半连接队列的大小取决于max(64, /proc/sys/net/ipv4/tcp_max_syn_backlog)。
 
  
在日常开发中，我们往往使用servlet容器作为服务端，所以我们有时候也需要关注容器的连接队列大小。在tomcat中backlog叫做acceptCount，在jetty里面则是acceptQueueSize。
 
  
RST异常
 
  
RST包表示连接重置，用于关闭一些无用的连接，通常表示异常关闭，区别于四次挥手。
 
  
在实际开发中，我们往往会看到connection reset / connection reset by peer错误，这种情况就是RST包导致的。
 
  
端口不存在
 
  
如果像不存在的端口发出建立连接SYN请求，那么服务端发现自己并没有这个端口则会直接返回一个RST报文，用于中断连接。
 
  
主动代替FIN终止连接
 
  
一般来说，正常的连接关闭都是需要通过FIN报文实现，然而我们也可以用RST报文来代替FIN，表示直接终止连接。实际开发中，可设置SO_LINGER数值来控制，这种往往是故意的，来跳过TIMED_WAIT，提供交互效率，不闲就慎用。
 
  
客户端或服务端有一边发生了异常，该方向对端发送RST以告知关闭连接
 
  
我们上面讲的tcp队列溢出发送RST包其实也是属于这一种。这种往往是由于某些原因，一方无法再能正常处理请求连接了(比如程序崩了，队列满了)，从而告知另一方关闭连接。
 
  
接收到的TCP报文不在已知的TCP连接内
 
  
比如，一方机器由于网络实在太差TCP报文失踪了，另一方关闭了该连接，然后过了许久收到了之前失踪的TCP报文，但由于对应的TCP连接已不存在，那么会直接发一个RST包以便开启新的连接。
 
  
一方长期未收到另一方的确认报文，在一定时间或重传次数后发出RST报文
 
  
这种大多也和网络环境相关了，网络环境差可能会导致更多的RST报文。
 
  
之前说过RST报文多会导致程序报错，在一个已关闭的连接上读操作会报connection reset，而在一个已关闭的连接上写操作则会报connection reset by peer。通常我们可能还会看到broken pipe错误，这是管道层面的错误，表示对已关闭的管道进行读写，往往是在收到RST，报出connection reset错后继续读写数据报的错，这个在glibc源码注释中也有介绍。
 
  
我们在排查故障时候怎么确定有RST包的存在呢？当然是使用tcpdump命令进行抓包，并使用wireshark进行简单分析了。tcpdump -i en0 tcp -w xxx.cap，en0表示监听的网卡。
 
  
接下来我们通过wireshark打开抓到的包，可能就能看到如下图所示，红色的就表示RST包了。
 
  
TIME_WAIT和CLOSE_WAIT
 
  
TIME_WAIT和CLOSE_WAIT是啥意思相信大家都知道。
 在线上时，我们可以直接用命令netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'来查看time-wait和close_wait的数量
 
  
用ss命令会更快ss -ant | awk '{++S[$1]} END {for(a in S) print a, S[a]}'
 
  
 
  
TIME_WAIT
 
  
time_wait的存在一是为了丢失的数据包被后面连接复用，二是为了在2MSL的时间范围内正常关闭连接。它的存在其实会大大减少RST包的出现。
 
  
过多的time_wait在短连接频繁的场景比较容易出现。这种情况可以在服务端做一些内核参数调优:
 
  
#表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭
net.ipv4.tcp_tw_reuse = 1
#表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭
net.ipv4.tcp_tw_recycle = 1

 
  
当然我们不要忘记在NAT环境下因为时间戳错乱导致数据包被拒绝的坑了，另外的办法就是改小tcp_max_tw_buckets，超过这个数的time_wait都会被干掉，不过这也会导致报time wait bucket table overflow的错。
 
  
CLOSE_WAIT
 
  
close_wait往往都是因为应用程序写的有问题，没有在ACK后再次发起FIN报文。close_wait出现的概率甚至比time_wait要更高，后果也更严重。往往是由于某个地方阻塞住了，没有正常关闭连接，从而渐渐地消耗完所有的线程。
 
  
想要定位这类问题，最好是通过jstack来分析线程堆栈来排查问题，具体可参考上述章节。这里仅举一个例子。
 
  
开发同学说应用上线后CLOSE_WAIT就一直增多，直到挂掉为止，jstack后找到比较可疑的堆栈是大部分线程都卡在了countdownlatch.await方法，找开发同学了解后得知使用了多线程但是确没有catch异常，修改后发现异常仅仅是最简单的升级sdk后常出现的class not found。
 
  
 
 
  

 参考
 
  
JAVA线上故障排查全套路：https://fredal.xin/java-error-check
 
  
线上服务的FGC问题排查：https://mp.weixin.qq.com/s/56wZ4u74MnFik72dTgnwZg
 
  
Java 中的内存溢出和内存泄露：https://mp.weixin.qq.com/s/FtY6CSbU1AHlQhRpL4_IJg
 
  
Linux 系统运行缓慢，CPU 100%，以及Full GC次数过多问题的排查思路
 
  
通过 jstack 与 jmap 分析一次线上故障
 
  
JVM内存模型和GC机制
 
  
探秘Java虚拟机——内存管理与垃圾回收
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(架构,Linux)

        

            

                
    
                    
  • LINUX系统优化
                        敖光 SRE
linux运维服务器
                        
    LINUX系统优化企业生产场景中Linux系统的分区方案及内核企业生产场景中Linux系统的分区方案常规的分区方案如下：方案1：针对网站集群架构中的某个节点服务器分区，该服务器上的数据有多份（其他节点也有）且数据不太重要，建议的分区方案如下。/boot：设置为100~200MB。swap：物理内存的1.5倍，当内存大于或等于8GB时，配置为8~16GB即可。/：剩余硬盘空间大小（/usr、/hom
    
                    
    • 
                    
  • 【Linux】交叉编译
                        Thenunaoer
Linuxlinux
                        
    Linux-交叉编译前言1.aarch64-none-linux-gnu-gcc是什么东西？2.为什么叫交叉编译工具链？2.1为什么叫工具链？2.2为什么叫交叉编译？一、交叉编译wiringOP库的配置过程解释（对照文档的实现过程）1.修改`build.sh`脚本2.修改`Makefile`修改`CC`变量修改`DESTDIR`变量3.修改`wiringPi/Makefile`4.修改`devLi
    
                    
    • 
                    
  • 【linux问题】Linux命令行终端窗口的输出，显示不全问题
                        Thenunaoer
开发过程中遇到的问题Linuxlinux
                        
    Linux命令行终端窗口的输出，显示不全问题问题：图中显示的是一个Linux命令行终端窗口，nmclidevwifi是一个命令——列出所有能用的Wi-Fi。执行命令后，窗口输出了显示了所有能用的Wi-Fi网络列表。但是在每一行末尾有一个“>”符号，这个符号是什么意思？是输出的内容没显示完全的意思吗，那怎么解决？答：图中每行末尾的“>”符号确实表示输出内容被截断，显示的行无法完全显示出所有信息。这种
    
                    
    • 
                    
  • 【Linux刷题练习】
                        Thenunaoer
刷题linux
                        
    题目1题目：Linux文件权限-rwxr-xr-x是什么意思，怎样变更文件夹以及下面所有文件的拥有者？正确答案：A知识点：文件权限：-rwxr-xr-x表示文件权限：第一个-表示文件类型，如果是d则表示目录。rwx表示文件所有者的权限：可读（r）、可写（w）、可执行（x）。r-x表示文件所有者所在组的用户权限：可读（r）、不可写（-）、可执行（x）。r-x表示其他用户的权限：可读（r）、不可写（-
    
                    
    • 
                    
  • Linux使用chrony让局域网内的服务器时间同步_chrony同步间隔，走进Linux运维架构
                        2401_87298546
服务器运维linux
                        
    在所有节点上执行chrony服务安装命令，将主节点设置时间服务器，其他的节点都从主节点同步时间。#安装服务yum-yinstallchrony#查看状态systemctlstatuschronyd#重启chronydsystemctlrestartchronyd二、检查设置时区在所有节点上设置统一的时间区域，本文中将其设置为亚洲时区，用户可自行定义。#查看时区[root@x~]#timedatec
    
                    
    • 
                    
  • nacos学习笔记
                        柠檬编程工作室
SpringCloud微服务java面试经验学习笔记
                        
    Nacos（动态服务发现、配置管理与服务管理平台）是阿里巴巴开源的一个分布式系统架构中服务发现和配置管理的基础组件。它的主要目标是提供一个动态服务发现、配置管理和服务管理的解决方案。Nacos主要适用于微服务架构，并在云原生环境下发挥重要作用。Nacos的核心功能服务发现与健康检查Nacos提供了服务发现功能，可以帮助微服务在运行时动态发现其他服务的地址和端口。服务提供者（例如一个微服务实例）将自
    
                    
    • 
                    
  • Linux下使用poll函数编写UDP客户端、服务器程序
                        崔杰城
linuxudp网络协议网络
                        
    一、UDP服务器与客户端的区别对于UDP服务器与客户端，两者都可以通过sendto和recvfrom函数收发数据，它们的主要区别是：1.服务器一般是等待并响应来自客户端的请求，客户端则是主动发送请求并且等待服务器的响应。2.服务器端要将地址和端口号绑定，如果不绑定就无法使用recvfrom函数接受数据（也就是说服务器需要调用bind函数将一个套接字与一个地址绑定，而客户端不需要）。所以对于UDP，
    
                    
    • 
                    
  • android database SQLite
                        一路阳光随行
Androidsqlitedatabaseandroid存储数据库
                        
    2.数据库基本知识观花对于一些和我一样还没有真正系统学习数据库技术的同学来说，把SQL92标准中的一些基本概念、基本语句快速的了解一下，是很有必要的，这样待会用Android的database相关方法去执行一些数据库语句时就不会茫然了。①数据库的基本结构——表格表格是数据库中储存资料的基本架构。表格被分为栏位(column)及列位(row)。每一列代表一笔资料，而每一栏代表一笔资料的一部份。举例来
    
                    
    • 
                    
  • Ubuntu 系统 LVM 逻辑卷扩容教程
                        
运维linuxubuntu
                        
    Ubuntu系统LVM逻辑卷扩容教程前言在Linux系统中，LVM（LogicalVolumeManager）是一种逻辑卷管理工具，允许管理员动态调整磁盘空间，而无需重启系统。本文将详细介绍如何使用LVM扩容逻辑卷，以实现灵活的磁盘管理。准备工作备份重要数据任何磁盘操作都有风险，建议提前备份关键数据。确认当前磁盘状态确保已扩展物理磁盘或添加了新磁盘（虚拟机需扩展虚拟磁盘后重启系统）。步骤1：检查当
    
                    
    • 
                    
  • sqlite数据库
                        SickeyLee
Android项目总结数据库sqliteandroid
                        
    一、什么是sqlite数据库SQLite，是一款轻型的数据库，它的设计目标是嵌入式的，而且已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统，同时能够跟很多程序语言相结合，同样比起Mysql、PostgreSQL这两款开源的世界著名数据库管理系统来讲，它的处理速度比他们都快。1、简单，无
    
                    
    • 
                    
  • 什么是射频？射频基本架构？
                        m0_74823827
面试学习路线阿里巴巴架构
                        
    什么是射频？射频系统架构？一、认识射频1、射频信号射频（RadioFrequency），即高频交流变化电磁波的简称，可理解为无线电的代名词，描绘那些依赖无线技术进行通信的系统，特指频率范围在3kHz~300GHz的具有远距离传输能力的高频电磁波。电磁波无处不在，根据频率不同划分成不同领域，从低频到高频依次有：无线电、微波、红外线、可见光、紫外线、x射线、伽马射线等。射频归属于无线电中，再高的的频率
    
                    
    • 
                    
  • linux常用基础命令_最新版
                        脚大江山稳
linux运维服务器
                        
    常用命令查看当前目录下个各个文件大小查看当前系统储存使用情况查看当前路径删除当前目录下所有包含".log"的文件linux开机启动jar更改自动配置文件后操作关闭自启动linux静默启动java服务查询端口被占用查看软件版本重启关机开机启动取别名清空当前行创建文件touch创建文件夹查找文件/文件名/大小查找查看文件内容cat/more删除文件或文件夹管道符|过滤grep命令echo命令输出内容重
    
                    
    • 
                    
  • AI大模型的技术突破与传媒行业变革
                        AIQL
行业分析人工智能传媒
                        
    性能与成本：AI大模型的“双轮驱动”过去几年，AI大模型的发展经历了从实验室到产业化的关键转折。2025年初，以DeepSeekR1为代表的模型在数学推理、代码生成等任务中表现超越国际头部产品，而训练成本仅为传统模型的几十分之一。这一突破的核心在于三大技术创新：MoE架构升级：通过部署256个细粒度专家网络，减少知识冗余，提升模型效率；MLA注意力机制：动态压缩推理过程中的缓存需求，降低GPU内存
    
                    
    • 
                    
  • 电子电气架构 -- 智能汽车电子电气架构开发关键技术
                        车载诊断技术
电子电器架构开发流程车载电子电气架构车载通信架构架构汽车电子电器架构网络SOA
                        
    我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：所有人的看法和评价都是暂时的，只有自己的经历是伴随一生的，几乎所有的担忧和畏惧，都是来源于自己的想象，只有你真的去做了，才会发现有多快乐。人就应该满脑子都是前途，不再在意别人的看法不再害怕别人讨厌自己，不再畏手畏脚忧心忡忡也不会在睡前反回忆白天的行为，是否让对方产生误解用你那精神内耗
    
                    
    • 
                    
  • 电子电气架构 --- 机器学习推动车载雷达的发展
                        车载诊断技术
汽车行业车辆信息安全机器学习人工智能电子电器框架网络架构汽车
                        
    我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：简单，单纯，喜欢独处，独来独往，不易合同频过着接地气的生活，除了生存温饱问题之外，没有什么过多的欲望，表面看起来很高冷，内心热情，如果你身边有这样灵性的人，一定要好好珍惜他们眼中有神有光，干净，给人感觉很舒服，有超强的感知能力有形的无形的感知力很强，能感知人的内心变化喜欢独处，好静，
    
                    
    • 
                    
  • 工控网络安全架构
                        黑客Jack
web安全架构安全
                        
    工控网络安全架构概述随着工业4.0的快速发展，工控系统（IndustrialControlSystems,ICS）在现代工业生产中扮演着越来越重要的角色。然而，工控系统的安全性问题已成为普遍关注的焦点。本文将介绍工控网络安全架构的基本概念和构成，并通过代码示例、类图和序列图进行详细说明，以帮助理解如何实现在这一领域的安全性。1.工控网络安全架构的组成工控网络安全架构通常由多个层次和组件构成，主要包
    
                    
    • 
                    
  • windows ping linux 无法访问主机
                        心灵宝贝
linux
                        
    使用桥接的模式1、关闭linux上的防火墙serviceiptablesoff永久关闭防火墙2、关闭windows的防火墙，就是关闭掉360的相关软件，不然会出现windows无法ping通linux的
    
                    
    • 
                    
  • DeepSeek进阶开发与应用1：DeepSeek框架概述与基础应用
                        Evaporator Core
#DeepSeek快速入门DeepSeek进阶开发与应用spring自然语言处理
                        
    引言在当今的人工智能领域，深度学习技术已经成为了推动技术进步的核心动力之一。DeepSeek作为一个先进的深度学习框架，旨在为开发者和研究人员提供一个高效、灵活且易于扩展的平台，以便于他们能够快速地实现和部署各种深度学习模型。本文将深入探讨DeepSeek框架的核心架构、基础应用以及如何通过代码实现一个简单的深度学习模型。DeepSeek框架概述DeepSeek框架的设计理念是简洁而强大。它提供了
    
                    
    • 
                    
  • 在软件产品从开发到上线过程中，不同阶段可能出现哪些问题，导致软件最终出现线上bug
                        测试-东方不败之鸭梨
测试基础bug数据库
                        
    在软件产品从开发到上线的全生命周期中，不同阶段都可能因流程漏洞、技术疏忽或人为因素导致线上问题。以下是各阶段常见问题及典型案例：1.需求分析与设计阶段问题根源：业务逻辑不清晰或设计缺陷典型问题：需求文档模糊（如未明确定义边界条件或异常场景）架构设计不合理（如单点故障、未考虑高并发场景）技术选型与业务场景不匹配（如用Redis缓存静态数据但未设置TTL）案例：支付接口未设计幂等性，导致用户重复点击时
    
                    
    • 
                    
  • Linux中的文件描述符
                        王十二er
Linux编程基础linux服务器运维
                        
    这里写目录标题Linux中的文件描述符常见的文件描述符文件描述符的操作重定向输入重定向文件描述符的分配规则文件描述符的特殊情况文件描述符的使用示例文件描述符的管理总结Linux中的文件描述符在Linux和其他类Unix操作系统中，文件描述符（FileDescriptor,FD）是一个非负整数，用于表示正在被进程访问的文件或I/O资源。每个进程都有一张文件描述符表，用于跟踪进程打开的文件和I/O资源
    
                    
    • 
                    
  • 【6】Underlay&Overlay
                        剪刀石头布Cheers
CiscoSDWANLearning网络思科SDWAN
                        
    1.Underlay和Overlay路由在SD-WAN架构中，路由分为Underlay（基础网络）和Overlay（叠加网络）两个层次。(1)Underlay路由Underlay是SD-WAN设备运行的底层物理网络，负责在不同站点之间建立基本的IP连接。特性：依赖MPLS、互联网、4G/5G或卫星链路等物理传输介质。使用传统路由协议（如BGP、OSPF、EIGRP）在物理网络上进行路径选择。不能提
    
                    
    • 
                    
  • 【Linux】【进程】epoll内核实现总结+ET和LT模式内核实现方式
                        钟离墨笺
Linuxlinux网络运维
                        
    【Linux】【网络】epoll内核实现总结+ET和LT模式内核实现方式1.epoll的工作原理eventpoll结构当某一进程调用epoll_create方法时，Linux内核会创建一个eventpoll结构体，这个结构体中有两个成员与epoll的使用方式密切相关.structeventpoll{..../*红黑树的根节点，这颗树中存储着所有添加到epoll中的需要监控的事件*/structrb
    
                    
    • 
                    
  • AI驱动的可演化架构与前端开发效率
                        2401_89744464
人工智能架构前端
                        
    1.引言在当今快节奏的数字时代，软件系统需要具备强大的适应能力才能在瞬息万变的市场需求中保持竞争力。软件可演化架构的重要性日益凸显，它能够让软件系统在面对需求变更、技术升级以及市场波动时，能够快速、高效地进行调整和升级，避免因僵化的架构而导致的项目失败和资源浪费。然而，传统的软件架构往往面临着诸多挑战，例如维护成本高昂、迭代速度缓慢、难以适应新的技术和需求等。幸运的是，人工智能（AI）技术的快速发
    
                    
    • 
                    
  • Linux安装nginx并配置systemctl命令
                        伊莲已存在
服务器nginxlnmpnginxlinux
                        
    1、安装yumListitem安装流程不在赘述可以自行查看这里2、使用yum安装nginxyum-yinstallnginx3、安装完成后，yum安装会自动生成systemctl命令，执行如下systemctlstartnginxsystemctlstatusnginx![在这里插入图片描述](https://img-blog.csdnimg.cn/dbbaf9a3d2ea42b1b01b2a09
    
                    
    • 
                    
  • Linux系统下Nginx的安装部署（两种方式）
                        啊嘞嘞？
Linuxlinuxnginx运维
                        
    本文主要介绍Linux环境下Nginx的安装（两种方式）。1.部署Nginx服务(二进制部署方式),2.手动安装Nginx二进制文件（离线）以及一些的常用的Nginx命令文章目录前言一、Nginx是什么？二、预备软件1、nginx自带一个Substitution模块，但该模块只能写一行，所以才改用substitutions2、编译软件3、配置nginx.conf三、部署Nginx服务(二进制部署方
    
                    
    • 
                    
  • linux终端文件管理命令‌
                        kevinfkq
linux运维服务器
                        
    ls：列出目录内容。cd：切换当前工作目录。pwd：显示当前工作目录的绝对路径。mkdir：创建新目录。rmdir：删除空目录。cp：复制文件或目录。rm：删除文件或目录。mv：移动文件与目录，或修改名称。‌chmod+x文件名：指定某个文件赋予权限。chmod-R777:所有文件给权限
    
                    
    • 
                    
  • node js怎么进行打包发布linux,Node.js JXcore 打包
                        weixin_39851457
nodejs怎么进行打包发布linux
                        
    Node.jsJXcore打包Node.js是一个开放源代码、跨平台的、用于服务器端和网络应用的运行环境。JXcore是一个支持多线程的Node.js发行版本，基本不需要对你现有的代码做任何改动就可以直接线程安全地以多线程运行。这篇文章主要是要向大家介绍JXcore的打包功能。JXcore安装下载JXcore安装包，并解压，在解压的的目录下提供了jx二进制文件命令，接下来我们主要使用这个命令。步骤
    
                    
    • 
                    
  • vs发布后再linux打包linux版本的安装包
                        kevinfkq
linuxgithub运维
                        
    *****Linux安装包打包：**在vs打包好linux运行文件，将linux-x64复制到linux电脑桌面上，准备好可执行文件和资源后，先打开终端输入./overview.Desktop试试是否可以运行。（本项目可能需要输入sudomkdir-p/home/coalcar和sudochmod-R777/home/coalcar进行日志文件夹的创建和权限赋予）。在linux电脑操作即可。一、首
    
                    
    • 
                    
  • 2025年如何选择合适的微服务工具
                        zxzy_org
微服务架构云原生算法
                        
    选择合适的工具是成功实施微服务架构的关键，而2025年市场上可供选择的工具种类更加丰富，这也让开发者需要更为谨慎地做出决策。首先，需要根据团队的技术栈选择合适的开发框架。例如，Java开发者可以选择SpringBoot，而Node.js开发者可能更倾向于使用Express或NestJS。其次，在服务通信方面，工具的选择应基于业务需求。如果追求低延迟和高效数据传输，gRPC是一个值得考虑的方案；而对
    
                    
    • 
                    
  • container_of()理解和使用场景
                        qq_41072096
笔记指针链表
                        
    函数解释：在Linux内核源码中，实现和链表相关的接口list_entry()时，会调用container_of()宏定义，它的作用是：给定结构体中某个成员的地址、该结构体类型和该成员的名字获取这个成员所在的结构体变量的首地址。container_of()宏定义实现如下所示：/***container_of-castamemberofastructureouttothecontainingstru
    
                    
    • 
                                
  • Nginx负载均衡
                                    510888780
nginx应用服务器
                                    
    Nginx负载均衡一些基础知识: 
 
nginx 的 upstream目前支持 4 种方式的分配 
1)、轮询（默认） 
      每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 
2)、weight 
      指定轮询几率，weight和访问比率成正比
    
                                
    • 
                                
  • RedHat 6.4 安装 rabbitmq
                                    bylijinnan
erlangrabbitmqredhat
                                    
    在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功 
 
机器版本： 
 
[root@redhat1 rabbitmq]# lsb_release
LSB Version:    :base-4.0-amd64:base-4.0-noarch:core
    
                                
    • 
                                
  • FilenameUtils工具类
                                    eksliang
FilenameUtilscommon-io
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述 
这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。 
    
                                
    • 
                                
  • xml文件解析SAX
                                    不懂事的小屁孩
xml
                                    
    xml文件解析:xml文件解析有四种方式， 
1.DOM生成和解析XML文档(SAX是基于事件流的解析) 
2.SAX生成和解析XML文档(基于XML文档树结构的解析) 
3.DOM4J生成和解析XML文档 
4.JDOM生成和解析XML  
本文章用第一种方法进行解析，使用android常用的DefaultHandler 
 
 
import org.xml.sax.Attributes;

    
                                
    • 
                                
  • 通过定时任务执行mysql的定期删除和新建分区，此处是按日分区
                                    酷的飞上天空
mysql
                                    
    使用python脚本作为命令脚本，linux的定时任务来每天定时执行 
  
#!/usr/bin/python
# -*- coding: utf8 -*-
import pymysql
import datetime
import calendar

#要分区的表
table_name = 'my_table'
#连接数据库的信息
host,user,passwd,db = 
    
                                
    • 
                                
  • 如何搭建数据湖架构？听听专家的意见
                                    蓝儿唯美
架构
                                    
    Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据 
 “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
    
                                
    • 
                                
  • spring学习——控制反转与依赖注入
                                    a-john
spring
                                    
           控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。 控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。 
  

    
                                
    • 
                                
  • 用spool+unixshell生成文本文件的方法
                                    aijuans
xshell
                                    
    例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下:  
　　set pages 50000; 
　　set lines 200; 
　　set trims on; 
　　set heading off; 
　　spool /oracle_backup/log/test/dept.lst; 
　　select deptno||','||dname||','||loc 
    
                                
    • 
                                
  • 1、基础--名词解析(OOA/OOD/OOP)
                                    asia007
学习基础知识
                                    
    OOA:Object-Oriented Analysis（面向对象分析方法） 
是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。 
　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
    
                                
    • 
                                
  • 浅谈java转成json编码格式技术
                                    百合不是茶
json编码java转成json编码
                                    
    json编码;是一个轻量级的数据存储和传输的语言 
   
   在java中需要引入json相关的包,引包方式在工程的lib下就可以了 
  
JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非 
  
常适合于服务器与 JavaScript 之间的数据的交
    
                                
    • 
                                
  • web.xml之Spring配置(基于Spring+Struts+Ibatis)
                                    bijian1013
javaweb.xmlSSIspring配置
                                    
    指定Spring配置文件位置 
<context-param>
		<param-name>contextConfigLocation</param-name>
		<param-value>
			/WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml,
			/WEB-INF/
    
                                
    • 
                                
  • Installing SonarQube（Fail to download libraries from server）
                                    sunjing
InstallSonar
                                    
    1.  Download and unzip the SonarQube distribution  
2.  Starting the Web Server 
The default port is "9000" and the context path is "/". These values can be changed in &l
    
                                
    • 
                                
  • 【MongoDB学习笔记十一】Mongo副本集基本的增删查
                                    bit1129
mongodb
                                    
    一、创建复本集 
  
假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令： 
  
mongod --port 27017 --dbpath  data1 --replSet rs0

mongod --port 27018 --dbpath  data2 --replSet rs0

mongod --port 27019 -
    
                                
    • 
                                
  • Anychart图表系列二之执行Flash和HTML5渲染
                                    白糖_
Flash
                                    
    今天介绍Anychart的Flash和HTML5渲染功能 
  
 
 HTML5 
 
Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。 
这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
    
                                
    • 
                                
  • Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa
                                    bozch
laravel
                                    
    昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： 
ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
    
                                
    • 
                                
  • 编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜
                                    bylijinnan
编程之美
                                    
    


import java.util.Arrays;
import java.util.Random;

public class Nim {

	/**编程之美 NIM游戏分析
问题：
有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头，
能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
    
                                
    • 
                                
  • lunce创建索引及简单查询
                                    chengxuyuancsdn
查询创建索引lunce
                                    
    import java.io.File;
import java.io.IOException;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Docume
    
                                
    • 
                                
  • [IT与投资]坚持独立自主的研究核心技术
                                    comsci
it
                                    
     
 
       和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段..... 
 
 
       所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
    
                                
    • 
                                
  • flashback transaction闪回事务查询
                                    daizj
oraclesql闪回事务
                                    
       
闪回事务查询有别于闪回查询的特点有以下3个： 
 
（1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。 
 
（2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。 
 
（3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
    
                                
    • 
                                
  • Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件
                                    游其是你
FilenameFilter
                                    
    这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。        1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28  
    
                                
    • 
                                
  • C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题
                                    dcj3sjt126com
c
                                    
    # include <stdio.h>

int f(void)		//括号中的void表示该函数不能接受数据，int表示返回的类型为int类型
{
	return 10;	//向主调函数返回10
}

void g(void)	//函数名前面的void表示该函数没有返回值
{
	//return 10;	//error 与第8行行首的void相矛盾
}

in
    
                                
    • 
                                
  • 今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl
                                    dcj3sjt126com
centos
                                    
    今天在测试环境使用yum安装，遇到一个问题： 
Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again 
  
处理很简单，修改文件“/etc/yum.repos.d/epel.repo”， 将baseurl的注释取消， mirrorlist注释掉。即可。 
&n
    
                                
    • 
                                
  • 单例模式
                                    shuizhaosi888
单例模式
                                    
    单例模式        懒汉式 
public class RunMain {

	/**
	 * 私有构造
	 */
	private RunMain() {
	}
	
    /**
     * 内部类，用于占位，只有
     */
	private static class SingletonRunMain {
		priv
    
                                
    • 
                                
  • Spring Security（09）——Filter
                                    234390216
Spring Security
                                    
    Filter 
目录 
1.1     Filter顺序 
1.2     添加Filter到FilterChain 
1.3     DelegatingFilterProxy 
1.4     FilterChainProxy 
1.5
    
                                
    • 
                                
  • 公司项目NODEJS实践0.1
                                    逐行分析JS源代码
mongodbnginxubuntunodejs
                                    
      
一、前言 
        前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。 
        网上有很多nod
    
                                
    • 
                                
  • java.lang.Math
                                    liuhaibo_ljf
javaMathlang
                                    
    System.out.println(Math.PI); 
System.out.println(Math.abs(1.2)); 
System.out.println(Math.abs(1.2)); 
System.out.println(Math.abs(1)); 
System.out.println(Math.abs(111111111)); 
System.out.println(Mat
    
                                
    • 
                                
  • linux下时间同步
                                    nonobaba
ntp
                                    
    今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误  PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
    
                                
    • 
                                
  • ZooKeeper3.4.6的集群部署
                                    roadrunners
zookeeper集群部署
                                    
    ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。 
  
1、准备工作 
我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。 
  
数据存储目录
    
                                
    • 
                                
  • Java高效读取大文件
                                    tomcat_oracle
java
                                    
    　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法：   　　Files.readLines(new File(path), Charsets.UTF_8);   　　FileUtils.readLines(new File(path));   　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
    
                                
    • 
                                
  • 微信支付api返回的xml转换为Map的方法
                                    xu3508620
xmlmap微信api
                                    
    举例如下： 
<xml> 
   <return_code><![CDATA[SUCCESS]]></return_code> 
   <return_msg><![CDATA[OK]]></return_msg> 
   <appid><
    
                                
    •