小小爱笑
小小爱笑

jetty-client 内存溢出问题分析

问题背景

项目整体上是微服务架构，微服务之前通过http的restfull请求交互。问题出现在接收其他微服务http响应的时候。单个微服务的启动参数-Xmx512m,即最大内存为512M。

jetty-client 内存溢出问题分析_第1张图片
image

报错信息

首先获取日志信息:

java.lang.OutOfMemoryError: Java heap space
    at java.nio.HeapByteBuffer.(HeapByteBuffer.java:57) ~[?:1.8.0_212]
    at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) ~[?:1.8.0_212]
    at org.eclipse.jetty.util.BufferUtil.allocate(BufferUtil.java:116) ~[jetty-util-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.io.ByteBufferPool.newByteBuffer(ByteBufferPool.java:61) ~[jetty-io-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.io.MappedByteBufferPool.acquire(MappedByteBufferPool.java:65) ~[jetty-io-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.http.GZIPContentDecoder.acquire(GZIPContentDecoder.java:408) ~[jetty-http-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.http.GZIPContentDecoder.decodedChunk(GZIPContentDecoder.java:108) ~[jetty-http-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.http.GZIPContentDecoder.decodeChunks(GZIPContentDecoder.java:189) ~[jetty-http-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.http.GZIPContentDecoder.decode(GZIPContentDecoder.java:71) ~[jetty-http-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.client.HttpReceiver.responseContent(HttpReceiver.java:347) ~[jetty-client-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.client.http.HttpReceiverOverHTTP.content(HttpReceiverOverHTTP.java:283) ~[jetty-client-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.http.HttpParser.parseContent(HttpParser.java:1787) ~[jetty-http-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.http.HttpParser.parseNext(HttpParser.java:1517) ~[jetty-http-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.client.http.HttpReceiverOverHTTP.parse(HttpReceiverOverHTTP.java:172) ~[jetty-client-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.client.http.HttpReceiverOverHTTP.process(HttpReceiverOverHTTP.java:135) ~[jetty-client-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.client.http.HttpReceiverOverHTTP.receive(HttpReceiverOverHTTP.java:73) ~[jetty-client-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.client.http.HttpChannelOverHTTP.receive(HttpChannelOverHTTP.java:133) ~[jetty-client-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.client.http.HttpConnectionOverHTTP.onFillable(HttpConnectionOverHTTP.java:155) ~[jetty-client-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.io.AbstractConnection$ReadCallback.succeeded(AbstractConnection.java:305) ~[jetty-io-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.io.FillInterest.fillable(FillInterest.java:103) ~[jetty-io-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.io.ssl.SslConnection$DecryptedEndPoint.onFillable(SslConnection.java:411) ~[jetty-io-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.io.ssl.SslConnection.onFillable(SslConnection.java:305) ~[jetty-io-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.io.ssl.SslConnection$2.succeeded(SslConnection.java:159) ~[jetty-io-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.io.FillInterest.fillable(FillInterest.java:103) ~[jetty-io-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.io.ChannelEndPoint$2.run(ChannelEndPoint.java:118) ~[jetty-io-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.util.thread.strategy.EatWhatYouKill.runTask(EatWhatYouKill.java:333) ~[jetty-util-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.util.thread.strategy.EatWhatYouKill.doProduce(EatWhatYouKill.java:310) ~[jetty-util-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.util.thread.strategy.EatWhatYouKill.tryProduce(EatWhatYouKill.java:168) ~[jetty-util-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.util.thread.strategy.EatWhatYouKill.run(EatWhatYouKill.java:126) ~[jetty-util-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.util.thread.ReservedThreadExecutor$ReservedThread.run(ReservedThreadExecutor.java:366) ~[jetty-util-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:765) ~[jetty-util-9.4.14.v20181114.jar:9.4.14.v20181114]
    at org.eclipse.jetty.util.thread.QueuedThreadPool$2.run(QueuedThreadPool.java:683) ~[jetty-util-9.4.14.v20181114.jar:9.4.14.v20181114]

通过错误堆栈可以看到，发生内存溢出时，正在解析http响应的body体。

通常 OutOfMemoryError 堆栈，并不能确定问题的根因。

如果系统存在内存泄漏，并且内存接近上限，此时，当正常业务流程需要申请一部分内存时，如果总量超过了最大内存，会抛出内存溢出异常。通过此时的堆栈，并不能找到问题的根因。

分析 .hprof 文件内容

接下来通过MAT查看hprof文件

jetty-client 内存溢出问题分析_第2张图片
image.png

450m以上的内存是一个MappedByteBufferPool对象。此处应该就是问题的根因。也正是问题发生时的log调用堆栈中的对象。

先大概查看一下源码。MappedByteBufferPool.java是一个内存缓冲池，提供了申请内存和释放内存的方法。 MappedByteBufferPool内存过高应该就是只申请而没有释放。 从源码上看释放内存应该是调用者的职责。

所以接下来通过调用栈，调用者是GZIPContentDecoder.java。从名字上看应该是在解压gzip的报文。

响应报文过大导致溢出?

通过之前的业务日志和业务代码上推断此处报文大小最多也就是几M的数量级，不会出现400多M的情况。

继续通过MAT查看内存的详细信息

jetty-client 内存溢出问题分析_第3张图片
捕获.PNG

内存缓存池以map形式存在，key是int，并且相邻两个key对应的内容相差2048字节内存。

通过上述分析，推断该问题可能是jetty框架的问题。

因为业务代码应该不会接触到 MappedByteBufferPool对象，并且业务的报文最大值大约是几M，单纯的业务报文不会导致内存溢出。

google

如果是开源框架问题，有可能已经有了解决方法，于是google一下。

google 关键字 GZIPContentDecoder + OutOfMemoryError 发现第一个在官方jetty项目下有个issue描述与此问题类似。

jetty-client 内存溢出问题分析_第4张图片
捕获.PNG

查看issue内容后发现，正是此问题，并且最新版本已经修复了该问题。

https://github.com/eclipse/jetty.project/issues/3373

https://github.com/eclipse/jetty.project/commit/057575f1cb8fd2c0c35e8eeeb26b726c1d4cea99

总结

org.eclipse.jetty.io.MappedByteBufferPool

org.eclipse.jetty.client.HttpClient

org.eclipse.jetty.http.GZIPContentDecoder

MappedByteBufferPool：提供缓存池，当前版本存在缺陷，缓存大小无上限

HttpClient：创建MappedByteBufferPool和GZIPContentDecoder，用于http通信消息的处理

GZIPContentDecoder： 当消息内容是经过压缩的，使用此类进行解压，解压过程也会使用到HttpClient创建的MappedByteBufferPool

GZIPContentDecoder的缺陷：无法确定解压的后内容的大小，先申请一块缓存，解压后确认大小是否够用，不够的话增加大小重新申请一块缓存，重新解压，这个过程会导致一个压缩报文反复申请缓存，逐渐增加大小，直到申请到合适大小的缓存才能成功，这过程重申请的缓存最终都被放入MappedByteBufferPool缓存池，产生的缓存大小为：2048 + 20482 +20483 + … … +2048*n，一个解压后大小为640k的报文，最终产生100M的缓存。

Jetty最新版本 9.4.17，MappedByteBufferPool进行了优化，增加了最大缓存大小的设置，超出会清理，但是默认构造还是不设置上限，并且HttpClient并没有优化后的构造方法，还是存在内存泄漏可能。
GZIPContentDecoder已修复了缺陷，不会反复重新解压，而是分段解压，最后合并结果。

参考：

jetty 源码
https://github.com/eclipse/jetty.project

Mat工具
https://www.eclipse.org/mat/

原文链接
https://www.bestlang.cn/article/26

你可能感兴趣的:(jetty-client 内存溢出问题分析)

  • Android 亮度范围定制 ItJavawfc FrameworkandroidBrightnessAndroid亮度范围定制
    文章目录需求及场景问题分析适配方案一、相关资源参考SystemUI基本内容熟悉-Brightness模块亮度控制部分相关资源二、修改方案修改点一修改点二代码跟踪需求及场景自己这几年开发过的几款产品遇到这样的情况，实际场景如下：屏幕最大亮度太亮屏幕最小亮度太暗了，最小亮度调到0%时候，屏幕黑黢黢的看不到屏幕了屏幕亮度在0%到60%调节亮度发现调节没有用屏幕亮度在90%-100%调节没有用问题分析屏幕
  • Java中的垃圾回收机制是如何工作的？ Good_tea_h javajvm算法
    Java中的垃圾回收机制（GarbageCollection,GC）是Java虚拟机（JVM）的一个重要组成部分，它负责自动管理内存的分配和释放，以减轻程序员在内存管理方面的负担，并防止内存泄漏和内存溢出等问题。一、垃圾回收机制的核心思想Java的垃圾回收机制主要基于两个核心思想：标记和回收。标记：垃圾收集器会定期自动扫描内存中的对象，根据特定的算法（如可达性分析法）来判断哪些对象已经不再被程序使
  • IDEA测试类启动报 “java: 常量字符串过长” 解决办法 无休居士 Java工程常见异常javaintellij-ideaide
    目录标题问题描述问题分析解决办法其他办法问题描述问题分析字符串长度过长，导致idea默认使用的javac编译器编译不了。查询资料发现，原因是javac在编译期间，常量字符串最大长度为65534。解决办法Javac编译器改为Eclipse编译器。File->Settings->Build,Execution,Deployment->Compiler->JavaCompiler其他办法如果不是新建pr
  • Spring 在多线程环境下如何确保事务一致性 「已注销」 SpringBootspringmysqljava
    目录问题在现如何解决异步执行多线程环境下如何确保事务一致性事务王国回顾事务实现方式回顾编程式事务利用编程式事务解决问题问题分析完了，那么如何解决问题呢？小结问题在现我先把问题抛出来，大家就明白本文目的在于解决什么样的业务痛点了:public void removeAuthorityModuleSeq(Integer authorityModuleId, IAuthorityService iAut
  • 嵌入式八股文(一) C语言篇 云雨歇 学习笔记c语言
    文章目录前言一、指针和变量二、关键字1.volatile2.const3.static4.extern三、数据结构1.结构体1.1结构体基本内容1.2通过指针对结构体赋值1.3结构体指针2.联合体3.链表3.1基本概念3.2链表的插入和删除4.栈（Stack）5.堆（Heap）6.队列四、内存1.内存分配的方法2.malloc和free3.内存泄漏4.内存溢出前言笔者在学习时发觉自己的C语言很久没
  • JVM垃圾回收（Garbage Collection）机制 小码ssim jvm
    1、定义描述Java的垃圾回收（GarbageCollection，GC）机制是Java虚拟机（JVM）的一项关键功能，旨在自动管理内存，回收不再使用的对象，保证程序运行过程中不出现内存泄漏和内存溢出。2、回收位置VM内存结构中，垃圾回收的主要工作集中在堆内存区域（回收无引用或循环的废弃对象实例）。其他内存区域，如方法区（存储元数据，常量、静态变量和即将编译的代码，垃圾回收不频繁，且不如堆内存高效
  • 记录一次获取车载摄像头数量为0同时打开摄像头黑屏的问题分析（基于Android M） 言并肃 android源码分析androidCameraframework
    在一次实车测试车载倒车过程中，出现了倒车打开车载摄像头黑屏的现象。分析收集的log，发现初始化Camera前会获取摄像头数量来确定车载摄像头是否连接，当获取的摄像头数量大于0时则认为接入了摄像头。于是跟踪Camera的源码，追查原因。首先从app层的代码入手，获取的摄像头的代码如下：privatestaticfinalintCAMERA_TYPE_BACKWARD_COMPATIBLE=0;pri
  • Redis总结：缓存雪崩、缓存击穿、缓存穿透与缓存预热、缓存降级 南方葵籽 编程java面试缓存redisjava面试分布式
    01缓存雪崩1.1什么是缓存雪崩？如果缓在某一个时刻出现大规模的key失效，那么就会导致大量的请求打在了数据库上面，导致数据库压力巨大，如果在高并发的情况下，可能瞬间就会导致数据库宕机。这时候如果运维马上又重启数据库，马上又会有新的流量把数据库打死。这就是缓存雪崩。1.2缓存雪崩问题分析造成缓存雪崩的关键在于同一时间的大规模的key失效，为什么会出现这个问题，主要有两种可能：第一种是Redis宕机
  • Ai+若依（集成easyexcel实现excel表格增强） 潇洒（sa）一点 java
    EasyExcel介绍官方地址：EasyExcel官方文档-基于Java的Excel处理工具|EasyExcel官网Java解析、生成Excel比较有名的框架有Apachepoi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大
  • java.net.ConnectException: Connection refused`异常的正确解决方法，亲测有效，嘿嘿嘿 代码无疆 Java百宝箱java开发语言
    java.net.ConnectException:Connectionrefused异常通常在尝试建立网络连接时遇到，特别是当客户端试图连接到服务器时，而服务器没有在指定的端口上监听，或者服务器防火墙/安全组规则阻止了连接。以下是对这个异常的详细分析、报错原因、解决思路以及解决方法的说明。问题分析当Java应用程序尝试通过网络套接字（Socket）连接到远程服务器时，如果在目标地址和端口上没有找
  • SQL进阶技巧：截止当前批次前的批次量与订单量 | 移动窗口问题 莫叫石榴姐 数字化建设通关指南#SQL进阶实战技巧sql数据库大数据数学建模hive数据仓库数据分析
    目录0场景描述1数据准备2问题分析3小结0场景描述表A有如下字段，userid(用户ID),batchid(批次ID),orderid(订单ID),createtime(创建时间),同一个用户ID下有多个批次,同一个批次下有多个订单ID,相同批次ID的创建时间是相同的，创建时间精确到了秒。统计，截止对应批次ID的时间点前，该用户下有多少个批次ID，有多少个订单ID，输出的字段应该为用户ID批次ID
  • 出现UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe9 in position 0: ordinal not in range解决方法 码农研究僧 BUGpython编码unicode
    目录1.问题所示2.问题分析3.解决方法1.问题所示在传输数据的时候出现这个问题，如下所示：File"./audioadmin/common.py",line331,insend_alarm.format(content,project_name,result))UnicodeDecodeError:'ascii'codeccan'tdecodebyte0xe9inposition0:ordina
  • C++入门基础篇学习手记： 读取数量不定的输入数据 linhuanzhi 西加加C++数据求和
    问题：编写C++程序，要求计算用户输入数据的总和，并打印显示。问题分析：用户输入数据时，由于我们事先不知道要对多少个数据进行求和计算，因此我们需要不断地读取数据直至没有新的输入为止。程序实现的源码如下：#include"iostream"usingnamespacestd;intmain(){doublesum=0,inValue=0;cout>inValue)sum+=inValue;cout<
  • python报错AttributeError:'module' object has no attribute 'xxxxx' weixin_33857230 pythonjava
    为什么80%的码农都做不了架构师？>>>一、问题背景使用了两套环境：开发环境和测试环境。开发环境上运行没有问题，测试环境运行就报错。AttributeError:'module'objecthasnoattribute'getListOfTable'二、问题分析仔细看代码：1、模块之间是有引用的，但都已经import了，没问题！2、模块mcommon.py中已经有方法getListOfTabled
  • 浏览器打开网站此站点不安全问题 张俊凯
    浏览器报错信息image.pngimage.pngimage.png问题分析一个浏览器不可以，其他浏览器可以，修复单个浏览器清理浏览器缓存，重启浏览器重新安装安全证书重新安装浏览器(不推荐)所有浏览器都不行，系统问题，修复系统，刷新网络状态更新系统时间网络连接禁用启用重启系统手动更换IP宽带连接断开再连接路由器重启拔网线再插
  • Windows自动化应用程序已启动/未启动,有进程无进程情况-拽起应用程序 唐古乌梁海 windows自动化
    问题分析:应用程序能够自动登录,可以打开后自动登录情况我的处理方案是:先通过pywinauto打开应用程序,然后,关闭前台然后通过WinAppDriver去再次连接,把应用置于前台从而继续后面的元素定位#需要启动Hworkfrompywinauto.applicationimportApplication#启动Application(backend='uia').start(path)time.s
  • 2024数学建模国赛B题生产过程中的决策问题详细思路：基于抽样检测和多阶段决策模型 nancheng_single 数学建模机器学习算法python
    2024高教社杯数学建模竞赛A题B题C题D题E题完整成品文章和全部问题的解题代码完整版本更新如下：https://www.yuque.com/u42168770/qv6z0d/rytbc1nelty1mu4o问题分析这道题目涉及了一个电子产品生产企业的决策问题，主要包括零配件采购、生产过程管理和质量控制等方面。题目分为四个子问题，逐步深入探讨了企业在生产过程中面临的各种决策情况。问题1针对零配件采
  • 2024年电工杯数学建模A题完整分析参考论文（共38页）（含模型和代码） 小文数模 数学建模pythonmatlab
    2024年电工杯数学建模A题完整分析参考论文A题：园区微电网风光储协调优化配置摘要2一、问题重述3二、问题分析4三、模型假设5四、模型建立与求解64.1问题164.1.1问题1思路分析64.1.2问题1模型建立74.1.3问题1样例代码（仅供参考）114.1.4问题1样例代码运行结果（仅供参考）164.2问题2194.2.1问题2思路分析194.2.2问题2模型建立204.2.3问题2样例代码（仅
  • 2024年第九届数维杯数学建模B题完整分析参考论文（共42页）（含模型和代码） 小文数模 数学建模pythonmatlab
    2024年第九届数维杯数学建模分析参考论文B题生物质和煤共热解问题的研究目录摘要4一、问题重述5问题1：分析正己烷不溶物(INS)对热解产率的影响5问题2：探讨INS和混合比例的交互效应5问题3：基于共热解产物的特性优化混合比例5问题4：分析共热解组合产物收率的实验值与理论计算值差异5问题5：建立热解产物产率预测模型5二、问题分析6问题1的分析6问题2的分析6问题3的分析6问题4的分析6问题5的分
  • Java 应用启动参数配置文档 ascarl2010 Javajava开发语言
    Java应用启动参数配置文档（更新版）1.堆内存设置-Xms1024m和-Xmx1024m：设置JVM初始堆内存和最大堆内存为1024MB。建议：将初始堆内存和最大堆内存设置为相同的值，避免JVM动态调整内存带来的停顿和性能损耗。这有助于在生产环境中提升应用的稳定性和响应速度。2.堆内存溢出诊断-XX:+HeapDumpOnOutOfMemoryError：当堆内存溢出时自动生成内存快照，帮助问题
  • 【888题竞赛篇】第四题，2023ICPC合肥-送外卖(Takeout Delivering) Dashcoding编程设 javac++算法数据结构图论icpc算法竞赛
    这里写自定义目录标题更多精彩内容256题算法特训课，帮你斩获大厂60W年薪offer原题2023ICPC合肥-送外卖B站动画详解问题分析思路分析算法实现代码详解标准代码程序C++代码Java代码Python代码Javascript代码复杂度分析时间复杂度空间复杂度总结更多精彩内容这里是带你游历编程世界的Dashcoding编程社，我是Dash/北航硕士/ICPC区域赛全国排名30+/给你呈现我们眼
  • Linux安装redis执行make命令报错:gcc not found和*** [adlist.o] Error 1 Holy_Java Mysql&Redis数据库开发需求&错误解决linuxcentos运维
    目录第一章、问题分析与解决1.1）报错11.2）报错2友情提醒先看文章目录，大致了解文章知识点结构，点击文章目录可直接跳转到文章指定位置。第一章、问题分析与解决1.1）报错1报错问题1：gcc:Commandnotfound解决方式：执行命令：yum-yinstallgcc执行命令：yum-yinstallgcc1.2）报错2报错问题2：error:jemalloc/jemalloc.h:Nosu
  • selenium.common.exceptions.SessionNotCreatedException: Message: session not created异常的解决方法，亲测有效，嘿嘿嘿 代码无疆 测试selenium测试工具
    文章目录问题分析报错原因解决思路解决方法1.检查并更新WebDriver2.配置WebDriver路径（Python示例）3.关闭并重启浏览器4.检查安全软件设置5.尝试不同的WebDriver或浏览器selenium.common.exceptions.SessionNotCreatedException:Message:sessionnotcreated异常通常发生在尝试使用SeleniumW
  • 系统优化---功能优化心得 beiwolide 数据库优化
    需求描述错题本功能要求展示最近一次答错的小题，如果该题最近一次答对了将不会展示，同时展示信息还包含答题总数、答错次数、连错次数及其他边缘信息问题描述当用户答题数据量增大的时候，应该是几千条的时候，每次查询需要5秒左右的响应时间问题分析首先是硬件，由于我们的产品是平板，且设备整体性能比较差；其次，pad本地用的是sqlite数据库不支持变量声明，所以不能像mysql那样比较轻松的通过变量来实现；再次
  • 2024数学建模国赛高教社杯C题:农作物的种植策略 思路代码文章助攻手把手保姆级 千千小屋grow 数学建模
    发布于18:25有问题后续会修正!!背景信息问题分析基于你提供的资料——2024年全国大学生数学建模竞赛C题，其核心内容为优化一个乡村的农作物种植策略。背景分析该乡村位于华北山区，气候较冷，土地资源有限，存在四种地块类型（平旱地、梯田、山坡地和水浇地）以及普通和智慧大棚两种大棚。农作物的选择和种植需要根据不同地块特性进行优化，同时考虑到经济效益、便利性和可持续发展。乡村的耕地总面积为1201亩，分
  • Tomcat内存配置 云雨殇 Tomcattomcat
    1、Tomcat的JVM内存溢出解决方法在生产环境中，tomcat内存设置不好很容易出现JVM内存溢，最直观的解决方法就是修改Tomcat中的catalina.sh文件。在catalina.sh文件中，找到cygwin=false，在这一行的前面加入参数，具体如下：viTOMCAT_HOME/bin/catalina.shJAVA_OPTS="-server-Xms800m-Xmx800m-XX:
  • 异步运行时IO问题分析 达坦科技DatenLord java网络服务器
    TableofContents1.Xline运行时性能问题2.异步运行时和阻塞操作3.Runtime调度问题4.性能测试4.1测试结果分析5.如何正确实现？6.何时能够在Runtime上阻塞7.总结在异步运行时上进行编程经常是很困难的，在本篇文章中，我们主要会通过Xline开发中的几个例子，讨论Rust的异步运行时中有关于IO的问题，以及在代码实现中如何正确使用Tokioruntime以实现最佳性
  • 数据结构——最短路径问题 胡牧之. 学习笔记数据结构数据结构
    文章目录前言一、问题分类二、单源最短路径1.无权图（BFS）（1）问题分析（2）路径记录2.有权图（朴素DiskStra算法）（1）问题分析（2）算法介绍（3）代码实现（4）思考三、多源最短路径1.问题分析2.枚举（1）思路3.Floyd算法（1）思路分析（2）代码实现前言两个顶点之间的最短路径问题就是求一条路径可以令两顶点沿途各边权值之和最小。一、问题分类对于这个问题，可以分为两种情况：1.单源
  • canal-adapter消费Kafka中MySQL的binlog数据，却没有同步更新Elastic search iiopsd kafkamysqljavaelasticsearch
    背景在同步MySQL数据到ES的场景中，选择了canal组件同步数据。问题描述在同步的时候发现canal-adapter中canal-adapter/conf/es7/product.yml配置文件中sql语句连表查询的时候会出现无法更新Elasticsearch中数据的情况，而且日志没有提示异常（idea启动的时候有错误日志），令人百思不得其解。问题分析初步估计是内部解析yml的时候出错了，但具
  • 【Azure 应用服务】Python3.7项目在引用pandas 模块后，部署报错 云中路灯
    问题描述参考“快速入门：在Linux上的Azure应用服务中创建Python应用”文档，在AppServiceForLinux环境中部署Python应用，在添加了pandas，应用本地运行成功，但是部署到AppService后，启动报错：ApplicationError2021051101.png问题分析获取日志：可以通过高级工具（kudu）连接到AppService后台，因为是Linux系统，所
  • 遍历dom 并且存储（将每一层的DOM元素存在数组中） 换个号韩国红果果 JavaScripthtml
    数组从0开始！！ var a=[],i=0; for(var j=0;j<30;j++){ a[j]=[];//数组里套数组，且第i层存储在第a[i]中 } function walkDOM(n){ do{ if(n.nodeType!==3)//筛选去除#text类型 a[i].push(n); //con
  • Android+Jquery Mobile学习系列(9)-总结和代码分享 白糖_ JQuery Mobile
    目录导航   经过一个多月的边学习边练手，学会了Android基于Web开发的毛皮，其实开发过程中用Android原生API不是很多，更多的是HTML/Javascript/Css。   个人觉得基于WebView的Jquery Mobile开发有以下优点： 1、对于刚从Java Web转型过来的同学非常适合，只要懂得HTML开发就可以上手做事。 2、jquerym
  • impala参考资料 dayutianfei impala
    记录一些有用的Impala资料   1. 入门资料 >>官网翻译：     http://my.oschina.net/weiqingbin/blog?catalog=423691   2. 实用进阶 >>代码&架构分析：     Impala/Hive现状分析与前景展望：http
  • JAVA 静态变量与非静态变量初始化顺序之新解 周凡杨 java静态非静态顺序
    今天和同事争论一问题，关于静态变量与非静态变量的初始化顺序，谁先谁后，最终想整理出来！测试代码： import java.util.Map; public class T { public static T t = new T(); private Map map = new HashMap(); public T(){ System.out.println(&quo
  • 跳出iframe返回外层页面 g21121 iframe
    在web开发过程中难免要用到iframe，但当连接超时或跳转到公共页面时就会出现超时页面显示在iframe中，这时我们就需要跳出这个iframe到达一个公共页面去。 首先跳转到一个中间页，这个页面用于判断是否在iframe中，在页面加载的过程中调用如下代码： <script type="text/javascript"> //<!-- function
  • JAVA多线程监听JMS、MQ队列 510888780 java多线程
    背景：消息队列中有非常多的消息需要处理，并且监听器onMessage（）方法中的业务逻辑也相对比较复杂，为了加快队列消息的读取、处理速度。可以通过加快读取速度和加快处理速度来考虑。因此从这两个方面都使用多线程来处理。对于消息处理的业务处理逻辑用线程池来做。对于加快消息监听读取速度可以使用1.使用多个监听器监听一个队列；2.使用一个监听器开启多线程监听。 对于上面提到的方法2使用一个监听器开启多线
  • 第一个SpringMvc例子 布衣凌宇 spring mvc
    第一步：导入需要的包； 第二步：配置web.xml文件 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi=
  • 我的spring学习笔记15-容器扩展点之PropertyOverrideConfigurer aijuans Spring3
    PropertyOverrideConfigurer类似于PropertyPlaceholderConfigurer，但是与后者相比，前者对于bean属性可以有缺省值或者根本没有值。也就是说如果properties文件中没有某个bean属性的内容，那么将使用上下文（配置的xml文件）中相应定义的值。如果properties文件中有bean属性的内容，那么就用properties文件中的值来代替上下
  • 通过XSD验证XML antlove xmlschemaxsdvalidationSchemaFactory
    1. XmlValidation.java package xml.validation; import java.io.InputStream; import javax.xml.XMLConstants; import javax.xml.transform.stream.StreamSource; import javax.xml.validation.Schem
  • 文本流与字符集 百合不是茶 PrintWrite()的使用字符集名字 别名获取
    文本数据的输入输出;           输入;数据流,缓冲流         输出;介绍向文本打印格式化的输出PrintWrite();   package 文本流; import java.io.FileNotFound
  • ibatis模糊查询sqlmap-mapping-**.xml配置 bijian1013 ibatis
            正常我们写ibatis的sqlmap-mapping-*.xml文件时，传入的参数都用##标识，如下所示： <resultMap id="personInfo" class="com.bijian.study.dto.PersonDTO"> <res
  • java jvm常用命令工具——jdb命令(The Java Debugger) bijian1013 javajvmjdb
            用来对core文件和正在运行的Java进程进行实时地调试，里面包含了丰富的命令帮助您进行调试，它的功能和Sun studio里面所带的dbx非常相似，但 jdb是专门用来针对Java应用程序的。         现在应该说日常的开发中很少用到JDB了，因为现在的IDE已经帮我们封装好了，如使用ECLI
  • 【Spring框架二】Spring常用注解之Component、Repository、Service和Controller注解 bit1129 controller
    在Spring常用注解第一步部分【Spring框架一】Spring常用注解之Autowired和Resource注解（http://bit1129.iteye.com/blog/2114084）中介绍了Autowired和Resource两个注解的功能，它们用于将依赖根据名称或者类型进行自动的注入，这简化了在XML中，依赖注入部分的XML的编写，但是UserDao和UserService两个bea
  • cxf wsdl2java生成代码super出错,构造函数不匹配 bitray super
        由于过去对于soap协议的cxf接触的不是很多,所以遇到了也是迷糊了一会.后来经过查找资料才得以解决. 初始原因一般是由于jaxws2.2规范和jdk6及以上不兼容导致的.所以要强制降为jaxws2.1进行编译生成.我们需要少量的修改: 我们原来的代码 wsdl2java com.test.xxx -client http://..... 修改后的代
  • 动态页面正文部分中文乱码排障一例 ronin47
    公司网站一部分动态页面，早先使用apache+resin的架构运行，考虑到高并发访问下的响应性能问题，在前不久逐步开始用nginx替换掉了apache。 不过随后发现了一个问题，随意进入某一有分页的网页，第一页是正常的（因为静态化过了）；点“下一页”，出来的页面两边正常，中间部分的标题、关键字等也正常，唯独每个标题下的正文无法正常显示。 因为有做过系统调整，所以第一反应就是新上
  • java-54- 调整数组顺序使奇数位于偶数前面 bylijinnan java
    import java.util.Arrays; import java.util.Random; import ljn.help.Helper; public class OddBeforeEven { /** * Q 54 调整数组顺序使奇数位于偶数前面 * 输入一个整数数组，调整数组中数字的顺序，使得所有奇数位于数组的前半部分，所有偶数位于数组的后半
  • 从100PV到1亿级PV网站架构演变 cfyme 网站架构
    一个网站就像一个人，存在一个从小到大的过程。养一个网站和养一个人一样，不同时期需要不同的方法，不同的方法下有共同的原则。本文结合我自已14年网站人的经历记录一些架构演变中的体会。 1：积累是必不可少的 架构师不是一天练成的。 1999年，我作了一个个人主页，在学校内的虚拟空间，参加了一次主页大赛，几个DREAMWEAVER的页面，几个TABLE作布局，一个DB连接，几行PHP的代码嵌入在HTM
  • [宇宙时代]宇宙时代的GIS是什么？ comsci Gis
           我们都知道一个事实，在行星内部的时候，因为地理信息的坐标都是相对固定的，所以我们获取一组GIS数据之后，就可以存储到硬盘中，长久使用。。。但是，请注意，这种经验在宇宙时代是不能够被继续使用的          宇宙是一个高维时空
  • 详解create database命令 czmmiao database
    完整命令 CREATE DATABASE mynewdb   USER SYS IDENTIFIED BY sys_password   USER SYSTEM IDENTIFIED BY system_password   LOGFILE GROUP 1 ('/u01/logs/my/redo01a.log','/u02/logs/m
  • 几句不中听却不得不认可的话 datageek
    1、人丑就该多读书。 2、你不快乐是因为：你可以像猪一样懒，却无法像只猪一样懒得心安理得。 3、如果你太在意别人的看法，那么你的生活将变成一件裤衩，别人放什么屁，你都得接着。 4、你的问题主要在于：读书不多而买书太多，读书太少又特爱思考，还他妈话痨。 5、与禽兽搏斗的三种结局：(1)、赢了，比禽兽还禽兽。(2)、输了，禽兽不如。(3)、平了，跟禽兽没两样。结论：选择正确的对手很重要。 6
  • 1 14:00 PHP中的“syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM”错误 dcj3sjt126com PHP
    原文地址：http://www.kafka0102.com/2010/08/281.html   因为需要，今天晚些在本机使用PHP做些测试，PHP脚本依赖了一堆我也不清楚做什么用的库。结果一跑起来，就报出类似下面的错误：“Parse error: syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM in /home/kafka/test/
  • xcode6 Auto layout and size classes dcj3sjt126com ios
    官方GUI   https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/AutolayoutPG/Introduction/Introduction.html   iOS中使用自动布局（一）   http://www.cocoachina.com/ind
  • 通过PreparedStatement批量执行sql语句【sql语句相同，值不同】 梦见x光 sql事务批量执行
    比如说：我有一个List需要添加到数据库中，那么我该如何通过PreparedStatement来操作呢？ public void addCustomerByCommit(Connection conn , List<Customer> customerList) {    String sql = "inseret into customer(id
  • 程序员必知必会----linux常用命令之十【系统相关】 hanqunfeng Linux常用命令
    一.linux快捷键 Ctrl+C : 终止当前命令 Ctrl+S : 暂停屏幕输出 Ctrl+Q : 恢复屏幕输出 Ctrl+U : 删除当前行光标前的所有字符 Ctrl+Z : 挂起当前正在执行的进程 Ctrl+L : 清除终端屏幕，相当于clear   二.终端命令 clear : 清除终端屏幕 reset : 重置视窗，当屏幕编码混乱时使用 time com
  • NGINX IXHONG nginx
    pcre 编译安装 nginx conf/vhost/test.conf   upstream admin { server 127.0.0.1:8080; }   server {                 listen       80; &
  • 设计模式--工厂模式 kerryg 设计模式
    工厂方式模式分为三种：   1、普通工厂模式：建立一个工厂类，对实现了同一个接口的一些类进行实例的创建。   2、多个工厂方法的模式：就是对普通工厂方法模式的改进，在普通工厂方法模式中，如果传递的字符串出错，则不能正确创建对象，而多个工厂方法模式就是提供多个工厂方法，分别创建对象。   3、静态工厂方法模式：就是将上面的多个工厂方法模式里的方法置为静态，
  • Spring InitializingBean/init-method和DisposableBean/destroy-method mx_xiehd javaspringbeanxml
    1.initializingBean/init-method 实现org.springframework.beans.factory.InitializingBean接口允许一个bean在它的所有必须属性被BeanFactory设置后，来执行初始化的工作，InitialzingBean仅仅指定了一个方法。 通常InitializingBean接口的使用是能够被避免的，（不鼓励使用，因为没有必要
  • 解决Centos下vim粘贴内容格式混乱问题 qindongliang1922 centosvim
    有时候，我们在向vim打开的一个xml，或者任意文件中，拷贝粘贴的代码时，格式莫名其毛的就混乱了，然后自己一个个再重新，把格式排列好，非常耗时，而且很不爽，那么有没有办法避免呢？ 答案是肯定的，设置下缩进格式就可以了，非常简单： 在用户的根目录下 直接vi  ~/.vimrc文件 然后将set pastetoggle=<F9> 写入这个文件中，保存退出，重新登录，
  • netty大并发请求问题 tianzhihehe netty
    多线程并发使用同一个channel java.nio.BufferOverflowException: null at java.nio.HeapByteBuffer.put(HeapByteBuffer.java:183) ~[na:1.7.0_60-ea] at java.nio.ByteBuffer.put(ByteBuffer.java:832) ~[na:1.7.0_60-ea]
  • Hadoop NameNode单点问题解决方案之一 AvatarNode wyz2009107220 NameNode
    我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)。 经常遇到需要中断服务的问题是给hadoop打补丁。 DataNod
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他