WestC
WestC

Flink-TaskExecutor内存分析

Flink的TaskExecutor/Container进程主要运行工作线程，其内存管理对Flink作业的运行有重要意义。Flink的TaskExecutor进程的内存配置参数较多，理解较为复杂。本文尝试从Flink源码角度来分析一下进程中各内存大小是如何确定的。

首先看一下进程包含使用的内存分类，如下图：

Flink Executor 内存模型

绿色为JVM堆内存，红色为堆外内存。进程各部分内存均是通过配置参数获取。

-Xmx决定了TaskHeapMemory + FrameworkHeapMemory上限

-XX:MaxDirectMemorySize 决定了TaskOffHeapMemory + FrameOffHeapMemory + NetworkMemory的上限

为方便表述，如下我们分别使用以下变量名表示各部分内存

变量名 含义 Flink参数
TotalMemory TaskExecutor进程总内存 taskmanager.memory.process.size
FlinkMemory Flink管理的内存 taskmanager.memory.flink.size
TaskHeapMemory Task Heap Memory taskmanager.memory.task.heap.size
TaskOffHeapMemory Task Off-Heap Memory taskmanager.memory.task.off-heap.size
FrameworkHeapMemory Framework Heap Memory taskmanager.memory.framework.heap.size
FrameOffHeapMemory Frame Off-Heap Memory taskmanager.memory.framework.off-heap.size
NetworkMemory Network Memory NA
ManagedMemory Managed Memory taskmanager.memory.managed.size
OverHeadMemory JVM Overhead Memory NA

如下是结合源码（Flink1.10.0版本的TaskExecutorProcessUtils#processSpecFromConfig方法）分析各部分内存的计算方法。其核心逻辑是根据配置好的一个或多个参数推测出其他各部分内存大小。根据指定参数的情况，分为如下三个场景（判断有先后之分，不满足场景一才会继续判断是否满足场景二，不满足场景二才会去判断是否满足场景三）

场景 场景条件
场景一 同时配置TaskHeapMemory和ManagedMemory
场景二 配置FlinkMemory
场景三 配置TotalMemory

场景一：已知TaskHeapMemory和ManagedMemory

组件内存 计算方法 默认值
TaskHeapMemory 通过taskmanager.memory.task.heap.size配置项获取 NA
ManagedMemory 通过taskmanager.memory.managed.size配置获取 NA
FrameworkHeapMemory 通过taskmanager.memory.framework.heap.size配置获取 128M
FrameworkOffHeapMemory 通过taskmanager.memory.framework.off-heap.size获取 128M
TaskOffHeapMemory 通过taskmanager.memory.task.off-heap.size获取 0
MetaspaceMemory 通过taskmanager.memory.jvm-metaspace.size获取 96M

NetworkMemory的计算：

先计算一个出Network之外的内存之和totalFlinkExcludeNetworkMemorySize

totalFlinkExcludeNetworkMemorySize = TaskHeapMemory + TaskOffHeapMemory + ManagedMemory + FrameworkHeapMemory + FrameworkOffHeapMemory

  • 如果设置了FlinkMemory (由参数taskmanager.memory.flink.size控制)：

    NetWorkMemory = FlinkMemory - totalFlinkExcludeNetworkMemorySize

  • 如果配置了taskmanager.network.numberOfBuffers 并且没有配置taskmanager.memory.network.min,taskmanager.memory.network.max,taskmanager.memory.network.fraction

    // 默认是32Kb* 2048
NetworkMemory = taskmanager.memory.segment-size * taskmanager.network.numberOfBuffers

  • 否则

    // fraction 默认0.1
fraction = taskmanager.memory.network.fraction
NetworkMemory = totalFlinkExcludeNetworkMemorySize * (fraction/(1-fraction))
// 最终计算出来的NetWorkMemory的值应当在范围内[taskmanager.memory.network.min,taskmanager.memory.network.max]，否则会被截取

OverHeadMemory的计算

  • 如果有配置TotalMemory(通过taskmanager.memory.process.size配置)

    OverHeadMemory = TotalMemory - FlinkMemory - MetaspaceMemory

  • 否则

    // fraction默认0.1
fraction = taskmanager.memory.jvm-overhead.fraction
OverHeadMemory = （FlinkMemory + MetaspaceMemory） * (fraction/(1-fraction))
// 最终计算出来的NetWorkMemory的值应当在范围内[taskmanager.memory.jvm-overhead.min,taskmanager.memory.jvm-overhead.max]，否则会被截取

场景二：已知FlinkMemory

组件内存 计算方法 默认值
FrameworkHeapMemory 通过taskmanager.memory.framework.heap.size配置获取 128M
FrameworkOffHeapMemory 通过taskmanager.memory.framework.off-heap.size获取 128M
TaskOffHeapMemory 通过taskmanager.memory.task.off-heap.size获取 0
MetaspaceMemory 通过taskmanager.memory.jvm-metaspace.size获取 96M

TaskHeapMemory,ManagedMemory,NetworkMemory的计算

如果有配置TaskHeapMemory

  • TaskHeapMemory的计算

    通过配置taskmanager.memory.task.heap.size获取

  • ManagedMemory的计算

    • 如果有配置taskmanager.memory.managed.size，从该配置获取

    • 否则

      //// fraction默认0.4
fraction = taskmanager.memory.managed.fraction
NetWorkMemory = FlinkMemory * fraction
// 最终计算出来的NetWorkMemory的值应当在范围内[0,Long.MAX_VALUE]，否则会被截取

  • NetworkMemory的计算

    NetworkMemory = FlinkMemory - TaskHeapMemory - TaskOffHeapMemory - FrameworkHeapMemory - FrameworkOffHeapMemory - ManagedMemory
如果没有配置TaskHeapMemory

  • Managed Memory的计算：

    • 如果有配置taskmanager.memory.managed.size，从该配置获取

    • 否则

      //// fraction默认0.4
fraction = taskmanager.memory.managed.fraction
ManagedMemory = FlinkMemory * fraction
// 最终计算出来的NetWorkMemory的值应当在范围内[0,Long.MAX_VALUE]，否则会被截取

  • NetworkMemory的计算：

    • 如果配置了taskmanager.network.numberOfBuffers 并且没有配置taskmanager.memory.network.min,taskmanager.memory.network.max,taskmanager.memory.network.fraction

      // 默认是32Kb* 2048
NetworkMemory=taskmanager.memory.segment-size * taskmanager.network.numberOfBuffers

    • 否则

      // fraction 默认0.1
fraction = taskmanager.memory.network.fraction
NetworkMemory = FlinkMemory * fraction
// 最终计算出来的NetWorkMemory的值应当在范围内[taskmanager.memory.network.min,taskmanager.memory.network.max]，否则会被截取

  • TaskHeapMemory的计算

    TaskHeapMemory = FlinkMemory - NetworkMemory - ManagedMemory - TaskOffHeapMemory - FrameworkHeapMemory - FrameworkOffHeapMemory

OverHeadMemory内存计算

  • 如果有配置 TotalMemory（通过taskmanager.memory.process.size配置）

    OverHeadMomory = TotalMemory - FlinkMemory - MetaspaceMemory

  • 否则

    // fraction默认0.1
fraction = taskmanager.memory.jvm-overhead.fraction
NetWorkMemory = （totalFlinkExcludeNetworkMemorySize + NetWorkMemory） * (fraction/(1-fraction))
// 最终计算出来的NetWorkMemory的值应当在范围内[taskmanager.memory.jvm-overhead.min,taskmanager.memory.jvm-overhead.max]，否则会被截取

场景三:配置TotalMemory

组件内存 计算方法 默认值
FrameworkHeapMemory 通过taskmanager.memory.framework.heap.size配置获取 128M
FrameworkOffHeapMemory 通过taskmanager.memory.framework.off-heap.size获取 128M
TaskOffHeapMemory 通过taskmanager.memory.task.off-heap.size获取 0
MetaspaceMemory taskmanager.memory.jvm-metaspace.size 96M

OverHeadMemory内存计算

//fraction默认为0.1
fraction = taskmanager.memory.jvm-overhead.fraction
OverHeadMemory = TotalMemory * fraction
// 最终计算出来的NetWorkMemory的值应当在范围内[taskmanager.memory.jvm-overhead.min,taskmanager.memory.jvm-overhead.max]，否则会被截取

TaskHeapMemory,ManagedMemory,NetworkMemory的计算

如果有配置TaskHeapMemory

  • TaskHeapMemory通过配置taskmanager.memory.task.heap.size获取

  • ManagedMemory内存计算

    • 如果有配置ManagedMemory(通过taskmanager.memory.managed.size配置)，从该配置获取

    • 否则

      //// fraction默认0.4
fraction = taskmanager.memory.managed.fraction
ManagedMemory = （TotalMemory - MetaspaceMemory - OverHeadMemory） * fraction
// 最终计算出来的NetWorkMemory的值应当在范围内[0,Long.MAX_VALUE]，否则会被截取

  • NetworkMemory的计算

    NetworkMemory = TotalMemory - MetaspaceMemory - OverHeadMemory - ManagedMemory - TaskHeapMemory - TaskOffHeapMemory - FrameworkOffHeapMemory - FrameworkHeapMemory
如果没有配置TaskHeapMemory

  • ManagedMemory内存计算

    • 如果有配置taskmanager.memory.managed.size，从该配置获取

    • 否则

       //// fraction默认0.4
 fraction = taskmanager.memory.managed.fraction
 Managed Memory = （TotalMemory - MetaspaceMemory - OverHeadMemory） * fraction
 // 最终计算出来的NetWorkMemory的值应当在范围内[0,Long.MAX_VALUE]，否则会被截取

  • NetworkMemory内存计算

    • 如果配置了taskmanager.network.numberOfBuffers 并且没有配置taskmanager.memory.network.min,taskmanager.memory.network.max,taskmanager.memory.network.fraction

      // 默认是32Kb* 2048
NetworkMemory=taskmanager.memory.segment-size * taskmanager.network.numberOfBuffers

    • 否则：

      // fraction 默认0.1
fraction = taskmanager.memory.network.fraction
NetworkMemory = (TotalMemory - MetaspaceMemory - OverHeadMemory）* fraction
// 最终计算出来的NetWorkMemory的值应当在范围内[taskmanager.memory.network.min,taskmanager.memory.network.max]，否则会被截取

  • TaskHeapMemory 内存计算

    TaskHeapMemory = TotalMemory - MetaSpaceMemory - OverHeadMemory - NetworkMemory - ManagedMemory - TaskOffHeapMemory - FrameworkOffHeapMemory - FrameworkHeapMemory

你可能感兴趣的:(Flink-TaskExecutor内存分析)

  • 面试官 ：Java 调优经验有吗？ Think_Higher Java生态圈大中IT企业面试题整理java数据库开发语言
    文章目录调优准备性能分析CPU分析jstack[pid]jstat-gcutil[pid]vmstat15内存分析IO分析1.文件IO2.网络IO其他分析工具JavaMissionControl(jmc)BtraceJwebap性能调优CPU调优内存调优IO调优其他优化建议JVM参数进阶对于调优这个事情来说，一般就是三个过程：性能监控：问题没有发生，你并不知道你需要调优什么？此时需要一些系统、应用
  • 深入剖析 Python 类属性与对象的底层创建与内存分析 web安全工具库 python开发语言
    各类资料学习下载合集https://pan.quark.cn/s/8c91ccb5a474在Python中，类和对象是面向对象编程（OOP）的核心组成部分。类属性与实例属性的存储和管理方式，以及类和对象在内存中的分布和结构，对于深入理解Python的底层机制至关重要。本文将带你详细解析Python中类属性的本质、类和对象的内存分布，以及它们在底层是如何创建与管理的。通过代码案例与操作演示，我们将逐
  • 网络安全最新网络安全工具大合集_remnux部署 2301_79985178 程序员web安全php安全
    Rekall–Google开发的内存分析框架.Volatility–提取易失性内存（RAM）中的样本.移动AndroidForensicToolkit–允许你从安卓手机中提取短信记录，通话记录，照片，浏览历史，以及密码。网络取证Dshell–一个网络取证分析框架.Passivedns–一个网络嗅探工具能够记录所有的DNS响应和被动DNS其他HxD–十六进制编辑工具,能够修改任意大小的硬盘二进制数据
  • Python内存泄漏排查技巧与编程 代码幻想花园 python开发语言编程
    在Python编程中，内存泄漏是一个常见的问题。当我们创建对象或分配内存资源时，如果没有正确释放或销毁这些资源，就会导致内存泄漏。长时间运行的程序中的内存泄漏可能会导致内存消耗殆尽，最终导致程序崩溃。本文将介绍一些Python内存泄漏排查的小技巧，并提供相应的源代码示例。使用内存分析工具Python提供了一些内存分析工具，可以帮助我们检测和定位内存泄漏问题。其中一个常用的工具是objgraph库。
  • 【3-4】《Java面向对象高级知识》——继承、重写和重载、final关键字、抽象类、接口、多态、Object类、内部类、包装类、可变参数、递归 美少女降临人世间 【Java精华笔记】已完结抽象类final关键字重写和重载Java面向对象内部类
    文章目录一、继承格式二、子类实例化内存分析三、super详解四、重写1、重写的概念2、重写和重载的区别五、final关键字六、抽象类1、抽象类的概念2、抽象类常见问题3、抽象类和普通类的区别七、接口1、面向接口编程思想2、接口的编写3、接口和抽象类的区别八、多态1、多态的体现2、instanceof九、Object类概述1、toString2、equals十、内部类概述1、成员内部类（了解）2、局
  • Android Studio心得-创建登录注册项目 wfytz androidstudioandroidide
    首先先了解AndroidStudio是什么：AndroidStudio是一个由谷歌开发的Android应用程序开发环境，用于开发Android应用程序。它基于JetBrainsIntelliJIDEA软件，并包含了许多定制化功能，包括易于使用的分析工具、内存分析工具和代码编辑器等，支持Java、Kotlin等多种编程语言。AndroidStudio还提供了模拟器和虚拟设备来测试应用程序，可以帮助开
  • Android内存分析 天花板之恋 内存优化Android技术笔记内存分析
    1.分析某个进程的内存情况1.1生成.hprof文件可以在运行的设备上，使用adb命令生成.hprof文件，表示在执行命令的那一刻，该进程的内存情况。如下：amdumpheapcom.example.demo/data/local/tmp/demo.hprof这里就是对包名为com.example.demo这个进程在/data/local/tmp/目录下生成了一个demo.hprof的文件。建议在
  • Java学习第十三节之三种初始化和内存分析 新手小刘学Java java学习开发语言
    三种初始化packagearray;publicclassArrayDemo02{publicstaticvoidmain(String[]args){//静态初始化；创建+赋值int[]a={1,2,3,4,5,6,7,8};System.out.println(a[0]);for(inti=0;i
  • [Unity优化] 详解Unity Profiler内存分析问题 hcq666
    在使用Unity开发游戏的过程中，借助Profiler来分析内存使用状况是至关重要的。但许多开发者可能还对Profiler中各项数据表示的含义不甚明确，今天我们Unity官方的技术工程师柳振东，将针对Profiler内存分析相关的问题及解答，与大家进行分享。要想完全发挥Profiler内存分析的威力，首先要做的就是了解Profiler展示的数据所表达的含义，以及到底哪些模块所使用的内存才会被统计到
  • 第一篇-jvm运行时内存分析 叩丁狼教育
    本文作者：黄海燕，叩丁狼高级讲师。原创文章，转载请注明出处。开篇:有些程序员觉得学习jvm是一个装逼的行为开发中用不到,或者是为了应付面试而去学习的,我觉得如果你是甘于平庸的码农只是写写业务代码的,确实是没有学习的必要的.但是如果你对你的职业生涯是有规划想往架构师、高级程序员等方向发展的,或者是解决内存泄漏、gc频繁导致的程序响应慢等问题，或者是写出最优的代码，那么了解整个jvm的执行流程、内存模
  • 【精选】java继承进阶，子类继承父类（内存图、内存分析工具） hacker-routing windowslinux系统开发小白学JAVAwebjava开发语言前端linux继承成员变量流量运营
    博主介绍‍博主介绍：大家好，我是hacker-routing，很高兴认识大家~✨主攻领域：【渗透领域】【应急响应】【python】【VulnHub靶场复现】【面试分析】点赞➕评论➕收藏==养成习惯（一键三连）欢迎关注一起学习一起讨论⭐️一起进步文末有彩蛋作者水平有限，欢迎各位大佬指点，相互学习进步！目录前言一、内存图1、构造方法继承（不管什么修饰符，子类都不能继承）2、成员变量继承（子类都可以继承
  • MAT（Memory Analyzer Tool）工具使用超详细版 隐0士 jvmjvm分析工具jvm
    概述MAT（MemoryAnalyzerTool）工具是一款功能强大的]ava堆内存分析器。可以用于查找内存泄漏以及查看内存消耗情况。MAT是基于Eclipse开发的，不仅可以单独使用，还可以作为插件的形式嵌入在Eclipse中使用。是一款免费的性能分析工具，使用起来非常方便。大家可以在https：//www.eclipse.org/mat/downloads.php下载并使用MAT。!MAT可以
  • OSDI 2023: Triangulating Python Performance Issues with Scalene 结构化文摘 python人工智能开发语言
    我们使用以下6个分类标准对本文的研究选题进行分析：1.概要分析目标:CPU分析:测量程序不同部分执行指令所花费的时间。用于识别计算中的瓶颈。内存分析:测量程序的内存分配和使用情况。帮助发现内存泄漏并优化内存使用。GPU分析:测量程序不同部分在GPU上执行指令所花费的时间。用于识别数据处理过程中的瓶颈。组合分析(CPU,内存,GPU):同时测量CPU、内存和GPU的使用情况，提供程序性能的整体视图。
  • C语言基础内容（四）——第04章_数组 祁酒仲 C语言基础c语言开发语言
    文章目录第04章_数组本章专题脉络1、数组的概述1.1为什么需要数组（容器）1.2数组的概念1.3数组的分类2、一维数组的定义2.1数组的定义方式12.2数组元素的调用2.3关于长度2.4数组的遍历2.5数组的其它定义方式3、一维数组内存分析3.1数组内存图3.2注意事项（错误举例）3.3变长数组4、一维数组的应用4.1数值型数组特征值统计4.2数组的复制4.3数组元素的反转4.4char型数组与
  • android-【DDMS->heap->MAT】工具-内存分析工具 lizhenmingdirk android内存泄漏DDMS
    转自：http://blog.csdn.net/jingwen3699/article/details/7977275http://blog.csdn.net/fulinwsuafcie/article/details/83632181.Windows->Preferences->Android->DDMScheckthe'ThreadUpdatesEnabled'checkthe'HeapUpd
  • 关于虚表 Songger
    https://www.cnblogs.com/QG-whz/p/4909359.html上文关于虚继承中菱形结构的内存分析可能有错误
  • JAVA面试题分享四百一十五：分析一个5M的SQL占用70GB内存 之乎者也· JAVA面试题分享Mysql面试题分享javasql数据库
    目录进程内存分析sql分析初步分析复现问题并深入分析空表复现内存飙升strace操作系统调用分析dump内存分析log_planner_stats等信息查看TopMemoryContext总结进程内存分析"WAL writer process (PID 66902) was terminated by signal 6: Aborted",,,,,,,,,"","postmaster"从日志中找到
  • 11.java面向对象 冲天锦鲤 java
    文章目录`面向对象思想概述`概述面向过程和面向对象的区别面向过程：面向对象：`类和对象`对象定义1.对象的创建：2.对象的使用：匿名对象示例：`关键字package和import`package语法：示例：java常用的包import语法：示例：注意事项：`类的成员之一：属性`定义属性的语法：示例：访问属性的方式：`成员变量和局部变量`成员变量：局部变量：`类外访问成员变量``实例变量内存分析`1
  • 花式分析一个5M的SQL占用70GB内存 liuzhilongDBA PGOSPostgreSQL内存SQLstrace
    进程内存分析"WALwriterprocess(PID66902)wasterminatedbysignal6:Aborted",,,,,,,,,"","postmaster"从日志中找到被kill的postmaster进程66902到osw中找进程消耗的内存。由于top没有PPID，PS没有USS信息，所以要两个一起看USERPIDPPIDPRI%CPU%MEMVSZRSSWCHANSSTART
  • Java开发分析中文 ---- JProfiler 13 lx53mac Mac软件java开发语言
    JProfiler13是一款专业的Java应用程序性能分析工具，可以快速诊断和优化Java应用程序的性能问题。它支持多种操作系统和应用服务器，提供实时性能监控、CPU分析、内存分析、线程分析和数据库访问分析等功能。使用JProfiler13可以深入了解应用程序的性能和行为，找到瓶颈和优化点，提高应用程序的可伸缩性和稳定性。Java开发分析中文----JProfiler13JProfiler13是一
  • 应急响应-内存分析 岁月冲淡々 安全运维网络
    在应急响应过程中，除了上述几个通用的排查项，有时也需要对应响应服务器进行内存的提权，从而分析其中的隐藏进程。内存的获取内存的获取方法有如下几种：基于用户模式程序的内存获取；基于内核模式程序的内存获取；基于系统崩溃转储的内存获取；基于操作系统注入的内存获取；基于系统休眠文件的内存获取；基于虚拟化快照的内存获取；基于系统冷启动的内存获取；基于硬件的内存获取。常用的内存获取基于内核模式程序的内存获取这种
  • Python入门指北十 程序媛小刘 pythonjavajvm
    如何处理Python中的内存泄漏问题Python中的内存泄漏问题可以通过以下几种方式进行处理：使用内存分析工具：Python提供了许多内存分析工具，如memory_profiler、tracemalloc等，可以帮助你检测和定位内存泄漏的问题。这些工具可以帮助你了解哪些对象占用了大量内存，哪些对象在不断地增长，以及哪些对象被频繁地创建和销毁等。减少全局变量的使用：全局变量在程序中始终存在，不断地占
  • 数组与应用 baiqi0071 Java基础java排序算法推荐算法
    文章目录一.数组的概述1.1为什么需要数组1.2数组的概念1.3数组的分类二.一维数组的使用2.1一维数组的声明2.2一维数组的初始化2.2.1静态初始化2.2.2动态初始化2.3一维数组的使用2.3.1数组的长度2.3.2数组元素的引用2.4一维数组的遍历2.5数组元素的默认值三.一维数组内存分析3.1Java虚拟机的内存划分3.2一维数组在内存中的存储1、一个一维数组内存图2、数组下标为什么是
  • Java基础—面向对象OOP—17类与对象（创建、构造器、创建对象时简单内存分析） 冻笠 JavaSEjava开发语言学习
    把握重点，重点已标注，这篇笔记分了4个章节，重点看二、三、四一、整体思维--重点把握面向对象的本质和特点1、面向对象编程OOP：Object-Orientedprogramming2、面向过程与面向对象面向过程：线性思维面向对象：分类思维3、面向对象的本质是：以类的方式组织代码，以对象的方式组织（封装）数据4、面向对象的三大特性：封装、继承、多态5.、6、回顾“方法”的知识点：注意return两个
  • 一文教会你！如何利用火焰图快速定位内存泄漏？ Greptime rust数据库火焰图
    从greptimedb#1733开始，GreptimeDB使用Jemalloc作为默认的内存分配器，这不仅有助于提升性能和降低内存碎片，也提供了便捷的内存分析功能。在记一次Rust内存泄漏排查之旅|经验总结篇这篇文章中，我们介绍了分析Rust应用内存泄漏的几种常用方法，而在本文中将详细介绍基于Jemalloc的排查手段。当您在使用或者开发GreptimeDB的过程中，如果遇到内存使用量异常的问题，
  • Java中的内存溢出与内存泄漏深度解析 喔的 喔的嘛呀 java开发语言
    目录引言一.内存溢出（MemoryOverflow）1.1堆内存溢出1.2栈内存溢出1.3内存溢出的解决策略1.3.1优化对象的创建和销毁1.3.2调整堆内存大小1.3.3使用内存分析工具1.3.4避免创建过大的对象1.3.5定期清理不再使用的对象二、内存泄漏（MemoryLeak）2.1Java内存泄漏的典型场景（原因）：2.1.1对象引用未被释放2.1.2集合类引起的内存泄漏2.1.3使用匿名
  • 第05章_数组(一维数组的使用、内存分析、应用,多维数组的使用,数组的常见算法,Arrays工具类的使用,数组中的常见异常) 丁总学Java JavaSE知识汇总java数组一维数组的使用多维数组的使用数组的常见算法Arrays工具类的使用数组中的常见异常
    文章目录第05章_数组本章专题与脉络1.数组的概述1.1为什么需要数组1.2数组的概念1.3数组的分类2.一维数组的使用2.1一维数组的声明2.2一维数组的初始化2.2.1静态初始化2.2.2动态初始化2.3一维数组的使用2.3.1数组的长度2.3.2数组元素的引用2.4一维数组的遍历2.5数组元素的默认值3.一维数组内存分析3.1Java虚拟机的内存划分3.2一维数组在内存中的存储1、一个一维数
  • 结构体内存泄漏，vs诊断工具 蜉蝣之翼❉ C++c++
    问题structS{intnX;intnY;vectornVec;}在调试过程中，打开vs的诊断工具，发现大量std::_Container_proxy[]的实例，定位到structS代码。问题是我并没有new任何一个structS。如何解决用户说软件运行一段时间卡死了打开诊断工具一看，进程内存持续上涨，定位到内存泄漏打开堆内存分析，截取快照查看泄漏内存的位置，定位到结构体S参考：【内存】VS检测
  • Java学习笔记——静态变量/类变量详解（使用细节及内存分析） itsetggg java学习笔记
    静态变量/类变量的使用细节定义语法：访问修饰符static数据类型变量名;或static访问修饰符数据类型变量名;访问方法：对象名.类变量名;或者类名.类变量名;（Java设计者推荐使用在这个方式）使用细节：由于类加载时会在堆中创建一个对应的Class对象，也即类变量是随着类的加载而创建的，所以没有创建对象时也能访问。静态变量的访问修饰符的访问权限和范围和普通属性是一样的。类变量与实例变量(普通属
  • 【Java】面向对象 OOP 道格维克 Javajava开发语言
    文章目录面向对象OOP概述一、对象内存相关二、类的成员之一：成员变量（Field）2.1如何声明成员变量2.2成员变量与局部变量三、类的成员之一：成员方法（Method）3.1方法调用内存分析3.2方法的重载3.3可变个数的形参3.4形参与实参：参数传递机制->值传递四、类的成员之一：构造（Constructor）五、OOP三大特性之一：封装如何实现封装六、OOP三大特性之一：继承七、OOP三大特
  • Js函数返回值 _wy_ jsreturn
    一、返回控制与函数结果，语法为：return 表达式;作用: 结束函数执行，返回调用函数，而且把表达式的值作为函数的结果 二、返回控制语法为：return;作用: 结束函数执行，返回调用函数，而且把undefined作为函数的结果 在大多数情况下,为事件处理函数返回false,可以防止默认的事件行为.例如,默认情况下点击一个<a>元素,页面会跳转到该元素href属性
  • MySQL 的 char 与 varchar bylijinnan mysql
    今天发现，create table 时，MySQL 4.1有时会把 char 自动转换成 varchar 测试举例： CREATE TABLE `varcharLessThan4` ( `lastName` varchar(3) ) ; mysql> desc varcharLessThan4; +----------+---------+------+-
  • Quartz——TriggerListener和JobListener eksliang TriggerListenerJobListenerquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208624 一.概述 listener是一个监听器对象，用于监听scheduler中发生的事件，然后执行相应的操作；你可能已经猜到了，TriggerListeners接受与trigger相关的事件，JobListeners接受与jobs相关的事件。   二.JobListener监听器  j
  • oracle层次查询 18289753290 oracle；层次查询；树查询
    .oracle层次查询(connect  by) oracle的emp表中包含了一列mgr指出谁是雇员的经理，由于经理也是雇员，所以经理的信息也存储在emp表中。这样emp表就是一个自引用表，表中的mgr列是一个自引用列，它指向emp表中的empno列，mgr表示一个员工的管理者， select   empno,mgr,ename,sal  from e
  • 通过反射把map中的属性赋值到实体类bean对象中 酷的飞上天空 javaee泛型类型转换
    使用过struts2后感觉最方便的就是这个框架能自动把表单的参数赋值到action里面的对象中 但现在主要使用Spring框架的MVC，虽然也有@ModelAttribute可以使用但是明显感觉不方便。 好吧，那就自己再造一个轮子吧。 原理都知道，就是利用反射进行字段的赋值，下面贴代码 主要类如下：   import java.lang.reflect.Field; imp
  • SAP HANA数据存储：传统硬盘的瓶颈问题 蓝儿唯美 HANA
    SAPHANA平台有各种各样的应用场景，这也意味着客户的实施方法有许多种选择，关键是如何挑选最适合他们需求的实施方案。 在 《Implementing SAP HANA》这本书中，介绍了SAP平台在现实场景中的运作原理，并给出了实施建议和成功案例供参考。本系列文章节选自《Implementing SAP HANA》，介绍了行存储和列存储的各自特点，以及SAP HANA的数据存储方式如何提升空间压
  • Java Socket 多线程实现文件传输 随便小屋 javasocket
            高级操作系统作业，让用Socket实现文件传输，有些代码也是在网上找的，写的不好，如果大家能用就用上。 客户端类：   package edu.logic.client; import java.io.BufferedInputStream; import java.io.Buffered
  • java初学者路径 aijuans java
    学习Java有没有什么捷径?要想学好Java，首先要知道Java的大致分类。自从Sun推出Java以来，就力图使之无所不包，所以Java发展到现在，按应用来分主要分为三大块：J2SE,J2ME和J2EE,这也就是Sun ONE(Open Net Environment)体系。J2SE就是Java2的标准版，主要用于桌面应用软件的编程；J2ME主要应用于嵌入是系统开发，如手机和PDA的编程；J2EE
  • APP推广 aoyouzi APP推广
    一，免费篇 1，APP推荐类网站自主推荐 最美应用、酷安网、DEMO8、木蚂蚁发现频道等,如果产品独特新颖，还能获取最美应用的评测推荐。PS：推荐简单。只要产品有趣好玩，用户会自主分享传播。例如足迹APP在最美应用推荐一次，几天用户暴增将服务器击垮。 2，各大应用商店首发合作 老实盯着排期，多给应用市场官方负责人献殷勤。 3，论坛贴吧推广 百度知道，百度贴吧，猫扑论坛，天涯社区，豆瓣（
  • JSP转发与重定向 百合不是茶 jspservletJava Webjsp转发
      在servlet和jsp中我们经常需要请求,这时就需要用到转发和重定向;   转发包括;forward和include     例子;forwrad转发;  将请求装法给reg.html页面   关键代码;    req.getRequestDispatcher("reg.html
  • web.xml之jsp-config bijian1013 javaweb.xmlservletjsp-config
    1.作用：主要用于设定JSP页面的相关配置。 2.常见定义： <jsp-config> <taglib> <taglib-uri>URI(定义TLD文件的URI,JSP页面的tablib命令可以经由此URI获取到TLD文件)</tablib-uri> <taglib-location> TLD文件所在的位置
  • JSF2.2 ViewScoped Using CDI sunjing CDIJSF 2.2ViewScoped
    JSF 2.0 introduced annotation @ViewScoped; A bean annotated with this scope maintained its state as long as the user stays on the same view(reloads or navigation - no intervening views). One problem w
  • 【分布式数据一致性二】Zookeeper数据读写一致性 bit1129 zookeeper
    很多文档说Zookeeper是强一致性保证，事实不然。关于一致性模型请参考http://bit1129.iteye.com/blog/2155336    Zookeeper的数据同步协议 Zookeeper采用称为Quorum Based Protocol的数据同步协议。假如Zookeeper集群有N台Zookeeper服务器(N通常取奇数，3台能够满足数据可靠性同时
  • Java开发笔记 白糖_ java开发
    1、Map<key,value>的remove方法只能识别相同类型的key值   Map<Integer,String> map = new HashMap<Integer,String>(); map.put(1,"a"); map.put(2,"b"); map.put(3,"c"
  • 图片黑色阴影 bozch 图片
     .event{ padding:0;    width:460px;    min-width: 460px;    border:0px solid #e4e4e4;    height: 350px;    min-heig
  • 编程之美-饮料供货-动态规划 bylijinnan 动态规划
    import java.util.Arrays; import java.util.Random; public class BeverageSupply { /** * 编程之美 饮料供货 * 设Opt（V’，i）表示从i到n-1种饮料中，总容量为V’的方案中，满意度之和的最大值。 * 那么递归式就应该是：Opt（V’，i）=max{ k * Hi+Op
  • ajax大参数（大数据）提交性能分析 chenbowen00 WebAjax框架浏览器prototype
    近期在项目中发现如下一个问题 项目中有个提交现场事件的功能，该功能主要是在web客户端保存现场数据（主要有截屏，终端日志等信息）然后提交到服务器上方便我们分析定位问题。客户在使用该功能的过程中反应点击提交后反应很慢，大概要等10到20秒的时间浏览器才能操作，期间页面不响应事件。 根据客户描述分析了下的代码流程，很简单，主要通过OCX控件截屏，在将前端的日志等文件使用OCX控件打包，在将之转换为
  • [宇宙与天文]在太空采矿,在太空建造 comsci
         我们在太空进行工业活动...但是不太可能把太空工业产品又运回到地面上进行加工,而一般是在哪里开采,就在哪里加工,太空的微重力环境,可能会使我们的工业产品的制造尺度非常巨大....      地球上制造的最大工业机器是超级油轮和航空母舰,再大些就会遇到困难了,但是在空间船坞中,制造的最大工业机器,可能就没
  • ORACLE中CONSTRAINT的四对属性 daizj oracleCONSTRAINT
    ORACLE中CONSTRAINT的四对属性 summary:在data migrate时,某些表的约束总是困扰着我们,让我们的migratet举步维艰,如何利用约束本身的属性来处理这些问题呢?本文详细介绍了约束的四对属性: Deferrable/not deferrable, Deferred/immediate, enalbe/disable, validate/novalidate,以及如
  • Gradle入门教程 dengkane gradle
    一、寻找gradle的历程 一开始的时候，我们只有一个工程，所有要用到的jar包都放到工程目录下面，时间长了，工程越来越大，使用到的jar包也越来越多，难以理解jar之间的依赖关系。再后来我们把旧的工程拆分到不同的工程里，靠ide来管理工程之间的依赖关系，各工程下的jar包依赖是杂乱的。一段时间后，我们发现用ide来管理项程很不方便，比如不方便脱离ide自动构建，于是我们写自己的ant脚本。再后
  • C语言简单循环示例 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i; int count = 0; int sum = 0; float avg; for (i=1; i<=100; i++) { if (i%2==0) { count++; sum += i; } } avg
  • presentModalViewController 的动画效果 dcj3sjt126com controller
    系统自带(四种效果)： presentModalViewController模态的动画效果设置：     [cpp]  view plain copy   UIViewController *detailViewController = [[UIViewController al
  • java 二分查找 shuizhaosi888 二分查找java二分查找
    需求：在排好顺序的一串数字中，找到数字T   一般解法：从左到右扫描数据，其运行花费线性时间O(N)。然而这个算法并没有用到该表已经排序的事实。 /** * * @param array * 顺序数组 * @param t * 要查找对象 * @return */ public stati
  • Spring Security（07）——缓存UserDetails 234390216 ehcache缓存Spring Security
           Spring Security提供了一个实现了可以缓存UserDetails的UserDetailsService实现类，CachingUserDetailsService。该类的构造接收一个用于真正加载UserDetails的UserDetailsService实现类。当需要加载UserDetails时，其首先会从缓存中获取，如果缓存中没
  • Dozer 深层次复制 jayluns VOmavenpo
    最近在做项目上遇到了一些小问题，因为架构在做设计的时候web前段展示用到了vo层，而在后台进行与数据库层操作的时候用到的是Po层。这样在业务层返回vo到控制层，每一次都需要从po-->转化到vo层，用到BeanUtils.copyProperties(source, target)只能复制简单的属性，因为实体类都配置了hibernate那些关联关系，所以它满足不了现在的需求，但后发现还有个很
  • CSS规范整理（摘自懒人图库） a409435341 htmlUIcss浏览器
       刚没事闲着在网上瞎逛，找了一篇CSS规范整理，粗略看了一下后还蛮有一定的道理，并自问是否有这样的规范，这也是初入前端开发的人一个很好的规范吧。 一、文件规范 1、文件均归档至约定的目录中。 具体要求通过豆瓣的CSS规范进行讲解： 所有的CSS分为两大类：通用类和业务类。通用的CSS文件，放在如下目录中： 基本样式库 /css/core
  • C++动态链接库创建与使用 你不认识的休道人 C++dll
    一、创建动态链接库 1.新建工程test中选择”MFC [dll]”dll类型选择第二项"Regular DLL With MFC shared linked"，完成 2.在test.h中添加 extern “C” 返回类型 _declspec(dllexport)函数名(参数列表); 3.在test.cpp中最后写 extern “C” 返回类型 _decls
  • Android代码混淆之ProGuard rensanning ProGuard
    Android应用的Java代码，通过反编译apk文件（dex2jar、apktool）很容易得到源代码，所以在release版本的apk中一定要混淆一下一些关键的Java源码。 ProGuard是一个开源的Java代码混淆器（obfuscation）。ADT r8开始它被默认集成到了Android SDK中。 官网： http://proguard.sourceforge.net/
  • 程序员在编程中遇到的奇葩弱智问题 tomcat_oracle jquery编程ide
    　　现在收集一下：       　　排名不分先后，按照发言顺序来的。   1、Jquery插件一个通用函数一直报错，尤其是很明显是存在的函数，很有可能就是你没有引入jquery。。。或者版本不对 2、调试半天没变化：不在同一个文件中调试。这个很可怕，我们很多时候会备份好几个项目，改完发现改错了。有个群友说的好：   在汤匙
  • 解决maven-dependency-plugin (goals "copy-dependencies","unpack") is not supported xp9802 dependency
    解决办法：在plugins之前添加如下pluginManagement，二者前后顺序如下：   [html]  view plain copy   <build>           <pluginManagement
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他