off-heap

Elasticsearch 内存使用

Elasticsearch内存使用一.初窥内存二.内存分布详解2.1Elasticsearchheap2.2Lucene(off-heap)三.疑问序号内容链接地址1SpringBoot整合Elasticsearch7.6.1https
爱喝咖啡的程序员·2023-10-08 16:04

MemoryStore、Off-Heap Store、DiskStore

MemoryStore始终处于启用状态，所有元素都可以放在MemoryStore层线程安全就是使用内存存储(ConcurrentHashMap)，很快所有的cache都指明了最大占用内存，超过了如果不允许溢出内存，存在的元素被删除允许溢出，检查执行，删除过期元素，没过期的移到下一层。过期策略有LRU（最近最少使用）、LFU（最近使用频率最少）、FIFO（先进先出）getQuiet、putQuiet
剑客kb·2023-10-07 04:14

Node.js - Buffer缓冲器

引申：堆外内存（off-heap
三五七言，不语·2023-04-07 06:10

【Flink 精选】Flink-1.10 内存调优实践

1.JobManager内存调优1.1JobManager内存模型的介绍JobManager是Java进程，从JVM角度来看，总体分为Heap内存和Off-Heap内存。
熊本极客·2023-04-04 00:26

spark 2.1 sort-based shuffle

所以在spark2.0之后remove了HashShuffle，开始只使用on-heap或off-heap的sort-based
Gilegamesh·2023-02-05 14:31

Spark 内存模型

jvm内存模型堆内存on-heap:堆外内存（非堆）(off-heap)，默认为堆*0.1直接内存：jvm外内存（native内存）DirectByteBuffer栈、方法区、程序计数器等spark内存模型堆内存
海南中剑·2021-06-26 14:57

如何生成 Flink 作业的交互式火焰图？

Flink是目前最流行的大数据及流式计算框架之一，用户可以使用Java/Scala/Python的DataStream接口或者标准SQL语言来快速实现一个分布式高可用的流式应用，通过内部的JavaJIT、off-heap
ApacheFlink·2020-11-13 11:19

spark 内存模型详解

首先Spark内存分为堆内内存（On-heap）和堆外内存（Off-heap）；Excutor管理堆内存基于是jvm管理内存之上，堆外内存使用的是节点所在的系统内存。
生活只有苟且·2020-09-17 03:45

Spark内存模型详解

同时，Spark引入了Off-heap内存模式，使之可以直接在工作节点的系统内存中开辟空间，进一步优化了内存的使用（可以理解为是独立于JVM托管的Heap之外利用c-style的malloc从os分配到的
weixin_30642029·2020-09-17 03:05

spark源码分析之TaskMemoryManager

在off-heap内存模式中，可以用64-bit的地址来表示内存地址。在on-heap内存模式中，通过baseobject的引用和该对象中64-bit的偏移量来表示内存地址。
weiqing687·2020-09-17 02:59

RDD、DataFrame、DataSet 的对比

Java对象的集合ds=df.as[ElementType]df=Dataset[Row]优点编译时类型安全、面向对象的编程风格引入schema结构信息、减少数据读取、优化执行计划，如filter下推，剪裁off-heap
明天你好lk·2020-09-16 03:14

【Hadoop学习】HDFS中的集中化缓存管理

NameNode会和保存着所需快数据的所有DataNode通信，并指导他们把块数据缓存在off-heap缓存中。HDFS集中
weixin_30376163·2020-09-15 06:34

Spark 内存管理

同时，Spark引入了堆外(Off-heap)内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化了内存的使用。堆内内存受到JVM统一管理，堆外内存是直接向操作系统进行内存堆申请和释放。
火成哥哥·2020-09-12 08:34

Java嵌入式数据库:MapDB

MapDB是一个快速、易用的嵌入式Java数据库引擎，它提供了基于磁盘或者堆外(off-heap允许Java直接操作内存空间,类似于C的malloc和free)存储的并发的Maps、Sets、Queues
slimina·2020-08-14 19:37

专为Java设计的高性能的数据库

程序员必上的开发者服务平台——DevStoreMapDB是一个快速、易用的嵌入式Java数据库引擎，它提供了基于磁盘或者堆外（off-heap允许Java直接操作内存空间,类似于C的malloc和free
lyt19880901·2020-08-14 18:17

hello MapDB

一,介绍MapDB是一个快速、易用的嵌入式Java数据库引擎，它提供了基于磁盘或者堆外（off-heap允许Java直接操作内存空间,类似于C的malloc和free）存储的并发的Maps、Sets、Queues
追寻北极·2020-08-14 17:37

spark1.6统一内存管理(UnifiedMemoryManager)

非堆内存(off-heap)是通
CxCo·2020-08-12 17:14

从off-heap到Azul's Zing(JVM)

参阅下面文章：《Differencebetween“on-heap”and“off-heap”》《JVM性能优化,Java的伸缩性》《AzulOffersFreeZingJVMtoOpenSourceCommunityProjects
tokendeng·2020-08-03 05:21

spark2原理分析-BlockManagerMaster实现原理

BlockManager的基本概念BlockManager运行在spark的每个节点上(包括driver和executors)，它提供了一个保存和获取本地或远端数据块到内存、磁盘、或off-heap中的统一接口
一 铭·2020-08-01 08:02

Spark Tungsten in-heap / off-heap 内存管理机制

in-heap和off-heap(MemoryAllocator)首先我
祝威廉·2020-07-29 17:06

spark 的内存管理机制

同时，Spark引入了堆外（Off-heap）内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化了内存的使用。
maketubu7·2020-07-29 13:15

MapDB：专为Java设计的高性能的数据库

MapDB是一个快速、易用的嵌入式Java数据库引擎，它提供了基于磁盘或者堆外（off-heap允许Java直接操作内存空间,类似于C的malloc和free）存储的并发的Maps、Sets、Queues
Rain·2020-07-06 11:07

开源jar包bug导致的CPU消耗200%问题分析案例

快速、可伸缩性以及易用，它提供了基于磁盘或者堆外（off-heap允许Java直接操作内存空间,类似于C的malloc和free
weixin_30339457·2020-06-27 18:09

堆外内存（off-heap），堆内存（on-heap）

堆外内存（off-heap），堆内存（on-heap）香蕉与打火机2015年4月8日java原文：http://www.infoq.com/cn/news/2014/12/external-memory-heap-memory
Byrondo·2020-06-26 23:11

[SPARK]内存管理

合理利用内存空间进行缓存，来避免重复计算理智的设置spark内存相关参数1.spark内存的划分2.不同内存的作用3.用spark参数控制内存划分内存划分Exector内存=堆内内存（On-heap）+堆外内存（Off-heap
袁一帆·2020-04-13 02:04

Spark Tungsten in-heap / off-heap 内存管理机制

in-heap和off-heap(MemoryAllocator)首先我
祝威廉·2020-02-01 02:08

Infinispan分布式缓存分析

支持的高级特性包括：事务、事件通知、高级查询、分布式处理、off-heap及故障迁移。2.部署模式Infinispan按部署模式分为嵌入式(E
随安居士·2020-01-03 19:08

Java 堆外内存的使用

更多Java虚拟机方面的文章，请参见文集《Java虚拟机》为什么需要使用堆外内存将长期存活的对象(如LocalCache)移入堆外内存(off-heap，又名直接内存direct-memory)，从而减少
专职跑龙套·2019-12-30 05:32

Spark on Yarn之Executor内存管理

同时，Spark引入了Off-heap（TungSten）内存模式，使之可以直接在工作节点的系统内存中开辟空间，进一步优化了内存的使用（
荒湖·2019-10-31 23:05

off-heap memory

1、whatisit?off-heapmemory，堆外内存，游离在jvm控制之外的一块内存空间。2、howtouse?publicclassTestOHM{publicstaticvoidmain(String[]args)throwsInterruptedException{ByteBufferbyteBuffer=ByteBuffer.allocateDirect(1024*1024*128
白奕新·2019-08-25 23:11

Netty源码-PooledByteBufAllocator静态变量初始化

1概述2重要静态变量3静态初始化语句块的参数初始化1概述众所周知，采用直接内存（off-heap）可以避免内存拷贝，因此在NIO编程中大多会采用直接内存，但是直接内存的分配和回收代价较高，Netty为了提高内存分配和回收的效率
persisting_·2019-06-02 15:44

AJPFX总结OpenJDK 和 HashMap大量数据处理时，避免垃圾回收延迟的技巧一

从Java6开始，要求标准化非堆存储（off-heap）作为Java内部API的提议就已经在JDK强化提案（JEP）中被提出。
AJPFX·2019-05-17 09:00

JVM中的堆外内存（off-heap memory）与堆内内存（on-heap memory）

1.堆内内存（on-heapmemory）1.1什么是堆内内存Java虚拟机在执行Java程序的过程中会把它在主存中管理的内存部分划分成多个区域，每个区域存放不同类型的数据。下图所示为java虚拟机运行的时候，主要的内存分区：在这些分区中，占用内存空间最大的一部分叫做“堆（heap）”，也就是我们所说的堆内内存（on-heapmemory）。java虚拟机中的“堆”主要是存放所有对象的实例。这一块
二营长的意大利面·2018-06-22 19:56

SnappyData企业版中off-heap功能及与on-heap功能的对比

目录：1、SnappyDataOSS的功能介绍2、SnappyData企业版的额外功能3、企业版off-heap功能的对比与测试4、结论5、参考1、SnappyDataOSS的功能介绍OSS是OpenSourceSnappyDataCommunityEdition
lmalds李麦迪·2018-03-05 15:09

On-heap & off-heap

一般情况下，Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的，也称为堆内内存（on-heapmemory）。虚拟机会定期对垃圾内存进行回收，在某些特定的时间点，它会进行一次彻底的回收（fullgc）。彻底回收时，垃圾收集器会对所有分配的堆内内存进行完整的扫描，这意味着一个重要的事实——这样一次垃圾收集对Java应用造成的影响，跟堆的大小是成正比的。过大的堆会影响Java应用的性能。对
Codlife·2017-12-04 04:51

tachyon、spark、hdfs集群整合

spark2.0.1hadoop2.7.1tachyon0.8.2二、原理及参考文档1.Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署2.Tachyon--Spark缺省的off-heap
玄月府的小妖在debug·2016-11-30 21:30

Spark生态之Tachyon学习5--tachyon的几个问题（待解决）

2.在运行spark的时候persist可以制定off-heap，而这种默认使用tachyon，这种模式与使用saveAsFile等指令存储到tachyon有什么区别？
bob601450868·2016-05-05 15:00

HDFS中的集中化缓存管理

NameNode会和保存着所需快数据的所有DataNode通信，并指导他们把块数据缓存在off-heap缓存中。
jiangshouzhuang·2016-04-19 21:00

DirectMemory（堆外（Off-Heap）缓存BigMemory的一个实现）

就Java本地Cache（非分布式）而言，存在3个地方可以存放数据：Heap,OffHeap和DiskBigMemory非开源产品，所以其源码不能通过正常渠道拿到。同时，有一个开源产品DirectMemory实现了类似BigMemory的Cache实现这是github的地址：https://github.com/raffaeleguidi/DirectMemoryDirectMemory是堆外（O
philos3·2016-04-09 09:16

Off-heap Memory in Apache Flink and the curious JIT compiler

https://flink.apache.org/news/2015/09/16/off-heap-memory.html Runningdata-intensivecodeintheJVMandmakingitwell-behavedistricky.SystemsthatputbillionsofdataobjectsnaivelyontotheJVMheapfaceunpredictable
fxjwind·2016-04-08 11:00

Spark Tungsten in-heap / off-heap 内存管理机制

in-heap和off-heap(MemoryAllocator)首先我
allwefantasy·2016-01-02 10:00

MapDB的spring整合使用

MapDB是一个快速、易用的嵌入式Java数据库引擎，它提供了基于磁盘或者堆外（off-heap允许Java直接操作内存空间,类似于C的malloc和free）存储的并发的Maps、Sets、Queues
cywhoyi·2015-12-15 23:24

MapDB的spring整合使用

MapDB是一个快速、易用的嵌入式Java数据库引擎，它提供了基于磁盘或者堆外（off-heap允许Java直接操作内存空间,类似于C的malloc和free）存储的并发的Maps、Sets、Queues
cywhoyi·2015-12-15 23:00

MapDB：专为Java设计的高性能的数据库

MapDB是一个快速、易用的嵌入式Java数据库引擎，它提供了基于磁盘或者堆外（off-heap允许Java直接操作内存空间, 类似于C的malloc和free）存储的并发的Maps、Sets、Queues
·2015-11-12 13:28

Java嵌入式数据库:MapDB

  MapDB是一个快速、易用的嵌入式Java数据库引擎，它提供了基于磁盘或者堆外(off-heap允许Java直接操作内存空间,类似于C的malloc和free)存储的并发的Maps、Sets、Queues
jianghaolun·2015-01-25 17:00

MapDB：专为Java设计的高性能的数据库

MapDB是一个快速、易用的嵌入式Java数据库引擎，它提供了基于磁盘或者堆外（off-heap允许Java直接操作内存空间,类似于C的malloc和free）存储的并发的Maps、Sets、Queues
yuanyuan110_l·2014-08-13 16:00

MapDB：专为Java设计的高性能的数据库

MapDB是一个快速、易用的嵌入式Java数据库引擎，它提供了基于磁盘或者堆外（off-heap允许Java直接操作内存空间,类似于C的malloc和free）存储的并发的Maps、Sets、Queues
郭蕾·2014-07-21 00:00

Off-heap技术在大数据处理中的应用

概要毋庸置疑，我们正在迎来一个移动化的时代。海量移动设备的普及，将对我们的数据搜集和处理系统会带来什么影响？作为国内领先的独立第三方移动数据服务平台，TalkingData团队在两年来的实践中，在移动数据的处理方面积累了一定的经验和教训。在本次演讲中，将分享我们在技术上的一些经验，成果和教训。个人简介黄洋成。腾云天下首席架构师。曾任BEA电信技术中心首席架构师，负责WebLogic/Tuxedo等
黄洋成·2014-01-02 00:00

hazelcast高可用性详解

弹性内存是hazelcast使用off-heap进行存储以避免GC时造成的暂停服务。即使你有频繁更新TB级别的内存数据，GC时几乎不
hzyu·2013-10-11 00:00

DirectMemory实现方式

   我们都知道Terracotta收购了EhCache，同时推出了基于off-heap技术的bigMemory，从而摆脱JVMGC带来的性能问题；    就Java本地Cache（非分布式）而言，存在
lixjluck·2011-09-09 17:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他