DragonflyDavid
DragonflyDavid

Netty源码04-ByteBuf缓冲区内存管理

Netty 内存管理

Netty的高效和易用也得益于他强大的内存管理，下面这个章节就让我们一起来研究Netty是如何进行内存管理的

Netty ByteBuf缓冲区

官方列出了一些ByteBuf的特性：

  • 需要的话，可以自定义buffer类型；
  • 通过组合buffer类型，可实现透明的zero-copy；
  • 提供动态的buffer类型，如StringBuffer一样，容量是按需扩展；
  • 无需调用flip()方法；
  • 常常often比ByteBuffer
网络数据的基本单位总是字节。Java NIO 提供了ByteBuffer 作为它的字节容器，但是这个类使用起来过于复杂，而且也有些繁琐
Netty 的ByteBuffer 替代品是ByteBuf，一个强大的实现，既解决了JDK API 的局限性，又为网络应用程序的开发者提供了更好的API

ByteBuf结构

ByteBuf 维护了读写两个不同的索引，名称以read 或者write 开头的ByteBuf 方法，将会推进其对应的索引，而名称以set 或者get 开头的操作则不会
image.png

ByteBuf 的使用

  • 堆缓冲区（heapBuffer）
    最常用的ByteBuf 模式是将数据存储在JVM 的堆空间中。这种模式被称为支撑数组（backing array），它能在没有使用池化的情况下提供快速的分配和释放。可以由hasArray()来判断检查ByteBuf 是否由数组支撑。如果不是，则这是一个直接缓冲区
  • 直接缓冲区（directBuffer）
    直接缓冲区是另外一种ByteBuf 模式。
    直接缓冲区的主要缺点是，相对于基于堆的缓冲区，它们的分配和释放都较为昂贵。
  • 复合缓冲区

随机访问索引/顺序访问索引/读写操作

和普通的Java字节数组中一样， ByteBuf的索引是从零开始的：第一个字节的索引是0，最后一个字节的索引总是 capacity() - 1。使用那些需要一个索引值参数( 随机访问,也即是数组下标)的方法（的其中）之一来访问数据既不会改变readerIndex 也不会改变writerIndex。如果有需要，也可以通过调用readerIndex(index)或者writerIndex(index)来手动移动这两者。 顺序访问通过索引访问

有两种类别的读、写操作：

  • get()和set()操作，从给定的索引开始，并且保持索引不变；get+数据类型（bool.byte,int,short,long,bytes），将自动读取类型长度的数据
  • read()和write()操作，从给定的索引开始，并且会根据已经访问过的字节数对索引进行调整

更多的操作

函数名称 描述
isReadable() 如果至少有一个字节可供读取，则返回true
isWritable() 如果至少有一个字节可被写入，则返回true
readableBytes() 返回可被读取的字节数
writableBytes() 返回可被写入的字节数
capacity() 返回ByteBuf 可容纳的字节数。在此之后，它会尝试再次扩展直到达到maxCapacity()
maxCapacity() 返回ByteBuf 可以容纳的最大字节数
hasArray() 如果ByteBuf 由一个字节数组支撑，则返回true
array() 如果 ByteBuf 由一个字节数组支撑则返回该数组；否则，它将抛出一个UnsupportedOperationException 异常

可丢弃字节

为可丢弃字节的分段包含了已经被读过的字节。通过调用discardReadBytes()方法，可以丢弃它们并回收空间。这个分段的初始大小为0，存储在readerIndex 中，会随着read 操作的执行而增加（get操作不会移动readerIndex）

缓冲区上调用discardReadBytes()方法后，可丢弃字节分段中的空间已经变为可写的了。频繁地调用discardReadBytes()方法以确保可写分段的最大化，但是请注意，这将极有可能会导致内存复制，因为可读字节必须被移动到缓冲区的开始位置。建议只在有真正需要的时候才这样做，例如，当内存非常宝贵的时候
image.png

可读字节

ByteBuf的可读字节分段存储了实际数据。新分配的、包装的或者复制的缓冲区的默认的readerIndex值为0

可写字节

可写字节分段是指一个拥有未定义内容的、写入就绪的内存区域。新分配的缓冲区的writerIndex 的默认值为0。任何名称以write 开头的操作都将从当前的writerIndex 处开始写数据，并将它增加已经写入的字节数
image.png

索引管理

调用markReaderIndex()、markWriterIndex()、resetWriterIndex()和resetReaderIndex()来标记和重置ByteBuf的readerIndex和writerIndex

也可以通过调用readerIndex(int)或者writerIndex(int)来将索引移动到指定位置。试图将任何一个索引设置到一个无效的位置都将导致一个IndexOutOfBoundsException

可以通过调用clear()方法来将readerIndex和writerIndex 都设置为0。注意，这并不会清除内存中的内容

查找操作

在ByteBuf中有多种可以用来确定指定值的索引的方法。最简单的是使用indexOf()方法
较复杂的查找可以通过调用forEachByte()，代码展示了一个查找回车符（\r）的例子

ByteBuf buf = Unpooled.copiedBuffer(str.getBytes());
int index = buf.forEachByte(ByteProcessor.FIND_CR);

派生缓冲区

派生缓冲区为ByteBuf提供了以专门的方式来呈现其内容的视图。这类视图是通过以下方法被创建的：

  • duplicate()
  • slice()
    slice(int, int)
  • Unpooled.unmodifiableBuffer(…)
  • order(ByteOrder)
  • readSlice(int)

每个这些方法都将返回一个新的ByteBuf实例，它具有自己的读索引、写索引和标记索引。其内部存储和Netty的ByteBuf一样也是共享的

ByteBuf复制：如果需要一个现有缓冲区的真实副本，请使用 copy()或者 copy(int, int)方法。不同于派生缓冲区，由这个调用所返回的ByteBuf拥有独立的数据副本

引用计数

引用计数是一种通过在某个对象所持有的资源不再被其他对象引用时释放该对象所持有的资源来优化内存使用和性能的技术。Netty在第4版中为ByteBuf引入了引用计数技术interface ReferenceCounted

工具类

ByteBufUtil提供了用于操作ByteBuf的静态的辅助方法。因为这个API 是通用的，并且和池化无关，所以这些方法已然在分配类的外部实现

这些静态方法中最有价值的可能就是hexdump()方法，它以十六进制的表示形式打印ByteBuf的内容。这在各种情况下都很有用，例如，出于调试的目的记录ByteBuf的内容。十六进制的表示通常会提供一个比字节值的直接表示形式更加有用的日志条目，此外，十六进制的版本还可以很容易地转换回实际的字节表示

另一个有用的方法是boolean equals(ByteBuf, ByteBuf)，它被用来判断两个ByteBuf实例的相等性

资源释放

当某个ChannelInboundHandler的实现重写channelRead()方法时，它要负责显式地释放与池化的ByteBuf实例相关的内存。Netty为此提供了一个实用方法ReferenceCountUtil.release()

Netty将使用WARN级别的日志消息记录未释放的资源，使得可以非常简单地在代码中发现违规的实例。但是以这种方式管理资源可能很繁琐。一个更加简单的方式是使用SimpleChannelInboundHandler，SimpleChannelInboundHandler会自动释放资源

  • 入站请求：Netty的EventLoop在处理Channel的读操作时进行分配ByteBuf，对于这类ByteBuf，需要我们自行进行释放，有三种方式，或者使用SimpleChannelInboundHandler，或者在重写channelRead()方法使用ReferenceCountUtil.release()或者使用ctx.fireChannelRead(buf)继续向后传递
  • 出站请求：不管ByteBuf是否由我们的业务创建的，当调用了write或者writeAndFlush方法后，Netty会自动替我们释放，不需要我们业务代码自行释放

ByteBufAllocator 内存分配接口

Netty 通过interface ByteBufAllocator分配我们所描述过的任意类型的ByteBuf 实例，下面是常用接口函数：

函数名称 描述
buffer() 返回一个基于堆或者直接内存存储的ByteBuf
heapBuffer() 返回一个基于堆内存存储的ByteBuf
directBuffer() 返回一个基于直接内存存储的ByteBuf
compositeBuffer() 返回一个可以通过添加最大到指定数目的基于堆的或者直接内存存储的缓冲区来扩展的CompositeByteBuf

Netty提供了两种ByteBufAllocator的实现

  • PooledByteBufAllocator：实现池化了ByteBuf的实例以提高性能并最大限度地减少内存碎片
  • UnpooledByteBufAllocator：实现不池化ByteBuf实例，并且在每次它被调用时都会返回一个新的实例

Netty4.1默认使用了PooledByteBufAllocator。

Unpooled 非池化缓冲区

Netty 提供了一个简单的称为Unpooled 的工具类，它提供了静态的辅助方法来创建未池化的ByteBuf实例

分配过程

  • 参数校验
  • 判断unsafe走不同的分配方法
  • new byte[初始容量]
  • set readIndex=0 writeIndex=0

Unpooled提供以下接口：

函数名称 描述
buffer() 返回一个未池化的基于堆内存存储的ByteBuf
directBuffer() 返回一个未池化的基于直接内存存储的ByteBuf
wrappedBuffer() 返回一个包装了给定数据的ByteBuf
copiedBuffer() 返回一个复制了给定数据的ByteBuf

Pooled 池化缓冲区

4.x开发了Pooled Buffer，实现了一个高性能的buffer池，分配策略有点想Linux下的内存管理算法，伙伴算法
由于这部分内容未做深入研究，可以参考下面连接
Netty内存池化

你可能感兴趣的:(netty,缓冲区)

  • socket多线程和Ringbuffer详解 走别人不走的路 linuxc语言android
    关注微信公众号：【快乐程序猿】查看更多篇章相信很多读者都知道多线程是什么，那RingBuffer可能就不太清楚了，那我们先来介绍下什么是RingBuffer。RingBuffer，也称为循环缓冲区，是一种固定大小的缓冲区，用于在生产者和消费者之间传递数据。它是一种数据结构，常用于需要缓冲数据流的场合，如音频处理、数据通信等。1.结构缓冲区大小:RingBuffer有一个固定的容量，即可以容纳的数据
  • netty源码解读三（NioEventLoop） orcharddd_real nettyjavanetty
    NioEventLoop初始化EventExecutor类型的数组数组大小默认为cpu数量的两倍，遍历数组，通过newNioEventLoop(xxx)往数组中添加元素，NioEventLoop继承了EventExecutor；每次需要线程时，执行chooser的next方法从数组中取出一个线程；关键代码打开netty源码，找到example包下的EchoService类，追溯创建boss线程组和
  • Netty源码分析:NioEventLoopGroup HelloWorld_EE netty源码分析源代码nettyEventLoop
    Netty源码分析:NioEventLoopGroup在工作之余，看到自己公司的超哥（俞超）关于Netty的系列博文，讲解的很好，因此，自己在学习之余也跟了下源代码，来了解Netty，也做了相关的笔记，将形成系列博文，这是第一篇。超哥的博文地址在这里：http://www.jianshu.com/p/c5068caab217Netty版本：4.0.23.Final借用超哥的例子，一般服务端的代码如
  • linux sg io hdr,探索 Linux 通用 SCSI 驱动器 weixin_39628342 linuxsgiohdr
    典型的SCSI通用驱动器命令对于字符设备，SCSI通用驱动器支持许多典型的系统调用，比如open()、close()、read()、write、poll()和ioctl()。向特定的SCSI设备发送SCSI命令的步骤也非常简单：1.打开SCSI通用设备文件(比如sg1)获取SCSI设备的文件描述符。2.准备好SCSI命令。3.设置相关的内存缓冲区。4.调用ioctl()函数执行SCSI命令。5.关
  • 【Arm Cortex-X925】 -【第七章】-L1 指令内存系统 代码改变世界ctw ARM-TEE-Androidarm开发armv9armv8ARM
    7.L1指令内存系统Cortex-X925核心的L1指令内存系统负责提取指令和预测分支。它包括L1指令缓存和L1指令转换后备缓冲区(TLB)。L1指令内存系统向解码器提供指令流。为了提高整体性能和降低功耗，L1指令内存系统采用了动态分支预测和指令缓存技术。下表显示了L1指令内存系统的特点。注意L1指令TLB也位于L1指令内存系统中。然而，它是内存管理单元(MMU)的一部分，详细信息请参见第6节“内
  • 【Arm Cortex-X925】 -【第八章】-L1 数据内存系统 代码改变世界ctw ARM-TEE-Androidarm开发ARMV9ARMX925超大核X4
    8.L1数据内存系统Cortex®-X925的L1数据内存系统负责执行加载和存储指令，以及特定指令，如原子操作、缓存维护操作和内存标记指令。它包括L1数据缓存和L1数据转换后备缓冲区(TLB)。L1数据内存系统执行加载和存储指令，并处理内存一致性请求。下表显示了L1数据内存系统的特点。注意L1数据TLB也位于L1指令内存系统中。然而，它是内存管理单元(MMU)的一部分，详细信息请参见第6节“内存管
  • sed QChestnut 网络
    1、sed的定义sed是一种流编辑器，按行处理，一次处理一行内容处理方式：如果只是展示，会放在缓冲区（模式空间），展示结束后，会从模式空间把操作结果删除一行一行处理，处理完当前行才会处理下一行，直到文件末尾。作用：对文本的内容进行增删改查，最好用的是改和增2、sed的命令格式和操作选项sed-e‘操作符’-e'操作符'文件1文件2-e表示可以跟多个操作符，只有一个操作，-e可以省略sed-e'操作
  • stringstream类讲解 Adward.xi C++数据结构刷题开发语言C++
    定义了三个类：istringstream、ostringstream和stringstream，分别用来进行流的输入、输出和输入输出操作。本文以stringstream为主，介绍流的输入和输出操作。主要用来进行数据类型转换，由于使用string对象来代替字符数组（snprintf方式），避免了缓冲区溢出的危险；而且，因为传入参数和目标对象的类型会被自动推导出来，所以不存在错误的格式化符号的问题。简
  • 常见的页面缓存技术 weixin_30657541 json
    1.json文件2.转化为静态html文件3.数据分块加载实验--FaceBook的BigPipe技术将页面划分成一个个小块利用ob_flush()与flush()将缓冲区的内容提前输出给浏览器浏览器在一个请求中不断接受并渲染到页面，，逐个小块显示转载于:https://www.cnblogs.com/juanzhi/p/10935947.html
  • Android图形架构实现分析总结 shenbin1430 Android系统图形androidbufferlayer浏览器算法
    Android图形架构分析总结总结其实现方案，主要包括了以下几个关键点：1、直接FrameBuffer的访问方式，并对FrameBuffer采用双缓存技术没有采用X-Server等方案，直接操作framebuffer，可以减少X-Server带来的通信开销。打开framebuffer,创建两个缓冲区，（一个是onscreenfrontbuffer，另一个backbuffer,可能位于offscre
  • shuishuishui 芝麻糊76 stm32
    这个实验基于上边的实验进行修改，相比之前CPU的利用率更高使用遥控器上的左右按键控制挡球板移动，同时使用蜂鸣器播放音效创建队列：可以使用xQueueCreate动态分配内存，也可以使用xQueueCreateStatic静态分配内存，静态分配内存要提供两个buffer，一个是环形缓冲区本身，一个是队列结构体打开game1.c文件，在红外遥控器需要完成实现以下功能：①创建队列
  • 详解Python输出 铁蛋Q python服务器
    flush/end/swp#print("helloworld",flush=True)print("testprint!!!",end="")print("nowrap")flush代表刷新缓冲区end""代表去空格print("string","string2",1003,sep=",")sep指定用什么分割标准错误流print("errorout",file=sys.stderr)往文件里写
  • Linux网络包的收发流程 oywLearning 网络编程计算机网络linux网络网络协议
    一、Linux接收网络包的流程1.网卡是计算机里的一个硬件，专门负责接收和发送网络包，当网卡接收到一个网络包后，会通过DMA技术，将网络包写入到指定的内存地址，也就是写入到RingBuffer，这个是一个环形缓冲区。2.接着网卡向CPU发起硬件中断，当CPU收到硬件中断请求后，根据中断表，调用已经注册的中断处理函数。硬件中断处理函数会做如下的事情：需要先「暂时屏蔽中断」，表示已经知道内存中有数据，
  • netty-NioServerSocketChannel和boss NioEventLoopGroup 如何建立关系的 一个人的想法 javanetty
    一、EventLoopGroupbossGroup=newNioEventLoopGroup();EventLoopGroupworkerGroup=newNioEventLoopGroup();1、boss或者workerNioEventLoopGroup初始化完成了一个NioEventLoop数组（默认机器核数的2倍）所有NioEventLoop持有了同一个Executor调用execute时
  • 经验笔记：RPC与高性能NIO框架 漆黑的莫莫 计算机网络笔记rpcnio
    RPC与高性能NIO框架的经验笔记引言随着互联网技术的发展，分布式系统逐渐成为了现代软件架构的标准之一。在这种架构中，服务之间的通信变得尤为关键，而RPC（远程过程调用）作为一种服务间通信的方式，因其简便的使用方式和高效的性能表现而受到了广泛的关注。在实现RPC的过程中，选择合适的网络通信框架至关重要，尤其是那些基于NIO（非阻塞I/O）的高性能框架，如Netty。本文将首先介绍RPC的概念及其在
  • tcp 流量控制 秋夫人 计算机网络tcp/ip网络服务器计算机网络
    TCP流量控制是TCP/IP协议中用于控制发送方和接收方之间数据传输速率的一种机制，以防止网络拥塞和确保网络资源的有效利用。流量控制主要通过调整TCP窗口大小来实现，确保发送方不会发送超出接收方处理能力的数据量。以下是TCP流量控制的关键概念和工作原理：关键概念TCP窗口：TCP窗口是指接收方能够接收但尚未确认的数据量，它是接收方根据自身缓冲区的空闲容量动态通告给发送方的。接收窗口（rwnd）：接
  • shell编程----sed grep awk 醉卧考场君莫笑 linux系统课程学习linuxunix正则表达式
    其他编程前言Sed的介绍sed命令格式Sed程序示例Grepgrep示例Grep与Find示例awk程序示例：总结前言sedgrepawkSed的介绍Sed是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（patternspace），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。主
  • Unity3D Compute Shader如何进行同步详解 Clank的游戏栈 java开发语言
    前言在Unity3D中，ComputeShaders是一种利用GPU并行处理能力执行复杂计算的方法。由于GPU的工作方式，通常不需要像CPU上那样显式地处理线程同步问题，因为GPU的线程（通常称为工作项或SIMD单元）是大量并发执行的，并且它们通常遵循相同的执行路径。然而，在处理共享资源（如全局内存或图像缓冲区）时，仍需注意避免数据冲突和确保数据一致性。对惹，这里有一个游戏开发交流小组，大家可以点
  • 基础学习之——Netty 北欧人写代码 学习网络服务器
    Netty是一个基于Java的网络通信框架，提供了一种简单、高效、可扩展的方式来开发网络服务器和客户端应用程序。Netty的设计目标是提供一种统一的异步编程模型，使得开发者能够轻松地编写可维护和可重用的代码。Netty的核心组件包括：Channel：网络通信的通道，可以用于读取、写入和关闭操作。EventLoop：负责处理I/O事件，包括接收、发送和处理数据。ChannelHandler：用于处理
  • Springboot-websocket实现及底层原理 No.Ada 深入项目底层原理springbootwebsocket后端
    引入依赖SpringBoot中的WebSocket依赖于SpringWebFlux模块，使用了ReactorNetty库来实现底层的WebSocket通信。org.springframework.bootspring-boot-starter-websocket服务端配置/***WebSocket配置类*/@ConfigurationpublicclassWebSocketConfig{/***注
  • 【Netty】实战：基于WebSocket的聊天室 马丁的代码日记 netty聊天室网络websockethttp
    本文将使用Netty快速实现一个聊天室应用，该应用基于WebSocket协议，用户可以在浏览器内聊天。实现过程很简单，就几步。一、处理Http请求packagecn.md.netty.websocket.groupchat;importio.netty.channel.*;importio.netty.handler.codec.http.*;importio.netty.handler.ssl.
  • Java 入门指南：Java NIO —— Buffer（缓冲区） ZachOn1y Javajavanio个人开发后端java-ee团队开发
    NIO的引入在传统的JavaI/O模型（BIO）中，I/O操作是以阻塞的方式进行的。当一个线程执行一个I/O操作时，它会被阻塞直到操作完成。这种阻塞模型在处理多个并发连接时可能会导致性能瓶颈，因为需要为每个连接创建一个线程，而线程的创建和切换都是有开销的。为了解决这个问题，在Java1.4版本引入了NIO（NewI/OorNon-BlockingI/O）java.nio。提供了一种基于缓冲区、选择
  • Java 入门指南：Java NIO —— Channel（通道） ZachOn1y Javajavanio后端个人开发java-ee服务器团队开发
    NIO的引入在传统的JavaI/O模型（BIO）中，I/O操作是以阻塞的方式进行的。当一个线程执行一个I/O操作时，它会被阻塞直到操作完成。这种阻塞模型在处理多个并发连接时可能会导致性能瓶颈，因为需要为每个连接创建一个线程，而线程的创建和切换都是有开销的。为了解决这个问题，在Java1.4版本引入了NIO（NewI/OorNon-BlockingI/O）java.nio。提供了一种基于缓冲区、选择
  • 离屏渲染 滨滨_57b5
    什么是离屏渲染?对离屏渲染的理解。在屏渲染On-ScreenRenderingGPU的渲染操作是在当前用于显示的屏幕缓冲区中进行离屏渲染Off-ScreenRendering离屏幕渲染是在GPU层面发生的，即GPU在当前屏幕缓冲区外，新开辟了一个缓冲区进行渲染当设置某一些视图的图层属性时，如果在GPU未合成前，不能用于直接显示的时候，就会触发离屏渲染，包括设置视图的圆角属性、蒙层遮罩等离屏渲染触发
  • 精通 Spring Cloud Feign：从理论到实战的通信优化之路 TopicOnline springcloud
    一、服务间调用的几种方式使用SpringCloud开发微服务时，在服务消费者调用服务提供者时，底层通过HTTPClient的方式访问。但实际上在服务调用时，有主要以下来实现：使用JDK原生的URLConnection；Apache提供的HTTPClient；Netty提供的异步HTTPClient；Spring提供的RestTemplate。SpringCloud的SpringCloudOpenF
  • Oracle数据库数据缓冲区大小 liyongjie Oracle数据库oraclecachestatisticsjavabuffer
    数据块缓冲缓存区(Datablockbufferscache):8i中是db_block_buffers*db_block_size，9i及以后版本用db_cache_size来代替这个参数。10g中，这个参数是由oracle本身自动管理的，可以不用手工设置。在内存的配置中把别的参数设置完成后，应该把能给的都给Databuffers。Oracle在运行期间向数据库高速缓存读写数据，高速缓存命中表示
  • 计算机基础---缓冲区 守住这块热土
    写在前面，IO类总结之前，应该注意的几个问题:C++的缓冲区是什么概念？参考文档：51CTO---C++编程对缓冲区的理解C++的打开文件模式有哪些，之间的区别是什么？Part1缓冲区一、什么是缓冲区缓冲区又称为缓存，它是内存空间的一部分。也就是说，在内存空间中预留了一定的存储空间，这些存储空间用来缓冲输入或输出的数据，这部分预留的空间就叫做缓冲区。缓冲区根据其对应的是输入设备还是输出设备，分为输
  • 昇腾AI处理器的计算核心 - AI Core即DaVinci Core 西笑生 嵌入式深度学习AscendCLascend昇腾AICoreDaVinciCore
    昇腾AI处理器的计算核心-AICore即DaVinciCoreflyfish从一段代码的解释开始templateclassGlobalTensor{public:voidsetGlobalBuffer(T*buffer,uint32_tbuffersize){//在这里实现设置全局缓冲区的逻辑}};语法的说明，主要用于理解上面的代码，非内部实现template:这是模板声明。它告诉编译器接下来定义
  • 文件操作（打开--操作--关闭） 奋斗的小花生 c语言开发语言
    概述文件保存于外存储器上（磁盘、U盘、移动硬盘）的数据集合。文件操作文件内容的读取、写入（视为对文件输入输出操作，像流一样，称为文件流）；c语言采用“文件缓冲机制”，系统为文件创建“文件缓冲区”；文件的分类按存储方式划分：文本文件（ASCII文件）和二进制文件文件标识文件系统中：路径+文件名，举例：d:/aaa/bbb/cccc语言程序中：文件指针，语法：FILE*指针变量名文件操作步骤打开文件文
  • Dubbo与Netty 蹩脚的小三
    CodecCodecSupportAbstractCodecTransportCodecCodecAdapterDispacherChannelHandlersDispatcherAllDispatcherAllChannelHandlerChannelEventRunnableWrappedChannelHandlerChannelHandlerChannelHandlerAdapterChan
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他