TCMalloc

一. 原理

tcmalloc就是一个内存分配器，管理堆内存，主要影响malloc和free，用于降低频繁分配、释放内存造成的性能损耗，并且有效地控制内存碎片。glibc中的内存分配器是ptmalloc2，tcmalloc号称要比它快。一次malloc和free操作，ptmalloc需要300ns，而tcmalloc只要50ns。同时tcmalloc也优化了小对象的存储，需要更少的空间。tcmalloc特别对多线程做了优化，对于小对象的分配基本上是不存在锁竞争，而大对象使用了细粒度、高效的自旋锁（spinlock）。分配给线程的本地缓存，在长时间空闲的情况下会被回收，供其他线程使用，这样提高了在多线程情况下的内存利用率，不会浪费内存，而这一点ptmalloc2是做不到的。

tcmalloc区别的对待大、小对象。它为每个线程分配了一个线程局部的cache，线程需要的小对象都是在其cache中分配的，由于是thread local的，所以基本上是无锁操作（在cache不够，需要增加内存时，会加锁）。同时，tcmalloc维护了进程级别的cache，所有的大对象都在这个cache中分配，由于多个线程的大对象的分配都从这个cache进行，所以必须加锁访问。在实际的程序中，小对象分配的频率要远远高于大对象，通过这种方式（小对象无锁分配，大对象加锁分配）可以提升整体性能。

线程级别cache和进程级别cache实际上就是一个多级的空闲块列表（Free List）。一个Free List以大小为k bytes倍数的空闲块进行分配，包含n个链表，每个链表存放大小为nk bytes的空闲块。在tcmalloc中，<=32KB的对象被称作是小对象，>32KB的是大对象。在小对象中，<=1024bytes的对象以8n bytes分配，1025<size<=32KB的对象以128n bytes大小分配，比如：要分配20bytes则返回的空闲块大小是24bytes的，这样在<=1024的情况下最多浪费7bytes，>1025则浪费127bytes。而大对象是以页大小4KB进行对齐的，最多会浪费4KB - 1 bytes。下图就是一个基本的free list的示意图：

TCMalloc_第1张图片

实际上，一个free list（我称之为空闲块列表）就是一个数组索引多个链表，每个链表存放相同大小的块。可以根据要分配的内存大小size算出合适的块在free list中的下标，然后找到对应的空闲块链表。

tcmalloc的数据结构组织如下：

TCMalloc_第2张图片

 

Thread-local free list：线程本地的空闲块cache，用于分配小对象。

Heap free list：中心free list，全局唯一，用于按页对齐分配大对象或者是将连续的多个页（被称作span）分割成多个小对象的空闲块分配给thread-local free list。

Page array：用于描述当前tcmalloc持有的内存状态，完成的是从page number到span的映射。

下面看一下小对象的分配：

（1）根据分配的size计算出对应的空闲块大小，从而确定对应空闲块链表，然后从thread local的free list进行分配。

（2）如果的空闲块链表非空，直接将头结点对应的空闲块返回并从空闲块链表中将其删除。

（3）如果空闲块链表是空的，需要从heap free list获取一个span。如果heap free list非空，则将span切分成多个相同大小的空闲块插入空闲块链表中，然后返回头结点。

（4）如果heap free list是空的，则调用sbrk或者mmap进行内存的分配一系列连续的内存页，作为span，然后切分成多个相同大小的空闲块插入空闲块链表，然后返回头结点。

大对象的分配就要简单多了，直接从heap free list分配4nKB大小的空闲块即可，如果heap free list不存在该大小的空闲块，通过系统调用分配连续的内存页。

tcmalloc还会对thread local cache进行垃圾收集，从而避免内存浪费。

二. 安装和使用

tcmalloc属于gperftools，安装比较简单，需要注意一下，在64bit系统上需要先安装libunwind（http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-beta.tar.gz，只能是这个版本），这个库为基于64位CPU和操作系统的程序提供了基本的堆栈辗转开解功能，其中包括用于输出堆栈跟踪的API、用于以编程方式辗转开解堆栈的API以及支持C++异常处理机制的API，32bit系统不需安装。在安装过程中，可能出现下列错误：

 

[plain]  view plain copy print ?
 
  1. gcc -DHAVE_CONFIG_H -I. -I../include -I../include -I../include/tdep-x86_64 -I. -D_GNU_SOURCE -DNDEBUG -g -O2 -fexceptions -Wall -Wsign-compare -MT setjmp/longjmp.lo -MD -MP -MF setjmp/.deps/longjmp.Tpo -c setjmp/longjmp.c -fPIC -DPIC -o setjmp/.libs/longjmp.o  
  2. /usr/include/x86_64-linux-gnu/bits/setjmp2.h:26:13: error: 'longjmp' aliased to undefined symbol '_longjmp  

是因为缺少编译选项U_FORTIFY_SOURCE，解决方法有两种：

 

1，尚未调用configure进行配置，则执行CPPFLAGS=-U_FORTIFY_SOURCE ./configure ... 会自动将编译选项添加到Makefile中。

2，已经配置过，直接修改Makefile，查找CPPFLAGS然后添加上-U_FORTIFY_SOURCE。

然后就是安装gperftools，这个正常安装即可，默认安装到/usr/local/lib下，完成后调用lddconfig添加到动态链接库缓存，然后就可以使用了。

使用方法，很简单，在编译时加上tcmalloc动态链接库即可

 

[plain]  view plain copy print ?
 
  1. g++ test.cpp -ltcmalloc  


源码不需任何修改，tcmalloc会自动替换掉glibc默认的malloc和free，简简单单的一条命令就可以提升不少性能，very good。

 

 

glibc内存泄露以及TCmalloc 简单分析

最近开发一个私人程序时碰到了严重的内存问题，具体表现为：进程占用的内存会随着访问高峰不断上升，直到发生OOM被kill为止。我们使用valgrind等工具进行检查发现程序并无内存泄露，经过仔细调查我们发现时glibc的内存管理机制导致的，下次将发文对此深入解释，本文只列出核心的几个要素：

1. glibc在多线程内存分配的场景下为了减少lock contention，会new出很多arena出来，每个线程都有自己默认的arena，但是内存申请时如果默认arena被占用，则round-robin到下一个arena。

2. 每个arena的空间不可直接共享和互相借用，除非通过主arena释放给操作系统然后被各个辅助arena重新申请。

3. glibc归还内存给OS有一个很苛刻的条件就是top chunk必须是free的，否则，即使应用程序已经释放了大片内存，glibc也不会将这些内存归还给OS。

在我们的场景中常常是thread A alloc一片空间，最后由thread B free，所以这就造成各个arena之间及其不平衡，加上苛刻的内存归还条件，在整个程序运行过程中，占用内存几乎从未下降过，区别仅仅是缓慢上涨和快速上涨。

由此我们实验了tcmalloc，具体介绍见：http://google-perftools.googlecode.com/svn/trunk/doc/tcmalloc.html

安装过程见其中的INSTALL文件，下面简略说一下：

1. install libunwind : git clone git://git.sv.gnu.org/libunwind.git

2. download : http://google-perftools.googlecode.com/files/google-perftools-1.7.tar.gz

3. ./configure --enable-frame_pointers && make && sudo make install

4. sudo ldconfig

5. g++ .... -ltcmalloc (link static lib)

tcmalloc每个线程默认最大缓存16M空间，所以当线程多的时候其占用的空间还是非常可观的，在common.h中有几个参数是控制缓存空间的，可以做合理的修改（只可个人做实验，注意法律问题）：

1. 降低每个线程的缓存空间，可以修改common.h中的kMaxThreadCacheSize，比如2M

2. 降低所有线程的缓存空间的总大小，可以修改common.h中的kDefaultOverallThreadCacheSize，比如20M

3. 尽快将free的空间还给central list，可以将kMaxOverages改小一点，比如1

还可以定期让tcmalloc归还空间给OS，

 

#include "google/malloc_extension.h"
 
MallocExtension::instance()->ReleaseFreeMemory();

 

实验结果证明，tcmalloc分配速度的确快，而且程序不再像以前那样内存只增不减。

上面Sanjay的文章已经对tcmalloc做了个大概的介绍，我看了一下tcmalloc的核心code，下面将其分配和释放的过程简单介绍一下：

线程申请资源：

1. 首先根据申请空间的大小从当前线程的可用内存块里面找（每个进程维护一组链表，每个链表代表一定大小的可用空间）

2. 如果step 1没有找到，则到central list里面查找（central list跟线程各自维护的list结构很像，为不同的size各自维护一组可用空间列表）

3. 如果step 2 central list也没有找到，则计算分配size个字节需要分配多少page（变量：class_to_pages）

4. 根据pagemap查找page对应的可用的span列表，如果找到了，则直接返回span，central list会将该span切割成合适的大小放入对应的列表中，然后交给thread cache

5. 如果step 4没有找到可用的span，则向OS直接申请，然后步骤同step 4。

注意的是tcmalloc向系统申请空间有三种方式：sbrk，mmap，/dev/mem文件，默认是三种都try的，一种不行换另外一种。

线程释放资源：

1. 释放某个object

2. 找到该object所在的span

3. 如果该span中所有object都被释放，则释放该span到对应的可用列表，在释放的过程中，尝试将该span跟左右spans merge成更大的span

4. 如果当前thread cache的free 空间大于指定预置，归还部分空间给central list

5. central list也会试图通过释放可用span列表的最后几个span来将不用的空间归还给OS

tcmalloc向OS申请/释放资源是以span为单位的。

tcmalloc里面不少实现值得称道，比如pagesize到void*的mapping方式，添加/移除链表元素的时候利用结构体内存布局直接赋值，span/page/item的内存层次结构等，值得一看。

你可能感兴趣的:(malloc)

  • C++八股 Petrichorzncu 八股总结c++开发语言
    这里写目录标题C++内存管理C++的构造函数，复制构造函数，和析构函数深复制与浅复制：构造函数和析构函数哪个能写成虚函数，为什么？C++数据结构内存排列结构体和类占用的内存：==虚函数和虚表的原理==虚函数虚表（Vtable）虚函数和虚表的实现细节==内存泄漏==指针的工作原理函数的传值和传址new和delete与malloc和freeC++内存区域划分C++11新特性C++常见新特性==智能指针
  • Day_11 ROC_bird.. 算法
    面试题16.15.珠玑妙算-力扣（LeetCode）/***Note:Thereturnedarraymustbemalloced,assumecallercallsfree().*///下标和对应位置的值都一样，answer[0]+1,对应位置的值猜对了，但是下标不对，answer[1]+1int*masterMind(char*solution,char*guess,int*returnSiz
  • malloc和new的区别及联系 月夜星辉雪 数据结构
    一.区别1.用法上malloc是一个函数，而new是C++一个操作符malloc需要手动计算开辟的空间大小，new后面只需跟上空间的类型，如果有多个对象，加上[]给个数即可malloc申请的空间不能初始化，而new可以malloc返回void*，需要强制类型转换，而new返回对应类型的指针malloc失败会返回空指针，需要手动检查；new失败抛出异常，要用catch捕获2.底层原理上申请自定义类型
  • 已知两个非降序链表序列S1与S2，设计函数构造出S1与S2合并后的新的非降序链表S3。输入格式:输入分两行，分别在每行给出由若干个正整数构成的非降序序列，用−1表示序列的结尾（−1不属于这个序列 无敌的大佬 链表windows数据结构
    #include#includetypedefstructnode{//创建结构体intnum;structnode*next;//指针域}node,*list;//结构体指针structnode*CreateList()//Createalinkedlistinwhichyoucanenterdataelements{intd;listhead=(list)malloc(sizeof(node)
  • 嵌入式八股文(一) C语言篇 云雨歇 学习笔记c语言
    文章目录前言一、指针和变量二、关键字1.volatile2.const3.static4.extern三、数据结构1.结构体1.1结构体基本内容1.2通过指针对结构体赋值1.3结构体指针2.联合体3.链表3.1基本概念3.2链表的插入和删除4.栈（Stack）5.堆（Heap）6.队列四、内存1.内存分配的方法2.malloc和free3.内存泄漏4.内存溢出前言笔者在学习时发觉自己的C语言很久没
  • 操作系统，虚拟内存，malloc分配器 深巷卖樱桃 算法改行学it程序人生机器学习c语言
    讲计算机系统的时候我们提到了几个关键词：中间人，指令，基础，复用。本着以旧知识带动新知识的理念，我们来谈两个本质和系统相似的概念：虚拟内存；malloc分配器。一.和计算机系统的异同：1.同：中间人，指令，基础，复用2.异：计算机系统为内存里的指令和cpu牵线；虚拟内存为硬盘里的指令和内存空间牵线；malloc分配器为硬盘指令和内存空间里的堆（内存空间里的一部份区域）牵线二.计算机系统，虚拟内存和
  • 【C语言】动态内存管理 我言秋日胜春朝★ C语言进阶c语言开发语言
    目录一、动态内存管理函数：1、malloc：2、free：3、calloc：4、realloc：二、常见的错误：1、对NULL指针解引用：2、对动态开辟空间的越界访问：3、对非动态开辟内存的释放：4、使用free释放动态内存开辟的一部分：5、对同一块内存多次释放：6、动态内存开辟的空间忘记释放：（内存泄漏）前言：动态内存管理是在内存中的堆区上进行维护的：一、动态内存管理函数：1、malloc：这个
  • C语言详细笔记--动态存储分配 Jasmine5606 C语言c语言笔记算法c#开发语言
    动态存储分配是指程序运行过程中在需要时显示地申请内存空间、在不需要时释放内存空间的一种方法。通过使用动态存储分配，程序员可以在函数执行部分的任何地方使用动态存储分配函数或者回收内存空间，从而有效地使用内存空间。目录一、malloc()函数二、free()函数一、malloc()函数malloc()函数用于分配内存空间，函数原型如下：void*malloc(unsignedintsize);功能：在
  • 【软考】希尔排序算法分析 王佑辉 软考算法算法软考
    目录1.c代码2.运行截图3.运行解析1.c代码#include#includevoidshellSort(intdata[],intn){//划分的数组，例如8个数则为[4,2,1]int*delta;intk;//i控制delta的轮次inti;//临时变量，换值inttemp;intdk;intj;k=n;delta=(int*)malloc(sizeof(int)*(n/2));i=0;d
  • 面试真题 | C++面试 30 题 TrustZone_Hcoco ARM/Linux嵌入式面试面试c++java嵌入式硬件uboot单片机资料
    1.new、delete、malloc、free关系delete会调用对象的析构函数,和new对应。free只会释放内存，new调用构造函数。malloc与free是C++/C语言的标准库函数，new/delete是C++的运算符。它们都可用于申请动态内存和释放内存。对于非内部数据类型的对象而言，光用maloc/free无法满足动态对象的要求。对象在创建的同时要自动执行构造函数，对象在消亡之前要自
  • 文章的目录 TrustZone_Hcoco ARM/Linux嵌入式面试java开发语言
    C++基础知识汇总C++基础知识30问题1.new、delete、malloc、free关系2.delete与delete[]区别3.C++有哪些性质（面向对象特点）4.子类析构时要调用父类的析构函数吗？5.多态，虚函数，纯虚函数6.求下面函数的返回值（微软）7.什么是“引用”？8.将“引用”作为函数参数有哪些特点？9.在什么时候需要使用“常引用”？10.将“引用”作为函数返回值类型的格式、好处和
  • C++复习day06 ao_lang C++c++java算法
    一、内存管理1.课件上关于内存分配的题目intglobalVar=1;staticintstaticGlobalVar=1;voidTest(){staticintstaticVar=1;intlocalVar=1;intnum1[10]={1,2,3,4};charchar2[]="abcd";constchar*pChar3="abcd";int*ptr1=(int*)malloc(sizeo
  • OpenCV内存池管理（二） globbo c/c++图像处理数据结构与算法opencv内存
    上一节绘制了基本的Opencv内存池结构，本节着重讲解一下运行的流程，注意没有考虑线程安全。1、三个链表在上一节的图中，有三个主要的链表：①内存池自由链：单向链接的Block区块。②Block区块的私有链：单向链接的区块内释放过的地址链表③通过START和FREE管理的双向链表。2、fastmalloc()流程3、falstfree()流程4、总结通过上面的几个图示，大致能了解内存分配的基本流程，
  • 16 C语言使用堆实现优先队列 天黑我就困 数据结构与算法c语言算法数据结构
    #include"stdio.h"#include"stdlib.h"typedefintElemType;typedefstructMaxHeap{ElemType*arr;intsize;intcapacity;}Heap;Heap*initHeap(){Heap*heap=(Heap*)malloc(sizeof(Heap));if(heap==NULL){exit(-1);}heap->s
  • Linux安装redis执行make命令报错:gcc not found和*** [adlist.o] Error 1 Holy_Java Mysql&Redis数据库开发需求&错误解决linuxcentos运维
    目录第一章、问题分析与解决1.1）报错11.2）报错2友情提醒先看文章目录，大致了解文章知识点结构，点击文章目录可直接跳转到文章指定位置。第一章、问题分析与解决1.1）报错1报错问题1：gcc:Commandnotfound解决方式：执行命令：yum-yinstallgcc执行命令：yum-yinstallgcc1.2）报错2报错问题2：error:jemalloc/jemalloc.h:Nosu
  • Coredump-X: exit的时候析构全局对象；double-free mzhan017 gdb/coredumpcoredump
    今天遇到一个例子，是在进程退出的时候，调用全局对象的析构函数，析构函数里调用了delete操作，但是delete操作，所要释放的指针，虽然不为0，但是之前已经被释放过了，不是合理的malloc内存：corrupteddouble-linkedlist。这种大多是多线程导致问题，最好是枷锁保护这个关键指针变量。#00xf7f1b129in__kernel_vsyscall()#10xf6868ae6
  • [自用5.]C++动态内存的分配、使用和释放 .远_ C++学习笔记c++开发语言
    new和deletenew和delete是运算符，不是函数，因此运行效率比较高为了与C语言兼容，C++仍保留了malloc和free，但是建议使用new和deletenew运算符使用方法：指针变量=new类型(常量）;指针变量=new类型[表达式];//数组指针变量=new类型[表达式][表达式];//二维数组作用：从堆上分配一块“类型”指定大小的存储空间，返回首地址其中，常量是初始化的值，可以省
  • Rocm-Programming with HIP 内存分配 青禾子的夏 HIPRocm异构计算
    1.主机内存（HostMemory）hipHostMalloc是HIPAPI中的一个函数，它用于在主机上分配特殊的内存，这种内存被称为"pinned"或"page-locked"内存。这种内存有以下特点和用途：GPU地址空间映射：分配的内存被映射到系统中所有GPU的地址空间。这意味着GPU可以直接访问这块内存，而不需要数据复制操作。加速数据传输：使用hipHostMalloc分配的内存可以加速主机
  • 循环队列 、二叉树 安亿103 服务器linuxc语言学习软件构建数据结构
    1、循环队列特点：只允许在队尾入队，队头出队，遵循先进先出原则不能随机访问，不能随机插入1.1循环队列创建定义两个指针分别指向队头，队尾。初始化队头，队尾为0；SeqQueue*CreateSeqQueue(intMaxLen){SeqQueue*pTmpQueue=NULL;pTmpQueue=malloc(sizeof(SeqQueue));if(NULL==pTmpQueue){return
  • C++学习笔记----6、内存管理（一）---- 使用动态内存（2） 王俊山IT c++学习笔记开发语言
    2.2、我的好朋友malloc怎么样了？如果你是一个C程序员，对啦，我就是，你可能会想，malloc()函数怎么样了。在C语言中，malloc()用于分配一定数量的内存字节。总的来讲，使用malloc()简单直接。在C++中malloc()函数依然存在，但你要尽量避免使用它。New比malloc()有优势的地方就是new不仅仅分配内存，它还构造对象。例如，考虑以下两行代码，使用了一个叫做Foo的假
  • 十二、重载new、delete、() 木鱼_cc
    1.堆内存操作符(operatornew/delete)适用于极个别情况需要定制的时候才用的到。一定很少用。//重载的newdelete，虽然说是用malloc和free实现，但还是会调用类的构造函数classA{public:A(){this->a=0;couta=a;}~A(){coutusingnamespacestd;classSqr{public:intoperator()(inti){
  • egret项目游戏内存泄漏总结 独一人守座城
    JS内存管理JS中内存的分配和回收都是虚拟机自动完成的，不需要像C/C++为每一个new/malloc操作去写配对的delete/free代码，不容易出现内存泄漏的问题。JS引擎中对变量的存储主要是在栈内存，堆内存。内存泄漏的实质是应该回收的对象出现意外而没有被回收，而是常驻内存。GC原理在堆中查看无用的对象，把这些对象占用的内存空间进行回收。浏览器上的GC(GabageCollection垃圾回
  • ARM/Linux嵌入式面经（三十）：腾讯 C++开发工程师 TrustZone_Hcoco ARM/Linux嵌入式面试arm开发linuxc++芯片嵌入式硬件单片机
    文章目录自我介绍：首先让我做了一个简短的自我介绍。volatile关键字：解释了volatile关键字的作用和使用场景。回答volatile关键字的作用和使用场景追问几个有深度的技术问题malloc底层：详细描述了malloc函数的底层实现机制。malloc函数的底层实现机制概述深度技术追问及答案虚函数：讲解了虚函数的概念和用途。回答虚函数的概念和用途追问有深度的技术问题及答案内联函数：解释了内联
  • C语言 | Leetcode C语言题解之第388题文件的最长绝对路径 DdddJMs__135 分享C语言Leetcode题解
    题目：题解：#defineMAX(a,b)((a)>(b)?(a):(b))intlengthLongestPath(char*input){intn=strlen(input);intpos=0;intans=0;int*level=(int*)malloc(sizeof(int)*(n+1));memset(level,0,sizeof(int)*(n+1));while(pos1){len+
  • C++基础之指针（加精） Mr.Crocodile c++c++
    指针真正的用武之地在于，在运行阶段分配未命名的内存以存储值。在这种情况下，只能通过指针来访问内存。在C语言中，可以用库函数malloc()来分配内存；在C++中仍然可以这样做，但C++还有更好的方法——new运算符。文章目录指针与数组深入探究探究一探究二探究三探究四探究五探究六探究七指针与字符串指针与结构`new`和`delete`使用规则int*ptr;ptr=(int*)0xB8000000;
  • 指针的一些细节补充———C语言 光而不耀@lgy c语言数据结构开发语言
    野指针：1.未初始化的指针：eg：int*p;//未初始化的指针*p=5;//未定义行为，p是野指针———————————————————————————————————————————————————————————————————————————————————————————//解决方法：//在动态内存开辟完成后应该进行检查int*p=(int*)malloc(sizeof(int));if
  • C语言实现哈希表 白小筠 数据结构散列表c语言哈希算法
    哈希表1、哈希表的创建#defineMAX10#defineNULL_KEY-1typedefintdata_type;typedefstruct{data_type*ele;intn;}hash_table;hash_table*create_hash_table(){hash_table*ht=(hash_table*)malloc(sizeof(hash_table));ht->n=0;ht
  • 哈希表C语言实现详解 hurryddd 数据结构与算法
    目录1、数据结构2、操作函数声明3、具体实现1、数据结构#defineHASH_TABLE_MALLOC(size)rt_malloc(size);#defineHASH_TABLE_REALLOC(p,size)rt_realloc(p,size);#defineHASH_TABLE_CALLOC(n,size)rt_calloc(n,size);#defineHASH_TABLE_FREE(p
  • 解决WARNING Memory overcommit must be enabled! Without it, a background save or replication may fail 蟹蟹呵呵 redisredis
    解决WARNINGMemoryovercommitmustbeenabled!Withoutit,abackgroundsaveorreplicationmayfailunderlowmemorycondition.Beingdisabled,itcanalsocausefailureswithoutlowmemorycondition,seehttps://github.com/jemalloc
  • C语言-内存函数 、sakura c语言c++开发语言
    内存函数在C语言中，当一个程序被加载到内存中运行，系统会为该程序分配一块独立的内存空间，并且这块内存空间又可以再被细分为很多区域，比如：栈区、堆区、静态区、全局区等栈区：保存局部变量。存储在栈区的变量，在函数执行结束后，会被系统自动释放。堆区：由malloc、calloc、realloc……等函数分配内存。其生命周期由free函数控制，在没有被释放之前一直存在，直到程序运行结束。栈内存定义在函数内
  • jQuery 跨域访问的三种方式 No 'Access-Control-Allow-Origin' header is present on the reque qiaolevip 每天进步一点点学习永无止境跨域众观千象
    XMLHttpRequest cannot load http://v.xxx.com. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://localhost:63342' is therefore not allowed access. test.html:1
  • mysql 分区查询优化 annan211 java分区优化mysql
    分区查询优化 引入分区可以给查询带来一定的优势，但同时也会引入一些bug. 分区最大的优点就是优化器可以根据分区函数来过滤掉一些分区，通过分区过滤可以让查询扫描更少的数据。 所以，对于访问分区表来说，很重要的一点是要在where 条件中带入分区，让优化器过滤掉无需访问的分区。 可以通过查看explain执行计划，是否携带 partitions
  • MYSQL存储过程中使用游标 chicony Mysql存储过程
    DELIMITER $$ DROP PROCEDURE IF EXISTS getUserInfo $$ CREATE PROCEDURE getUserInfo(in date_day datetime)-- -- 实例-- 存储过程名为：getUserInfo-- 参数为：date_day日期格式:2008-03-08--    BEGINdecla
  • mysql 和 sqlite 区别 Array_06 sqlite
    转载： http://www.cnblogs.com/ygm900/p/3460663.html mysql 和 sqlite 区别 SQLITE是单机数据库。功能简约，小型化，追求最大磁盘效率 MYSQL是完善的服务器数据库。功能全面，综合化，追求最大并发效率 MYSQL、Sybase、Oracle等这些都是试用于服务器数据量大功能多需要安装，例如网站访问量比较大的。而sq
  • pinyin4j使用 oloz pinyin4j
    首先需要pinyin4j的jar包支持；jar包已上传至附件内 方法一:把汉字转换为拼音；例如：编程转换后则为biancheng      /** * 将汉字转换为全拼 * @param src 你的需要转换的汉字 * @param isUPPERCASE 是否转换为大写的拼音； true:转换为大写；fal
  • 微博发送私信 随意而生 微博
    在前面文章中说了如和获取登陆时候所需要的cookie，现在只要拿到最后登陆所需要的cookie，然后抓包分析一下微博私信发送界面 http://weibo.com/message/history?uid=****&name=**** 可以发现其发送提交的Post请求和其中的数据， 让后用程序模拟发送POST请求中的数据，带着cookie发送到私信的接入口，就可以实现发私信的功能了。
  • jsp 香水浓 jsp
    JSP初始化     容器载入JSP文件后，它会在为请求提供任何服务前调用jspInit()方法。如果您需要执行自定义的JSP初始化任务，复写jspInit()方法就行了 JSP执行     这一阶段描述了JSP生命周期中一切与请求相关的交互行为，直到被销毁。     当JSP网页完成初始化后
  • 在 Windows 上安装 SVN Subversion 服务端 AdyZhang SVN
    在 Windows 上安装 SVN Subversion 服务端2009-09-16高宏伟哈尔滨市道里区通达街291号   最佳阅读效果请访问原地址：http://blog.donews.com/dukejoe/archive/2009/09/16/1560917.aspx   现在的Subversion已经足够稳定，而且已经进入了它的黄金时段。我们看到大量的项目都在使
  • android开发中如何使用 alertDialog从listView中删除数据？ aijuans android
    我现在使用listView展示了很多的配置信息，我现在想在点击其中一条的时候填出 alertDialog,点击确认后就删除该条数据，（ ArrayAdapter ，ArrayList，listView 全部删除），我知道在 下面的onItemLongClick 方法中 参数 arg2  是选中的序号，但是我不知道如何继续处理下去 1 2 3
  • jdk-6u26-linux-x64.bin 安装 baalwolf linux
    1.上传安装文件(jdk-6u26-linux-x64.bin) 2.修改权限 [root@localhost ~]# ls -l /usr/local/jdk-6u26-linux-x64.bin 3.执行安装文件 [root@localhost ~]# cd /usr/local [root@localhost local]# ./jdk-6u26-linux-x64.bin&nbs
  • MongoDB经典面试题集锦 BigBird2012 mongodb
    1.什么是NoSQL数据库？NoSQL和RDBMS有什么区别？在哪些情况下使用和不使用NoSQL数据库？ NoSQL是非关系型数据库，NoSQL = Not Only SQL。 关系型数据库采用的结构化的数据，NoSQL采用的是键值对的方式存储数据。 在处理非结构化/半结构化的大数据时；在水平方向上进行扩展时；随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。 在考虑数据库的成熟
  • JavaScript异步编程Promise模式的6个特性 bijian1013 JavaScriptPromise
            Promise是一个非常有价值的构造器，能够帮助你避免使用镶套匿名方法，而使用更具有可读性的方式组装异步代码。这里我们将介绍6个最简单的特性。         在我们开始正式介绍之前，我们想看看Javascript Promise的样子： var p = new Promise(function(r
  • [Zookeeper学习笔记之八]Zookeeper源代码分析之Zookeeper.ZKWatchManager bit1129 zookeeper
    ClientWatchManager接口 //接口的唯一方法materialize用于确定那些Watcher需要被通知 //确定Watcher需要三方面的因素1.事件状态 2.事件类型 3.znode的path public interface ClientWatchManager { /** * Return a set of watchers that should
  • 【Scala十五】Scala核心九：隐式转换之二 bit1129 scala
    隐式转换存在的必要性，   在Java Swing中，按钮点击事件的处理，转换为Scala的的写法如下：   val button = new JButton button.addActionListener( new ActionListener { def actionPerformed(event: ActionEvent) {
  • Android JSON数据的解析与封装小Demo ronin47
    转自：http://www.open-open.com/lib/view/open1420529336406.html package com.example.jsondemo; import org.json.JSONArray; import org.json.JSONException; import org.json.JSONObject;    impor
  • [设计]字体创意设计方法谈 brotherlamp UIui自学ui视频ui教程ui资料
      从古至今，文字在我们的生活中是必不可少的事物，我们不能想象没有文字的世界将会是怎样。在平面设计中，UI设计师在文字上所花的心思和功夫最多，因为文字能直观地表达UI设计师所的意念。在文字上的创造设计，直接反映出平面作品的主题。 如设计一幅戴尔笔记本电脑的广告海报，假设海报上没有出现“戴尔”两个文字，即使放上所有戴尔笔记本电脑的图片都不能让人们得知这些电脑是什么品牌。只要写上“戴尔笔
  • 单调队列-用一个长度为k的窗在整数数列上移动，求窗里面所包含的数的最大值 bylijinnan java算法面试题
    import java.util.LinkedList; /* 单调队列 滑动窗口 单调队列是这样的一个队列：队列里面的元素是有序的，是递增或者递减 题目：给定一个长度为N的整数数列a(i),i=0,1,...,N-1和窗长度k. 要求：f(i) = max{a(i-k+1),a(i-k+2),..., a(i)},i = 0,1,...,N-1 问题的另一种描述就
  • struts2处理一个form多个submit chiangfai struts2
    web应用中，为完成不同工作，一个jsp的form标签可能有多个submit。如下代码： <s:form action="submit" method="post" namespace="/my"> <s:textfield name="msg" label="叙述：">
  • shell查找上个月，陷阱及野路子 chenchao051 shell
    date -d "-1 month" +%F     以上这段代码，假如在2012/10/31执行，结果并不会出现你预计的9月份，而是会出现八月份，原因是10月份有31天，9月份30天，所以-1 month在10月份看来要减去31天，所以直接到了8月31日这天，这不靠谱。     野路子解决：假设当天日期大于15号
  • mysql导出数据中文乱码问题 daizj mysql中文乱码导数据
    解决mysql导入导出数据乱码问题方法： １、进入mysql，通过如下命令查看数据库编码方式： mysql>  show variables like 'character_set_%'; +--------------------------+----------------------------------------+ | Variable_name&nbs
  • SAE部署Smarty出现：Uncaught exception 'SmartyException' with message 'unable to write dcj3sjt126com PHPsmartysae
      对于SAE出现的问题：Uncaught exception 'SmartyException' with message 'unable to write file...。 官方给出了详细的FAQ：http://sae.sina.com.cn/?m=faqs&catId=11#show_213 解决方案为：   01 $path 
  • 《教父》系列台词 dcj3sjt126com
    Your love is also your weak point. 你的所爱同时也是你的弱点。   If anything in this life is certain, if history has taught us anything, it is that you can kill anyone.   不顾家的人永远不可能成为一个真正的男人。 &
  • mongodb安装与使用 dyy_gusi mongo
    一.MongoDB安装和启动,widndows和linux基本相同 1.下载数据库,     linux:mongodb-linux-x86_64-ubuntu1404-3.0.3.tgz 2.解压文件,并且放置到合适的位置     tar -vxf mongodb-linux-x86_64-ubun
  • Git排除目录 geeksun git
    在Git的版本控制中，可能有些文件是不需要加入控制的，那我们在提交代码时就需要忽略这些文件，下面讲讲应该怎么给Git配置一些忽略规则。   有三种方法可以忽略掉这些文件，这三种方法都能达到目的，只不过适用情景不一样。 1.  针对单一工程排除文件 这种方式会让这个工程的所有修改者在克隆代码的同时，也能克隆到过滤规则，而不用自己再写一份，这就能保证所有修改者应用的都是同一
  • Ubuntu 创建开机自启动脚本的方法 hongtoushizi ubuntu
    转载自： http://rongjih.blog.163.com/blog/static/33574461201111504843245/ Ubuntu 创建开机自启动脚本的步骤如下： 1) 将你的启动脚本复制到 /etc/init.d目录下 以下假设你的脚本文件名为 test。   2) 设置脚本文件的权限 $ sudo chmod 755
  • 第八章 流量复制/AB测试/协程 jinnianshilongnian nginxluacoroutine
    流量复制 在实际开发中经常涉及到项目的升级，而该升级不能简单的上线就完事了，需要验证该升级是否兼容老的上线，因此可能需要并行运行两个项目一段时间进行数据比对和校验，待没问题后再进行上线。这其实就需要进行流量复制，把流量复制到其他服务器上，一种方式是使用如tcpcopy引流；另外我们还可以使用nginx的HttpLuaModule模块中的ngx.location.capture_multi进行并发
  • 电商系统商品表设计 lkl
    DROP TABLE IF EXISTS `category`; -- 类目表 /*!40101 SET @saved_cs_client = @@character_set_client */; /*!40101 SET character_set_client = utf8 */; CREATE TABLE `category` ( `id` int(11) NOT NUL
  • 修改phpMyAdmin导入SQL文件的大小限制 pda158 sqlmysql
    　用phpMyAdmin导入mysql数据库时，我的10M的 数据库不能导入，提示mysql数据库最大只能导入2M。 　　 phpMyAdmin数据库导入出错： 　　You probably tried to upload too large file. Please refer to documentation for ways to workaround this limit.
  • Tomcat性能调优方案 Sobfist apachejvmtomcat应用服务器
    一、操作系统调优 对于操作系统优化来说，是尽可能的增大可使用的内存容量、提高CPU的频率，保证文件系统的读写速率等。经过压力测试验证，在并发连接很多的情况下，CPU的处理能力越强，系统运行速度越快。。 【适用场景】 任何项目。 二、Java虚拟机调优 应该选择SUN的JVM，在满足项目需要的前提下，尽量选用版本较高的JVM，一般来说高版本产品在速度和效率上比低版本会有改进。 J
  • SQLServer学习笔记 vipbooks 数据结构xml
    1、create database school 创建数据库school 2、drop database school 删除数据库school 3、use school 连接到school数据库，使其成为当前数据库 4、create table class(classID int primary key identity not null) 创建一个名为class的表，其有一
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他