- mysql innodb 源码_MySQL列:innodb的源代码的分析的基础数据结构
weixin_39639286
mysqlinnodb源码
在过去的一年中的数据库相关的源代码分析。前段时间分析levelDB实施和BeansDB实现,数据库网络分析这两篇文章非常多。他们也比较深比较分析,所以没有必要重复很多劳力。MYSQL,当然主要还是数据库存储引擎,首先我还是从innodb这个最流行的开源关系数据库引擎着手来逐步分析和理解。我一般分析源代码的时候都是从基础的数据结构和算法逐步往上分析。遇到不明确的地方,自己依照源代码又一次输入一遍并做
- MySQL列:innodb的源代码的分析的基础数据结构
aofan9566
在过去的一年中的数据库相关的源代码分析。前段时间分析levelDB实施和BeansDB实现,数据库网络分析这两篇文章非常多。他们也比较深比较分析,所以没有必要重复很多劳力。MYSQL,当然主要还是数据库存储引擎,首先我还是从innodb这个最流行的开源关系数据库引擎着手来逐步分析和理解。我一般分析源代码的时候都是从基础的数据结构和算法逐步往上分析。遇到不明确的地方,自己依照源代码又一次输入一遍并做
- 一次优化系统IO性能的过程
SAN_YUN
问题
登录线上服务器发现机器load很高,到了10,通过TOP发现cpuwait在33%,正常应该低于5%。这时需要查看是哪个进程占用了磁盘IO,通过ps命令发现原来是beansdb使用不合理导致,调整beansdb,问题解决。另外还可以通过iotop来查看。
- MySQL系列:innodb源码分析之基础数据结构
zerok775
innodb分布式系统innodb源码分析
近一年来一直在分析关于数据库相关的源码,前段时间分析了levelDB的实现和BeansDB的实现,这两个数据库网络上分析的文章很多,也都比较分析的比较深,所以也就没有太多必要重复劳动。最近开始关注关系数据库和MYSQL,当然主要还是数据库存储引擎,首先我还是从innodb这个最流行的开源关系数据库引擎着手来逐步分析和理解。我一般分析源码的时候都是从基础的数据结构和算法逐步往上分析,遇到不明白的地方
- 各网站技术架构设计
wokeman
附:豆瓣BeansDB的设计与实现Qcon2011:Beansdb的设计与实现ViewmorepresentationsfromDaviesLiu花瓣网的系统架构和消息队列系统花瓣网的系统架构和消息队列系统-SlideShareYupoo!(花瓣网/又拍云)架构中的消息与任务系统ViewmorepresentationsfromDahuiFeng新浪微博系统架构HighPerformanceWei
- 优雅的Bitcask
bitcask
Bitcask是一个日志型的基于hash表结构和key-value存储模型,我了解到他也就几天时间,但是其简洁有效的设计思路,让我的某种技术癖好得到了极大满足,于是酝酿出这篇东西。
Bitcask模型指导下的存储系统有Riak和豆瓣的beansdb新版本(beansdb新版本信息,参见这里),下面就简单的介绍一下Bitcask模型: 1.日志型的数据文件
何谓日志型?就是append only
- Redis/SSDB+Twemproxy的配置与使用(Mac/Linux平台)
twemproxy
对于redis而已,相信不少的后台开发人员一直都在使用,相比memcache而已,redis不仅可以作为key-value缓存使用,而且提供了丰富的数据结构如set、list、map等,能够实现很多复杂的功能,但是Redis本身主要作用是内存缓存,不适合做持久化存储到磁盘,所以目前出现了很多基于磁盘存储的组件,如:SSDB、ARDB、 LevelDB、LMDB、beansDB等
- 优雅的Bitcask
Beaver_
bitcask优雅的Bitcask
优雅的BitcaskNoSQL, 技术相关iammutex十二月26th.2010,2:14下午【阅读:1,687次】Bitcask是一个日志型的基于hash表结构和key-value存储模型,我了解到他也就几天时间,但是其简洁有效的设计思路,让我的某种技术癖好得到了极大满足,于是酝酿出这篇东西。Bitcask模型指导下的存储系统有Riak和豆瓣的beansdb新版本(beansdb新版本信息,参
- MySQL系列:innodb源码分析之基础数据结构
u012935160
数据结构cmysql数据库InnoDB
近一年来一直在分析关于数据库相关的源码,前段时间分析了levelDB的实现和BeansDB的实现,这两个数据库网络上分析的文章很多,也都比较分析的比较深,所以也就没有太多必要重复劳动。最近开始关注关系数据库和MYSQL,当然主要还是数据库存储引擎,首先我还是从innodb这个最流行的开源关系数据库引擎着手来逐步分析和理解。我一般分析源码的时候都是从基础的数据结构和算法逐步往上分析,遇到不明白的地方
- mongodb 学习
mongodb
NoSql:not only sql 非关系型数据库
面向对象式的
新浪微博:redis
google :bigtable
amazon:simpledb
淘宝:tair
视觉网站:mongodb
优酷运营数据分析:mongodb
飞信空间:handlersocket
豆瓣社区:beansdb
优缺点:
优点:
简单的
- java socket远程读取文件性能测试
san_yun
java socket
为了比较beansdb,写了一个基于socket的java文件读取测试。
server:
import java.io.File;
import java.io.IOException;
import java.io.OutputStream;
import java.io.PushbackInputStream;
import java.net.Serve
- beansdb的性能测试
san_yun
BeansDB
最近对beansdb做了一次性能测试,结果性能一般,下面是我的测试过程。
1. 启动beansdb server
/duitang/dist/sys/beansdb/bin/beansdb -d -H /duitang/data/test-beansdb
2. 往beansdb set 30000条数据
from beansdb.dbclient imp
- mongoDB(上)
魔法猫
mongodb
1.什么是NoSQLNotOnlySQL,以key-value形式存储,json形式的key-value,分布式,开源的,水平可扩展。NoSQL->新浪微博:RedisGoogle:BigtableAmazon:SimpleDB淘宝数据平台:Tair视觉中国网站:MongoDB优酷运营数据分析:MongoDB飞信空间:HandleSocket豆瓣社区:BeansDB2.MongoDB:介于关系型数
- mongoDB(上)
魔法猫
MongoDB数据库
1.什么是NoSQLNotOnlySQL,以key-value形式存储,json形式的key-value,分布式,开源的,水平可扩展。NoSQL->新浪微博:RedisGoogle:BigtableAmazon:SimpleDB淘宝数据平台:Tair视觉中国网站:MongoDB优酷运营数据分析:MongoDB飞信空间:HandleSocket豆瓣社区:BeansDB2.MongoDB:介于关系型数
- BeansDB学习
wbj0110
BeansDB
最近学习了一下豆瓣的分布式 Key/Value 存储系统 BeansDB(v0.5.3)。
BeansDB 的作者 Davies 写的关于 BeansDB 的介绍:《beansdb卷土重来》。 BeansDB 的项目主页:http://code.google.com/p/beansdb/。 用户手册:http://code.google.com/p/beansdb/wiki/UserGuide。
- BeansDB学习
wbj0110
BeansDB
最近学习了一下豆瓣的分布式 Key/Value 存储系统 BeansDB(v0.5.3)。
BeansDB 的作者 Davies 写的关于 BeansDB 的介绍:《beansdb卷土重来》。 BeansDB 的项目主页:http://code.google.com/p/beansdb/。 用户手册:http://code.google.com/p/beansdb/wiki/UserGuide。
- BeansDB学习
wbj0110
BeansDB
最近学习了一下豆瓣的分布式 Key/Value 存储系统 BeansDB(v0.5.3)。
BeansDB 的作者 Davies 写的关于 BeansDB 的介绍:《beansdb卷土重来》。 BeansDB 的项目主页:http://code.google.com/p/beansdb/。 用户手册:http://code.google.com/p/beansdb/wiki/UserGuide。
- 记录通过eclipse CDT调试beansdb
san_yun
eclipse
1. 安装CDT
可以选择更新,update目录中一般会有当前使用的版本更新,比如我现在的是:
Indigo - http://download.eclipse.org/releases/indigo
选择里面的Programming Languages ,然后点开,勾选cdt
2.导入beansdb代码
基本上就是c/c++ Executab
- cmemcached和python memcache的兼容性问题
san_yun
memcached
公司之前都是cmemcached作为beansdb的client,代码如下:
try:
from cmemcached import Client
except:
from memcache import Client
最近发现通过
from memcache import Client
保存到beansdb的图片,cmem
- beansdb测试
san_yun
BeansDB
from dbclient import Beansdb
s1 = "localhost:7100"
s2 = "localhost:7101"
BEANSDBCFG = {
s1: range(16),
s2: range(16),
}
key = 'txt:test'
db = Beansdb(BEANSDBC
- [转]豆瓣beansdb浅析
heiyeshuwu
thread数据库sockettreedatabase存储
作者:tos来源:http://hi.baidu.com/dongliqian/item/21e2fb1d07d3fc7a7a5f2565 豆瓣beansdb浅析(1)一直以来对这种分布式的东西就非常好奇,很想学习一下它们究竟是如何是实现的,于是决定从实现相对比较简单的beansdb开始。beansdb是豆瓣的一位工程师借鉴memcache开发的分布式的数据库,整个项目是开源的,可以从google
- [转]豆瓣beansdb源码浅析
heiyeshuwu
structtree脚本服务器memcached存储
作者:kafka0102来源:http://www.kafka0102.com/2010/02/54.html1、Beansdb是什么?Beansdb是豆瓣荣誉出品的分布式key-value存储系统,该系统是对经典的Dynamo的简化。项目地址:http://code.google.com/p/beansdb/,其上的InsideBeansDB.pdf文档是对beansdb的很好的介绍。Beans
- beansdb介绍
san_yun
BeansDB
beansdb -d -f 1 -n 200 -p 7700 -H /data2/mediadb/ -u admin -L /duitang/logs/usr/beansdb.log
http://xumingming.sinaapp.com/280/beansdb-source-code-analysis-sync-py/
豆瓣beansdb源码浅析:&nbs
- svn server配置
san_yun
server
1. svnserve -r /data1/code -d
2. 加入开机启动:
vi /etc/rc.local # mysql
/data1/mysql/mysql_script start
# beasdb
/usr/local/webserver/beansdb -u root -d -p 7700 -H /data1/beansdb/ -L /data1/logs/b
- python xml,beansdb
san_yun
BeansDB
test
from dbclient import Beansdb
from xml.dom import minidom
import re
r = re.compile("http://\w*.duitang.com")
# three beansdb nodes on localhost
fs = Beansdb({&quo
- BeansDB简单了解
youngerbaby
BeansDB
1. 使用算法hash, bucket, btree.
2. 独立存储节点,独立数据目录,bucket扩展
3. 可靠性保证:多机冗余(N=3),同步写(同时想多个节点写,写成功2个节点即可),依次读
4. 一致性(最终一致性)
用Hash tree的数据结构做节点数据同步
存储引擎:没有使用TokyoCabinet,BerkeleyDB,使用了Bitca
- BeansDB的设计与实现
刘洪清
概要演讲内容包括BeansDB的设计与实现,如何根据Web应用的特点和自身团队开发能力进行适当的简化,以及为实现一个高性能的存储系统所采用的各种技术,包括Bitcask存储算法、16开的HashTree、Leader/Follower线程模型、Key压缩算法,在线GC等,还有在实现过程中的一些经验教训。个人简介刘洪清,系统程序员,2007年毕业于清华大学电机系,现就职于豆瓣网,从事架构和平台相关工
- 豆瓣 BeansDB 卷土重来,发布 0.5.2 版本(转自:http://www.oschina.net/news/14053/beansdb-0-5-2)
lslxdx
算法负载均衡memcached存储Crash引擎
感谢王海峰的报料:距上次发布beansdb-0.3.0以来,又过了一年.经过一年的线上运营锤炼,它一直在不断改进中,到现在已经有了非常大的变化,下面简单描述一下:完全放弃了ToykoCabinet作为存储引擎,它在数据的可靠性,一致性,以及大数据量下的性能有不少问题,已经不能满足beansdb对数据存储的需求.于是重新实现了一种基于日志结构的存储引擎Bitcask, 借鉴自Riak项目的一份设计文
- 豆瓣刘洪清谈开源存储系统BeansDB
黄玲艳
个人简介刘洪清,系统程序员,2007年毕业于清华大学电机系,现就职于豆瓣网,从事架构和平台相关工作,BeansDB的作者,为改善豆瓣三千多万用户的使用体验而努力。热爱技术,尤其关注实现服务器端大容量、分布式、高性能、高可用等相关技术。QCon全球企业开发大会(QConEnterpriseSoftwareDevelopmentConference)是由C4Media媒体集团InfoQ网站主办的全球顶
- 优雅的Bitcask
nellson
Bitcask是一个日志型的基于hash表结构和key-value存储模型,我了解到他也就几天时间,但是其简洁有效的设计思路,让我的某种技术癖好得到了极大满足,于是酝酿出这篇东西。Bitcask模型指导下的存储系统有Riak和豆瓣的beansdb新版本(beansdb新版本信息,参见这里),下面就简单的介绍一下Bitcask模型:1.日志型的数据文件何谓日志型?就是appendonly,所有写操作
- html
周华华
html
js
1,数组的排列
var arr=[1,4,234,43,52,];
for(var x=0;x<arr.length;x++){
for(var y=x-1;y<arr.length;y++){
if(arr[x]<arr[y]){
&
- 【Struts2 四】Struts2拦截器
bit1129
struts2拦截器
Struts2框架是基于拦截器实现的,可以对某个Action进行拦截,然后某些逻辑处理,拦截器相当于AOP里面的环绕通知,即在Action方法的执行之前和之后根据需要添加相应的逻辑。事实上,即使struts.xml没有任何关于拦截器的配置,Struts2也会为我们添加一组默认的拦截器,最常见的是,请求参数自动绑定到Action对应的字段上。
Struts2中自定义拦截器的步骤是:
- make:cc 命令未找到解决方法
daizj
linux命令未知make cc
安装rz sz程序时,报下面错误:
[root@slave2 src]# make posix
cc -O -DPOSIX -DMD=2 rz.c -o rz
make: cc:命令未找到
make: *** [posix] 错误 127
系统:centos 6.6
环境:虚拟机
错误原因:系统未安装gcc,这个是由于在安
- Oracle之Job应用
周凡杨
oracle job
最近写服务,服务上线后,需要写一个定时执行的SQL脚本,清理并更新数据库表里的数据,应用到了Oracle 的 Job的相关知识。在此总结一下。
一:查看相关job信息
1、相关视图
dba_jobs
all_jobs
user_jobs
dba_jobs_running 包含正在运行
- 多线程机制
朱辉辉33
多线程
转至http://blog.csdn.net/lj70024/archive/2010/04/06/5455790.aspx
程序、进程和线程:
程序是一段静态的代码,它是应用程序执行的蓝本。进程是程序的一次动态执行过程,它对应了从代码加载、执行至执行完毕的一个完整过程,这个过程也是进程本身从产生、发展至消亡的过程。线程是比进程更小的单位,一个进程执行过程中可以产生多个线程,每个线程有自身的
- web报表工具FineReport使用中遇到的常见报错及解决办法(一)
老A不折腾
web报表finereportjava报表报表工具
FineReport使用中遇到的常见报错及解决办法(一)
这里写点抛砖引玉,希望大家能把自己整理的问题及解决方法晾出来,Mark一下,利人利己。
出现问题先搜一下文档上有没有,再看看度娘有没有,再看看论坛有没有。有报错要看日志。下面简单罗列下常见的问题,大多文档上都有提到的。
1、address pool is full:
含义:地址池满,连接数超过并发数上
- mysql rpm安装后没有my.cnf
林鹤霄
没有my.cnf
Linux下用rpm包安装的MySQL是不会安装/etc/my.cnf文件的,
至于为什么没有这个文件而MySQL却也能正常启动和作用,在这儿有两个说法,
第一种说法,my.cnf只是MySQL启动时的一个参数文件,可以没有它,这时MySQL会用内置的默认参数启动,
第二种说法,MySQL在启动时自动使用/usr/share/mysql目录下的my-medium.cnf文件,这种说法仅限于r
- Kindle Fire HDX root并安装谷歌服务框架之后仍无法登陆谷歌账号的问题
aigo
root
原文:http://kindlefireforkid.com/how-to-setup-a-google-account-on-amazon-fire-tablet/
Step 4: Run ADB command from your PC
On the PC, you need install Amazon Fire ADB driver and instal
- javascript 中var提升的典型实例
alxw4616
JavaScript
// 刚刚在书上看到的一个小问题,很有意思.大家一起思考下吧
myname = 'global';
var fn = function () {
console.log(myname); // undefined
var myname = 'local';
console.log(myname); // local
};
fn()
// 上述代码实际上等同于以下代码
m
- 定时器和获取时间的使用
百合不是茶
时间的转换定时器
定时器:定时创建任务在游戏设计的时候用的比较多
Timer();定时器
TImerTask();Timer的子类 由 Timer 安排为一次执行或重复执行的任务。
定时器类Timer在java.util包中。使用时,先实例化,然后使用实例的schedule(TimerTask task, long delay)方法,设定
- JDK1.5 Queue
bijian1013
javathreadjava多线程Queue
JDK1.5 Queue
LinkedList:
LinkedList不是同步的。如果多个线程同时访问列表,而其中至少一个线程从结构上修改了该列表,则它必须 保持外部同步。(结构修改指添加或删除一个或多个元素的任何操作;仅设置元素的值不是结构修改。)这一般通过对自然封装该列表的对象进行同步操作来完成。如果不存在这样的对象,则应该使用 Collections.synchronizedList 方
- http认证原理和https
bijian1013
httphttps
一.基础介绍
在URL前加https://前缀表明是用SSL加密的。 你的电脑与服务器之间收发的信息传输将更加安全。
Web服务器启用SSL需要获得一个服务器证书并将该证书与要使用SSL的服务器绑定。
http和https使用的是完全不同的连接方式,用的端口也不一样,前者是80,后
- 【Java范型五】范型继承
bit1129
java
定义如下一个抽象的范型类,其中定义了两个范型参数,T1,T2
package com.tom.lang.generics;
public abstract class SuperGenerics<T1, T2> {
private T1 t1;
private T2 t2;
public abstract void doIt(T
- 【Nginx六】nginx.conf常用指令(Directive)
bit1129
Directive
1. worker_processes 8;
表示Nginx将启动8个工作者进程,通过ps -ef|grep nginx,会发现有8个Nginx Worker Process在运行
nobody 53879 118449 0 Apr22 ? 00:26:15 nginx: worker process
- lua 遍历Header头部
ronin47
lua header 遍历
local headers = ngx.req.get_headers()
ngx.say("headers begin", "<br/>")
ngx.say("Host : ", he
- java-32.通过交换a,b中的元素,使[序列a元素的和]与[序列b元素的和]之间的差最小(两数组的差最小)。
bylijinnan
java
import java.util.Arrays;
public class MinSumASumB {
/**
* Q32.有两个序列a,b,大小都为n,序列元素的值任意整数,无序.
*
* 要求:通过交换a,b中的元素,使[序列a元素的和]与[序列b元素的和]之间的差最小。
* 例如:
* int[] a = {100,99,98,1,2,3
- redis
开窍的石头
redis
在redis的redis.conf配置文件中找到# requirepass foobared
把它替换成requirepass 12356789 后边的12356789就是你的密码
打开redis客户端输入config get requirepass
返回
redis 127.0.0.1:6379> config get requirepass
1) "require
- [JAVA图像与图形]现有的GPU架构支持JAVA语言吗?
comsci
java语言
无论是opengl还是cuda,都是建立在C语言体系架构基础上的,在未来,图像图形处理业务快速发展,相关领域市场不断扩大的情况下,我们JAVA语言系统怎么从这么庞大,且还在不断扩大的市场上分到一块蛋糕,是值得每个JAVAER认真思考和行动的事情
- 安装ubuntu14.04登录后花屏了怎么办
cuiyadll
ubuntu
这个情况,一般属于显卡驱动问题。
可以先尝试安装显卡的官方闭源驱动。
按键盘三个键:CTRL + ALT + F1
进入终端,输入用户名和密码登录终端:
安装amd的显卡驱动
sudo
apt-get
install
fglrx
安装nvidia显卡驱动
sudo
ap
- SSL 与 数字证书 的基本概念和工作原理
darrenzhu
加密ssl证书密钥签名
SSL 与 数字证书 的基本概念和工作原理
http://www.linuxde.net/2012/03/8301.html
SSL握手协议的目的是或最终结果是让客户端和服务器拥有一个共同的密钥,握手协议本身是基于非对称加密机制的,之后就使用共同的密钥基于对称加密机制进行信息交换。
http://www.ibm.com/developerworks/cn/webspher
- Ubuntu设置ip的步骤
dcj3sjt126com
ubuntu
在单位的一台机器完全装了Ubuntu Server,但回家只能在XP上VM一个,装的时候网卡是DHCP的,用ifconfig查了一下ip是192.168.92.128,可以ping通。
转载不是错:
Ubuntu命令行修改网络配置方法
/etc/network/interfaces打开后里面可设置DHCP或手动设置静态ip。前面auto eth0,让网卡开机自动挂载.
1. 以D
- php包管理工具推荐
dcj3sjt126com
PHPComposer
http://www.phpcomposer.com/
Composer是 PHP 用来管理依赖(dependency)关系的工具。你可以在自己的项目中声明所依赖的外部工具库(libraries),Composer 会帮你安装这些依赖的库文件。
中文文档
入门指南
下载
安装包列表
Composer 中国镜像
- Gson使用四(TypeAdapter)
eksliang
jsongsonGson自定义转换器gsonTypeAdapter
转载请出自出处:http://eksliang.iteye.com/blog/2175595 一.概述
Gson的TypeAapter可以理解成自定义序列化和返序列化 二、应用场景举例
例如我们通常去注册时(那些外国网站),会让我们输入firstName,lastName,但是转到我们都
- JQM控件之Navbar和Tabs
gundumw100
htmlxmlcss
在JQM中使用导航栏Navbar是简单的。
只需要将data-role="navbar"赋给div即可:
<div data-role="navbar">
<ul>
<li><a href="#" class="ui-btn-active&qu
- 利用归并排序算法对大文件进行排序
iwindyforest
java归并排序大文件分治法Merge sort
归并排序算法介绍,请参照Wikipeida
zh.wikipedia.org/wiki/%E5%BD%92%E5%B9%B6%E6%8E%92%E5%BA%8F
基本思想:
大文件分割成行数相等的两个子文件,递归(归并排序)两个子文件,直到递归到分割成的子文件低于限制行数
低于限制行数的子文件直接排序
两个排序好的子文件归并到父文件
直到最后所有排序好的父文件归并到输入
- iOS UIWebView URL拦截
啸笑天
UIWebView
本文译者:candeladiao,原文:URL filtering for UIWebView on the iPhone说明:译者在做app开发时,因为页面的javascript文件比较大导致加载速度很慢,所以想把javascript文件打包在app里,当UIWebView需要加载该脚本时就从app本地读取,但UIWebView并不支持加载本地资源。最后从下文中找到了解决方法,第一次翻译,难免有
- 索引的碎片整理SQL语句
macroli
sql
SET NOCOUNT ON
DECLARE @tablename VARCHAR (128)
DECLARE @execstr VARCHAR (255)
DECLARE @objectid INT
DECLARE @indexid INT
DECLARE @frag DECIMAL
DECLARE @maxfrag DECIMAL
--设置最大允许的碎片数量,超过则对索引进行碎片
- Angularjs同步操作http请求with $promise
qiaolevip
每天进步一点点学习永无止境AngularJS纵观千象
// Define a factory
app.factory('profilePromise', ['$q', 'AccountService', function($q, AccountService) {
var deferred = $q.defer();
AccountService.getProfile().then(function(res) {
- hibernate联合查询问题
sxj19881213
sqlHibernateHQL联合查询
最近在用hibernate做项目,遇到了联合查询的问题,以及联合查询中的N+1问题。
针对无外键关联的联合查询,我做了HQL和SQL的实验,希望能帮助到大家。(我使用的版本是hibernate3.3.2)
1 几个常识:
(1)hql中的几种join查询,只有在外键关联、并且作了相应配置时才能使用。
(2)hql的默认查询策略,在进行联合查询时,会产
- struts2.xml
wuai
struts
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE struts PUBLIC
"-//Apache Software Foundation//DTD Struts Configuration 2.3//EN"
"http://struts.apache