- mysql innodb 源码_MySQL列:innodb的源代码的分析的基础数据结构
weixin_39639286
mysqlinnodb源码
在过去的一年中的数据库相关的源代码分析。前段时间分析levelDB实施和BeansDB实现,数据库网络分析这两篇文章非常多。他们也比较深比较分析,所以没有必要重复很多劳力。MYSQL,当然主要还是数据库存储引擎,首先我还是从innodb这个最流行的开源关系数据库引擎着手来逐步分析和理解。我一般分析源代码的时候都是从基础的数据结构和算法逐步往上分析。遇到不明确的地方,自己依照源代码又一次输入一遍并做
- MySQL列:innodb的源代码的分析的基础数据结构
aofan9566
在过去的一年中的数据库相关的源代码分析。前段时间分析levelDB实施和BeansDB实现,数据库网络分析这两篇文章非常多。他们也比较深比较分析,所以没有必要重复很多劳力。MYSQL,当然主要还是数据库存储引擎,首先我还是从innodb这个最流行的开源关系数据库引擎着手来逐步分析和理解。我一般分析源代码的时候都是从基础的数据结构和算法逐步往上分析。遇到不明确的地方,自己依照源代码又一次输入一遍并做
- 一次优化系统IO性能的过程
SAN_YUN
问题
登录线上服务器发现机器load很高,到了10,通过TOP发现cpuwait在33%,正常应该低于5%。这时需要查看是哪个进程占用了磁盘IO,通过ps命令发现原来是beansdb使用不合理导致,调整beansdb,问题解决。另外还可以通过iotop来查看。
- MySQL系列:innodb源码分析之基础数据结构
zerok775
innodb分布式系统innodb源码分析
近一年来一直在分析关于数据库相关的源码,前段时间分析了levelDB的实现和BeansDB的实现,这两个数据库网络上分析的文章很多,也都比较分析的比较深,所以也就没有太多必要重复劳动。最近开始关注关系数据库和MYSQL,当然主要还是数据库存储引擎,首先我还是从innodb这个最流行的开源关系数据库引擎着手来逐步分析和理解。我一般分析源码的时候都是从基础的数据结构和算法逐步往上分析,遇到不明白的地方
- 各网站技术架构设计
wokeman
附:豆瓣BeansDB的设计与实现Qcon2011:Beansdb的设计与实现ViewmorepresentationsfromDaviesLiu花瓣网的系统架构和消息队列系统花瓣网的系统架构和消息队列系统-SlideShareYupoo!(花瓣网/又拍云)架构中的消息与任务系统ViewmorepresentationsfromDahuiFeng新浪微博系统架构HighPerformanceWei
- 优雅的Bitcask
bitcask
Bitcask是一个日志型的基于hash表结构和key-value存储模型,我了解到他也就几天时间,但是其简洁有效的设计思路,让我的某种技术癖好得到了极大满足,于是酝酿出这篇东西。
Bitcask模型指导下的存储系统有Riak和豆瓣的beansdb新版本(beansdb新版本信息,参见这里),下面就简单的介绍一下Bitcask模型: 1.日志型的数据文件
何谓日志型?就是append only
- Redis/SSDB+Twemproxy的配置与使用(Mac/Linux平台)
twemproxy
对于redis而已,相信不少的后台开发人员一直都在使用,相比memcache而已,redis不仅可以作为key-value缓存使用,而且提供了丰富的数据结构如set、list、map等,能够实现很多复杂的功能,但是Redis本身主要作用是内存缓存,不适合做持久化存储到磁盘,所以目前出现了很多基于磁盘存储的组件,如:SSDB、ARDB、 LevelDB、LMDB、beansDB等
- 优雅的Bitcask
Beaver_
bitcask优雅的Bitcask
优雅的BitcaskNoSQL, 技术相关iammutex十二月26th.2010,2:14下午【阅读:1,687次】Bitcask是一个日志型的基于hash表结构和key-value存储模型,我了解到他也就几天时间,但是其简洁有效的设计思路,让我的某种技术癖好得到了极大满足,于是酝酿出这篇东西。Bitcask模型指导下的存储系统有Riak和豆瓣的beansdb新版本(beansdb新版本信息,参
- MySQL系列:innodb源码分析之基础数据结构
u012935160
数据结构cmysql数据库InnoDB
近一年来一直在分析关于数据库相关的源码,前段时间分析了levelDB的实现和BeansDB的实现,这两个数据库网络上分析的文章很多,也都比较分析的比较深,所以也就没有太多必要重复劳动。最近开始关注关系数据库和MYSQL,当然主要还是数据库存储引擎,首先我还是从innodb这个最流行的开源关系数据库引擎着手来逐步分析和理解。我一般分析源码的时候都是从基础的数据结构和算法逐步往上分析,遇到不明白的地方
- mongodb 学习
mongodb
NoSql:not only sql 非关系型数据库
面向对象式的
新浪微博:redis
google :bigtable
amazon:simpledb
淘宝:tair
视觉网站:mongodb
优酷运营数据分析:mongodb
飞信空间:handlersocket
豆瓣社区:beansdb
优缺点:
优点:
简单的
- java socket远程读取文件性能测试
san_yun
java socket
为了比较beansdb,写了一个基于socket的java文件读取测试。
server:
import java.io.File;
import java.io.IOException;
import java.io.OutputStream;
import java.io.PushbackInputStream;
import java.net.Serve
- beansdb的性能测试
san_yun
BeansDB
最近对beansdb做了一次性能测试,结果性能一般,下面是我的测试过程。
1. 启动beansdb server
/duitang/dist/sys/beansdb/bin/beansdb -d -H /duitang/data/test-beansdb
2. 往beansdb set 30000条数据
from beansdb.dbclient imp
- mongoDB(上)
魔法猫
mongodb
1.什么是NoSQLNotOnlySQL,以key-value形式存储,json形式的key-value,分布式,开源的,水平可扩展。NoSQL->新浪微博:RedisGoogle:BigtableAmazon:SimpleDB淘宝数据平台:Tair视觉中国网站:MongoDB优酷运营数据分析:MongoDB飞信空间:HandleSocket豆瓣社区:BeansDB2.MongoDB:介于关系型数
- mongoDB(上)
魔法猫
MongoDB数据库
1.什么是NoSQLNotOnlySQL,以key-value形式存储,json形式的key-value,分布式,开源的,水平可扩展。NoSQL->新浪微博:RedisGoogle:BigtableAmazon:SimpleDB淘宝数据平台:Tair视觉中国网站:MongoDB优酷运营数据分析:MongoDB飞信空间:HandleSocket豆瓣社区:BeansDB2.MongoDB:介于关系型数
- BeansDB学习
wbj0110
BeansDB
最近学习了一下豆瓣的分布式 Key/Value 存储系统 BeansDB(v0.5.3)。
BeansDB 的作者 Davies 写的关于 BeansDB 的介绍:《beansdb卷土重来》。 BeansDB 的项目主页:http://code.google.com/p/beansdb/。 用户手册:http://code.google.com/p/beansdb/wiki/UserGuide。
- BeansDB学习
wbj0110
BeansDB
最近学习了一下豆瓣的分布式 Key/Value 存储系统 BeansDB(v0.5.3)。
BeansDB 的作者 Davies 写的关于 BeansDB 的介绍:《beansdb卷土重来》。 BeansDB 的项目主页:http://code.google.com/p/beansdb/。 用户手册:http://code.google.com/p/beansdb/wiki/UserGuide。
- BeansDB学习
wbj0110
BeansDB
最近学习了一下豆瓣的分布式 Key/Value 存储系统 BeansDB(v0.5.3)。
BeansDB 的作者 Davies 写的关于 BeansDB 的介绍:《beansdb卷土重来》。 BeansDB 的项目主页:http://code.google.com/p/beansdb/。 用户手册:http://code.google.com/p/beansdb/wiki/UserGuide。
- 记录通过eclipse CDT调试beansdb
san_yun
eclipse
1. 安装CDT
可以选择更新,update目录中一般会有当前使用的版本更新,比如我现在的是:
Indigo - http://download.eclipse.org/releases/indigo
选择里面的Programming Languages ,然后点开,勾选cdt
2.导入beansdb代码
基本上就是c/c++ Executab
- cmemcached和python memcache的兼容性问题
san_yun
memcached
公司之前都是cmemcached作为beansdb的client,代码如下:
try:
from cmemcached import Client
except:
from memcache import Client
最近发现通过
from memcache import Client
保存到beansdb的图片,cmem
- beansdb测试
san_yun
BeansDB
from dbclient import Beansdb
s1 = "localhost:7100"
s2 = "localhost:7101"
BEANSDBCFG = {
s1: range(16),
s2: range(16),
}
key = 'txt:test'
db = Beansdb(BEANSDBC
- [转]豆瓣beansdb浅析
heiyeshuwu
thread数据库sockettreedatabase存储
作者:tos来源:http://hi.baidu.com/dongliqian/item/21e2fb1d07d3fc7a7a5f2565 豆瓣beansdb浅析(1)一直以来对这种分布式的东西就非常好奇,很想学习一下它们究竟是如何是实现的,于是决定从实现相对比较简单的beansdb开始。beansdb是豆瓣的一位工程师借鉴memcache开发的分布式的数据库,整个项目是开源的,可以从google
- [转]豆瓣beansdb源码浅析
heiyeshuwu
structtree脚本服务器memcached存储
作者:kafka0102来源:http://www.kafka0102.com/2010/02/54.html1、Beansdb是什么?Beansdb是豆瓣荣誉出品的分布式key-value存储系统,该系统是对经典的Dynamo的简化。项目地址:http://code.google.com/p/beansdb/,其上的InsideBeansDB.pdf文档是对beansdb的很好的介绍。Beans
- beansdb介绍
san_yun
BeansDB
beansdb -d -f 1 -n 200 -p 7700 -H /data2/mediadb/ -u admin -L /duitang/logs/usr/beansdb.log
http://xumingming.sinaapp.com/280/beansdb-source-code-analysis-sync-py/
豆瓣beansdb源码浅析:&nbs
- svn server配置
san_yun
server
1. svnserve -r /data1/code -d
2. 加入开机启动:
vi /etc/rc.local # mysql
/data1/mysql/mysql_script start
# beasdb
/usr/local/webserver/beansdb -u root -d -p 7700 -H /data1/beansdb/ -L /data1/logs/b
- python xml,beansdb
san_yun
BeansDB
test
from dbclient import Beansdb
from xml.dom import minidom
import re
r = re.compile("http://\w*.duitang.com")
# three beansdb nodes on localhost
fs = Beansdb({&quo
- BeansDB简单了解
youngerbaby
BeansDB
1. 使用算法hash, bucket, btree.
2. 独立存储节点,独立数据目录,bucket扩展
3. 可靠性保证:多机冗余(N=3),同步写(同时想多个节点写,写成功2个节点即可),依次读
4. 一致性(最终一致性)
用Hash tree的数据结构做节点数据同步
存储引擎:没有使用TokyoCabinet,BerkeleyDB,使用了Bitca
- BeansDB的设计与实现
刘洪清
概要演讲内容包括BeansDB的设计与实现,如何根据Web应用的特点和自身团队开发能力进行适当的简化,以及为实现一个高性能的存储系统所采用的各种技术,包括Bitcask存储算法、16开的HashTree、Leader/Follower线程模型、Key压缩算法,在线GC等,还有在实现过程中的一些经验教训。个人简介刘洪清,系统程序员,2007年毕业于清华大学电机系,现就职于豆瓣网,从事架构和平台相关工
- 豆瓣 BeansDB 卷土重来,发布 0.5.2 版本(转自:http://www.oschina.net/news/14053/beansdb-0-5-2)
lslxdx
算法负载均衡memcached存储Crash引擎
感谢王海峰的报料:距上次发布beansdb-0.3.0以来,又过了一年.经过一年的线上运营锤炼,它一直在不断改进中,到现在已经有了非常大的变化,下面简单描述一下:完全放弃了ToykoCabinet作为存储引擎,它在数据的可靠性,一致性,以及大数据量下的性能有不少问题,已经不能满足beansdb对数据存储的需求.于是重新实现了一种基于日志结构的存储引擎Bitcask, 借鉴自Riak项目的一份设计文
- 豆瓣刘洪清谈开源存储系统BeansDB
黄玲艳
个人简介刘洪清,系统程序员,2007年毕业于清华大学电机系,现就职于豆瓣网,从事架构和平台相关工作,BeansDB的作者,为改善豆瓣三千多万用户的使用体验而努力。热爱技术,尤其关注实现服务器端大容量、分布式、高性能、高可用等相关技术。QCon全球企业开发大会(QConEnterpriseSoftwareDevelopmentConference)是由C4Media媒体集团InfoQ网站主办的全球顶
- 优雅的Bitcask
nellson
Bitcask是一个日志型的基于hash表结构和key-value存储模型,我了解到他也就几天时间,但是其简洁有效的设计思路,让我的某种技术癖好得到了极大满足,于是酝酿出这篇东西。Bitcask模型指导下的存储系统有Riak和豆瓣的beansdb新版本(beansdb新版本信息,参见这里),下面就简单的介绍一下Bitcask模型:1.日志型的数据文件何谓日志型?就是appendonly,所有写操作
- mongodb3.03开启认证
21jhf
mongodb
下载了最新mongodb3.03版本,当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题,现总结如下:
(百度上搜到的基本都是老版本的,看到db.addUser的就是,请忽略)
Windows下我做了一个bat文件,用来启动mongodb,命令行如下:
mongod --dbpath db\data --port 27017 --directoryperdb --logp
- 【Spark103】Task not serializable
bit1129
Serializable
Task not serializable是Spark开发过程最令人头疼的问题之一,这里记录下出现这个问题的两个实例,一个是自己遇到的,另一个是stackoverflow上看到。等有时间了再仔细探究出现Task not serialiazable的各种原因以及出现问题后如何快速定位问题的所在,至少目前阶段碰到此类问题,没有什么章法
1.
package spark.exampl
- 你所熟知的 LRU(最近最少使用)
dalan_123
java
关于LRU这个名词在很多地方或听说,或使用,接下来看下lru缓存回收的实现
1、大体的想法
a、查询出最近最晚使用的项
b、给最近的使用的项做标记
通过使用链表就可以完成这两个操作,关于最近最少使用的项只需要返回链表的尾部;标记最近使用的项,只需要将该项移除并放置到头部,那么难点就出现 你如何能够快速在链表定位对应的该项?
这时候多
- Javascript 跨域
周凡杨
JavaScriptjsonp跨域cross-domain
 
- linux下安装apache服务器
g21121
apache
安装apache
下载windows版本apache,下载地址:http://httpd.apache.org/download.cgi
1.windows下安装apache
Windows下安装apache比较简单,注意选择路径和端口即可,这里就不再赘述了。 2.linux下安装apache:
下载之后上传到linux的相关目录,这里指定为/home/apach
- FineReport的JS编辑框和URL地址栏语法简介
老A不折腾
finereportweb报表报表软件语法总结
JS编辑框:
1.FineReport的js。
作为一款BS产品,browser端的JavaScript是必不可少的。
FineReport中的js是已经调用了finereport.js的。
大家知道,预览报表时,报表servlet会将cpt模板转为html,在这个html的head头部中会引入FineReport的js,这个finereport.js中包含了许多内置的fun
- 根据STATUS信息对MySQL进行优化
墙头上一根草
status
mysql 查看当前正在执行的操作,即正在执行的sql语句的方法为:
show processlist 命令
mysql> show global status;可以列出MySQL服务器运行各种状态值,我个人较喜欢的用法是show status like '查询值%';一、慢查询mysql> show variab
- 我的spring学习笔记7-Spring的Bean配置文件给Bean定义别名
aijuans
Spring 3
本文介绍如何给Spring的Bean配置文件的Bean定义别名?
原始的
<bean id="business" class="onlyfun.caterpillar.device.Business">
<property name="writer">
<ref b
- 高性能mysql 之 性能剖析
annan211
性能mysqlmysql 性能剖析剖析
1 定义性能优化
mysql服务器性能,此处定义为 响应时间。
在解释性能优化之前,先来消除一个误解,很多人认为,性能优化就是降低cpu的利用率或者减少对资源的使用。
这是一个陷阱。
资源时用来消耗并用来工作的,所以有时候消耗更多的资源能够加快查询速度,保持cpu忙绿,这是必要的。很多时候发现
编译进了新版本的InnoDB之后,cpu利用率上升的很厉害,这并不
- 主外键和索引唯一性约束
百合不是茶
索引唯一性约束主外键约束联机删除
目标;第一步;创建两张表 用户表和文章表
第二步;发表文章
1,建表;
---用户表 BlogUsers
--userID唯一的
--userName
--pwd
--sex
create
- 线程的调度
bijian1013
java多线程thread线程的调度java多线程
1. Java提供一个线程调度程序来监控程序中启动后进入可运行状态的所有线程。线程调度程序按照线程的优先级决定应调度哪些线程来执行。
2. 多数线程的调度是抢占式的(即我想中断程序运行就中断,不需要和将被中断的程序协商)
a) 
- 查看日志常用命令
bijian1013
linux命令unix
一.日志查找方法,可以用通配符查某台主机上的所有服务器grep "关键字" /wls/applogs/custom-*/error.log
二.查看日志常用命令1.grep '关键字' error.log:在error.log中搜索'关键字'2.grep -C10 '关键字' error.log:显示关键字前后10行记录3.grep '关键字' error.l
- 【持久化框架MyBatis3一】MyBatis版HelloWorld
bit1129
helloworld
MyBatis这个系列的文章,主要参考《Java Persistence with MyBatis 3》。
样例数据
本文以MySQL数据库为例,建立一个STUDENTS表,插入两条数据,然后进行单表的增删改查
CREATE TABLE STUDENTS
(
stud_id int(11) NOT NULL AUTO_INCREMENT,
- 【Hadoop十五】Hadoop Counter
bit1129
hadoop
1. 只有Map任务的Map Reduce Job
File System Counters
FILE: Number of bytes read=3629530
FILE: Number of bytes written=98312
FILE: Number of read operations=0
FILE: Number of lar
- 解决Tomcat数据连接池无法释放
ronin47
tomcat 连接池 优化
近段时间,公司的检测中心报表系统(SMC)的开发人员时不时找到我,说用户老是出现无法登录的情况。前些日子因为手头上 有Jboss集群的测试工作,发现用户不能登录时,都是在Tomcat中将这个项目Reload一下就好了,不过只是治标而已,因为大概几个小时之后又会 再次出现无法登录的情况。
今天上午,开发人员小毛又找到我,要我协助将这个问题根治一下,拖太久用户难保不投诉。
简单分析了一
- java-75-二叉树两结点的最低共同父结点
bylijinnan
java
import java.util.LinkedList;
import java.util.List;
import ljn.help.*;
public class BTreeLowestParentOfTwoNodes {
public static void main(String[] args) {
/*
* node data is stored in
- 行业垂直搜索引擎网页抓取项目
carlwu
LuceneNutchHeritrixSolr
公司有一个搜索引擎项目,希望各路高人有空来帮忙指导,谢谢!
这是详细需求:
(1) 通过提供的网站地址(大概100-200个网站),网页抓取程序能不断抓取网页和其它类型的文件(如Excel、PDF、Word、ppt及zip类型),并且程序能够根据事先提供的规则,过滤掉不相干的下载内容。
(2) 程序能够搜索这些抓取的内容,并能对这些抓取文件按照油田名进行分类,然后放到服务器不同的目录中。
- [通讯与服务]在总带宽资源没有大幅增加之前,不适宜大幅度降低资费
comsci
资源
降低通讯服务资费,就意味着有更多的用户进入,就意味着通讯服务提供商要接待和服务更多的用户,在总体运维成本没有由于技术升级而大幅下降的情况下,这种降低资费的行为将导致每个用户的平均带宽不断下降,而享受到的服务质量也在下降,这对用户和服务商都是不利的。。。。。。。。
&nbs
- Java时区转换及时间格式
Cwind
java
本文介绍Java API 中 Date, Calendar, TimeZone和DateFormat的使用,以及不同时区时间相互转化的方法和原理。
问题描述:
向处于不同时区的服务器发请求时需要考虑时区转换的问题。譬如,服务器位于东八区(北京时间,GMT+8:00),而身处东四区的用户想要查询当天的销售记录。则需把东四区的“今天”这个时间范围转换为服务器所在时区的时间范围。
- readonly,只读,不可用
dashuaifu
jsjspdisablereadOnlyreadOnly
readOnly 和 readonly 不同,在做js开发时一定要注意函数大小写和jsp黄线的警告!!!我就经历过这么一件事:
使用readOnly在某些浏览器或同一浏览器不同版本有的可以实现“只读”功能,有的就不行,而且函数readOnly有黄线警告!!!就这样被折磨了不短时间!!!(期间使用过disable函数,但是发现disable函数之后后台接收不到前台的的数据!!!)
- LABjs、RequireJS、SeaJS 介绍
dcj3sjt126com
jsWeb
LABjs 的核心是 LAB(Loading and Blocking):Loading 指异步并行加载,Blocking 是指同步等待执行。LABjs 通过优雅的语法(script 和 wait)实现了这两大特性,核心价值是性能优化。LABjs 是一个文件加载器。RequireJS 和 SeaJS 则是模块加载器,倡导的是一种模块化开发理念,核心价值是让 JavaScript 的模块化开发变得更
- [应用结构]入口脚本
dcj3sjt126com
PHPyii2
入口脚本
入口脚本是应用启动流程中的第一环,一个应用(不管是网页应用还是控制台应用)只有一个入口脚本。终端用户的请求通过入口脚本实例化应用并将将请求转发到应用。
Web 应用的入口脚本必须放在终端用户能够访问的目录下,通常命名为 index.php,也可以使用 Web 服务器能定位到的其他名称。
控制台应用的入口脚本一般在应用根目录下命名为 yii(后缀为.php),该文
- haoop shell命令
eksliang
hadoophadoop shell
cat
chgrp
chmod
chown
copyFromLocal
copyToLocal
cp
du
dus
expunge
get
getmerge
ls
lsr
mkdir
movefromLocal
mv
put
rm
rmr
setrep
stat
tail
test
text
- MultiStateView不同的状态下显示不同的界面
gundumw100
android
只要将指定的view放在该控件里面,可以该view在不同的状态下显示不同的界面,这对ListView很有用,比如加载界面,空白界面,错误界面。而且这些见面由你指定布局,非常灵活。
PS:ListView虽然可以设置一个EmptyView,但使用起来不方便,不灵活,有点累赘。
<com.kennyc.view.MultiStateView xmlns:android=&qu
- jQuery实现页面内锚点平滑跳转
ini
JavaScripthtmljqueryhtml5css
平时我们做导航滚动到内容都是通过锚点来做,刷的一下就直接跳到内容了,没有一丝的滚动效果,而且 url 链接最后会有“小尾巴”,就像#keleyi,今天我就介绍一款 jquery 做的滚动的特效,既可以设置滚动速度,又可以在 url 链接上没有“小尾巴”。
效果体验:http://keleyi.com/keleyi/phtml/jqtexiao/37.htmHTML文件代码:
&
- kafka offset迁移
kane_xie
kafka
在早前的kafka版本中(0.8.0),offset是被存储在zookeeper中的。
到当前版本(0.8.2)为止,kafka同时支持offset存储在zookeeper和offset manager(broker)中。
从官方的说明来看,未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话,可以考虑在合适
- android > 搭建 cordova 环境
mft8899
android
1 , 安装 node.js
http://nodejs.org
node -v 查看版本
2, 安装 npm
可以先从 https://github.com/isaacs/npm/tags 下载 源码 解压到
- java封装的比较器,比较是否全相同,获取不同字段名字
qifeifei
非常实用的java比较器,贴上代码:
import java.util.HashSet;
import java.util.List;
import java.util.Set;
import net.sf.json.JSONArray;
import net.sf.json.JSONObject;
import net.sf.json.JsonConfig;
i
- 记录一些函数用法
.Aky.
位运算PHP数据库函数IP
高手们照旧忽略。
想弄个全天朝IP段数据库,找了个今天最新更新的国内所有运营商IP段,copy到文件,用文件函数,字符串函数把玩下。分割出startIp和endIp这样格式写入.txt文件,直接用phpmyadmin导入.csv文件的形式导入。(生命在于折腾,也许你们觉得我傻X,直接下载人家弄好的导入不就可以,做自己的菜鸟,让别人去说吧)
当然用到了ip2long()函数把字符串转为整型数
- sublime text 3 rust
wudixiaotie
Sublime Text
1.sublime text 3 => install package => Rust
2.cd ~/.config/sublime-text-3/Packages
3.mkdir rust
4.git clone https://github.com/sp0/rust-style
5.cd rust-style
6.cargo build --release
7.ctrl