E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
海量存储
海量存储
系列之九
http://aliapp.blog.51cto.com/blog/8192229/1325405上一篇终于来到了COLA树系,这套东西目前来看呢,确实不如LSM火,不过作为可选方案,也是个值得了解的尝试,不过这块因为只有一组MIT的人搞了个东西出来,所以其实真正的方案也语焉不详的。从性能来说,tokuDB的写入性能很高,但更新似乎不是很给力,查询较好,占用较少的内存。http://www.mys
阿里中间件
·
2012-01-06 11:00
系列
海量存储
海量存储
系列之九
http://aliapp.blog.51cto.com/blog/8192229/1325405上一篇终于来到了COLA树系,这套东西目前来看呢,确实不如LSM火,不过作为可选方案,也是个值得了解的尝试,不过这块因为只有一组MIT的人搞了个东西出来,所以其实真正的方案也语焉不详的。从性能来说,tokuDB的写入性能很高,但更新似乎不是很给力,查询较好,占用较少的内存。http://www.mys
阿里中间件
·
2012-01-06 11:00
系列
海量存储
海量存储
系列之八
http://aliapp.blog.51cto.com/blog/8192229/1325406上一篇首先来回答一个问题:为什么在磁盘中要使用b+树来进行文件存储呢?原因还是因为树的高度低得缘故,磁盘本身是一个顺序读写快,随机读写慢的系统,那么如果想高效的从磁盘中找到数据,势必需要满足一个最重要的条件:减少寻道次数。我们以平衡树为例进行对比,就会发现问题所在了:先上个图这是个平衡树,可以看到基本
阿里中间件
·
2011-12-22 22:00
海量存储
K-V存储
磁盘块
海量存储
系列之八
http://rdc.taobao.com/team/jm/archives/1387首先来回答一个问题:为什么在磁盘中要使用b+树来进行文件存储呢?原因还是因为树的高度低得缘故,磁盘本身是一个顺序读写快,随机读写慢的系统,那么如果想高效的从磁盘中找到数据,势必需要满足一个最重要的条件:减少寻道次数。我们以平衡树为例进行对比,就会发现问题所在了:先上个图这是个平衡树,可以看到基本上一个元素下只有两
shenxun0whisper
·
2011-12-22 22:00
存储
海量存储
系列之七
http://rdc.taobao.com/team/jm/archives/1379上一篇在上一个章节,我们阐述了分布式场景下,事务的问题和一些可能的处理方式后,我们来到了下一章节Key-value存储这一章,我们将进入k-v场景,其实,在大部分场景下,如果某个产品宣称自己的写读tps超过其他存储n倍,一般来说都是从k-v这个角度入手进行优化的,主要入手的点是树的数据结构优化和锁的细化,一般都能
shenxun0whisper
·
2011-12-22 22:00
存储
海量存储
系列之七
http://aliapp.blog.51cto.com/blog/8192229/1327609上一篇在上一个章节,我们阐述了分布式场景下,事务的问题和一些可能的处理方式后,我们来到了下一章节Key-value存储这一章,我们将进入k-v场景,其实,在大部分场景下,如果某个产品宣称自己的写读tps超过其他存储n倍,一般来说都是从k-v这个角度入手进行优化的,主要入手的点是树的数据结构优化和锁的细
阿里中间件
·
2011-12-22 22:00
B-Tree
海量存储
Key-value存储
海量存储
系列之六
http://aliapp.blog.51cto.com/blog/8192229/1327610上一篇上次我们讲到,单机事务个我们面临的问题,下面我们来说一些我所知的解决的方法。在我开始做淘宝数据层的时候,被问得最多的无非也就是:如何做事务,如何做join.至今仍然如此,我一般都会简单而明确的跟对方说:没有高效的实现方法。虽然没有高效的实现,但实现还是有的。作为引子,我们先来介绍一下这种实现的方
阿里中间件
·
2011-12-19 17:00
系列
海量存储
认识服务器
第一:服务器的硬件配置服务器一般分为入门,工作组,部门组,企业组服务器,从应用需求上一般分为快速处理型,
海量存储
型和低价稳定型。
陈勇SEO
·
2011-12-16 19:00
服务器
网站制作
海量存储
系列之五
http://rdc.taobao.com/team/jm/archives/1365上一章在上一章节,我们一起浏览了如何进行单机事务操作。下面我们来看一下分布式场景中我们碰到的问题吧。需要说明的一点是,这里涉及到的权衡点非常的多。就我短短的工作经验里面,也只是能够简单的涉猎一部分,因为在事务这个领域,目前大家都在尝试提出各种各样的不同的方法,而在taobao,我们目前也没有完美的解决这个问题,更
shenxun0whisper
·
2011-12-15 19:00
未分类
海量存储
系列之五
http://aliapp.blog.51cto.com/blog/8192229/1325407上一章在上一章节,我们一起浏览了如何进行单机事务操作。下面我们来看一下分布式场景中我们碰到的问题吧。需要说明的一点是,这里涉及到的权衡点非常的多。就我短短的工作经验里面,也只是能够简单的涉猎一部分,因为在事务这个领域,目前大家都在尝试提出各种各样的不同的方法,而在taobao,我们目前也没有完美的解决
阿里中间件
·
2011-12-15 19:00
海量存储.系列
MongoDB2.0.1 出现严重数据丢失问题
1、我的环境 系统 window 20003 内存 1G 硬盘 1T 5700转 2、打算采用自动分片架设
海量存储
数据。
lzj0470
·
2011-12-15 14:00
mongodb
海量存储
系列之四
上一篇事务原理http://aliapp.blog.51cto.com/blog/8192229/1325423单机事务:其实在上面介绍ACID的时候我们已经提到了一种最简单的实现方式,就是锁的实现方式。从原理来看,事务是个变态而复杂的事情。其实如果是序列化的话呢,那么实现起来一定是非常简单的。但问题就在于,这样性能实在比较低,于是,就有了非常多的方案,为了能哪怕减少一个地方的锁,或者降低一个地方
阿里中间件
·
2011-12-10 12:00
海量存储
单机事务
单机ACID
海量存储
系列之三
http://aliapp.blog.51cto.com/blog/8192229/1325427上一篇首先是回答上次的问题。假设有这么一组数据,性别有4种,user_id是一对多的关系,如果我想查询select*fromtabwhereuser_idin(?,?,?,?)and性别=’不明’如何进行索引构建能够获得比较好的效果呢?我个人认为,应该建立的是以user_id作为前导列,性别作为辅助列
阿里中间件
·
2011-12-10 12:00
序列化
事务
海量存储
讲座笔记——《Ocean base结构化数据
海量存储
》
今天淘宝日照老师来公司做技术交流,交流的主题是《Oceanbase结构化数据
海量存储
》(详见PPT)。这是Hadoopinchina2011上的一个topic,就讲座中的一些点做些笔记。
·
2011-12-09 20:00
笔记
云海OS:浪潮云海战略解读之三
浪潮云海战略,将着力“行业云”,遵循开放标准化的技术路线,重点发展高端服务器、
海量存储
等云基础装备和云计算操作系统,成为中国领先的云计算基础架构供应商。
WXWTJ
·
2011-12-09 14:00
OS
云计算
存储
分布式存储
数据中心
浪潮
海量存储
系列之二
http://aliapp.blog.51cto.com/blog/8192229/1327613上一篇在上一篇里面,我们对数据库的抽象的组成原理进行了简单的描述。在这一篇里面,我们一起来看看,如何能够使用kv这样的工具。来完成关系代数运算。那么,让我们先来热热身:这是一组数据,以pk作为主键,user_id和Name是外key.那么,如果我要运行查询:Select*fromtabwhereid=
阿里中间件
·
2011-12-07 00:00
系列
海量存储
海量存储
系列之一
http://aliapp.blog.51cto.com/blog/8192229/1325638
海量存储
系列之序言那么在走进
海量存储
与检索的世界之前,我们先看一看目前似乎觉得最落伍的数据库系统。
阿里中间件
·
2011-12-07 00:00
系列
海量存储
海量存储
系列之序言
今天有人问我有没有数据存储的相关资料,我想了想。。虽然在这个领域内也算有点积累,以前讲课的ppt有200多页,但毕竟ppt的信息量有限。所以在这里将这个系列的部分内容在这里进行重新编排。这个内容会在我的轻博客和这里同步龟速更新。主要将涉及到:1.数据库原理关系代数事务lsqlk-v存储的使用数据存储模型数据写入模式性能和安全性分析2.倒排索引3.分布式kv系统数据的切分数据的管理和扩容数据安全性读
阿里中间件
·
2011-12-07 00:00
倒排索引
海量存储
数据库原理
数据
海量存储
<wbr><p style="text-indent:2em"><strong>1、海量日志数据,提取出某日访问百度次数最多的那个IP。</strong></p> <p style="text-indent:2em"><strong>首先是这一天,并且是访问百度的日志中的IP
wangxiaohigh
·
2011-11-29 23:00
数据
【面试】数据
海量存储
本文参考:http://blog.csdn.net/v_july_v/article/details/7307301 1、海量日志数据,提取出某日访问百度次数最多的那个IP。 首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率
aijuans1
·
2011-11-29 23:00
面试
CAD图纸管理系统
支持上百万级文档
海量存储
,集中管理。2. office/pdf/工程图纸在线预览,直接播
wcdade
·
2011-11-01 09:23
职场
休闲
文档管理系统
文秀才文档管理系统
cad图纸管理系统
天涯社区高性能数据引擎Memlink正式开源
这种超级论坛,其
海量存储
、海量访问都是一个非常有挑战性的技术难题。
xiajs
·
2011-10-30 15:00
link
文件服务器搭建攻略
数量激增的移动设备、多计算机家庭、宽带互联网接入、成本低廉的
海量存储
器以及其他许多家庭电子产品被PC所取代,比如DVD、蓝光光盘和CD播放机等媒体设备被家庭影院PC所取代,这促使人们对专用文件服务器计算机的兴趣越来越浓厚
玉未央
·
2011-10-25 07:41
职场
技巧
休闲
文件服务器搭建
文秀才文档管理系统
支持上百万级文档
海量存储
zkjava
·
2011-10-24 10:00
文档管理系统
电子文档管理系统
文秀才文档管理系统
海纳百川——人人网
海量存储
系统Nuclear开发手记
此文为《程序员》杂志约稿,发表在2010年9月刊。怀念过去美好的时光和所有的UGC兄弟真挚友谊,谨以此文为个人职业发展阶段作一个美好的终结。以下是全文原稿。2009年8月左右,由于业务扩展的需要,我们的团队开始了一个新项目的研发,其中需要完成一个存储系统,把评论数据聚合到一起同时还要提供线上的读写服务。这些评论来自不同的业务产品,数据量非常之巨大;同时对稳定性的要求非常高,因为如果出现宕机,将影响
fengzanfeng
·
2011-09-22 10:00
SAN
海量存储
解决方案
SAN
海量存储
解决方案 随着光纤通道技术的出现和网络技术的发展,企业对集中式存储的深刻认识,逐渐形成了存储网络这一概念。
onetree2010
·
2011-08-04 16:00
网络
服务器
数据备份
存储
扩展
磁盘
关于拉链表
在历史表中对客户的一生的记录可能就这样几条记录,避免了按每一天记录客户状态造成的
海量存储
的问题:(NAME)
lysvanilla
·
2011-08-03 19:00
拉链表、数据仓库
Web2.0Share周刊:源点儿、迷尚、彩点网、电影工厂等
微网盘,网络存储服务,主要特点:离线下载,
海量存储
,在线播放,支持离线下载可能会是很多人喜欢的功能,能当迅雷离线使用了:)链接:http://yydisk.com/金山电池医生BatteryDo
watsonxu ZKing
·
2011-07-23 09:00
android
iPhone
Web2.0周刊
weekly
web20share
从集群存储走向云端
当时,国内的一些大型互联网门户网站都想效仿Google推大容量邮件服务,但欠缺的是大容量、低成本的
海量存储
平台。也就是从那时起,我开始关注集群存
郭涛
·
2011-07-19 10:11
职场
休闲
云
集群存储
美地森
小米陈臻谈互联网分布式系统架构
个人简介54chen(陈臻),分步式架构挑战者,参与设计开发了人人网
海量存储
系统。技术组织哥学社创始人,PHPChina内核版主,曾客串过清华万博智博中心特邀讲师。
张龙
·
2011-07-02 00:00
学习笔记
1.java编程思想 2.企业应用架构模式 3.分布式 4.hadoop 5.并发 6.spring 7.cache 8.Hibernate 9.ibatis 10.
海量存储
11.
lever0066
·
2011-06-17 09:00
android
hadoop
linux
ibatis
企业应用
java线程控制器代码分享-根据cpu情况决定线程运行数量和情况
在人人网
海量存储
系统的存储引擎部分,为了提高CPU和网络的使用情况,使用了java多线程管理并行操作的方式。
shaoxiangfei1987
·
2011-06-14 19:00
java
多线程
thread
linux
redhat
第二节 为什么用MongoDB及.NET开发入门
不是所有的数据都需要二维关系及多表对应的存储和查询,比如:文件的
海量存储
,只需Key与Value形式的存储及查询,同时这种方式的存储及查询都是高效的,可查看GirdFS
小城岁月 Pei
·
2011-06-12 15:00
mongodb
net
开发
凌云(LingCloud)云计算系统开源版本发布
凌云的技术特点包括:(1)异构应用模式支持——一套系统同时支持虚拟化资源租赁、高性能计算、大规模数据处理和
海量存储
应用模式,也支持其他应用模式直接接入;(2)单一控制点——提供单一逻辑视图,资源类型对用户透明
isiqi
·
2011-06-01 13:00
hadoop
网络应用
项目管理
企业应用
云计算
知名架构师畅谈互联网架构热点话题
崔金峰:两个方面:第一是
海量存储
,包括大数据量存储,一般就是分布式存储的解决方案;第二是海量计算,主要是用分布式计算。 这些之所以成为热点主要是因为Web2.0以后的时代,更关心个
赵晓雪
·
2011-05-17 14:28
互联网
架构师
职场
休闲
热点话题
所谓云计算
一般来说,云计算应该具备的特点包括:
海量存储
空间、低成本软硬件集成、可扩展和高可靠性。 云计算可提供的服务 1.数据存储服务。由于云计算具有
海量存储
空间,云计算的可用于提供数据存储服务。
ziwen
·
2011-05-10 00:00
云计算
saas
著名网站架构设计案例分析
Wikipedia WikiPedia 技术架构学习分享 YouTube YouTube 的架构扩展 Internet Archive 的
海量存储
浅析 LinkedIn 架构笔记
uuchi
·
2011-04-23 22:00
.net
mysql
Facebook
twitter
Youtube
超大型Oracle数据库应用系统的设计
为了能达到以上要求,除了需要性能优越的计算机和
海量存储
设备外,还需要先进的数据库结构设计和优化的应用系统。 一般的超大型系统采用双机或多机集群系统。下面
xgbjmxn
·
2011-04-12 14:00
设计模式
数据结构
oracle
应用服务器
cache
文件系统文献推荐
转自:上海交通大学
海量存储
与安全实验室 一.综述与展望 1. The evolution of storage R.J.T.Morris, B.J.Truskowski.
javasalatu
·
2011-03-22 21:00
文件系统
文件系统文献推荐
转自:上海交通大学
海量存储
与安全实验室一.综述与展望1.
liuben
·
2011-03-22 21:00
unix
File
redirect
存储系统
磁盘
transactions
工作3年后 才知道自己浪费了很多时间
周六的时候我遇到了一位高手,才知道自己原来工作了3年只是在浪费时间,我之前是做办公系统的,用的人数很少,程序也完了几乎考虑不到性能的问题,因为自己新去了一家网络公司,对于
海量存储
和高并发要求都非常高,但是公司刚刚起步
谢宝龙
·
2011-03-20 19:00
经验
国产
海量存储
系统的新突破
3月8—14日,“十一五”国家重大科技成就展在北京国家会议中心举行。本次展览集中展出了一批对国民经济和社会发展有着重大影响、具有重大创新与突破和自主知识产权的重大标志性项目。本次参展的项目约600项,参展实物近1000件,模型150多件。信息科学与技术展区吸引了记者的目光,那里展示了海量信息存储、高端容错机、中国国家网格、虚拟现实、可信计算等项目。在“十一五”期间,依据《国家中长期科学和技术发展规
郭涛
·
2011-03-15 15:08
存储
华为
海量
pb
浪潮
金山T盘1.0 Beta发布 可多渠道备份文件
国内安全公司金山网络于今日推出金山T盘1.0Beta版(www.1tpan.com),免费为网民提供1TB(1024GB)
海量存储
空间。
(author unknown) 沿阶草
·
2011-01-24 17:00
Kingsoft
金山
金山T盘1.0 Beta发布 可多渠道备份文件
国内安全公司金山网络于今日推出金山T盘1.0Beta版(www.1tpan.com),免费为网民提供1TB(1024GB)
海量存储
空间。
(author unknown) 沿阶草
·
2011-01-24 09:00
金山
Kingsoft
2010年Oracle大事记
通过这次并购,Oracle将在服务器、
海量存储
设备、处理器等领域与其他公司形成更直接的竞争,其中包括HP,CISCO,EMC等等。这次并购必将对业界产生深远影响。
waferleo
·
2010-12-28 14:00
java
oracle
IBM
sun
2010
java开发工具
RAID5 和 RAID10 (性能比较和原理) [转]
原帖出处:it168(http://storage.it168.com/h/2007-06-12/200706121108656.shtml)存储是目前IT产业发展的一大热点,而RAID技术是构造高性能、
海量存储
的基础技术
cl5127
·
2010-11-26 14:14
技术领域―
海量存储
计算
PB时代的来临Petabyte,2的50次方个字节。这个对很多人还是很陌生的计量单位,已经变得越来越普遍和触手可及。2004年8月,GOOGLE日常任务输入的数据已经达到了3PB;2005年MarkHurd从Teradata来到HP出任CEO,开始建设基于NeoView的8PB的HPEDW。2006年,YAHOO构建了世界上第一个基于ORACLERAC的PB级别数据中心。2007年9月,GOOG
yiihsia
·
2010-11-10 16:57
NoSQL
职场
分布式
海量数据
休闲
YunTable的FAQ(2010-11-9)
并且已经在YunEngine内测中跑起来了,如果在整个开发过程中,出现什么问题的话,会对其进行fix,而在下个月,将进行YunTable下一轮开发工作,主要将使其能适应各种云计算场景,比如,高并发、快速读取和
海量存储
等
isiqi
·
2010-11-09 15:00
工作
socket
Google
云计算
YunTable的FAQ(2010-11-9)
并且已经在YunEngine内测中跑起来了,如果在整个开发过程中,出现什么问题的话,会对其进行fix,而在下个月,将进行YunTable下一轮开发工作,主要将使其能适应各种云计算场景,比如,高并发、快速读取和
海量存储
等
isiqi
·
2010-11-09 15:00
工作
socket
Google
云计算
网站构架收集
wikipedia_arch.html YouTube 的架构扩展 http://www.dbanotes.net/opensource/youtube_web_arch.html Internet Archive 的
海量存储
浅析
robinsoncrusoe
·
2010-11-05 19:00
.net
mysql
Facebook
twitter
Youtube
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他