E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
海量存储
RAID5和RAID10的比较
存储是目前IT产业发展的一大热点,而RAID技术是构造高性能、
海量存储
的基础技术,也是构建网络存储的基础技术。
xf_aj
·
2012-12-22 17:08
存储
RAID5
RAID10
虚拟化与存储
RAID5和RAID10的比较
存储是目前IT产业发展的一大热点,而RAID技术是构造高性能、
海量存储
的基础技术,也是构建网络存储的基础技术。
xf_aj
·
2012-12-22 17:08
存储
raid10
raid5
VC中用内存映射文件处理大文件
一般来说,以上这些函数可以满足大多数场合的要求,但是对于某些特殊应用领域所需要的动辄几十GB、几百GB、乃至几TB的
海量存储
,再以通常的文件处理方法进行处理显然是行不通的。目前,对
lh8489
·
2012-12-21 09:00
大文件
著名网站系统架构设计
tid=2203WikiPedia技术架构学习分享YouTube的架构扩展InternetArchive的
海量存储
浅析LinkedIn架构笔记Tailrank网站架构Twitter的架构扩展:100倍性能提升财帮子
mickelfeng
·
2012-12-12 18:00
海量存储
之二
原因还是因为树的高度低得缘故,磁盘本身是一个顺序读写快,随机读写慢的系统,那么如果想高效的从磁盘中找到数据,势必需要满足一个最重要的条件:减少寻道次数。首先来回答一个问题:为什么在磁盘中要使用b+树来进行文件存储呢?我们以平衡树为例进行对比,就会发现问题所在了:如图这是个平衡树,可以看到基本上一个元素下只有两个子叶节点抽象的来看,树想要达成有效查找,势必需要维持如下一种结构:树的子叶节点中,左子树
IT_PCode
·
2012-12-03 19:00
海量存储
之一
主要将涉及到:1.数据库原理关系代数事务lsqlk-v存储的使用数据存储模型数据写入模式性能和安全性分析2.倒排索引3.分布式kv系统数据的切分数据的管理和扩容数据安全性读写可用性4.硬件存储在淘宝的测试数据和分析5.淘宝在线数据存储检索经验介绍 之所以从这里开始,一部分的原因是我本身是从这里开始接触存储这个领域的,另外一部分原因是因为,从我的私心来说,我认为数据库是生产力工具的开始,也将是生产力
IT_PCode
·
2012-12-03 19:00
存储
数据存储
U盘和SD卡文件管理控制芯片CH376介绍
CH376支持USB设备方式和USB主机方式,并且内置了USB通讯协议的基本固件,内置了处理Mass-Storage
海量存储
设备的专用通讯协议的固件,内置了SD卡的通讯接口固件,内置了FAT16和FAT32
liuxd3000
·
2012-11-18 22:00
Hadoop白皮书(1):分布式文件系统HDFS简介
HDFS已经在各种大型在线服务和大型存储系统中得到广泛应用,已经成为各大网站等在线服务公司的
海量存储
事实标准,多年来为网站客户提供了可靠高效的服务。
焦志广
·
2012-11-13 11:00
hadoop
Hadoop白皮书(1):分布式文件系统HDFS简介
HDFS已经在各种大型在线服务和大型存储系统中得到广泛应用,已经成为各大网站等在线服务公司的
海量存储
事实标准,多年来为网站客户提供了可靠高效的服务。
焦志广
·
2012-11-13 11:00
hadoop
架构师(10月刊)
海量存储
的使用与运维当今的世界瞬息万变,反映在IT上则更是一日千里。移动、云、大数据等早已深入人心,本期《架构师》也在这个时代背景下应运而生。
InfoQ中文站
·
2012-11-07 00:00
架构师(10月刊)
海量存储
的使用与运维当今的世界瞬息万变,反映在IT上则更是一日千里。移动、云、大数据等早已深入人心,本期《架构师》也在这个时代背景下应运而生。
InfoQ中文站
·
2012-11-07 00:00
存储系统元数据性能优化笔记(一)
《
海量存储
系统元数据服务器的设计及性能优化 》1.影响元数据服务器性能的因素有:元数据组织方式,通信性能,搜索效率2.通信性能:系统中元数据的访问通信数据量非常小,容易触发TCP协议的Nagle算法,即将小数据报集合成大的数据表后一起发送
Byane
·
2012-10-30 14:00
SSA 串行存储体系结构技术
SSA(serialstoragearchitecture,串行存储体系结构)是IBM大力推广的面向新世纪的新型存储体系结构,它支持
海量存储
,其性能远远超过了传统的SCSI存储体系。
xbj502
·
2012-10-10 09:03
SSA
串行连接技术
SSA 串行存储体系结构技术
SSA(serialstoragearchitecture,串行存储体系结构)是IBM大力推广的面向新世纪的新型存储体系结构,它支持
海量存储
,其性能远远超过了传统的SCSI存储体系。
xbj502
·
2012-10-10 09:03
SSA
串行连接技术
网站架构收集
YouTube 的架构扩展 http://www.dbanotes.net/opensource/youtube_web_arch.html Internet Archive 的
海量存储
浅析
haikuo81
·
2012-09-08 20:00
网站架构
Web-Scale Data
Web-ScaleData带来的挑战是要设计“更快,更大”的存储和计算架构,Google在技术上不停挑战极限,开发了4种技术:Hadoop、Caffeine、Pregel、Dremel1.mapreduce:
海量存储
和大规模运算
sunmenggmail
·
2012-08-25 20:00
mapreduce
sql
hadoop
Google
存储
有意思的文章推荐
写的比较浅显易懂http://qing.weibo.com/1765738567/693f0847330008ii.html并且该文作者对
海量存储
做了一系列的讲解,感觉上文写的挺好的,估计其他也不错值得一读作者的博客
Ididcan
·
2012-08-22 10:00
云存储以及网络存储加速
以下Corsair云存储案例是清华大学计算机科学与技术系高性能所网格课题组专为在校大学生群体打造的
海量存储
仓库,用户可以通过Corsair软件方便的获取到各种学习
AppEx
·
2012-08-21 10:13
云存储加速
网络存储加速
跨运营商访问加速
云存储以及网络存储加速
以下Corsair云存储案例是清华大学计算机科学与技术系高性能所网格课题组专为在校大学生群体打造的
海量存储
仓库,用户可以通过Corsair软件方便的获取到各种学习
AppEx
·
2012-08-21 10:13
云存储加速
网络存储加速
跨运营商访问加速
Zeta-TCP
AppEx
raid5和raid10 哪种适合你(1)
转载于【IT168专稿】作者:IT168特约撰稿Piner.Chen 存储是目前IT产业发展的一大热点,而RAID技术是构造高性能、
海量存储
的基础技术,也是构建网络存储的基础技术。
yuyufeng007
·
2012-08-11 22:27
raid
Mongodb的Replica Sets + Sharding架构
MongoDB的Sharding机制解决了
海量存储
和动态扩容的问题,但离生产环境的高可靠,高可用还有距离,Sharding在单点出现故障时就无能为力了。
左盐
·
2012-07-26 14:00
bulk_only传输协议和UFI命令规范
USB设备分为5大类,即显示器、通信设备、音频设备、人机输入和
海量存储
。通常所用的U盘、移动硬盘均属于
海量存储
类。
zhenwo123
·
2012-07-11 11:00
读《计算机科学概论》-2. 数据操控
3.通用寄存器用于存储操作中马上用到的数据,主存储器用于存储不久就要用到的数据,
海量存储
器用于存储暂时不会用到的数据。4.不管是精
钟谢伟's Blog
·
2012-07-10 15:00
MySql 两小时插入千万海量记录
mysql
海量存储
方案部署配置 一、表格式为INNODB因为MyISAM格式的单表最容量不能超过4G二、innodb_buffer_pool_size此属性和机器的硬件多少有关,在内存条件允许的情况下,
luohench
·
2012-05-31 10:20
mysql
存储
插入
记录
超大型Oracle数据库应用系统的设计
为了能达到以上要求,除了需要性能优越的计算机和
海量存储
设备外,还需要先进的数据库结构设计和优化的应用系统。 一般的超大型系统采用双机或多机集群系统。下面以数据库采用ORACLE 8.0
wsql
·
2012-05-25 11:00
oracle数据库
海量存储
系列之三:事务原理
转自:http://www.kuqin.com/database/20111210/315942.html首先是回答上次的问题。假设有这么一组数据,性别有4种,user_id是一对多的关系,如果我想查询select*fromtabwhereuser_idin(?,?,?,?)and性别=’不明’如何进行索引构建能够获得比较好的效果呢?我个人认为,应该建立的是以user_id作为前导列,性别作为辅助
onlyonename
·
2012-04-30 20:00
海量存储
系列之二
转自:http://www.kuqin.com/database/20111208/315851.html在上一篇里面,我们对数据库的抽象的组成原理进行了简单的描述。在这一篇里面,我们一起来看看,如何能够使用kv这样的工具。来完成关系代数运算。/database/20111208/315850.html 上一篇 那么,让我们先来热热身: 这是一组数据,以pk作为主键,user_id和Name是
onlyonename
·
2012-04-30 20:00
数据结构
数据库
list
HashMap
user
存储
海量存储
系列之一
转自:http://www.kuqin.com/database/20111208/315850.html那么在走进
海量存储
与检索的世界之前,我们先看一看目前似乎觉得最落伍的数据库系统。丑话先说。。
onlyonename
·
2012-04-30 20:00
海量存储
系列十五
http://aliapp.blog.51cto.com/blog/8192229/1326082上一篇接上,我们继续来探讨数据一致性这个问题。谈到数据完整性和数据可用性问题的第二个方法。简单回溯上一次的异步模式。好处是性能,坏处是丢数据。但其实不会丢很多,所以大部分业务是可以接受一年丢几条记录这种case的。所以这也是大部分业务主要在跑的模型。那么,对于一些对数据丢失case要求较高的业务,有什
阿里中间件
·
2012-04-16 09:00
异步模式
海量存储系列
我的家庭私有云计划-5
我考虑过SSD,但感觉太贵了,60G的差不多500多,我目前首要需求的是
海量存储
,这60G看起来意义不大,所以不考虑。但是,所有的电子存储,我觉得有个优点,其实也是它的缺点,就是写有次数限制,读无限。
tonyxiaohome
·
2012-04-06 00:50
家庭
云
私有云
肖舸
我的家庭私有云计划-5
我考虑过SSD,但感觉太贵了,60G的差不多500多,我目前首要需求的是
海量存储
,这60G看起来意义不大,所以不考虑。但是,所有的电子存储,我觉得有个优点,其实也是它的缺点,就是写有次数限制,读无限。
tonyxiaohome
·
2012-04-06 00:50
家庭
云
私有云
系统分析
海量存储
系列:分布式存储的场景
上一次,我们介绍了几种常见的kv存储模型,下面我们就正式进入到分布式存储的场景里去看看这套东西在分布式场景下的运作方式吧。/algorithm/20120106/317132.html上一篇在分布式key-value中,很多原来的知识是可以继续复用的。因为k-v解决的问题实在是非常的简单,只不过是根据一个key找到value的过程,所以原来的知识,现在也继续的可以用。但有两个额外的因素需要考虑网络
J.J.REN
·
2012-03-28 10:00
海量存储
之十四
http://aliapp.blog.51cto.com/blog/8192229/1327591上一篇这一次,我们来讲讲数据安全和读写高可用ohno,亲,于是我们又掉入了CAP所描述的陷阱。好吧,那么我们也就进入这个领域,来看看这数据安全所代表的一切。在20年以前,数据安全对于大部分用户来说,只意味着数据库ACID中的”D”,数据写入到数据库,并返回成功后,这个数据也就是安全的了,在老师教给我们
阿里中间件
·
2012-03-27 14:00
数据安全
海量存储
读写高可用
内存映射文件(专门读写大文件)
一般来说,以上这些函数可以满足大多数场合的要求,但是对于某些特殊应用领域所需要的动辄几十GB、几百GB、乃至几TB的
海量存储
,再以通常的文件处理方法进行处理显然是行不通的。目前
koudaidai
·
2012-03-20 09:00
windows
Microsoft
File
null
存储
磁盘
CreateFileMapping内存映射文件
一般来说,以上这些函数可以满足大多数场合的要求,但是对于某些特殊应用领域所需要的动辄几十GB、几百GB、乃至几TB的
海量存储
,再以通常的文件处理方法进行处理显然是行不通的。目前,对
b_h_l
·
2012-03-14 10:32
MFC
云计算见仁见智
云计算热度空前,几乎IT与计算机行业的所有分支领域:硬件、软件、高性能计算、
海量存储
、虚拟化、网络服务、数据库、信息处理、电子商务、网上社区、游戏、娱乐等等,都涉及到或者都加入了推波助澜的行列。
晨曦之光
·
2012-03-09 17:00
Mongodb集群——分片和集群2高级实例
在简单实例中,虽然MongoDBauto-Sharding解决了
海量存储
问题,和动态扩容问题,但是离我们在真实环境下面所需要的高可靠性和高可用性还有一定的距离。
jaylong35
·
2012-02-29 12:00
mongodb
数据库
shell
负载均衡
集群
sharding
海量存储
的关键技术是什么?
海量存储
已成为继计算机浪潮和互联网浪潮之后的第三次浪潮,磁盘阵列与网络存储成为先锋。
amaowolf
·
2012-02-21 11:00
MongoDB基本介绍及一些用法
MongoDB基本介绍及一些用法满足
海量存储
需求和访问的面向文档的数据库:MongoDB,CouchDBMongoDBNice,Ilikeitverymuch.面向文档的非关系数据库主要解决的问题不是高性能的并发读写
sean_cd
·
2012-02-10 16:00
数据结构
mongodb
数据库
delete
datamapper
CouchDB
海量存储
系列之十三
http://aliapp.blog.51cto.com/blog/8192229/1327592上一篇在上一章中,我们主要介绍了规则引擎中最重要的一个部分,自动扩容,在今天的章节,我们主要还是介绍一下我们在淘宝TDDL中的工程实践吧。首先从原理开始吧。先来一张图这张图以前也出现过,我们在里面着重介绍了规则引擎规则引擎是什么呢?对应在上述例子里面,其实就是DBNum=pk%3这个规则。他的变化可能
阿里中间件
·
2012-02-05 14:00
系列
海量存储
著名网站架构设计
WikiPedia技术架构学习分享YouTube的架构扩展InternetArchive的
海量存储
浅析LinkedIn架构笔记Tailrank网站架构Twitter的架构扩展:100倍性能提升财帮子(caibangzi.com
岭南六少
·
2012-01-30 10:00
著名网站架构设计
海量存储
系列之十二
http://aliapp.blog.51cto.com/blog/8192229/1327593上一篇目前,团队blog和sina轻博客的发布进度已经完全相同,后续会全部时间隔了比较久了,因为最近在过年临近,所以都在准备这方面的事情。这里提前祝大家新年快乐。然后还是回到我们的正题儿吧:)本章,我们主要来讨论数据的管理和扩容中最重要的一个部分,数据迁移。数据迁移是数据运维中最为重要的一个部分,在前
阿里中间件
·
2012-01-22 12:00
系列
海量存储
海量存储
系列之十一
http://aliapp.blog.51cto.com/blog/8192229/1327598上一篇ps:最近霸神推了一把,粉丝增加不少,顿时亚历山大。。还是希望大家用轻松一点的心态来看待我的这些科普文。如果想精细推敲,欢迎在后面留言,我一定会与您讨论与分享。上一期我们主要在介绍hash相关的切分方式,那么这次我们来看一下有序结构的切分有序结构的拆分,目前主要就是使用树或类似树的结构进行拆分,
阿里中间件
·
2012-01-22 12:00
系列
海量存储
海量存储
系列之十二
上一篇目前,团队blog和sina轻博客的发布进度已经完全相同,后续会全部时间隔了比较久了,因为最近在过年临近,所以都在准备这方面的事情。这里提前祝大家新年快乐。然后还是回到我们的正题儿吧:)本章,我们主要来讨论数据的管理和扩容中最重要的一个部分,数据迁移。数据迁移是数据运维中最为重要的一个部分,在前面的文章中已经提到过,作为有状态的数据节点,在互联网行业的主要追求就是,无限的水平扩展能力,这种水
shenxun0whisper
·
2012-01-22 04:00
未分类
绝好的MongoDB学习资料之十. Sharding (2)
MongoDBAuto-Sharding解决了
海量存储
和动态扩容的问题,但离实际生产环境所需的高可靠(highreliability)、高可用(highavailability)还有些距离。
w13770269691
·
2012-01-09 15:00
【C#|.NET】利用FastDFS打造分布式文件系统
关于分布式文件系统之前已经写过一些随笔不过没怎么用心本篇详细的整理一下背景
海量存储
、系统负载的迁移、服务器吞吐的瓶颈等等让文件系统独立于业务系统提高整个项目的扩展性以及可维护性目前主流的方案MFSFASTDFSGFSLUSTREHADOOP
熬夜的虫子
·
2012-01-09 12:48
.net
C#
【C#|.NET】利用FastDFS打造分布式文件系统
关于分布式文件系统之前已经写过一些随笔不过没怎么用心本篇详细的整理一下背景
海量存储
、系统负载的迁移、服务器吞吐的瓶颈等等让文件系统独立于业务系统提高整个项目的扩展性以及可维护性目前主流的方案MFSFASTDFSGFSLUSTREHADOOP
熬夜的虫子
·
2012-01-09 12:48
c#
.net
C#
.NET
B+树 LSM 树 COLA树 原理及在
海量存储
中的应用
转自http://qing.weibo.com/1765738567/693f0847330008ii.htmlhttp://qing.weibo.com/1765738567/693f0847330008x6.html讲到了LSM树和COLA树,LSM已经被许多主流NoSQL系统采用,如BigTable,Cassandra,而COLA则知道的人不多。文章分析比较的很清晰。以下原文--------
anderscloud
·
2012-01-06 14:06
B+树 LSM 树 COLA树 原理及在
海量存储
中的应用
转自http://qing.weibo.com/1765738567/693f0847330008ii.htmlhttp://qing.weibo.com/1765738567/693f0847330008x6.html讲到了LSM树和COLA树,LSM已经被许多主流NoSQL系统采用,如BigTable,Cassandra,而COLA则知道的人不多。文章分析比较的很清晰。以下原文--------
AndersCloud
·
2012-01-06 14:00
数据结构
NoSQL
tree
存储
cassandra
磁盘
海量存储
系列之十
http://aliapp.blog.51cto.com/blog/8192229/1327600上一篇上一次,我们介绍了几种常见的kv存储模型,下面我们就正式进入到分布式存储的场景里去看看这套东西在分布式场景下的运作方式吧。在分布式key-value中,很多原来的知识是可以继续复用的。因为k-v解决的问题实在是非常的简单,只不过是根据一个key找到value的过程,所以原来的知识,现在也继续的可
阿里中间件
·
2012-01-06 11:00
系列
海量存储
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他