说说IO系列

2014-07-24 11:54

[置顶] 说说IO（八）- 三分天下

博客分类：
• java路上

网络协议 网络应用 OS Hadoop Linux

DAS、SAN和NAS   为了满足人们不断扩大的需求，存储方案也是在发展的。而DAS、SAN、NAS直接反映这种反映了这种趋势。  单台主机。在这种情况下，存储作为主机的一个或多个磁盘存在，这样局限性也是很明显的。由于受限于主机空间，一个主机只能装一块到几块硬盘，而硬盘空间时受限的，当磁盘满了以后，你不得不为主机更换更大空间的硬盘。独立存储空间。为了解决空间的问题，于是考虑把磁盘独立出来，于是有了DAS（Direct Attached Storage），即：直连存储。DAS就是一组磁盘的集合体，数据读取和写入等也都是由主机来控制。但是，随之而来， ...

• 2011-06-06 21:18
• 浏览 1646
• 评论(1)
• 分类:编程语言

[置顶] 说说IO（七）- RAID

博客分类：
• java路上

 Raid很基础，但是在存储系统中占据非常重要的地位，所有涉及存储的书籍都会提到RAID。RAID通过磁盘冗余的方式提高了可用性和可高性，一方面增加了数据读写速度，另一方面增加了数据的安全性。 RAID 0 对数据进行条带化。使用两个磁盘交替存放连续数据。因此可以实现并发读写，但带来的问题是如果一个磁盘损坏，另外一个磁盘的数据将失去意义。RAID 0最少需要2块盘。    RAID 1 对数据进行镜像。数据写入时，相同的数据同时写入两块盘。因此两个盘的数据完全一致，如果一块盘损坏，另外一块盘可以顶替使用，RAID 1带来了很好的可靠性 ...

• 2011-03-01 21:33
• 浏览 1852
• 评论(0)
• 分类:编程语言

[置顶] 说说IO（六）- Driver & IO Channel

博客分类：
• java路上

OS 网络应用 数据结构 工作

这部分值得一说的是多路径问题。IO部分的高可用性在整个应用系统中可以说是最关键的，应用层可以坏掉一两台机器没有问题，但是如果IO不通了，整个系统都没法使用。如图为一个典型的SAN网络，从主机到磁盘，所有路径上都提供了冗余，以备发生通路中断的情况。  OS配置了2块光纤卡，分别连不同交换机SAN网络配置了2个交换机存储配置了2个Controller，分别连不同交换机 

• 2011-03-01 21:32
• 浏览 1643
• 评论(0)
• 分类:编程语言

[置顶] 说说IO（五）- 逻辑卷管理

博客分类：
• java路上

OS

 LVM（逻辑卷管理），位于操作系统和硬盘之间，LVM屏蔽了底层硬盘带来的复杂性。最简单的，LVM使得N块硬盘在OS看来成为一块硬盘，大大提高了系统可用性。  LVM的引入，使得文件系统和底层磁盘之间的关系变得更为灵活，而且更方便关系。LVM有以下特点： 统一进行磁盘管理。按需分配空间，提供动态扩展。条带化（Striped）镜像（mirrored）快照（snapshot）  LVM可以做动态磁盘扩展，想想看，当系统管理员发现应用空间不足时，敲两个命令就完成空间扩展，估计做梦都要笑醒：）  LVM的磁盘管理方式 ...

• 2011-02-20 21:09
• 浏览 2020
• 评论(1)
• 分类:编程语言

[置顶] 说说IO（四）- 文件系统

博客分类：
• java路上

Linux Cache 数据结构 Oracle memcached

  文件系统各有不同，其最主要的目标就是解决磁盘空间的管理问题，同时提供高效性、安全性。如果在分布式环境下，则有相应的分布式文件系统。Linux上有ext系列，Windows上有Fat和NTFS。如图为一个linux下文件系统的结构。 其中VFS（Virtual File System）是Linux Kernel文件系统的一个模块，简单看就是一个Adapter，对下屏蔽了下层不同文件系统之间的差异，对上为操作系统提供了统一的接口.中间部分为各个不同文件系统的实现。再往下是Buffer Cache和Driver。 

• 2011-01-09 21:33
• 浏览 2551
• 评论(1)
• 分类:编程语言

[置顶] 说说IO（三）- IO性能的重要指标

博客分类：
• java路上

Cache 网络应用 OS Oracle 配置管理

 最重要的三个指标 IOPSIOPS，即每秒钟处理的IO请求数量。IOPS是随机访问类型业务（OLTP类）很重要的一个参考指标。  一块物理硬盘能提供多少IOPS？从磁盘上进行数据读取时，比较重要的几个时间是：寻址时间（找到数据块的起始位置），旋转时间（等待磁盘旋转到数据块的起始位置），传输时间（读取数据的时间和返回的时间）。其中寻址时间是固定的（磁头定位到数据的存储的扇区即可），旋转时间受磁盘转速的影响，传输时间受数据量大小的影响和接口类型的影响（不用硬盘接口速度不同），但是在随机访问类业务中，他的时间也很少。因此，在硬盘接口相同的情况下，IOPS主要受 ...

• 2010-12-26 12:45
• 浏览 4309
• 评论(3)
• 分类:编程语言

[置顶] 说说IO（二）- IO模型

博客分类：
• java路上

Java Socket Unix 编程 网络应用 

 这部分的东西在网络编程经常能看到，不过在所有IO处理中都是类似的。IO请求的两个阶段：        等待资源阶段：IO请求一般需要请求特殊的资源（如磁盘、RAM、文件），当资源被上一个使用者使用没有被释放时，IO请求就会被阻塞，直到能够使用这个资源。       使用资源阶段：真正进行数据接收和发生。       举例说就是排队和服务。 在等待数据阶段，IO分为阻塞IO和非阻塞IO。       阻塞IO：资源不可用时，IO请求一直阻塞，直到反馈结果（有数据或超时）。

• 2010-12-20 22:52
• 浏览 8586
• 评论(6)
• 分类:编程语言

[置顶] 说说IO（一）- IO的分层

博客分类：
• java路上

NoSQL 数据结构 IDEA Cache

 IO性能对于一个系统的影响是至关重要的。一个系统经过多项优化以后，瓶颈往往落在数据库；而数据库经过多种优化以后，瓶颈最终会落到IO。而IO性能的发展，明显落后于CPU的发展。Memchached也好，NoSql也好，这些流行技术的背后都在直接或者间接地回避IO瓶颈，从而提高系统性能。 IO系统的分层：   三层结构上图层次比较多，但总的就是三部分。磁盘（存储）、VM（卷管理）和文件系统。专有名词不好理解，打个比方说：磁盘就相当于一块待用的空地；LVM相当于空地上的围墙（把空地划分成多个部分）；文件系统则相当于每块空地上建的楼房（决定了有多少房间、房屋编号如何，能 ...