服务、云计算-云计算学习笔记---云计算的理解及介绍,google云计算平台实现原理-by小雨
这两天一直在学习服务、云计算-之类的问题,下午正好有机会和大家分享一下.
什么是云盘算：
l 说的白明一点：
• 云盘算其实就更大度限的施展络网的资源。
• 那为什么叫云，为什么不到联互网盘算？Cloud
l 大多数盘算的络网拓扑图都用一块“云”来表现联互网。于是就形成了云盘算的说法
l 义狭：是指IT础基设施的交付和应用模式，是指通过络网以按需、易扩展的式方取获所要需的资源。供提资源的络网被称为“云”。云中的资源在应用者看来是可以无穷扩展的，并且可以随时取获。
l 义狭：是指服务的交付和应用模式，是指通过络网以按需、易扩展的式方取获所要需的服务。
一块络网通用常一块云来表现,所以习惯上,就把络网盘算,称为云盘算.
云盘算相干观点
l 云盘算
• 云盘算是为用户供提无穷盘算资源的贸易服务，是可以自我理管盘算资源的系统台平，是应用服务按需定制、易于扩展的件软架构。
l --- XXX ---
l 盘算资源括包：CPU算运资源、存储资源、络网宽带等
l 云盘算是并行盘算、分布式盘算和网格盘算的开展，是这些盘算机科学观点的贸易实现。
l 云盘算是虚拟化(Virtualization)、用效盘算(UtilityComputing)、IaaS(础基设施即服务)、PaaS(台平即服务)、SaaS(件软即服务)等观点混合演进并跃升的结果。
云盘算的几大式形
l 云盘算服务类形
• 础基设施即服务（ IaaS） - 供提硬件备设
• app – engine
//比如用户自己弄了一个件软,以可就宣布到歌谷的这个app– engine台平上,然后全界世以可就失掉你的这个件软的服务了.
• 件软即服务（ SaaS ） - WebService
//件软服务,就是说,自己的webservice可为以界世的其他用户供提服务
• 络网服务
• 台平即服务（PaaS） - hadoop(台平) ,Oracle(),MS,
//就是各种大型云服务,比如数据服务,存储服务等等.
• 理管服务供提商（MSP）
//给企业,供提相干的理管服务.
• 贸易服务台平
//贸易服务,比如给不同公司供提,自己的理管系统等等.
• 云安全
//云查杀等等..
l InfoWorld网站同数十家公司、分析家和IT用户论讨出了云盘算的几大式形。
l --- XXX ---
l 面下将大体绍介每一种云盘算式形
础基设施即服务 （适用盘算、虚拟化）
l IaaS —— Infrastructure as a Service
• 是为IT行业造创虚拟的盘算和数据中央，使得其可以把盘算单元、存储器、I/O备设、宽带等盘算机础基设施，会合起来成为一个虚拟的资源池来为全部络网供提服务。
• 用多少算多少
• Amazon WebServices，简作AWS
• 弹性盘算云EC2 （ElasticCompute Cloud）——盘算
• 简略存储服务S3 （SimpleStorage Service）—— 存储
• Google App Engine
l Amazon应用弹性盘算云（EC2）和简略存储服务（S3）为企业供提盘算和存储服务。
l 收费的服务项目括包存储服务器、宽带、CPU资源以及月租费。月租费与话电月租费似类，存储服务器、宽带按容量收费，CPU根据时长(小时)算运量收费。
l Amazon把云盘算做成一个大买卖没有花太长的时光：不到两年时光，Amazon上的册注开辟人员达44万人，还有为数众多的企业级用户。
l 有第三方统计机构供提的数据显示，Amazon与云盘算相干的务业收入已达1亿美元。云盘算是Amazon增加最快的务业之一。
l S3：S3的础基窗口是桶，桶是寄存文件的容器。S3给每一个桶和桶中每一个文件分配一个URI址地，因此你可以通过http或者https议协停止问访。（证认、权限控制）
l Google App Engine种这服务让开辟人员可以译编基于Python的应用程序，并可费免应用歌谷的础基设施来停止托管（最高存储间空达500MB）。
l 对于过超此下限的存储间空，歌谷按“每CPU内核每小时”10至12美分及1GB间空15至18美分的标准停止收费。
络网服务
l 络网服务 WebService
• 供提API让开辟者可以开辟更多基于联互网的应用
• Google Earth
• Baidu Map
• 中移动的 FetionWeb Service
l 络网服务是一组组存在于联互网上的API，也就是一些拥有URL的函数，给用户供提二次开辟的能力
l 云盘算服务的部署式形
- Google的云盘算路思
属隶PaaS的Google云盘算
Ø 属于部署在云端的应用执行境环
Ø 持支Python和Java两种言语
Ø 通过SDK用调Google的各种服务。如GoogleMap、Mail等
Ø 用户可速快、便宜（可费免应用定限的流量和存储）地部署自己开辟的应用（如新创的网站、游戏等）
Ø 属隶SaaS的Google云盘算
Google云盘算台平技巧架构
Ø 分布式文件系统Google Distributed File System
Ø 并行数据理处MapReduce
Ø 分布式锁 Chubby
Ø 结构化数据表BigTable
1. 注意,这里的GFS就是google file system.
也就是文件系统
和Windows下的NTFS,和linux下的FAT是一个意思.
2. GFS就是google filesystem.是一个分布式的系统,比如部内把这个系统装到了很多器机上,但是对于外界来讲,这个系统就是一个团体.
3. 从外部上看,是一个团体,但是从部内看的话,实际上是安装在很多系统上的.
4. MapReduce实际上是一种思惟,比如和mvc似相.
MapReduce:例子:比如有一堆单词:
hello world credream
good
nice
hello world
world
统计每一个单词涌现的次数
这里用MapReduce解决问题:
首先停止Map(分组),分析空格和回车,指的是一个单词.通过这些分解
Hello 1
World 1
Credream 1
Good 1
Nice 1
Hello 1
Worl 1
World 1
然后在通过Reduce(合并)
Hello 2
World 3
Credream 1
Good 1
Nice 1
另外一个例子:
1,4,6,2,99,3,23,54,23 55
找出这里最大的一个字数,当数据非常大庞的时候,就要需用MapReduce
用MapReduce理处的话会这样理处:
他会把1,4,6,2,,交给器机A
把99,3,23交给B理处
把,54,23 55交给器机C理处
然后把三个器机失掉结果停止比对,然后得出结果99
这里MapReduce的思惟就是,把问题化细,交给很多器机同时理处
BigSql数据库就是一种NoSQL数据库:
之前用的那些比如mysql等等,是关系型数据库
而这里是NoSQL数据库,也就是说NOT only SQL,不仅仅是sql语句
这里的取名和Linux=Linux isnot unix似相.
NoSQL数据库:是专门用来存储海量数据的.
这就是google的云盘算的架构.
1. GFS计划则原：
Ø 器机效失不能视为异常现象
Ø 能付应对大型/超大型文件理处
Ø 持支大批用户同时问访
2. GFS构成－
Ø GFS群集:一个的Master和多个ChunkServer（块服务器）构成，并可以多客户端Client问访
Ø GFS计划要点
Ø 每一个文件拆成若干个64M文件块Chunk构成
Ø 每一个Chunk都由Master根据其创立时光指定ChunkHandle(64)
Ø 文件块被保存在ChunkServer当地磁盘中
Ø缺省情况下3处热份备Chunk块文件
4. Client职责
Ø 含包文件系统的API
Ø 责负和ChunkServer和Master信通
Ø 代表应用程序停止读写作操
Ø Client和Master停止元数据作操
Ø Client和ChunkServer停止文件数据作操
5. Master职责
Ø 责负理管有所文件系统的元数据
Ø 元数据括包：命名间空，问访控制信息，文件到Chunk的映射信息等
Ø ChunkServer职责
Ø 责负存储chunk文件块
ØLinux文件系统
6. 采取中央服务器模式Master
Ø 可以便方地增加ChunkServer
Ø Master握掌系统内有所Chunk Server的情况，便方停止负载均衡
Ø 不存在元数据的致一性问题
Ø 不缓存数据
Ø 必要性：Client流式取读，非复重读写
Ø可行性：Master本身理管多个Server，很庞杂
l 摩尔定律正在走向闭幕…
Ø 单芯片纳容晶体管的增加，对制造工艺提出要求
Ø CPU制造18nm技巧，子电泄漏问题
Ø CPU主频已达3GHz代时，难以续继进步
ü 散热问题（热发太大，且难以遣散）
ü 功耗太高
l 摩尔定律是由英特尔（Intel）创始人之一戈登·摩尔（Gordon Moore）提出来的。其内容为：当价格变不时，集成电路上可纳容的晶体管数目，约每隔18个月便会增加一倍，能性也将晋升一倍。换言之，每一美元所能买到的电脑能性，将每隔18个月翻两倍以上。这一定律示揭了信息技巧步进的速度。
单词计数 体现M/R算法
文章结束给大家分享下程序员的一些笑话语录： N多年前，JohnHein博士的一项研究表明：Mac用户平均IQ要比PC用户低15%。超过6000多的参加者接受了测试，结果清晰的显示IQ比较低的人会倾向于使用Mac。Mac用户只答对了基础问题的75%，而PC用户却高达83%。