数据、进程-云计算学习笔记---Hadoop简介,hadoop实现原理,NoSQL介绍...与传统关系型数据库对应关系,云计算面临的挑战-by小雨
本文是一篇关于数据、进程-的帖子
1、Hadoop简介
1、hadoop的出生
l Nutch和Lucene之父Doug Cutting在2006年实现Hadoop目项。
l Hadoop并非一个单词，它来源于Doug Cutting小儿子对所玩的小象具玩牙牙学语的称谓。就像是google也是由小孩子名命一样。
l 后又经过5年的发开，hadoop在所有云盘算统系是稳居第一。
l Hadoop前目用使最普遍的本版为hadoop-0.20本版。前目最新本版为hadoop-1.03。
l Hadoop运行在Linux统系中。在windows上安装可用使cgywin模拟linux环境。
2、hadoop的构成
l hadoop Common – 是hadoop的核心，包含文件统系、远程调用RPC的序列化函数。
l HDSF : 供提高吞吐量的靠可分布式文件统系是 GFS的开源现实。
• Hadoop的文件统系。必须通过hadoop fs 令命来取读。持支分布式。
l MapReduce : 大型分布式数据处置模型，是Google MapReduce的开源现实。
• 合并/盘算模型。
l 其他相干构成：
• Hbase：构结化分部式数据库。BigTable的开源现实。
• Hive:供提摘要和询查功能的数据仓库。
• Cassandra:由Facebook发开分布式数据仓库。前目经已捐献给apache。且apache经已将Cassandra用应到了各种云盘算统系中。
谁在用hadoop:
l facebook
l 宝淘
l 360
l 京东
l yahoo
l google
Master:主节点,相当于目项经理
Slave:从节点相当于PG
Hadoop只能运行在linux统系上:
在linux统系上装JVM虚拟机,然后,下面运行了三个进程
SecondaryNameNode,Jobtracter,NameNode这三个进程,这三个都是java进程
其中,NameNode是最要重的一个java进程,他决议了主节点,在从节点上没有这个进程
SecondaryNameNode相当于NameNode的秘书,帮助NameNode实现任务, Jobtracter任务跟踪进程,用来跟踪任务
并且把任务交给从节点.
可以看到常通用应会都有一个主节点和一个从节点,并且从节点中也有两个java进程,因为在装有从节点的服务器上,也装的是linux统系,在linux统系上装有jvm,然后跑了两个java进程,一个是: Jobtracter,另一个是:DataNode数据节点,这个进程用来处置和数据有关的任务.意注在hadoop统系中,只有一个主节点,其他的都属于从节点.
各节点绍介：
l NameNode:这是hadoop的护守进程(意注是进程JVM)。担任记载文件是如何分割成数据块，以及这些数据块别分存储到哪些数据节点上。对内存停止中集理管。NameNode在个整hadoop中只有一个。一旦NameNode服务器宕机，个整统系将没法运行。
l DataNode:集群中的个一每从服务器都运行一个DataNode后台程序。这个后台程序担任将HDFS数据块写到地本的文件统系。
l Secondary NomeNode:用来监控HDFS状态的助辅后台程序。如保存NameNode的快照。
l JobTracker:用户连接用应程序和hadoop。个一每hadoop集群中只一个 JobTracker,一般它运行在Master节点上。
l TaskTracker:担任与DataNode停止结合。
l 云盘算前目的窘境
对于“云盘算”，业界经已为之论争了不止一年，IBM、软微、Google等工业大哥们也各自运功，以“云盘算”作为得获未来工业主动权的阵地。
作为消费者，我始终得觉“云盘算”是未来的IT行业的发展趋势，但是：“云盘算”何时才能从云端到空中?
关于“云盘算”技术标准和发展方向的论争仍然此起彼伏，我们却经已然悄步入“云盘算”的年月。
当我们用Google的在线Office编辑档文的时候，当我们随时在网上新更自己客博、甚至用手机上传照片的时候，当业企用在线租赁的软件在处置公司财务的时候……
NoSQL综述
l 大数据时期
l 关系数据库的瓶颈
l NoSQL的优势
l CAP论理
l NoSQL数据模型及类分
l NoSQL用应现状
l 重点绍介几个NoSQL
l 一、大数据时期
l 随着网民与参互联网产品和用应的度程越来越深，互联网将更加智能，互联网的数据量也将呈爆炸式加增
一、大数据时期
• 大交易数据：来自电商的数据，包含B2B、B2C、C2C、团购等
• 大交互数据：来自交社网络的数据，SNS、微博等
• 两类数据的效有融合将是大势所趋，种这融合更能增强业企的贸易洞察力
• 大数据的特征
3V——Volume（海量）、Variety（多样）、Velocity（实时）
• 海量——数据量大巨，对TB、PB数据级的处置， 经已成为基本配置。
• 多样——处置多样性的数据类型，构结化数据和非构结化数据，能处置Web数据，能处置语音数据甚至是图像、视频数据。
• 实时——在户客每次浏览页面，每次下订单的程过中都存在，会都要需对用户停止实时的推荐，策决经已变得实时
• 大数据时期下的统系需求
• High performance –高发并读写的需求
高发并、实时动态获得和新更数据
• Huge Storage –海量数据的高率效存储和拜访的需求
似类SNS站网，海量用户信息的高率效实时存储和询查
SNS，全称Social Networking Services，即社会性网络服务，专指旨在助帮人们立建社会性网络的互联网用应服务。也指社会现有已成熟遍及的信息载体，如短信SMS服务。SNS的另一种用常解释：全称Social Network Site，即“交社站网”或“交社网”。
• High Scalability && High Availability –高可展扩性和高可用性的需求
要需有拥速快向横展扩能力、供提7*24小时不间断服务
二、关系数据库的瓶颈
• 关系数据库如何应答大数据
• High performance –高发并读写的需求
问题：
数据库读写压力大巨，
硬盘IO没法蒙受
决解方案：
Master-Slave，主从分离
分库、分表，减缓写压力，增强读库的可展扩性
• 关系数据库如何应答大数据
• Huge Storage –海量数据的高率效存储和拜访的需求
问题：
存储记载数量无限，
SQL询查率效极低
决解方案：
分库、分表，减缓数据加增压力
• 关系数据库如何应答大数据
• High Scalability && High Availability –高可展扩性和高可用性的需求
问题：
向横展扩艰苦，没法通过速快加增服务器节点现实，
统系升级和护维成造服务不可用
决解方案：
Master-Slave，增强读库的可展扩性
MMM——Master-Master Replication Manager for MySQL
• 决解方案的问题
1.分库分表点缺：
（1）受业务规则影响，需求变化致导分库分表的护维杂复
（2）统系数据拜访层码代要需改修
2.Master-Slave点缺
（1）Slave实时性的保证，对于实时性很高的场所可能要需做一些处置
（2）高可用性问题，Master就是那个致命点，轻易生产单点故障
3. MMM点缺
本身展扩性差，一次只能一个Master可以入写，只能决解无限数据量下的可用性
三、NoSQL的优势
• 易展扩
NoSQL数据库种类多繁，但是一个独特的特色都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常轻易展扩。也形无之间，在架构的层面上带来了可展扩的能力。甚至有多种NoSQL之间的整合。
• 灵巧的数据模型
NoSQL无需事先为要存储的数据立建字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常烦麻的情事。如果是非常大数据量的表，加增字段简直就是一个恶梦。
• 高可用
NoSQL在不太影响性能的情况，就能够便方的现实高可用的架构。比如Cassandra，HBase模型，通过复制模型也能现实高可用。
• 大数据量，高性能
NoSQL数据库都有拥非常高的读写性能，尤其在大数据量下，一样现表秀优。这得益于它的无关系性，数据库的构结简略。
一般MySQL用使Query Cache，每次表的新更Cache就失效，是一种大粒度的Cache，在针对web2.0的交互繁频的用应，Cache性能不高。而NoSQL的Cache是记载级的，是一种细粒度的Cache，所以NoSQL在这个层面上来讲就要性能高很多了。
文章结束给大家分享下程序员的一些笑话语录： 人在天涯钻，哪儿能不挨砖？日啖板砖三百颗，不辞长做天涯人～