hadoop ---------HDFS阶段总结(要求掌握的知识总结大纲)

大数据的特征是什么?

答:1.数据量大

        2.数据类型多样化

        3.价值密度低,商业价值高

        4.速度输入输出要求快

大数据集群的搭建详细步骤

HDFS是什么?

答:分布式文件存储系统

HDFS优点是什么?

答:1.处理超大的文件

        2.流式的数据访问

        3.可以处理结构化、半结构化、非结构化数据

 HDFS缺点/局限性是什么?

 答:1.不适合处理低延迟数据访问

        2.无法高效的存储大量的小数据

        3.不支持多用户对文件进行同时写入和修改文件

HDFS的特性是什么?

答:1.高容错性,可配置性强、可扩展性强

       2.跨平台

       3.shell命令接口

       4.机架感知

       5.负载均衡

       6.web界面

HDFS块的默认大小是?

答:hadoop1.0默认为64mb

       hadoop2.0默认为128mb

HDFS默认存放副本数为?

答:3个

HDFS的副本存放策略?

答:第一块:在本机器的HDFS目录下存储一个Block

        第二块:不同机架的某个DataNode上存储一个Block

        第三块:在该机器的同一个机架下的某台机器上存储最后一个Block

HDFS安全模式命令

答:hadoop dfsadmin -safemode leave //强制退出安全模式

        hadoop dfsadmin -safemode enter //进入安全模式

        hadoop dfsadmin -safemode get  //查看安全模式

        hadoop dfsadmin -safemode wait //等待,一直到安全模式检查结束

HDFS几个命令行接口

答:hadoop fs -ls 查看hdfs下一级目录

        hadoop fs -lsr 递归查看目录文件

        hadoop fs -mkdir 创建目录

        hadoop fs -put 从本地上传文件到HDFS上

        hadoop fs -get 从HDFS下载文件到本地

        hadoop fs -cat 查看文件内容

        hadoop fs -rm(r) 删除文件/夹

HDFSjava接口的案例(重点)

HDFSRPC协议底层原理(Server和Client案例)

HA高可用集群的搭建步骤

hadoopIO操作压缩、序列化案例

hadoopIO操作SequenceFile序列化框架案例



你可能感兴趣的:(hadoop)