大数据学习日记

分布式存储

大数据学习日记Day01分布式存储组成元素Namenode：管理元数据。SecondiryNamenode：帮助Namenode完成重演合并操作。Datanode：储存源数据。
CodeTravell·2018-10-09 23:16

大数据学习日记day2

suffermapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle核心机制：数据分区，排序，缓存详细流程maptask收集map()方法输出的kv对，放到内存缓冲区中从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件多个溢出文件会被合并成大的溢出文件在溢出过程中，及合并的过程中，都要调用partitioner进
Chaos_001·2017-08-22 15:25

大数据学习日记day1

复习hdfs的读写secondarynamenode的工作原理shell脚本定时采集数据到hdfsmapreduce是一个编程框架分为两个阶段：map阶段，task并发实例各司其职reduce阶段，task并发实例依然各司其职，但依赖第一阶段的task并发实例mapreduce只能分为1个map阶段和1个reduce阶段可以通过多个mapreduce串联解决大型复杂问题mrapplicationm
Chaos_001·2017-08-21 21:59
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他