【持续更新】Hadoop笔记

1.HDFS shell
    1.0查看帮助
        hadoop fs -help
    1.1上传
        hadoop fs -put
    1.2查看文件内容
        hadoop fs -cat
    1.3查看文件列表
        hadoop fs -ls /
    1.4下载文件
        hadoop fs -get

2.使用java接口操作HDFS
    见eclipse工程下的demo 

3.hadoop通信机制
    不同进程之间的方法进行调用

4.HDFS源码分析
    FileSystem.get --> 通过反射实例化了一个DistributedFileSystem --> new DFSCilent()把他作为自己的成员变量
    在DFSClient构造方法里面,调用了createNamenode,使用了RPC机制,得到了一个NameNode的代理对象,就可以和NameNode进行通信了
    
    FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理
    

1.安装Linux
    file -> open
2.配置VMware
    右键 -> settings -> Network Adapter -> host-only
3.找到VMware安装目录 ->双击vmnetcfg.exe -> vmnet1 -> 配置subnet I

你可能感兴趣的:(hadoop,hadoop,笔记,大数据)