Hadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/;
了解:虚拟机:KVM,XEN ,ESXI,VMWare,windows+cygwin。
SSH软件:secure CRT 或 putty ,也可以用vmwareclient 管理ESXI。
准备:首先虚拟化几台机器,安装hadoop。在windows上使用xftp很方便地在多台机器之间传输文件。利用 putty 很方便的进行命令操作。
学习:rack 机架调整,记住默认常用的端口号,善于看 log文档,多用NFS网络文件系统深入更好地配置文件以及服务端权限的配置
总结:
1, 重新配置平台的时候,删除tmp,log,dfs(data,name)中文件
2, scp 复制文件方法
3, chown –R root:root java 其中 –R的意思:权限对此目录以及 目录下所有文件生效。
4, 网页查看 节点状态:比如我配置的文件查看方式为:http://10.18.47.212:8088。
5, 也可以用:http://10.18.47.212.50070 查看每个节点的状态。
6, 添加新的节点:hadoop-daemon.shstart nodemanager 注意出现tmp和data权限错误。
7, 接着启动 换启动方式:yarn-dameon.shsart nodemanager
8, 接着还要启动:start-balancer.sh。
9, 查看端口状态信息:netstat–apv
10, 当配置的节点主机本身内存太小,可以把 JAVAOPTS的数值调的小一点。
11, 用more命令查看log文件比较方便。
12, 接着再启动
13, 把电脑的空闲分区加载进来,以后做大数据,怕是各个节点的存储不够。
14, Hadoop编译成64位时候如果出现问题,junit与netty问题,就是下载的资源包不行,数据源不好。
15, git 项目管理工具。
16, wput, wget, sftp 操作。
17, 在linux中如何查看隐藏文件???
18, 配置自启动网络和IP命令配置:
vi /etc/sysconfig/network-scripts/ifcfg-eth0 或者 别的 ifcfg-eth。。。名字。