hadoop学习笔记(20160125)

1、Hadoop中Writable和WritableComparable区别

Writable接口大家可能都知道，它是一个实现了序列化协议的序列化对象。在Hadoop中定义一个结构化对象都要实现Writable接口，使得该结构化对象可以序列化为字节流，字节流也可以反序列化为结构化对象。

WritableComparable接口是可序列化并且可比较的接口。MapReduce中所有的key值类型都必须实现这个接口，既然是可序列化的那就必须得实现readFiels（）和write（）这两个序列化和反序列化函数，既然也是可比较的那就必须得实现compareTo（）函数，该函数即是比较和排序规则的实现。这样MR中的key值就既能可序列化又是可比较的。

WritableComparable也就是比Writable多了一个compareTo方法，这个的用途是是为了确定是不是相同的key

hadoop为Key的数据类型必须实现WritableComparable，而Value的数据类型只需要实现Writable即可，能做Key的一定可以做Value，能做Value的未必能做Key.

来源：http://www.cnblogs.com/likai198981/archive/2013/06/01/3112531.html

 

 

 

20160126

1、上次文件到hdfs：hdfs dfs -put /home/node1/data /usr　　将centOS上的/home/node1/data的data文件上传至hdfs上的usr目录下

2、删除hdfs上的文件:hdfs dfs -rm /usr/data 删除hdfs上的usr目录下的data文件,也可是文件夹

3、hdfs dfs -rmr /usr/data   加个r即是递归删除文件夹或文件包括下面的子文件

4、hdfs dfs -cat /usr/data 查看hdfs上usr目录下的data文件的内容

5、hdfs dfs -ls /usr 列出hdfs上usr文件夹下的文件信息

 

在启动hadoop/sbin目录下启动./start.all.sh时应关闭防火墙：service iptables stop

 

 

20160202

centOS中安装mysql：yum install mysql-server

启动mysql服务：service mysqld start

输入mysql命令进入mysql

 

grant命令(授权,创建用户,设置密码)

给数据库设置密码：grant all on *.* to root@'%' identified by '123456'

*.*：第一个*代表某个数据库，第二个*代表某个表

root@'%'：root是代表用户，@后面是代表用户是远程登录还是本地登录(若是本地用localhost)，其中%代表多有的ip地址都可以访问

 

hadoop退出安全模式：hadoop sdfadmin -safemode leave，进入的话把leave改enter