Linux/Hadoop常用命令

Linux：

查看9001端口的监听进程

netstat -anp | grep 9001

Mac查看监听端口

netstat -nat |grep LISTEN

列出所有TCP监听状态的进程

netstat -ntlp

修改指定文件夹及其下的用户和组

chown -R redhat3:redhat3 /home/test/

安装指定的RPM文件

rpm -ivh /home/fletcher/Downloads/telnet-0.17-59.el7.x86_64.rpm

查看mysql的进程

ps -ef | grep mysql

杀掉指定的mysql进程

kill -9 4443

Paste_Image.png

创建软链接ln -s 源文件 目标文件

ln -s /tmp/mysql.sock /var/lib/mysql/mysql.sock

查找指定的文件

find / -type f -name "libnpjp2.so"

telnet某主机若遇No route to host，需要清空所有链

iptables -F

不挂断地运行命令，格式nohup command &，如启动HWI服务：

nohup hive --service hwi &

分页查看文件hdfs-site.xml，每页显示30行

more -30 -d -c hdfs-site.xml

从尾部向上读取某文件的若干行

tail -f -n 26 catalina.out

查看系统总内存

cat /proc/meminfo | grep MemTotal

查看CPU信息（型号）

cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c

查看物理CPU个数

cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

查看每个物理CPU中core的个数 (核数)

cat /proc/cpuinfo| grep "cpu cores"| uniq

查看逻辑CPU的个数

cat /proc/cpuinfo| grep "processor"| wc -l

转换文件编码（通常用于Mac中将Excel另存为制表符分隔的文本.txt后出现的乱码问题）

iconv -f gbk -t utf-8 targetfile.txt > targetconverted.txt

查看进程（id=23320）的资源占用情况

top -Hp 23320

把当前目录打包成war／解压到当前目录

jar -cvfM0 hive-hwi-2.1.1.war ./

jar -xvf hive-hwi-2.1.1.war

查看启用的服务

systemctl list-unit-files | grep enabled

关于防火墙

systemctl start firewalld.service 启动防火墙

systemctl stop firewalld.service 关闭防火墙

systemctl restart firewalld.service 重启防火墙

systemctl status firewalld.service 显示防火墙状态

systemctl enable firewalld.service 开机时启用防火墙

systemctl disable firewalld.service 开机时禁用防火墙

使用ISO制作Linux的安装USB盘

diskutil list 插入U盘，用MS-DOS(FAT)格式化，查看U盘的盘符

diskutil umountDisk /dev/disk2 卸载U盘（插入时已经自动挂载了），但不要推出

sudo su 切换到Root用户

dd if=/software/rhel-workstation-7.0-x86_64-boot.iso of=/dev/disk2 bs=8192 输出到U盘

diskutil eject /dev/disk2s1

---

Hadoop&Hive：

使用本地模式

set hive.exec.mode.local.auto=true;

查看各节点状态

hadoop dfsadmin -report

格式化

hdfs namenode -format

---

MySQL：

重置root密码

./mysqld_safe --user=root --skip-grant-tables &

update user set authentication_string=password('123456'), password_expired = 'N' where user='root';

flush privileges;

创建用户并授权

CREATE USER 'hive' IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive';

flush privileges;

增加所指定的系统服务，让chkconfig指令得以管理它（服务脚本必须存放在/etc/ini.d/目录下）

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld

chkconfig --add mysqld

设置mysqld在运行级别为3、4、5的情况下都是on（开启）的状态
LEV0：关机 LEV1：单用户模式 LEV2：无网络连接的多用户命令行模式 LEV3：有网络连接的多用户命令行模式
LEV4：不可用 LEV5：带图形界面的多用户模式 LEV6：重新启动

chkconfig --level 345 mysqld on

service mysqld start

service mysqld stop