纯笔记，勿看
linux jps显示不了进程
以下文件权限有误
/tmp/hsperfdata_userName
hadoop查看文件大小
hadoop fs -du -h
hive在建表的时候有时出现
Display all XXX possibilities? (y or n)
是因为tab键太多造成的
hbase创建表
create 'hotdog_adr_base', { NAME => 'cf', COMPRESSION => 'GZ'},{SPLITS => ['A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z',
'a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z']}
shell判断是否有参数
if [ $# -lt 2 ] ; then
echo "期待2个参数"
exit 1
fi
echo $1
echo $2
mysql命令
mysql -N -hl-an7.wap.cn6.qunar.com -P3306 -umobstat -p'xH!dmobstatsa!oSX' -e "
use mobiledcs_ad;
load data local infile '${BASE_PATH}/xxx_${logdate}.tmp' into table datatable(id,name,count)
" || exit
linux统计行数（上海出现多少次）
cat test2.txt | grep '上海' | wc -l
hhh出现行数
grep -c 'hhh' test.txt
linux处理文件列awk
awk '{print $6}' test.txt
awk求和awk '{total+=$6}END{print total}' test.txt
awk分组求和（按照$1分组，$6求和）awk '{a[$1]+=$6}END{for(i in a)print(i,a[i])}' test.txt
linux测试本地机子是否可以连接 ip port
nc -z -v 192.168.44.37 80
shell换行
echo -e '\n'
linux 查看域名ip
nslookup l-rtools1.ops.cn8
hbase 执行命令
sudo -u hadoop echo "scan 'hbase:meta',{LIMIT=>1}"| hbase shell &> dump.txt
python ide
pycrust
linux 进程
ps -ef | grep report
linux 杀死一批相同类型的进程（grep -v grep是除了grep进程，$2就是pid）
kill -9 $(ps -ef|grep -E 'report|runrp'|grep -v grep|awk '{print $2}')
ps -ef|grep rolling-restart.sh | grep -v "grep" | awk -F " " '{print $2}' | xargs kill -9
hadoop 指定集群拿数据
sudo -uxxxxxx hadoop fs -fs ip:8020 -ls
shell在线编译sed
sed -i '3 s/user/dirk/' td.txt 修改第三行 将user改为dirk （ -i是在当前文档上修改 ）
sed -n '3p' td.txt 打印第三行
获取第三行，第三列内容，用/隔开(cut 和 awk都可以获取列)
sed -n '3p' td.txt | cut -d "/" -f3
sed -n '3p' td.txt | awk -F "/" '{print$3}'
awk -F "/" '{if(NR==3) print $3}' td.txt
hbase shell建立分区表
create 'tb_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS => ['a','b','c']}
hive shell dll
alter table dirktest add columns(nc string); 增加列
alter table dirktest replace columns(aa string,bb string,order_count bigint); 删除列
linux shell
获取父Pid 为$PPID
写入文件
_pp=$PPID
echo $_pp >> /test/dirk.txt
hive shell
- MSCK REPAIR TABLE table_name;
该命令会把没添加进partition的数据，都增加对应的partition。同步源数据信息metadata。
linux 查看文件夹大小
du -h --max-depth=1 home/data
hadoop添加classpath
HADOOP_CLASSPATH=/home/hadoop-cdh/app/hbase-0.98.1-cdh5.1.0/lib/* hadoop jar /home/hadoop-cdh/imgDownload/imgHbase.jar com.emar.nbt.hbase.mr.ImgDownloadTuanMR testProduct
linux shell 查看socket数
socket上线
ulimit -n
socket使用
cat /proc/net/sockstat
linux 线程启动时间：
ps axo pid,ppid,comm,pmem,lstart | grep 4740
linux shell赋值
#if HBASE_HOME not empty,use HBASE_HOME,else use later one
#HBASE_HOME="${HBASE_HOME:-/home/hadoop-cdh/app/hbase-0.98.1-cdh5.1.0}"
mysql shell
授权 把mysqldb库的查询和更新权限赋给hadoopuser，hadoopuser的密码是hadooppwd
grant select,update on mysqldb.* to hadoopuser@localhost identified by 'hadooppwd';
grant all on testdb.* to common_user@'%'
linux中远程连接（如SSH）出现someone could be eavesdropping on you right now的解决办法
今天用SSH连接我的远程主机，出现了以下错误： IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! 网上查了一下，用 rm -rf .ssh/known_hosts 删除主机列表就行了。
观察进行gc情况
jstat -gc pid
jstat -gcutil pid 1000
zk命令
sh bin/zkServer.sh start
sh bin/zkServer.sh status
sh bin/zkServer.sh stop
sh bin/zkServer.sh restart
sh bin/zkCli.sh -server hostxxx:2181
sh bin/zkServer.sh status
-------------------------------------
hbase balance
sh $HADOOP_HOME/bin/start-balancer.sh –t 10%
linux启动时间
date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S"
who -b
dns文件