Linux命令

Hive表读取数据

hive -e "select * from app.log_likelihood1 limit 150000;" > sku15w

查看文件有多少行

wc -l filename

cpu核数

cat /proc/cpuinfo |grep 'processor'|wc -l

截取文件多少行

sed -n '10,40p' filename

截取文件第一列

cat temp |awk '{print $1}' > temp2

排序、去重

    如果先 sort 的话，就会把所有重复的数据行变成相邻的数据行，再 uniq 的话，就去掉所有重复的数据行了

cat data1.txt | sort | uniq

压缩

tar -cvf archive_name.tar directory_to_compress

上传下载

rz -bey
sz