今天被一个开发同事给整了，他写了一个脚本，用hadoop fs -test -e 来验证某个path是不是已经存在，如果不存在sleep 30秒然后接着验证，

一开始报错Resource temporarily unavailable，我修改了几个参数，让一个用户可以开的进程数1024改为102400，cpu被跑满了，机器挂了好几次


修改参数进程数的如下：

vi /etc/security/limits.conf

# End of file
* soft nproc 102400
* hard nproc 102400
* soft nofile 102400
* hard nofile 102400
* soft stack 102400
root soft nproc 102400
root hard nproc 102400
root soft nofile 102400
root hard nofile 102400
root soft stack 102400


$ vim /etc/security/limits.d/90-nproc.conf

# Default limit for number of user's processes to prevent
# accidental fork bombs.
# See rhbz #432903 for reasoning.
*         soft    nproc     102400
root       soft    nproc     102400



同事脚本如下：


/opt/amos/aac-job/main.py dmp.hdfs_file_exists 2016050918 path=/bh/etl_output/dmp_dmv2 > david1 2>&1 &

/opt/amos/aac-job/main.py dmp.hdfs_file_exists 2016050918 path=/bh/etl_output/daspv2 > david2 2>&1 &