Python爬虫

python安装

sudo apt-get install python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev python3-pip
这样安装基本上依赖库就够了

python爬虫常用库安装

pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter

数据库安装

mongodb

sudo apt-get install mongodb

redis

sudo apt-get install redis-server
sudo vim /etc/redis/redis.conf

注释掉里面的
bind 127.0.0.1
以便可以远程连接redis
然后去掉注释
#requirepass foobared
这个意思是需要连接密码，默认是foobared，可以修改为自己的密码。
之后可以再重新启动一下redis服务
sudo server redis restart
之后再连接访问redis时候就需要加密码了
redis-cli -a password

mysql

sudo apt-get install mysql-server mysql-client
安装完成之后，访问的话用下面命令
mysql -u root -p
为了能够远程连接，我们需要修改一下配置文件，位置在
/etc/mysql/mysql.conf.d/mysql.cnf
把里面的
bind 127.0.0.1
那句注释掉。