Linux系统下安装Python爬虫环境+模拟浏览器插件

一、服务器版本

       Centos7以上版本

二、配置python环境

1、安装依赖包

yum -y install gcc gcc-c++
yum -y install zlib zlib-devel
yum -y install bzip2 bzip2-devel
yum -y install ncurses ncurses-devel
yum -y install readline readline-devel
yum -y install openssl openssl-devel
yum -y install openssl-static
yum -y install xz lzma xz-devel
yum -y install sqlite sqlite-devel
yum -y install gdbm gdbm-devel
yum -y install tk tk-devel

2、下载anaconda

       下载anaconda安装包命令如下：

$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.1-Linux-x86_64.sh

       安装过程可参考：https://blog.csdn.net/zhaoyoulin2016/article/details/80776198

• 首先通过xftp将下载好的Anaconda3_linux源文件放到/usr/local文件夹内;
• cd /usr/local  执行如下代码:bash  Anaconda3-5.2.0-Linux-x86_64.sh
• 根据提示输入ENTER

如果报错如下：

Anaconda3安装过程中遇到“Anaconda3-5.1.0-Linux-x86_64.sh:行350: bunzip2: 未找到命令 tar: 它似乎不像是一个 tar 归档文件 tar: 由于前次错误，将以上次的错误状态退出”

Anaconda3-5.1.0-Linux-x86_64.sh:行350: bunzip2: 未找到命令 tar: 它似乎不像是一个 tar 归档文件 tar: 由于前次错误，将以上次的错误状态退出

解决办法：

安装bzip2即可解决

yum install -y bzip2

• 输入yes
• 安装完后增加环境变量

vim /root/.bashrc

# added by Anaconda3 4.4.0 installer

export PATH="/root/anaconda3/bin:$PATH"

• 重启环境变量配置

source /root/.bashrc

• 安装完成之后，命令行输入python，查看python版本是否是3.6，如果是则安装成功。如下。

3、安装所需要的python包

       涉及到如下的python库：

环境	版本
Python	Python3.6     版本
re	Python自带（2.2.1）
time	Python自带
warnings	Python自带
psycopg2	2.7.7
requests	2.18.4
pandas	0.23.4
BeautifulSoup	4.6.3
impala	0.14.1
python-Levenshtein（Levenshtein）	0.12.0
selenium	3.141.0
zhconv

3.1、首先安装python库

       使用pip安装。

pip install --upgrade pip
pip install beautifulsoup4
pip install selenium
pip install psycopg2
pip install requests
pip install pandas
pip install Levenshtein
pip install zhconv

       导入安装的python库，并测试psycopg2是否可以连接数据库，使用本地的一个数据库进行测试。测试代码如下。

import requests
import re
import pandas as pd
from bs4 import BeautifulSoup
import selenium
import psycopg2
import Levenshtein
import zhconv
conn = psycopg2.connect(database="zjsm", user="postgres", password="root", host="192.168.0.12", port="5432")

3.2、impala的安装

       由于本项目的数据需要与hive数据库连接，故安装impala库。先下载所需的安装包。

pip install pure_sasl==0.5.1
pip install thrift==0.9.3
pip install bitarray==0.8.3
pip install thrift_sasl==0.2.1
pip install thriftpy==0.3.9
pip install impyla==0.14.1

       若出现问题，可参考https://blog.csdn.net/wx0628/article/details/86550582

       测试是否安装成功，可以尝试连接一个本地的hive。测试代码如下。

from impala.dbapi import connect
from impala.util import as_pandas
conn = connect(host='192.168.111.87', port=10000, auth_mechanism='PLAIN', user='root'， password='3.1415926', database='zjsm')

3.3、谷歌浏览器以及对应的驱动安装：chromedriver.exe

       安装谷歌浏览器，这里使用文件夹里提供的版本google-chrome-stable_current_x86_64.rpm，只需要将该软件包上传到服务器然后使用如下命令安装：yum localinstall google-chrome-stable_current_x86_64.rpm。

       将文件夹里提供的chromedriver上传到服务器，可以放到用户目录下，比如/root/anaconda3目录，然后设置权限，输入命令：chmod 777 chromedriver。

       可以将search_url，即https://so.youku.com/search_video/q_少帅放到浏览器搜索，查看是不是少帅，然后将代码最终输出的https://list.youku.com/show/id_z2a6634cea23d11e5b692.html连接使用浏览器测试是不是期望的结果。测试代码如下。

from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
driver = webdriver.Chrome(executable_path="/root/chromedriver",chrome_options=options)
search_url='https://so.youku.com/search_video/q_少帅'
driver.get(search_url)
html = driver.page_source
soup = BeautifulSoup(html, 'lxml')
url=soup.select('.row-ellipsis a')[0].get('href')
print(url)#得到：https://list.youku.com/show/id_z2a6634cea23d11e5b692.html

 

文章未经博主同意，禁止转载！