【环境配置】出现：Microsoft Visual C++ 14.0 is required 的解决方案
如：pip install scrapy 时出现：
error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools
说明计算机中缺少Microsoft Visual C++ 14.0
但错误信息中提供的网址是无效的，需要自行从网络中下载安装MV C++14.0
可以使用以下链接进行下载安装：
链接：https://pan.baidu.com/s/1G7DomtDZG0GpgSVZXloscw
提取码：ik9k
技术选型：
- request和beautifulsoup都是库，scrapy是框架
- scrapy框架中可以加入request和beautifulsoup的库
- scrapy基于twisted，性能是最大的优势
- scrapy方便扩展，提供了很多内置的功能
- scrapy内置的CSS和xpathselector方便，beautifulsoup的缺点是慢
网页分类：
- 静态页面
- 动态页面
- webservices(restapi)
爬虫能做什么：
- 搜索引擎
- 推荐引擎
- 机器学习的数据样本
- 数据分析、舆情分析
正则表达式：
出现问题：pycharm授权账户过期
建议更新账户后下载离线激活码使用
下载离线激活码
- 新建python工程
- 新建的python工程使用虚拟环境，在创建时会自动下载安装setuptools,pip,wheel等
-
在工程下新建名为“test”的pythonpackage的文件
新建py工程与py文件
特殊字符
-
^: 表达必须以某一字符开头的含义，^1即为字符串以1开头. -
$: 结尾字符必须为x，例如3$就是说明字符串是以3结尾 -
.: 替代一个任意字符（中英文 大小写等等） -
*: 某一字符重复多次，放在该字符后>=0 -
?: 服贪婪匹配方式，在量词后面直接加上一个问号？就是非贪婪模式。 -
+: 前面的字符必须至少出现一次 >=1 -
{2}: 限定前面字符出现的次数，{2}表示限定前面的字符出现2次，{2,}表示前面一个字符出现大于两次，{2,5}表示前面一个字符出现大于等于2次且小于等于5次 -
|: 表示或的关系，例如booby|booby123表达提取booby或booby123，哪个在前优先匹配哪一个。 -
[]: 表示只要满足中括号中的任意字符即可。 -
[0-9]表示范围限制在0-9之间匹配任意数值均可。 - 中括号中的
*就是星号，.就是点号，不再具有上面所说的特殊替代含义。 -
\s: 表示空格 小写 -
\S: 只要不为空格都可以 大写 -
\w: 表示任意字符[A-Z，a-z, 0-9,_]，匹配字母或数字或下划线或汉字 小写 -
\W: 和\w相对应的字符 大写 -
[\u4E00-\u9FA5]: 代表汉字 -
\d: 代表数字
1. 匹配以b开头，后面为任意字符
import re #使用正则表达式的包
line="booby123"
regex_str="^b.*"
if re.match(regex_str,line): #re.match（）是re包中的模块
print("yes")
2.使用？克服贪婪匹配
import re
line="boooooobby123"
regex_str=".*(b.*b).*" #提取括号中的内容
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
输出结果为：bb
贪婪匹配:正则表达式一般趋向于最大长度匹配，也就是所谓的贪婪匹配。
非贪婪匹配：就是匹配到结果就好，就少的匹配字符。
当两侧都无?控制的情况下，类似于反向匹配，即从右侧开始匹配（如上所示）
当左侧有?控制且右侧无?控制的情况下，则从左侧开始匹配得到最长的结果为止（如下所示）
import re
line="boooooobby123"
regex_str=".*?(b.*b).*"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
输出结果为boooooobb
正确表达式应为
import re
line="boooooobby123"
regex_str=".*?(b.*?b).*"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
3.使用+的实例
- 没有使用+的情况
import re
line="boooooobnnvccbby123"
regex_str=".*(b.*b).*"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：bb
- 使用+的情况
import re
line="boooooobnnvccbby123"
regex_str=".*(b.+b).*"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：bnnvccbb
4.使用{}的实例
- 限定字符出现一次
import re
line="boooooobnnvccbaby123"
regex_str=".*(b.{1}b).*"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：bab
- 限定字符出现1~3次
import re
line="boooooobnnvccbaaaby123"
regex_str=".*(b.{1,3}b).*"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：baaab
5.使用|的实例
import re
line="booby123"
regex_str="(booby|booby123)"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：booby
6.使用[]的实例
import re
line="booby123"
regex_str="([abcd]ooby123)"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：booby123
7.使用[0-9]的实例
import re
line="15764289384"
regex_str="(1[3578][0-9]{9})"
#第一位数字为1，第二位数字为3 5 7 8 中的任意一个，之后为9个0-9之间的字符
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：15764289384
8. 使用\s和\S的实例
import re
line="你 好"
regex_str="(你\s好)"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：你 好
import re
line="你很不好"
regex_str="(你\S+好)"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：你很不好
9. 使用\w和\W的实例
import re
line="你S好"
regex_str="(你\w好)"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：你S好
10. 使用[\u4E00-\u9FA5]的实例
import re
line="你 好"
regex_str="([\u4E00-\u9FA5]+)"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：你
import re
line="stydy in 南京大学"
regex_str=".*?([\u4E00-\u9FA5]+大学)"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：南京大学
11.使用\d的实例
import re
line="XXX出生于2001年"
regex_str=".*?(\d+)年"
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))
结果：2001年
正则表达式练习
匹配不同的出生日期写法:
import re
#line="XXX出生于2001年6月1日"
#line="XXX出生于2001/6/1"
#line="XXX出生于2001-06-01"
line="XXX出生于2001-06"
regex_str= '.*?出生于(\d{4}[年/-]\d{1,2}([月/-]\d{1,2}|[月/-]$|$))'
match_obj=re.match(regex_str,line)
if match_obj:
print(match_obj.group(1))