Python Learning Day4

---恢复内容开始---

遇到的模块

• NumPy：多维数组的有效操作。 高效的数学函数。

• Matplotlib：可视化：2D和（最近）3D图

• SciPy：大型库实现各种数值算法，例如：           

  • 线性和非线性方程的解
  • 优化
  • 数值整合

• Sympy：符号计算（解析的 Analytical）

• Pandas：统计与数据分析（明天）

Numpy

ndarray类型

NumPy提供了一种新的数据类型：ndarray（n维数组）。

• 与元组和列表不同，数组只能存储相同类型的对象
• 这使得数组上的操作比列表快得多; 此外，阵列占用的内存少于列表。 
• 数组为列表索引机制提供强大的扩展。

 

创建ndarray

np.array([2, 3, 6, 7])   
np.array( [2,  3,  6,  7+ij])  

创建均匀间隔的数组

import numpy as np

# arange:range(start, stop, step)的所有三个参数
# 即起始值，结束值，步长都是可以用的 另外还有一个dtype参数，数据类型 
a=np.arange(5)
b=np.arange(10,100,20,dtype = float)
#linspace（start，stop，num）返回数字间隔均匀的样本，按区间[start，stop]计算：
c=np.linspace(0.,2.5,5)       

多维数组矩阵

import numpy as np

a = np.array([[1, 2, 3] ,[4, 5, 6]])
print(a)
print(a.shape)#行，列数
print(a.ndim)#维度数
print(a.size)#元素个数

形状变化

import numpy as np

a = np .arange(0, 20, 1) #1维
b = a.reshape((4, 5))   #4行5列
c = a.reshape((20, 1))  #2维
d = a.reshape((-1, 4))  #-1：自动确定
e = a.shape =(4, 5) #改变a的形状

Size（N，），（N，1）和（1，N）不同之处

• Size（N, ）表示数组是一维的。
• Size（N，1）表示数组是维数为2, N列和1行。
• Size（1，N）表示数组是维数为2, 1行和N列。

例子

import numpy as np

a = np.array([1,2,3,4,5])
b = a.copy ()

c1 =  np.dot(np.transpose(a), b)#矩阵乘法dot
print(c1)
c = np.array([[1,2,3],[4,5,6],[7,8,9]])
print(c)
tran = c.transpose()#转置矩阵transpose
print(tran)

ax  =  np.reshape(a, (5,1))
bx  =  np.reshape(b, (1,5))
c = np.dot(ax, bx)
print(c)

填充数组

import numpy as np

a = np.zeros(3)#零填充
b = np.zeros((2, 2), complex)#complex 复数
c = np.ones((2, 3))
d = np.random.rand(2, 4)#rand: 0和1之间均匀分布的随机数
e = np.random.randn(2, 4)#randn: 均值为0，标准差为1的标准（高斯）正态分布

副本和视图

• 采用一个NumPy数组的切片可以在原始数组中创建一个视图。 两个数组都指向相同的内存。因此，当修改视图时，原始数组也被修改：
• 为避免修改原始数组，可以制作一个切片的副本

import numpy as np

a = np.arange(5)
print(a)
b = a[2:];b[0] = 100
print(b)
print(a)
c = a[2:].copy();
c[0]=99
print(c)
print(a)

矩阵乘法

　　运算符 * 表示元素乘法，而不是矩阵乘法：

　　使用dot（）函数进行矩阵乘法：

import numpy as np

A = np.array([[1, 2],[3, 4]])
print(A * A)
print(np.dot(A,A))

 文件操作

• savetxt()将表保存到文本文件。

• 其他可用的格式(参见API文档)。

• save()将表保存为Numpy“.npy”格式的二进制文件 

• loadtxt（）将以文本文件存储的表读入数组。
• 默认情况下，loadtxt()假定列是用空格分隔的。 您可以通过修改可选的参数进行更改。 以散列（＃）开头的行将被忽略。
• 示例文本文件data.txt

　　　　#  Year　　Min temp.　　Max temp.

　　　　1990　　　　-1.5　　　　　25.3

　　　　1991　　　　-3.2　　　　　21.2

 

import numpy as np

a = np.linspace(0, 1, 12)
a.shape=(3,4)
np.savetxt('myfile.txt',a)
np.save('myfile',a)
table = np.loadtxt("data.txt")

 

符号计算（Symbolic computat）

 

　　以上只是数值计算，接下来涉及符号计算，python通过模块sysmpy来进行符号计算，类似于方程求解，积分等的显式求解。

声明一个符号变量　

import sympy as sy

#声明x，y为变量
x = sy.Symbol('x')
y = sy.Symbol('y')
a, b = sy.symbols('a b')
#创建一个新符号（不是函数
f = x**2 + y**2 -2*x*y + 5
print(f)
#自动简化
g = x**2 + 2 - 2*x + x**2 -1
print(g)

符号的使用1：求解方程

import sympy as sy

x  = sy.Symbol ('x')
y  = sy.Symbol('y')
# 给定[-1,1]  (give [-1, 1])
print(sy.solve (x**2 - 1))
# 无解 (no guarantee for solution)
print(sy.solve(x**3  +  0.5*x**2 - 1))
# 用x的表达式表示y     (exepress x in terms of y)
print (sy.solve(x**3  +  y**2))
# 错误：找不到算法 (error:  no  algorithm  can  be  found)
print(sy.solve(x**x + 2*x - 1))

符号的使用2：集成 

import sympy as sy

x = sy.Symbol('x')
y = sy.Symbol( 'y')
a,b = sy.symbols ( 'a b')
# 单变量 single  variable
f = sy.sin(x) + sy.exp(x)
print(sy.integrate(f, (x,  a,  b)))
print(sy.integrate(f, (x,  1,  2)))
print(sy.integrate(f, (x,  1.0,2.0)))
# 多变量 multi variables
g = sy.exp(x) + x * sy.sin(y)
print(sy.integrate(g, (y,a,b)))

符号的使用3：分化

import sympy as sy

x =  sy.Symbol( 'x')
y =  sy.Symbol( 'y')
# 单变量 (single variable)
f = sy.cos(x) + x**x
print(sy . diff (f ,  x))
#  多变量  (multi variables)
g = sy.cos(y) * x + sy.log(y)
print(sy.diff (g,  y))

 

---恢复内容结束---

爬虫原理:

　　模拟浏览器 --> 往目标站点发送请求 --> 接收响应数据 --> 提取有用的数据 --> 保存到本地/数据库。

爬虫的全过程:
　　1、发送请求 （请求库）
　　　　- requests模块
　　　　- selenium模块

　　2、获取响应数据（服务器返回）

　　3、解析并提取数据（解析库）
　　　　- re正则
　　　　- bs4（BeautifulSoup4）
　　　　- Xpath

　　4、保存数据（存储库）
　　　　-MongoDB

import requests
import re  # 正则模块
# uuid.uuid4()  可以根据时间戳生成一段世界上唯一的随机字符串
import uuid
# 爬虫三部曲
# 1、发送请求
def get_page(url):
    response = requests.get(url)
    return response
# 2、解析数据
# 解析主页获取视频详情页ID
def parse_index(text):
    res = re.findall('', text, re.S)
#re.findall('正则匹配规则'，'解析文本','正则模式')
    # print(res)
    detail_url_list = []
    for m_id in res:
        # 拼接详情页url
        detail_url = 'https://www.pearvideo.com/video_' + m_id
        # print(detail_url)
        detail_url_list.append(detail_url)
    # print(detail_url_list)
    return detail_url_list
# 解析详情页获取视频url
def parse_detail(text):
    ''''''
    '''
        (.*?)： 提取括号的内容
        .*?： 直接匹配
        
        
    正则: '''
    movie_url = re.findall('srcUrl="(.*?)"', text, re.S)[0]
    return movie_url
# 3、保存数据
def save_movie(movie_url):
    response = requests.get(movie_url)
    # 把视频写到本地
    with open(f'{uuid.uuid4()}.mp4', 'wb') as f:
        f.write(response.content)
        f.flush()
if __name__ == '__main__':  # main + 回车键
    # 1、对主页发送请求
    index_res = get_page(url='https://www.pearvideo.com/')
    # 2、对主页进行解析、获取详情页id
    detail_url_list = parse_index(index_res.text)
    # print(detail_url_list)
    # 3、对每个详情页url发送请求
    for detail_url in detail_url_list:
        detail_res = get_page(url=detail_url)
        print(detail_res.text)
        # 4、解析详情页获取视频url
        movie_url = parse_detail(detail_res.text)
        print(movie_url)
        # 5、保存视频
        save_movie(movie_url)

 

采用多线程方

import requests
import re#正则模块
from concurrent.futures import ThreadPoolExecutor
#限制50个线程
pool=ThreadPoolExecutor(50)

def get_page(url):
    print(f"异步任务{url}")
    response=requests.get(url)
    return response
def parse_index(res):
    
    response=res.result()
    res = re.findall('',response.text,re.S)

    for m_id in res:
        detail_url='https://www.pearvideo.com/video_'+m_id
        pool.submit(get_page,detail_url).add_done_callback(parse_detail)

def parse_detail(res):
    response=res.result()
    
    movie_url=re.findall('srcUrl="(.*?)"',response.text,re.S)[0]
    movie_name=re.findall('