Python 爬虫入门

Python 爬虫入门

Python 的爬虫功能使得程序员可以快速抓取并分析网页中的信息，它实质上是模拟浏览器访问网页。本章主要常用的两个爬虫相关的库requests，beautifulsoup4。若要模拟鼠标点击等，要用到selenium 库，限于篇幅限制，本章不再介绍，具体可以查阅相关资料。

requests 库

每个网页都有源代码，可以通过鼠标单击右键查看网页源代码。网页中的很多信息都在源代码里面，requests 是一个访问网页源代码的库。一般通过 get 函数访问网页，另外一个常用来访问网页的函数是 post，与 get 函数的区别在于 post 能够传递表格或文件到网页所在服务器上。

get(url, [timeout], [headers], [proxies], **kwargs)
url	网页链接
timeout	可选参数，请求网页的最大时长，单位为秒
headers	可选参数，模拟浏览器设置
proxies	可选参数，代理服务器设置
**kwargs	其他参数

get 或 post 函数返回一个 Resoponse 对象，该对象包括以下常用的属性或函数。

属性或函数	描述
status_code	网页请求的返回状态，200 表示连接成功，404 表示连接失败
text	响应网页的字符串内容
encoding	响应网页的编码方式，可以更改
content	相应网页的字节形式内容，例如图片或 pdf 文件等
raise_for_status()	如果网页访问不成功，抛出异常，一般结合 try-except 语句使用
json()	该函数可以解析网页内容中 JSON 格式的数据

import requests

r = requests.get('http://www.baidu.com')
r.status_code

200

r.text # 结果省略

r.encoding  # 若为 ISO-8859-1 则中文为乱码

'ISO-8859-1'

r.encoding = 'utf-8' # 无论网页原内容是什么编码，都改成 utf-8 编码

beautifulsoup4库

使用requests获取的网页源代码一般非常复杂，不仅包括常规内容，还包括很多定义页面格式的代码。

:class: tip
- 网页中的内容一般在网页源代码的各个标签里

例如有下面的 html 代码：

html_doc = """

    
        
Hello, BeautifulSoup!
        

            
Link 1
            
Link 2
        
        

        
text1
 
text2
        
    

"""

beautifulsoup4库提供了大量的属性或函数，能够方便地将网页（html）不同标签（tag）中的内容提取出来。常用的属性有下面几个：

属性	描述
head	网页源代码中的 标签内容
title	网页源代码中的 soup.p # html 语言中 p 标签表示一个文本段落 关于百度 About Baidu 上面的这些标签对象还有自己的属性可以访问更具体的内容。 标签属性 描述 name 标签名字，例如 a，p，div等 attrs 标签的具体属性 contents 第一个该标签下的所有内容，为列表形式 string 第一个该标签或子标签下的文本内容，若标签中没有内容或者超过一层的子标签，则返回 None text 第一个该标签下（包括子标签）的所有文本内容，若没有内容则返回空文本 soup.p.name 'p' soup.p.attrs {'id': 'lh'} soup.p.contents [' ', 关于百度, ' ', About Baidu, ' '] soup.p.string soup.p.text ' 关于百度 About Baidu ' 将挖网页内容传递给 BeautifulSoup 提取时，还可以指定解析器，例如 ‘html.parser’, ‘lxml’, ‘xml’, ‘html5lib’。这些解析器各有利弊，其中 ‘lxml’ 解析速度最快。将上面的 html_doc 的网页文件传递给 BeautifulSoup： soup2 = BeautifulSoup(html_doc, 'lxml') # 或者 soup2 = BeautifulSoup(html_doc, features = 'lxml') soup2.ul.text '\nLink 1\nLink 2\n' type(soup2.ul.string) # 文本内容嵌套超过一层，返回 None NoneType soup2.li.contents # html 语言中 a 标签是超链接，ul 与 li 标签表示一个无序列表 [Link 1] soup2.ul.li.text # 标签通过逗点套子标签 'Link 1' 函数findall()，find() 当需要列出同一类标签对应的所有内容时，需要用到 BeautifulSoup 中的 findall() 函数。 find_all([name], [attrs], [string], [limit], **kwargs) name 标签名字 attrs 按照标签的具体属性检索, 采用 class_= 形式或 JSON 格式等 string 按照关键字检索，采用 string= 形式，返回与关键字完全匹配的字符串 limit 返回结果的个数，默认返回所有结果 **kwargs 其他参数 还有一个函数find()，与findall()的区别在于find()只寻找第一个对应标签的内容。还有一个函数find_next()，可以查找标签的下一个标签。类似的检索函数还有select，本书不再赘述。 soup2.find_all('a') # 检索出网页中所有的 a 标签 [Link 1, Link 2] soup2.find_all('a', class_ = 'c1') [Link 1] soup2.find_all(class_ = 'c1') # 参数中可以没有标签名字 [Link 1] soup2.find_all(string = 'Link') # 关键词检索 [] 函数get() 通过函数get可以访问标签的具体属性，例如 class 类型，具体超链接等。 soup2.a.get('class') ['c1'] soup2.a.get('href') 'http://example1.com' import re # 导入正则表达式库 soup2.find_all(string = re.compile('Link')) # 通过正则表达式将所有包含 Link 的字符串都检索出来 ['Link 1', 'Link 2'] 正则表达式是计算机科学中用来描述字符串的一种表达式。正则表达式定义一个字符串表达规则，只要字符串满足这个规则，就算则匹配。可以通过字符串结合符号 .*?<=()[]{}dw 等定义多种表达规则，具体可以进一步查阅相关资料。 BeautifulSoup 另外一个常用的获取文本内容的函数为get_text。与直接使用标签的属性 text 相比，get_text 更加灵活，能够方便地实现文本换行。它的一般用法为： get_text([separator=''], [strip=False], **kwargs) separator 各标签下文本的分隔符 strip 是否去掉各标签文本的前后空格 **kwargs 其他参数 soup2.div.text # html 语言中 div 标签表示网页中的一个区域 '\ntext1 text2\n' soup2.div.get_text() '\ntext1 text2\n' soup2.div.get_text(separator = '\n') '\n\ntext1\n \ntext2\n\n' soup2.div.get_text(separator = '**') '\n**text1** **text2**\n' soup2.div.get_text(strip = True) 'text1text2' 爬虫实例 1：抓小说 下面，我们举例如何用爬虫抓取网上的《三国演义》小说，并将每回的内容下载到电脑里。 首先，找到一个包含《三国演义》小说的网站，本例中，使用了古诗文网：https://so.gushiwen.cn/guwen/book_46653FD803893E4F7F702BCF1F7CCE17.aspx 然后，在网页的空白处，单击鼠标右键，查看网页源代码： 网页的源代码大致如下： 我们发现每一回的链接在网页中的标签 ul 里面，具体在其每个子标签 span 中的子标签 a 里面。 打开其中任一回的链接，在网页空白处单击右键，查看网页源代码： 我们发现每一回的内容在具体属性为 class=‘contson’ 的 div 标签里，其中第一句为每一回的标题，而之后的内容为正文。 根据网页的以上两个特点，设计 Python 的爬虫代码如下。 import requests # 联系网络的包，a package for requesting from websites from bs4 import BeautifulSoup # 分析网页数据的包，a package for webstie data analysis import time import random import os # 获取单个网页信息 def get_url_content(url): # headers = { # 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36' # } # 主要是模拟浏览器登录，防止反爬，一般的网站没有这个也行，谷歌浏览器 按 F12 能够找到网站支持的 headers r = requests.get(url, timeout=30) # 获取网页的内容，并返回给r变量，timeout 为超时时间 # r.raise_for_status() # 检查返回网页的内容的状态码，200表示成功 # r.encoding = r.apparent_encoding # 统一编码方式 return r.text # 返回网页中的文本内容，数据内容为 r.content # 解析出网页中想要的信息，爬虫的关键步骤 def filter_info(chapter_num, url_text): soup = BeautifulSoup(url_text, "lxml") # 解析网页返回内容，lxml 是一个解码方式，效率比较快，被推荐使用 contents = soup.find('div', class_='contson') # 使用 get_text 可以实现网页里面 p 标签中文本内容的换行，而 text 不能 chapter_title = contents.find('p').get_text() # 第一句话是本回的标题 chapter_title = '第' + str(chapter_num) + '回 ' + chapter_title.lstrip() # chapter_content = contents.get_text(separator="\n") # find 返回的不是列表，不用跟 [0] chapter_content = contents.text chapter_content = chapter_content.lstrip() # 去掉字符串左边的空字符 this_chapter = [chapter_title, chapter_content] return this_chapter # 从网页中找到每一回的链接 def get_url_links(url_head_content): soup = BeautifulSoup(url_head_content, "lxml") # 解析网页返回内容，lxml 是一个解码方式，效率比较快，被推荐使用 # links = soup.find('div', class_='bookcont') # 每一回的链接都在类 span 里面 links = soup.find('ul') # 每一回的链接都在类 ul 里面 links = links.findAll('span') link_list = [] for each in links: link_list.append(each.a.get('href')) # 获取每一回的链接，存储到列表里 return link_list # 将每章内容输出到 txt 文档里 def write_txt(string_array): file_address = 'E:/三国演义/' # txt 存放地址 if not os.path.exists(file_address): #用os库判断对应文件夹是否存在 os.makedirs(file_address) #如果没有对应文件夹则自动生成 file_name = string_array[0] with open(file_address + file_name + '.txt', 'w', encoding='utf-8') as f: # 必须跟解码形式，不然有的网页中文内容写不到txt里 f.write(string_array[1]) # 主函数 def main(): url = 'https://so.gushiwen.cn/gushi/tangshi.aspx' # 古诗文网三国演义网址 url_head_content = get_url_content(url) # 获取网页 links = get_url_links(url_head_content) # 获取每一回的链接地址 # enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列 # 同时列出数据下标和数据 for index, each in enumerate(links): url_link_content = get_url_content(each) # 获取每一回的网页内容 chapter_content = filter_info(index + 1, url_link_content) # 解析每一回的网页内容，获取小说文本 write_txt(chapter_content) # 输出小说内容到 txt time.sleep(random.random() * 1) # 每抓一个网页休息0~1秒，防止被反爬措施封锁 IP # 运行函数 main() 其中，使用 requests 库时，有的网站需要设置 headers 参数才能正确模拟浏览器登录。headers 参数可以在打开网页时，按键盘F12 打开， 然后刷新一下网页，单击F12弹出窗口的任何一个文件，就能查看网站的所有 headers 信息，有 cookie，user-agent 等信息。如下图所示： 我们可以复制一部分信息或全部信息，放到 request 函数的 headers 参数里面。 爬虫实例 2：抓豆瓣 top 250 的电影信息 我们想获取豆瓣高分评价的 250 部电影的信息：电影名字，导演，上映年代，评分，评分人数等。打开豆瓣 top 250 的网页链接 https://movie.douban.com/top250?start= ，发现每个网页显示 25 部电影，一共有 10 个挖网页，网页地址与链接中的 start = 后面的数字有关。例如第 3 个子网页的链接地址是 'https://movie.douban.com/top250?start=50 ，根据这个规律，我们可以用一个 for 循环，将 10 个网页分别打开抓取信息。 打开一个网页，单击右键查看网页源代码，如下图所示： 通过源代码发现以下几个特点： 每部电影的信息都在标签 里面。据此，我们可以用一个 for 循环，将每个网页的 标签都检索出来 电影的中英文名字都在标签 里，而其他名字在标签 里。我们可以使用函数find()以及find_next() 检索出来。 导演，主演，上映年代，电影产地，电影类型信息在标签 里。我们可以使用函数find()检索，然后利用正则表达式将里面对应文本信息分别提取出来。 评分信息在标签 里。我们可以使用函数find()检索出来。 评分人数信息在标签 里。我们可以通过函数find()结合关键字’评价’检索出来。（网页中的 < span > 提供了一种将文本的一部分或者文档的一部分独立出来的方式） 代表性评价信息在标签 里。我们可以使用函数find()检索出来。 根据以上的特点，设计出以下的 python 代码。其中中文分词库jieba，词云库WordCloud库等，若没有安装，需要提前安装（使用 pip 或 conda 安装）到电脑上。 在画图时，使用 matplotlib 画出饼图，使用 WordCloud 生成词云图，因为 matplotlib 不能自动将不同柱子分配不同的颜色，使用 seaborn 画出柱状图。 import requests # 联系网络的包，a package for requesting from websites import pandas as pd from bs4 import BeautifulSoup # 分析网页数据的包，a package for webstie data analysis import matplotlib.pyplot as plt # 画图的包 import time import random import jieba # 中文分词包 from wordcloud import WordCloud # 词云包 import re # 正则表达式包 import seaborn as sns # 用 seaborn 画柱状图 plt.rcParams['font.sans-serif'] = ['SimHei'] # 主要是模拟浏览器登录，防止反爬 headers = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36' } ## store the information rank_list = [] name_list = [] # 用来存储电影名字的一个二维列表 director_list = [] # 用来存储导演名字的一个列表，下面几个变量类似 actor_list = [] year_list = [] rating_list = [] ratingNum_list = [] quote_list = [] place_list = [] category_list = [] num = 0 for i in range(0, 10): link = 'https://movie.douban.com/top250?start=' + str(i*25) # 250部电影一共 10个网页， 10 pages for total 250 movies res = requests.get(link, headers = headers, timeout = 10) time.sleep(random.random()*3) # 每抓一个网页休息2~3秒，防止被反爬措施封锁 IP，avoid being blocked of the IP address # res.text is the content of the crawler soup = BeautifulSoup(res.text, "lxml") # lxml 是一个解码方式，lxml is one decoding model for Beautifulsoup movie_list = soup.find_all('div', class_ = 'item') # 检索所有类型为 item 的 div 标签 for each in movie_list: # 排名在 em 标签里 rank = each.em.text rank_list.append(rank) # 电影名字在标签 与 里 other_name = each.find('span', class_ = 'other').get_text() other_name = other_name.replace(' ', '') # 去掉空格 other_name = other_name.replace('\xa0/\xa0', '') # 去掉多余字符 \xa0/\xa0 cn_name = each.find('span', class_ = 'title').get_text() eg_name = each.find('span', class_ = 'title').find_next().get_text() # find_next() 查找满足条件的下一个标签 eg_name = eg_name.replace('\xa0/\xa0', '') # 去掉多余字符 \xa0/\xa0 name_list.append([cn_name, eg_name, other_name]) # 评分信息在标签 里 rating = each.find('span', class_ = 'rating_num').get_text() rating_list.append(float(rating)) # 评价人数通过关键词'评价'检索 rating_num = each.find(string = re.compile('评价')).get_text() rating_num = rating_num.replace('人评价', '') ratingNum_list.append(int(rating_num)) # 代表性评价在 里 try: quote = each.find('p', class_ = 'quote').get_text() except Exception: # 有的电影代表性评价没有显示 quote = '' quote_list.append(quote) info = each.p.get_text(strip = True) # 定义正则表达式提取出导演，主演，上映时间，地点，电影类型信息 try: # (?<=导演: ) match any character begins after character '导演: ' # .*? match any character (.), zero or more times (*) but as less as possible (?) # (?=主) match any character before character '主' director = re.compile('(?<=导演: ).*?(?=主)').findall(info)[0] actor = re.compile('(?<=主演: ).*?(?=/)').findall(info)[0] except Exception: # 有的电影导演名字太长，主演没有显示出来 director = re.compile('(?<=导演: ).*?(?=\xa0)').findall(info)[0] actor = '' director_list.append(director) actor_list.append(actor) # \d{4} is a four digit number year = re.compile('(?<=...)\d{4}').findall(info)[0] year_list.append(year) place_category = re.compile('(?<=\xa0/\xa0).*').findall(info)[0] place_category = place_category.replace('\xa0', '') place_category = place_category.split('/') place = place_category[0] category = place_category[1] place_list.append(place) category_list.append(category) # 将数据存到 pandas 里 df = pd.DataFrame(rank_list, columns = ['排名']) df['电影名字'] = [i[0] for i in name_list] df['外文名字'] = [i[1] for i in name_list] df['其他名字'] = [i[2] for i in name_list] df['评分'] = rating_list df['评价人数'] = ratingNum_list df['导演'] = director_list df['主演'] = actor_list df['上映日期'] = year_list df['地区'] = place_list df['类型'] = category_list df['代表性评论'] = quote_list # 导出到 xls 文件里，save to xls file df.to_csv('豆瓣 top 250 电影爬虫抓取.csv') # 分析电影来源地并画饼图 locations = [] for i in range(len(place_list)): nations = place_list[i].split(' ') for j in range(len(nations)): if nations[j] == '西德': nations[j] = '德国' locations.append(nations[j]) df_location = pd.DataFrame(locations, columns = ['地区']) # 按照出现次数排序, size() 可以查数，生成一个 Series 类型 # 然后用 reset_index 重新命名，参数为 name # DataFrame 类型的 reset_index 参数为 names df2 = df_location.groupby('地区').size().reset_index(name='counts') # df2 = df2['地区'].value_counts(ascending = False).reset_index() df2.sort_values(by = 'counts', ascending = False, inplace = True, ignore_index = True) # 画饼状图 values = [] labels = [] other_count = 0 for i in range(9): values.append(df2['counts'][i]) labels.append(df2['地区'][i]) for i in range(9, df2.shape[0]): other_count += int(df2['counts'][i]) values.append(other_count) labels.append('其他地区') plt.figure(1) plt.pie(values, labels=labels, autopct='%.2f%%') plt.legend() # 显示标签 plt.show() # 分析电影类型并画饼图 categories = [] for i in range(len(category_list)): category = category_list[i].split(' ') for j in range(len(category)): categories.append(category[j]) df_category = pd.DataFrame(categories, columns = ['类型']) df3 = df_category.groupby('类型').size().reset_index(name='counts') df3.sort_values(by = 'counts', ascending = False, inplace = True, ignore_index = True) values = [] labels = [] other_count = 0 for i in range(15): values.append(df3['counts'][i]) labels.append(df3['类型'][i]) for i in range(15, df3.shape[0]): other_count += int(df3['counts'][i]) values.append(other_count) labels.append('其他类型') plt.figure(2) plt.pie(values, labels=labels, autopct='%.2f%%') plt.legend() plt.show() # 画词云图 jieba.add_word('久石让') jieba.add_word('谢耳朵') # 一些语气词和没有意义的词 del_words = [ '就是', '一个', '被', '电影', '我们', '不是', '每个', '不会', '没有', '这样', '那么', '不要', '如果', '不能', '一种', '不过', '只有', '不得不', '不得不', '一部'] all_quotes = ''.join(quote_list) # 将所有代表性评论拼接为一个文本 # 去掉标点符号 all_quotes = re.sub(r"[0-9\s+\.\!\/_,$%^*()?;；:-【】+\"\']+|[+——！，;:。？、~@#￥%……&*（）]+", " ", all_quotes) words = jieba.lcut(all_quotes) words_final = [] for i in range(len(words)): if len(words[i]) > 1 and words[i] not in del_words: # 去掉一些语气词，单字词 words_final.append(words[i]) text_result = Counter(words_final) cloud = WordCloud( font_path = 'C:\Windows\Fonts\FZSTK.TTF', # 中文字体地址 C:\Windows\Fonts\FZSTK.TTF，提前下载字体或指定，否则中文无法显示 # mask = '' 通过 mask 参数指定一个图片地址作为词云的背景图像 background_color = 'white', width = 1000, height = 860, max_words = 25 ) #wc = cloud.generate(words) # 这种方法对中文支持不太好，this mehtod is better for only english string wc = cloud.generate_from_frequencies(text_result) wc.to_file("豆瓣 TOP 250 词云.jpg") plt.figure(3) plt.imshow(wc) plt.axis('off') plt.title('豆瓣 TOP 250 电影代表性评论的词云分析') plt.show() # 评分最高的 15 部电影 # 用 seaborn 画柱状图，因为自动将不同柱子分配不同的颜色 df_star = df.sort_values(by = '评分', ascending = False, ignore_index = True) number = 15 df_star_top = df_star.head(number) plt.figure(4) sns.barplot(data = df_star_top, y = '电影名字', x = '评分', orient = 'h') plt.title('评分最高的 ' + str(number) + ' 部电影') plt.show() # 评分人数最多的 15 部电影 df_num = df.sort_values(by = '评价人数', ascending = False, ignore_index = True) df_num_top = df_num.head(number) plt.figure(5) sns.barplot(data = df_num_top, y = '电影名字', x = '评价人数', orient = 'h') plt.title('评分人数最多的 ' + str(number) + ' 部电影') plt.show() # 电影年代画图 df_year = df.groupby('上映日期').size().reset_index(name = '部数') df_year.sort_values('部数', ascending = False, inplace = True) df_year_top = df_year.head(20) df_year_top.sort_values('上映日期', inplace = True) plt.figure(6) sns.barplot(data = df_year_top, x = '上映日期', y = '部数') plt.title('电影上映年代') plt.show() 生成的图形如下： 后记 不同的网站的爬虫技巧经常不一样，要具体网站具体分析。 由于一些网站经常更新数据的存储地址或源代码，某段时间的爬虫代码可能在下一个时间段就不能用了，爬虫代码也要更新。 有的网页信息并不在网站直接打开的网页源代码里（例如弹幕、电商评论等），还要结合按键F12找到网页信息的真实地址。 提取网页信息时，经常要用到正则表达式处理字符串。 近年来，许多网站都提高了反爬手段防止网站的数据被无端获取。因此，提醒读者避免过度使用爬虫，给一些网站造成不必要的访问负担。 你可能感兴趣的:(Python,python,爬虫,requests,beautifulsoup,豆瓣) 【Python】一文详细介绍 py格式 文件 高斯小哥 Python基础【高质量合集】python新手入门学习 【Python】一文详细介绍py格式文件个人主页：高斯小哥高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程希望得到您的订阅和支持~创作高质量博文(平均质量分92+)，分享更多关于深度学习、PyTorch、Python领域的优质内容！（希望得到您的关注~）文章目录一、py格式文件简介二、如何创建和编辑py格式文件三、如何运行py python抓包与解包_Python—网络抓包与解包（pcap、dpkt） weixin_39691055 python抓包与解包 pcap安装[root@localhost~]#pipinstallpypcap抓包与解包#-*-coding:utf-8-*-importpcap,dpktimportre,threading,requests__black_ip=['103.224.249.123','203.66.1.212']#抓包：param1eth_name网卡名，如：eth0,eth3。param2p_type日志捕 华为OD机试 - 单向链表中间节点（Java & JS & Python & C & C++） 华为OD题库 华为od链表java 须知哈喽，本题库完全免费，收费是为了防止被爬，大家订阅专栏后可以私信联系退款。感谢支持文章目录须知题目描述输出描述解析代码题目描述给定一个单链表L，请编写程序输出L中间结点保存的数据。如果有两个中间结点，则输出第二个中间结点保存的数据。例如：给定L为1→7→5，则输出应该为7；给定L为1→2→3→4，则输出应该为3；输入描述每个输入包含1个测试用例。每个测试用例：第一行给出链表首结点的地址、结点总 python 推导式(派生、衍生) sanduo112 人工智能pythonwindows开发语言 python推导式一、推导式(派生、衍生)1.Python推导式是一种独特的数据处理方式，可以从一个数据序列构建另一个新的数据序列的结构体。2.列表(list)推导式3.字典(dict)推导式4.集合(set)推导式5.元组(tuple)推导式二、代码概述一、推导式(派生、衍生)1.Python推导式是一种独特的数据处理方式，可以从一个数据序列构建另一个新的数据序列的结构体。Python支持各种数 数据挖掘|数据预处理|基于Python的数据标准化方法 皖山文武 数据挖掘数据建模与分析python数据挖掘开发语言 基于Python的数据标准化方法1.z-score方法2.极差标准化方法3.最大绝对值标准化方法在数据分析之前，通常需要先将数据标准化（Standardization），利用标准化后的数据进行数据分析，以避免属性之间不同度量和取值范围差异造成数据对分析结果的影响。1.z-score方法Z-score方法是基于原始数据的均值和标准差来进行数据标准化的，处理后的数据均值为0，方差为1，符合标准正态分布 CSV指南：Python程序获取大型CSV文件行数 孤独打铁匠Julian 笔记经验分享python 本指南提供了几种使用Python来获取大型CSV文件行数的方法，并解释了每种方法的适用场景。方法1:使用csv.reader处理复杂CSV文件当你的CSV文件中包含多行字段（即某些字段的值中包含换行符）时，使用csv.reader是一个可靠的选择，因为它能够正确处理这些复杂情况。这个方法适用于大多数大小的CSV文件，但是对于非常大的文件，读取整个文件可能会占用较多的时间和内存。对于极大的文件，考虑 谷歌浏览器驱动Chromedriver（114-120版本）文件以及驱动下载教程 pigerr杨 Pythonpythonchromedrivers ChromeDriver官方网站GitHub||GoogleChromeLabs/chrome-for-testingChromeDriver113-125_JSONChromeforTestingavailability123-125zip白月黑羽Python基础|进阶|Qt图形界面|Django|自动化测试|性能测试|JS语言|JS前端|原理与安装 大创项目推荐 深度学习 opencv python 公式识别(图像识别 机器视觉) laafeer python 文章目录0前言1课题说明2效果展示3具体实现4关键代码实现5算法综合效果6最后0前言优质竞赛项目系列，今天要分享的是基于深度学习的数学公式识别算法实现该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：4分创新点：4分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate1课题 python转码 Desamond python开发语言 转码在许多场景中都有应用，以下是一些常见的场景：网页开发：当用户在网页上输入文本时，可能需要将特殊字符（如空格、引号、特殊符号等）进行转码，以防止这些字符对URL或HTML代码产生干扰。文件名处理：在处理文件名时，可能需要将特殊字符进行转码，以避免文件名被错误地解析或显示。数据传输：在数据传输过程中，为了确保数据的完整性和正确性，可能需要将数据中的特殊字符进行转码。数据存储：在数据库或数据存储中， 排序算法太多？常用排序都在这了，一篇文章总结和实现所有面试会考的排序算法（基于Python实现） 宇宙之一粟 不归路之Python#IT面试题收集与总结数据结构与算法算法数据结构排序算法pythonjava 文章目录排序算法1.常见的排序算法1.1选择排序1.1.1思想1.1.2实现**1.1.3选择排序分析**1.2冒泡排序**1.2.1思想****1.2.2实现****1.2.3冒泡排序分析**1.3插入排序**1.3.1思想****1.3.2实现****1.3.3插入排序分析**1.4归并排序☆☆★**1.4.1思想****1.4.2实现****1.4.3归并排序分析**1.5快速排序☆★★** 27.Python从入门到精通—Python异常处理 抛出异常 用户自定义异常 定义清理行为 预定义的清理行为 以山河作礼。 #Python基础入门—详解版pythonjava服务器 27.从入门到精通：Python异常处理抛出异常用户自定义异常定义清理行为预定义的清理行为异常处理抛出异常用户自定义异常定义清理行为预定义的清理行为异常处理在Python中，异常处理是一种处理程序在执行期间可能遇到的错误的方法。当Python解释器遇到错误时，它会引发异常。异常是一种Python对象，它包含有关错误的信息，例如错误类型和错误位置。为了处理异常，您可以使用try-except语句。在 python清华大学出版社答案_Python机器学习及实践 weixin_39805119 python清华大学出版社答案 第1章机器学习的基础知识1.1何谓机器学习1.1.1传感器和海量数据1.1.2机器学习的重要性1.1.3机器学习的表现1.1.4机器学习的主要任务1.1.5选择合适的算法1.1.6机器学习程序的步骤1.2综合分类1.3推荐系统和深度学习1.3.1推荐系统1.3.2深度学习1.4何为Python1.4.1使用Python软件的由来1.4.2为什么使用Python1.4.3Python设计定位1.4. Python | Redis工具类 -拟墨画扇- Pythonredis数据库缓存python 一、需求自动连接Redis数据库，通过连接池处理数据对输出结果进行Log打印并保存到文件二、代码Utils.redisUtils.py#!/usr/bin/envpython#-*-coding:utf-8-*-importredisfromUtils.loggerimportlog"""Redis数据格式(1)字符串|存储形式:key-value:str-存储二进制数据:可以存储任意类型的数据， Python dict字符串转json对象，小数精度丢失问题 朝如青丝 暮成雪 jsonpython 一前言JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，dict是Python的一种数据格式。本篇介绍一个float数据转换时精度丢失的案例。二问题描述importjsontest_str1='{"π":3.1415926535897932384626433832795028841971}'test_str2='{"value":10.00000}'print Python+Requests模拟发送GET请求 爱学习的执念 自动化测试软件测试技术分享python开发语言 模拟发送GET请求前置条件：导入requests库一、发送不带参数的get请求代码如下：以百度首页为例importrequests#发送get请求response=requests.get(url="http://www.baidu.com")print(response.content.decode("utf-8"))#以utf-8的编码输出内容二、发送带参数的get请求发送带参数的get请求有 Python极速入门：五分钟开启实战之旅！ 知白守黑V Python编程语言系统运维python编程语言python开发python学习python入门python数据分析 1.Python基础语法和结构：了解Python的基本语法，包括变量、数据类型、运算符、注释等。控制流：掌握条件语句（if-elif-else）、循环（for和while）及其控制（break和continue）。函数：学习如何定义和使用函数，包括参数传递、返回值、作用域和闭包。模块和包：理解如何导入和使用模块，以及如何创建和使用自己的包。2.数据处理列表、元组和集合：学习这些序列类型的操作和方法 Python Flask 使用数据库 安果移不动 pythonflask开发语言 pipinstallflask_sqlalchemy官方文档：Flask-SQLAlchemy—Flask-SQLAlchemyDocumentation(3.1.x)为了不报错也需要导入另外两个库#pipinstallflask_sqlalchemy#pipinstallmysqlclient完整代码importosfromflaskimportFlaskfromflask_sqlalchemy PaperWeekly sapienst PapersPaperwithCodeGeneralML 1.Python软件包解决DL在未见过的数据分布下性能差的问题：（1）神经网络和损失分离的模块化设计（2）强大便捷的基准测试能力（3）易于使用但难以修改（4）github:https://github.com/marrlab/domainlabTrainer和Models之间是什么关系Trainer和Models是DomainLab中的两个核心概念。Trainer是一个用于指导数据流向模型并计算S 使用Python读取Excel文件并计算平均分 嘻嘻爱编码 Python从入门到放弃pythonexcel开发语言 在这篇博客中，我们将探讨如何使用Python的pandas库来读取Excel文件，并计算其中数据的平均分。pandas是一个强大的数据分析工具，它允许我们以简单直观的方式处理表格数据。安装必要的库在开始之前，确保你的环境中安装了pandas和openpyxl库。可以使用以下命令进行安装：pipinstallpandasopenpyxl读取Excel文件首先，我们需要读取Excel文件。假设我们有一 python项目练习——7.网站访问日志分析器 F—— python项目练习python信息可视化数据分析数据挖掘开发语言学习 项目功能分析：这个项目可以读取网站的访问日志文件，统计访问量、独立访客数、访问来源等信息，并以图表或表格的形式展示出来。这个项目涉及到文件操作、数据处理、数据可视化等方面的技术。示例代码：importrefromcollectionsimportCounterimportmatplotlib.pyplotaspltdefparse_log_file(log_file):#读取日志文件内容witho python的while双重循环九九乘法表 Jinm_R python开发语言 a=1whilea<=9:b=1#乘数每次需要从1开始whileb<=a:print(f"{a}*{b}={a*b}\t",end='')#\t为制表符使乘法表整齐end=''代表用空格代替换行b+=1a+=1print()#乘数每加一换行 【Python】成功解决ModuleNotFoundError: No module named ‘torchinfo‘ 高斯小哥 BUG解决方案合集pythonpytorch新手入门学习debug 【Python】成功解决ModuleNotFoundError:Nomodulenamed‘torchinfo’个人主页：高斯小哥高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程希望得到您的订阅和支持~创作高质量博文(平均质量分92+)，分享更多关于深度学习、PyTorch、Python领域的优质内容！（希望得到您的关注~）文 Python自动化测试web常见框架汇总 自动化测试薰儿 软件测试技术分享python前端开发语言 1、前言目前，有非常多的Python框架，用来帮助你更轻松的创建web应用。这些框架把相应的模块组织起来，使得构建应用的时候可以更快捷，也不用去关注一些细节（例如socket和协议），所以需要的都在框架里了。接下来我们会介绍不同的选项。经过初期的不起眼，Python已经成为互联网最流行的服务端编程语言之一。根据W3Techs的统计，它被用于很多的大流量的站点很多的大流量的站点很多的大流量的站点，超 python安装jupter在线ide 晚风拂柳颜 生活小经验python3idejupter 我在虚拟3.6.8的环境里面安装的，具体用了以下命令；pipinstallipython-ihttps://mirrors.aliyun.com/pypi/simple/pipinstalljupyter-ihttps://mirrors.aliyun.com/pypi/simple/jupyternotebook当然，jupter可以直接通过python环境里script目录下的jupyter- opencv 十八 python下实现0缓存掉线重连的rtsp直播流播放器 摸鱼的机器猫 opencv实战opencvpython缓存 使用opencv打开rtsp视频流时，会因为网络问题导致VideoCapture掉线；也会因为图像的后处理阶段耗时过长导致opencv缓冲区数据堆积，从而使程序无法及时处理最新的数据。为此对cv2.VideoCapture进行封装，实现0缓存掉线重连的rtsp直播流播放器，让程序能一直处理最新的数据。代码实现fromcollectionsimportdequeimportthreadingimpo 《天道》：真正厉害的人，都做对了这三点 唐夕 去年偶然有一次在书店读到豆豆的小说《遥远的救世主》，读完大受震撼，有很多启发。随后一次性买全了豆豆三部曲，这部小说也一直放在书架上，又看了几遍。根据这本书改编的电视剧《天道》，豆瓣评分9.2分，相信你们也一定在短视频平台上刷到过相关的小视频。短视频以及知乎很多博主，都在解读丁元英和芮小丹。但我在几次的阅读过程中，反而觉得欧阳雪更值得我们学习。欧阳雪没有芮小丹那样的出身，没有肖雅文那样的高学历。因家 Windows如何安装poppler库，python的PDF转PPTX项目 跨不过 pdf 资源库在这里下载https://github.com/oschwartz10612/poppler-windows/releases/tag/v21.03.0其他的参考这篇博客，里面提到的资源链接失效了https://blog.csdn.net/wy01415/article/details/110257130 用Python批量更改图片大小 马达马达达 AIpython #提取目录下所有图片,更改尺寸后保存到另一目录fromPILimportImageimportos.pathimportglobdefconvertjpg(jpgfile,outdir,width=128,height=128):img=Image.open(jpgfile)try:new_img=img.resize((width,height),Image.BILINEAR)new_img.s 3.Python数据分析—数据分析入门知识图谱&索引(知识体系中篇) 以山河作礼。 Python数据分析项目数据分析知识图谱数据挖掘python开发语言 3.Python数据分析—数据分析入门知识图谱&索引-知识体系中篇一·个人简介二·数据获取和处理2.1数据来源：2.2数据清洗：2.2.1缺失值处理：2.2.2异常值处理：2.3数据转换：2.3.1数据类型转换：2.3.2数据编码：2.4数据合并与重塑：2.4.1数据合并：2.4.2数据拼接：2.4.3数据重塑：三·数据探索与分析3.1描述性统计分析3.2数据可视化原则和技巧3.3探索性数据分析（ SWIFT环境配置及大模型微调实践 weixin_43870390 swift开发语言ios SWIFT环境配置及大模型微调实践SWIFT环境配置基础配置增量配置SWIFTQwen_audio_chat大模型微调实践问题1:问题2:问题定位解决方法手动安装pytorchSWIFT介绍参考：这里SWIFT环境配置基础配置condacreate-nswiftpython=3.8pipinstallms-swift[all]-U#下载项目gitclonehttps://github.com/mo 对于规范和实现，你会混淆吗？ yangshangchuan HotSpot 昨晚和朋友聊天，喝了点咖啡，由于我经常喝茶，很长时间没喝咖啡了，所以失眠了，于是起床读JVM规范，读完后在朋友圈发了一条信息： JVM Run-Time Data Areas：The Java Virtual Machine defines various run-time data areas that are used during execution of a program. So android 网络 百合不是茶 网络 android的网络编程和java的一样没什么好分析的都是一些死的照着写就可以了,所以记录下来  方便查找   ,  服务器使用的是TomCat   服务器代码;  servlet的使用需要在xml中注册 package servlet; import java.io.IOException; import java.util.Arr [读书笔记]读法拉第传 comsci 读书笔记       1831年的时候,一年可以赚到1000英镑的人..应该很少的...       要成为一个科学家,没有足够的资金支持,很多实验都无法完成       但是当钱赚够了以后....就不能够一直在商业和市场中徘徊...... 随机数的产生 沐刃青蛟 随机数 c++中阐述随机数的方法有两种：   一是产生假随机数（不管操作多少次，所产生的数都不会改变）          这类随机数是使用了默认的种子值产生的，所以每次都是一样的。   //默认种子 for (int i = 0; i < 5; i++) { cout<< PHP检测函数所在的文件名 IT独行者 PHP函数 很简单的功能，用到PHP中的反射机制，具体使用的是ReflectionFunction类，可以获取指定函数所在PHP脚本中的具体位置。 创建引用脚本。 代码：   [php]   view plain copy // Filename: functions.php    <?php&nbs 银行各系统功能简介 文强chu 金融 银行各系统功能简介 　 业务系统 核心业务系统 业务功能包括：总账管理、卡系统管理、客户信息管理、额度控管、存款、贷款、资金业务、国际结算、支付结算、对外接口等 清分清算系统 以清算日期为准，将账务类交易、非账务类交易的手续费、代理费、网络服务费等相关费用，按费用类型计算应收、应付金额，经过清算人员确认后上送核心系统完成结算的过程 国际结算系 Python学习1(pip django 安装以及第一个project) 小桔子 pythondjangopip     最近开始学习python,要安装个pip的工具。听说这个工具很强大，安装了它，在安装第三方工具的话so easy!然后也下载了，按照别人给的教程开始安装，奶奶的怎么也安装不上！ 第一步：官方下载pip-1.5.6.tar.gz, https://pypi.python.org/pypi/pip easy! 第二部：解压这个压缩文件，会看到一个setup.p php 数组 aichenglong PHP排序数组循环多维数组 1 php中的创建数组 $product = array('tires','oil','spark');//array()实际上是语言结构而不  是函数 2 如果需要创建一个升序的排列的数字保存在一个数组中，可以使用range()函数来自动创建数组 $numbers=range(1,10)//1 2 3 4 5 6 7 8 9 10 $numbers=range(1,10, 安装python2.7 AILIKES python 安装python2.7 1、下载可从 http://www.python.org/进行下载#wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2、复制解压 #mkdir -p /opt/usr/python #cp  /opt/soft/Python-2 java异常的处理探讨 百合不是茶 JAVA异常 //java异常  /* 1，了解java 中的异常处理机制，有三种操作 a,声明异常  b,抛出异常  c,捕获异常 2，学会使用try-catch-finally来处理异常 3，学会如何声明异常和抛出异常 4，学会创建自己的异常   */   //2，学会使用try-catch-finally来处理异常   getElementsByName实例 bijian1013 element 实例1： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x 探索JUnit4扩展：Runner bijian1013 java单元测试JUnit         参加敏捷培训时，教练提到Junit4的Runner和Rule，于是特上网查一下，发现很多都讲的太理论，或者是举的例子实在是太牵强。多搜索了几下，搜索到两篇我觉得写的非常好的文章。         文章地址：http://www.blogjava.net/jiangshachina/archive/20 [MongoDB学习笔记二]MongoDB副本集 bit1129 mongodb 1. 副本集的特性   1)一台主服务器(Primary),多台从服务器(Secondary)   2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作   3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来   2 【Spark八十一】Hive in the spark assembly bit1129 assembly Spark SQL supports most commonly used features of HiveQL. However, different HiveQL statements are executed in different manners: 1. DDL statements (e.g. CREATE TABLE, DROP TABLE, etc.) Nginx问题定位之监控进程异常退出 ronin47 nginx在运行过程中是否稳定，是否有异常退出过？这里总结几项平时会用到的小技巧。 1. 在error.log中查看是否有signal项，如果有，看看signal是多少。 比如，这是一个异常退出的情况： $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on s No grammar constraints (DTD or XML schema).....两种解决方法 byalias xml 方法一：常用方法   关闭XML验证 工具栏：windows => preferences => xml => xml files => validation => Indicate when no grammar is specified:选择Ignore即可。 方法二：（个人推荐） 添加 内容如下 <?xml version= Netty源码学习-DefaultChannelPipeline bylijinnan netty package com.ljn.channel; /** * ChannelPipeline采用的是Intercepting Filter 模式 * 但由于用到两个双向链表和内部类，这个模式看起来不是那么明显，需要仔细查看调用过程才发现 * * 下面对ChannelPipeline作一个模拟，只模拟关键代码： */ public class Pipeline { MYSQL数据库常用备份及恢复语句 chicony mysql 备份MySQL数据库的命令，可以加选不同的参数选项来实现不同格式的要求。 mysqldump -h主机 -u用户名 -p密码 数据库名 > 文件 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > ba 小白谈谈云计算--基于Google三大论文 CrazyMizzz Google云计算GFS     之前在没有接触到云计算之前，只是对云计算有一点点模糊的概念，觉得这是一个很高大上的东西，似乎离我们大一的还很远。后来有机会上了一节云计算的普及课程吧，并且在之前的一周里拜读了谷歌三大论文。不敢说理解，至少囫囵吞枣啃下了一大堆看不明白的理论。现在就简单聊聊我对于云计算的了解。     我先说说GFS   &n hadoop 平衡空间设置方法 daizj hadoopbalancer 在hdfs-site.xml中增加设置balance的带宽，默认只有1M： <property>   <name>dfs.balance.bandwidthPerSec</name>     <value>10485760</value>     <description&g Eclipse程序员要掌握的常用快捷键 dcj3sjt126com 编程   判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。 曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得 Android学习之路 dcj3sjt126com Android学习 转自：http://blog.csdn.net/ryantang03/article/details/6901459 以前有J2EE基础，接触JAVA也有两三年的时间了，上手Android并不困难，思维上稍微转变一下就可以很快适应。以前做的都是WEB项目，现今体验移动终端项目，让我越来越觉得移动互联网应用是未来的主宰。 下面说说我学习Android的感受，我学Android首先是看MARS的视 java 遍历Map的四种方法 eksliang javaHashMapjava 遍历Map的四种方法 转载请出自出处： http://eksliang.iteye.com/blog/2059996 package com.ickes; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; /** * 遍历Map的四种方式 【精典】数据库相关相关 gengzg 数据库 package C3P0; import java.sql.Connection; import java.sql.SQLException; import java.beans.PropertyVetoException; import com.mchange.v2.c3p0.ComboPooledDataSource; public class DBPool{ 自动补全 huyana_town 自动补全 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml&quo jquery在线预览PDF文件，打开PDF文件 天梯梦 jquery 最主要的是使用到了一个jquery的插件jquery.media.js，使用这个插件就很容易实现了。   核心代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional. ViewPager刷新单个页面的方法 lovelease androidviewpagertag刷新   使用ViewPager做滑动切换图片的效果时，如果图片是从网络下载的，那么再子线程中下载完图片时我们会使用handler通知UI线程，然后UI线程就可以调用mViewPager.getAdapter().notifyDataSetChanged()进行页面的刷新，但是viewpager不同于listview，你会发现单纯的调用notifyDataSetChanged()并不能刷新页面 利用按位取反（~）从复合枚举值里清除枚举值 草料场 enum 以 C# 中的 System.Drawing.FontStyle 为例。   如果需要同时有多种效果， 如：“粗体”和“下划线”的效果，可以用按位或（|） FontStyle style = FontStyle.Bold | FontStyle.Underline;   如果需要去除 style 里的某一种效果， Linux系统新手学习的11点建议 刘星宇 编程工作linux脚本 　　随着Linux应用的扩展许多朋友开始接触Linux，根据学习Windwos的经验往往有一些茫然的感觉：不知从何处开始学起。这里介绍学习Linux的一些建议。 　　一、从基础开始：常常有些朋友在Linux论坛问一些问题，不过，其中大多数的问题都是很基础的。例如：为什么我使用一个命令的时候，系统告诉我找不到该目录，我要如何限制使用者的权限等问题，这些问题其实都不是很难的，只要了解了 Linu hibernate dao层应用之HibernateDaoSupport二次封装 wangzhezichuan DAOHibernate /** * <p>方法描述:sql语句查询 返回List<Class> </p> * <p>方法备注: Class 只能是自定义类 </p> * @param calzz * @param sql * @return * <p>创建人：王川</p> * <p>创建时间：Jul 按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他 首页 - 关于我们 - 站内搜索 - Sitemap - 侵权投诉 版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.