Python 爬虫入门

Python 爬虫入门

Python 的爬虫功能使得程序员可以快速抓取并分析网页中的信息，它实质上是模拟浏览器访问网页。本章主要常用的两个爬虫相关的库requests，beautifulsoup4。若要模拟鼠标点击等，要用到selenium 库，限于篇幅限制，本章不再介绍，具体可以查阅相关资料。

requests 库

每个网页都有源代码，可以通过鼠标单击右键查看网页源代码。网页中的很多信息都在源代码里面，requests 是一个访问网页源代码的库。一般通过 get 函数访问网页，另外一个常用来访问网页的函数是 post，与 get 函数的区别在于 post 能够传递表格或文件到网页所在服务器上。

get(url, [timeout], [headers], [proxies], **kwargs)
url	网页链接
timeout	可选参数，请求网页的最大时长，单位为秒
headers	可选参数，模拟浏览器设置
proxies	可选参数，代理服务器设置
**kwargs	其他参数

get 或 post 函数返回一个 Resoponse 对象，该对象包括以下常用的属性或函数。

属性或函数	描述
status_code	网页请求的返回状态，200 表示连接成功，404 表示连接失败
text	响应网页的字符串内容
encoding	响应网页的编码方式，可以更改
content	相应网页的字节形式内容，例如图片或 pdf 文件等
raise_for_status()	如果网页访问不成功，抛出异常，一般结合 try-except 语句使用
json()	该函数可以解析网页内容中 JSON 格式的数据

import requests

r = requests.get('http://www.baidu.com')
r.status_code

200

r.text # 结果省略

r.encoding  # 若为 ISO-8859-1 则中文为乱码

'ISO-8859-1'

r.encoding = 'utf-8' # 无论网页原内容是什么编码，都改成 utf-8 编码

beautifulsoup4库

使用requests获取的网页源代码一般非常复杂，不仅包括常规内容，还包括很多定义页面格式的代码。

:class: tip
- 网页中的内容一般在网页源代码的各个标签里

例如有下面的 html 代码：

html_doc = """

    
        
Hello, BeautifulSoup!
        

            
Link 1
            
Link 2
        
        

        
text1
 
text2
        
    

"""

beautifulsoup4库提供了大量的属性或函数，能够方便地将网页（html）不同标签（tag）中的内容提取出来。常用的属性有下面几个：

属性	描述
head	网页源代码中的 标签内容
title	网页源代码中的 soup.p # html 语言中 p 标签表示一个文本段落 关于百度 About Baidu 上面的这些标签对象还有自己的属性可以访问更具体的内容。 标签属性 描述 name 标签名字，例如 a，p，div等 attrs 标签的具体属性 contents 第一个该标签下的所有内容，为列表形式 string 第一个该标签或子标签下的文本内容，若标签中没有内容或者超过一层的子标签，则返回 None text 第一个该标签下（包括子标签）的所有文本内容，若没有内容则返回空文本 soup.p.name 'p' soup.p.attrs {'id': 'lh'} soup.p.contents [' ', 关于百度, ' ', About Baidu, ' '] soup.p.string soup.p.text ' 关于百度 About Baidu ' 将挖网页内容传递给 BeautifulSoup 提取时，还可以指定解析器，例如 ‘html.parser’, ‘lxml’, ‘xml’, ‘html5lib’。这些解析器各有利弊，其中 ‘lxml’ 解析速度最快。将上面的 html_doc 的网页文件传递给 BeautifulSoup： soup2 = BeautifulSoup(html_doc, 'lxml') # 或者 soup2 = BeautifulSoup(html_doc, features = 'lxml') soup2.ul.text '\nLink 1\nLink 2\n' type(soup2.ul.string) # 文本内容嵌套超过一层，返回 None NoneType soup2.li.contents # html 语言中 a 标签是超链接，ul 与 li 标签表示一个无序列表 [Link 1] soup2.ul.li.text # 标签通过逗点套子标签 'Link 1' 函数findall()，find() 当需要列出同一类标签对应的所有内容时，需要用到 BeautifulSoup 中的 findall() 函数。 find_all([name], [attrs], [string], [limit], **kwargs) name 标签名字 attrs 按照标签的具体属性检索, 采用 class_= 形式或 JSON 格式等 string 按照关键字检索，采用 string= 形式，返回与关键字完全匹配的字符串 limit 返回结果的个数，默认返回所有结果 **kwargs 其他参数 还有一个函数find()，与findall()的区别在于find()只寻找第一个对应标签的内容。还有一个函数find_next()，可以查找标签的下一个标签。类似的检索函数还有select，本书不再赘述。 soup2.find_all('a') # 检索出网页中所有的 a 标签 [Link 1, Link 2] soup2.find_all('a', class_ = 'c1') [Link 1] soup2.find_all(class_ = 'c1') # 参数中可以没有标签名字 [Link 1] soup2.find_all(string = 'Link') # 关键词检索 [] 函数get() 通过函数get可以访问标签的具体属性，例如 class 类型，具体超链接等。 soup2.a.get('class') ['c1'] soup2.a.get('href') 'http://example1.com' import re # 导入正则表达式库 soup2.find_all(string = re.compile('Link')) # 通过正则表达式将所有包含 Link 的字符串都检索出来 ['Link 1', 'Link 2'] 正则表达式是计算机科学中用来描述字符串的一种表达式。正则表达式定义一个字符串表达规则，只要字符串满足这个规则，就算则匹配。可以通过字符串结合符号 .*?<=()[]{}dw 等定义多种表达规则，具体可以进一步查阅相关资料。 BeautifulSoup 另外一个常用的获取文本内容的函数为get_text。与直接使用标签的属性 text 相比，get_text 更加灵活，能够方便地实现文本换行。它的一般用法为： get_text([separator=''], [strip=False], **kwargs) separator 各标签下文本的分隔符 strip 是否去掉各标签文本的前后空格 **kwargs 其他参数 soup2.div.text # html 语言中 div 标签表示网页中的一个区域 '\ntext1 text2\n' soup2.div.get_text() '\ntext1 text2\n' soup2.div.get_text(separator = '\n') '\n\ntext1\n \ntext2\n\n' soup2.div.get_text(separator = '**') '\n**text1** **text2**\n' soup2.div.get_text(strip = True) 'text1text2' 爬虫实例 1：抓小说 下面，我们举例如何用爬虫抓取网上的《三国演义》小说，并将每回的内容下载到电脑里。 首先，找到一个包含《三国演义》小说的网站，本例中，使用了古诗文网：https://so.gushiwen.cn/guwen/book_46653FD803893E4F7F702BCF1F7CCE17.aspx 然后，在网页的空白处，单击鼠标右键，查看网页源代码： 网页的源代码大致如下： 我们发现每一回的链接在网页中的标签 ul 里面，具体在其每个子标签 span 中的子标签 a 里面。 打开其中任一回的链接，在网页空白处单击右键，查看网页源代码： 我们发现每一回的内容在具体属性为 class=‘contson’ 的 div 标签里，其中第一句为每一回的标题，而之后的内容为正文。 根据网页的以上两个特点，设计 Python 的爬虫代码如下。 import requests # 联系网络的包，a package for requesting from websites from bs4 import BeautifulSoup # 分析网页数据的包，a package for webstie data analysis import time import random import os # 获取单个网页信息 def get_url_content(url): # headers = { # 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36' # } # 主要是模拟浏览器登录，防止反爬，一般的网站没有这个也行，谷歌浏览器 按 F12 能够找到网站支持的 headers r = requests.get(url, timeout=30) # 获取网页的内容，并返回给r变量，timeout 为超时时间 # r.raise_for_status() # 检查返回网页的内容的状态码，200表示成功 # r.encoding = r.apparent_encoding # 统一编码方式 return r.text # 返回网页中的文本内容，数据内容为 r.content # 解析出网页中想要的信息，爬虫的关键步骤 def filter_info(chapter_num, url_text): soup = BeautifulSoup(url_text, "lxml") # 解析网页返回内容，lxml 是一个解码方式，效率比较快，被推荐使用 contents = soup.find('div', class_='contson') # 使用 get_text 可以实现网页里面 p 标签中文本内容的换行，而 text 不能 chapter_title = contents.find('p').get_text() # 第一句话是本回的标题 chapter_title = '第' + str(chapter_num) + '回 ' + chapter_title.lstrip() # chapter_content = contents.get_text(separator="\n") # find 返回的不是列表，不用跟 [0] chapter_content = contents.text chapter_content = chapter_content.lstrip() # 去掉字符串左边的空字符 this_chapter = [chapter_title, chapter_content] return this_chapter # 从网页中找到每一回的链接 def get_url_links(url_head_content): soup = BeautifulSoup(url_head_content, "lxml") # 解析网页返回内容，lxml 是一个解码方式，效率比较快，被推荐使用 # links = soup.find('div', class_='bookcont') # 每一回的链接都在类 span 里面 links = soup.find('ul') # 每一回的链接都在类 ul 里面 links = links.findAll('span') link_list = [] for each in links: link_list.append(each.a.get('href')) # 获取每一回的链接，存储到列表里 return link_list # 将每章内容输出到 txt 文档里 def write_txt(string_array): file_address = 'E:/三国演义/' # txt 存放地址 if not os.path.exists(file_address): #用os库判断对应文件夹是否存在 os.makedirs(file_address) #如果没有对应文件夹则自动生成 file_name = string_array[0] with open(file_address + file_name + '.txt', 'w', encoding='utf-8') as f: # 必须跟解码形式，不然有的网页中文内容写不到txt里 f.write(string_array[1]) # 主函数 def main(): url = 'https://so.gushiwen.cn/gushi/tangshi.aspx' # 古诗文网三国演义网址 url_head_content = get_url_content(url) # 获取网页 links = get_url_links(url_head_content) # 获取每一回的链接地址 # enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列 # 同时列出数据下标和数据 for index, each in enumerate(links): url_link_content = get_url_content(each) # 获取每一回的网页内容 chapter_content = filter_info(index + 1, url_link_content) # 解析每一回的网页内容，获取小说文本 write_txt(chapter_content) # 输出小说内容到 txt time.sleep(random.random() * 1) # 每抓一个网页休息0~1秒，防止被反爬措施封锁 IP # 运行函数 main() 其中，使用 requests 库时，有的网站需要设置 headers 参数才能正确模拟浏览器登录。headers 参数可以在打开网页时，按键盘F12 打开， 然后刷新一下网页，单击F12弹出窗口的任何一个文件，就能查看网站的所有 headers 信息，有 cookie，user-agent 等信息。如下图所示： 我们可以复制一部分信息或全部信息，放到 request 函数的 headers 参数里面。 爬虫实例 2：抓豆瓣 top 250 的电影信息 我们想获取豆瓣高分评价的 250 部电影的信息：电影名字，导演，上映年代，评分，评分人数等。打开豆瓣 top 250 的网页链接 https://movie.douban.com/top250?start= ，发现每个网页显示 25 部电影，一共有 10 个挖网页，网页地址与链接中的 start = 后面的数字有关。例如第 3 个子网页的链接地址是 'https://movie.douban.com/top250?start=50 ，根据这个规律，我们可以用一个 for 循环，将 10 个网页分别打开抓取信息。 打开一个网页，单击右键查看网页源代码，如下图所示： 通过源代码发现以下几个特点： 每部电影的信息都在标签 里面。据此，我们可以用一个 for 循环，将每个网页的 标签都检索出来 电影的中英文名字都在标签 里，而其他名字在标签 里。我们可以使用函数find()以及find_next() 检索出来。 导演，主演，上映年代，电影产地，电影类型信息在标签 里。我们可以使用函数find()检索，然后利用正则表达式将里面对应文本信息分别提取出来。 评分信息在标签 里。我们可以使用函数find()检索出来。 评分人数信息在标签 里。我们可以通过函数find()结合关键字’评价’检索出来。（网页中的 < span > 提供了一种将文本的一部分或者文档的一部分独立出来的方式） 代表性评价信息在标签 里。我们可以使用函数find()检索出来。 根据以上的特点，设计出以下的 python 代码。其中中文分词库jieba，词云库WordCloud库等，若没有安装，需要提前安装（使用 pip 或 conda 安装）到电脑上。 在画图时，使用 matplotlib 画出饼图，使用 WordCloud 生成词云图，因为 matplotlib 不能自动将不同柱子分配不同的颜色，使用 seaborn 画出柱状图。 import requests # 联系网络的包，a package for requesting from websites import pandas as pd from bs4 import BeautifulSoup # 分析网页数据的包，a package for webstie data analysis import matplotlib.pyplot as plt # 画图的包 import time import random import jieba # 中文分词包 from wordcloud import WordCloud # 词云包 import re # 正则表达式包 import seaborn as sns # 用 seaborn 画柱状图 plt.rcParams['font.sans-serif'] = ['SimHei'] # 主要是模拟浏览器登录，防止反爬 headers = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36' } ## store the information rank_list = [] name_list = [] # 用来存储电影名字的一个二维列表 director_list = [] # 用来存储导演名字的一个列表，下面几个变量类似 actor_list = [] year_list = [] rating_list = [] ratingNum_list = [] quote_list = [] place_list = [] category_list = [] num = 0 for i in range(0, 10): link = 'https://movie.douban.com/top250?start=' + str(i*25) # 250部电影一共 10个网页， 10 pages for total 250 movies res = requests.get(link, headers = headers, timeout = 10) time.sleep(random.random()*3) # 每抓一个网页休息2~3秒，防止被反爬措施封锁 IP，avoid being blocked of the IP address # res.text is the content of the crawler soup = BeautifulSoup(res.text, "lxml") # lxml 是一个解码方式，lxml is one decoding model for Beautifulsoup movie_list = soup.find_all('div', class_ = 'item') # 检索所有类型为 item 的 div 标签 for each in movie_list: # 排名在 em 标签里 rank = each.em.text rank_list.append(rank) # 电影名字在标签 与 里 other_name = each.find('span', class_ = 'other').get_text() other_name = other_name.replace(' ', '') # 去掉空格 other_name = other_name.replace('\xa0/\xa0', '') # 去掉多余字符 \xa0/\xa0 cn_name = each.find('span', class_ = 'title').get_text() eg_name = each.find('span', class_ = 'title').find_next().get_text() # find_next() 查找满足条件的下一个标签 eg_name = eg_name.replace('\xa0/\xa0', '') # 去掉多余字符 \xa0/\xa0 name_list.append([cn_name, eg_name, other_name]) # 评分信息在标签 里 rating = each.find('span', class_ = 'rating_num').get_text() rating_list.append(float(rating)) # 评价人数通过关键词'评价'检索 rating_num = each.find(string = re.compile('评价')).get_text() rating_num = rating_num.replace('人评价', '') ratingNum_list.append(int(rating_num)) # 代表性评价在 里 try: quote = each.find('p', class_ = 'quote').get_text() except Exception: # 有的电影代表性评价没有显示 quote = '' quote_list.append(quote) info = each.p.get_text(strip = True) # 定义正则表达式提取出导演，主演，上映时间，地点，电影类型信息 try: # (?<=导演: ) match any character begins after character '导演: ' # .*? match any character (.), zero or more times (*) but as less as possible (?) # (?=主) match any character before character '主' director = re.compile('(?<=导演: ).*?(?=主)').findall(info)[0] actor = re.compile('(?<=主演: ).*?(?=/)').findall(info)[0] except Exception: # 有的电影导演名字太长，主演没有显示出来 director = re.compile('(?<=导演: ).*?(?=\xa0)').findall(info)[0] actor = '' director_list.append(director) actor_list.append(actor) # \d{4} is a four digit number year = re.compile('(?<=...)\d{4}').findall(info)[0] year_list.append(year) place_category = re.compile('(?<=\xa0/\xa0).*').findall(info)[0] place_category = place_category.replace('\xa0', '') place_category = place_category.split('/') place = place_category[0] category = place_category[1] place_list.append(place) category_list.append(category) # 将数据存到 pandas 里 df = pd.DataFrame(rank_list, columns = ['排名']) df['电影名字'] = [i[0] for i in name_list] df['外文名字'] = [i[1] for i in name_list] df['其他名字'] = [i[2] for i in name_list] df['评分'] = rating_list df['评价人数'] = ratingNum_list df['导演'] = director_list df['主演'] = actor_list df['上映日期'] = year_list df['地区'] = place_list df['类型'] = category_list df['代表性评论'] = quote_list # 导出到 xls 文件里，save to xls file df.to_csv('豆瓣 top 250 电影爬虫抓取.csv') # 分析电影来源地并画饼图 locations = [] for i in range(len(place_list)): nations = place_list[i].split(' ') for j in range(len(nations)): if nations[j] == '西德': nations[j] = '德国' locations.append(nations[j]) df_location = pd.DataFrame(locations, columns = ['地区']) # 按照出现次数排序, size() 可以查数，生成一个 Series 类型 # 然后用 reset_index 重新命名，参数为 name # DataFrame 类型的 reset_index 参数为 names df2 = df_location.groupby('地区').size().reset_index(name='counts') # df2 = df2['地区'].value_counts(ascending = False).reset_index() df2.sort_values(by = 'counts', ascending = False, inplace = True, ignore_index = True) # 画饼状图 values = [] labels = [] other_count = 0 for i in range(9): values.append(df2['counts'][i]) labels.append(df2['地区'][i]) for i in range(9, df2.shape[0]): other_count += int(df2['counts'][i]) values.append(other_count) labels.append('其他地区') plt.figure(1) plt.pie(values, labels=labels, autopct='%.2f%%') plt.legend() # 显示标签 plt.show() # 分析电影类型并画饼图 categories = [] for i in range(len(category_list)): category = category_list[i].split(' ') for j in range(len(category)): categories.append(category[j]) df_category = pd.DataFrame(categories, columns = ['类型']) df3 = df_category.groupby('类型').size().reset_index(name='counts') df3.sort_values(by = 'counts', ascending = False, inplace = True, ignore_index = True) values = [] labels = [] other_count = 0 for i in range(15): values.append(df3['counts'][i]) labels.append(df3['类型'][i]) for i in range(15, df3.shape[0]): other_count += int(df3['counts'][i]) values.append(other_count) labels.append('其他类型') plt.figure(2) plt.pie(values, labels=labels, autopct='%.2f%%') plt.legend() plt.show() # 画词云图 jieba.add_word('久石让') jieba.add_word('谢耳朵') # 一些语气词和没有意义的词 del_words = [ '就是', '一个', '被', '电影', '我们', '不是', '每个', '不会', '没有', '这样', '那么', '不要', '如果', '不能', '一种', '不过', '只有', '不得不', '不得不', '一部'] all_quotes = ''.join(quote_list) # 将所有代表性评论拼接为一个文本 # 去掉标点符号 all_quotes = re.sub(r"[0-9\s+\.\!\/_,$%^*()?;；:-【】+\"\']+|[+——！，;:。？、~@#￥%……&*（）]+", " ", all_quotes) words = jieba.lcut(all_quotes) words_final = [] for i in range(len(words)): if len(words[i]) > 1 and words[i] not in del_words: # 去掉一些语气词，单字词 words_final.append(words[i]) text_result = Counter(words_final) cloud = WordCloud( font_path = 'C:\Windows\Fonts\FZSTK.TTF', # 中文字体地址 C:\Windows\Fonts\FZSTK.TTF，提前下载字体或指定，否则中文无法显示 # mask = '' 通过 mask 参数指定一个图片地址作为词云的背景图像 background_color = 'white', width = 1000, height = 860, max_words = 25 ) #wc = cloud.generate(words) # 这种方法对中文支持不太好，this mehtod is better for only english string wc = cloud.generate_from_frequencies(text_result) wc.to_file("豆瓣 TOP 250 词云.jpg") plt.figure(3) plt.imshow(wc) plt.axis('off') plt.title('豆瓣 TOP 250 电影代表性评论的词云分析') plt.show() # 评分最高的 15 部电影 # 用 seaborn 画柱状图，因为自动将不同柱子分配不同的颜色 df_star = df.sort_values(by = '评分', ascending = False, ignore_index = True) number = 15 df_star_top = df_star.head(number) plt.figure(4) sns.barplot(data = df_star_top, y = '电影名字', x = '评分', orient = 'h') plt.title('评分最高的 ' + str(number) + ' 部电影') plt.show() # 评分人数最多的 15 部电影 df_num = df.sort_values(by = '评价人数', ascending = False, ignore_index = True) df_num_top = df_num.head(number) plt.figure(5) sns.barplot(data = df_num_top, y = '电影名字', x = '评价人数', orient = 'h') plt.title('评分人数最多的 ' + str(number) + ' 部电影') plt.show() # 电影年代画图 df_year = df.groupby('上映日期').size().reset_index(name = '部数') df_year.sort_values('部数', ascending = False, inplace = True) df_year_top = df_year.head(20) df_year_top.sort_values('上映日期', inplace = True) plt.figure(6) sns.barplot(data = df_year_top, x = '上映日期', y = '部数') plt.title('电影上映年代') plt.show() 生成的图形如下： 后记 不同的网站的爬虫技巧经常不一样，要具体网站具体分析。 由于一些网站经常更新数据的存储地址或源代码，某段时间的爬虫代码可能在下一个时间段就不能用了，爬虫代码也要更新。 有的网页信息并不在网站直接打开的网页源代码里（例如弹幕、电商评论等），还要结合按键F12找到网页信息的真实地址。 提取网页信息时，经常要用到正则表达式处理字符串。 近年来，许多网站都提高了反爬手段防止网站的数据被无端获取。因此，提醒读者避免过度使用爬虫，给一些网站造成不必要的访问负担。 你可能感兴趣的:(Python,python,爬虫,requests,beautifulsoup,豆瓣) 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维 理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico Python数据分析与可视化实战指南 William数据分析 pythonpython数据 在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学 python os.environ 江湖偌大 python深度学习 os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']=' Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言 文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享 Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例 Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言 目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代 python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA 使用Faiss进行高效相似度搜索 llzwxh888 faisspython 在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss python是什么意思中文-在python中%是什么意思 编程大乐趣 Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填 利用Requests Toolkit轻松完成HTTP请求 nseejrukjhad http网络协议网络python RequestsToolkit的力量：轻松构建HTTP请求Agent在现代软件开发中，API请求是与外部服务交互的核心。RequestsToolkit提供了一种便捷的方式，帮助开发者构建自动化的HTTP请求Agent。本文旨在详细介绍RequestsToolkit的设置、使用和潜在挑战。引言RequestsToolkit是一个强大的工具包，可用于构建执行HTTP请求的智能代理。这对于想要自动化与外 Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘 大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程 python八股文面试题分享及解析(1) Shawn________ python #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构 目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章 Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言 第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&# pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化 一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据 Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang 前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python 华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法 python os 环境变量 CV矿工 python开发语言numpy 环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类 Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言 文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python 华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库 Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快) 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言 对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥 Python中深拷贝与浅拷贝的区别 yuxiaoyu. 转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复 Python开发常用的三方模块如下： 换个网名有点难 python开发语言 Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机 “这才好”麻辣香锅 能够增加人身体的免疫能力 小补文知 我就来介绍一种香锅，那就是“这才好”麻辣香锅，它产出于著名的蜀地文化，具有悠久的历史土家风味，麻辣鲜香，健康安全。采用传统秘制麻辣香锅油辣子，还有贴心加料“孜然包”满足人们的不同口味需求，香锅底料辣椒，微辣且香，含有丰富微量元素和维生素，具有辣而不躁，味道纯正，醇厚温和。花椒采用历史悠久，被列为宫廷供品的“贡椒”的汉源花椒。我们还挑选了“川菜之魂”郫县豆瓣的鼻祖品牌豆瓣，保留最原始的郫县豆瓣味道， Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端 嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言 接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义 一文掌握python常用的list（列表）操作 程序员neil pythonpython开发语言 目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()： Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl python中的深拷贝与浅拷贝 anshejd70787 python 深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis 对于规范和实现，你会混淆吗？ yangshangchuan HotSpot 昨晚和朋友聊天，喝了点咖啡，由于我经常喝茶，很长时间没喝咖啡了，所以失眠了，于是起床读JVM规范，读完后在朋友圈发了一条信息： JVM Run-Time Data Areas：The Java Virtual Machine defines various run-time data areas that are used during execution of a program. So android 网络 百合不是茶 网络 android的网络编程和java的一样没什么好分析的都是一些死的照着写就可以了,所以记录下来  方便查找   ,  服务器使用的是TomCat   服务器代码;  servlet的使用需要在xml中注册 package servlet; import java.io.IOException; import java.util.Arr [读书笔记]读法拉第传 comsci 读书笔记       1831年的时候,一年可以赚到1000英镑的人..应该很少的...       要成为一个科学家,没有足够的资金支持,很多实验都无法完成       但是当钱赚够了以后....就不能够一直在商业和市场中徘徊...... 随机数的产生 沐刃青蛟 随机数 c++中阐述随机数的方法有两种：   一是产生假随机数（不管操作多少次，所产生的数都不会改变）          这类随机数是使用了默认的种子值产生的，所以每次都是一样的。   //默认种子 for (int i = 0; i < 5; i++) { cout<< PHP检测函数所在的文件名 IT独行者 PHP函数 很简单的功能，用到PHP中的反射机制，具体使用的是ReflectionFunction类，可以获取指定函数所在PHP脚本中的具体位置。 创建引用脚本。 代码：   [php]   view plain copy // Filename: functions.php    <?php&nbs 银行各系统功能简介 文强chu 金融 银行各系统功能简介 　 业务系统 核心业务系统 业务功能包括：总账管理、卡系统管理、客户信息管理、额度控管、存款、贷款、资金业务、国际结算、支付结算、对外接口等 清分清算系统 以清算日期为准，将账务类交易、非账务类交易的手续费、代理费、网络服务费等相关费用，按费用类型计算应收、应付金额，经过清算人员确认后上送核心系统完成结算的过程 国际结算系 Python学习1(pip django 安装以及第一个project) 小桔子 pythondjangopip     最近开始学习python,要安装个pip的工具。听说这个工具很强大，安装了它，在安装第三方工具的话so easy!然后也下载了，按照别人给的教程开始安装，奶奶的怎么也安装不上！ 第一步：官方下载pip-1.5.6.tar.gz, https://pypi.python.org/pypi/pip easy! 第二部：解压这个压缩文件，会看到一个setup.p php 数组 aichenglong PHP排序数组循环多维数组 1 php中的创建数组 $product = array('tires','oil','spark');//array()实际上是语言结构而不  是函数 2 如果需要创建一个升序的排列的数字保存在一个数组中，可以使用range()函数来自动创建数组 $numbers=range(1,10)//1 2 3 4 5 6 7 8 9 10 $numbers=range(1,10, 安装python2.7 AILIKES python 安装python2.7 1、下载可从 http://www.python.org/进行下载#wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2、复制解压 #mkdir -p /opt/usr/python #cp  /opt/soft/Python-2 java异常的处理探讨 百合不是茶 JAVA异常 //java异常  /* 1，了解java 中的异常处理机制，有三种操作 a,声明异常  b,抛出异常  c,捕获异常 2，学会使用try-catch-finally来处理异常 3，学会如何声明异常和抛出异常 4，学会创建自己的异常   */   //2，学会使用try-catch-finally来处理异常   getElementsByName实例 bijian1013 element 实例1： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x 探索JUnit4扩展：Runner bijian1013 java单元测试JUnit         参加敏捷培训时，教练提到Junit4的Runner和Rule，于是特上网查一下，发现很多都讲的太理论，或者是举的例子实在是太牵强。多搜索了几下，搜索到两篇我觉得写的非常好的文章。         文章地址：http://www.blogjava.net/jiangshachina/archive/20 [MongoDB学习笔记二]MongoDB副本集 bit1129 mongodb 1. 副本集的特性   1)一台主服务器(Primary),多台从服务器(Secondary)   2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作   3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来   2 【Spark八十一】Hive in the spark assembly bit1129 assembly Spark SQL supports most commonly used features of HiveQL. However, different HiveQL statements are executed in different manners: 1. DDL statements (e.g. CREATE TABLE, DROP TABLE, etc.) Nginx问题定位之监控进程异常退出 ronin47 nginx在运行过程中是否稳定，是否有异常退出过？这里总结几项平时会用到的小技巧。 1. 在error.log中查看是否有signal项，如果有，看看signal是多少。 比如，这是一个异常退出的情况： $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on s No grammar constraints (DTD or XML schema).....两种解决方法 byalias xml 方法一：常用方法   关闭XML验证 工具栏：windows => preferences => xml => xml files => validation => Indicate when no grammar is specified:选择Ignore即可。 方法二：（个人推荐） 添加 内容如下 <?xml version= Netty源码学习-DefaultChannelPipeline bylijinnan netty package com.ljn.channel; /** * ChannelPipeline采用的是Intercepting Filter 模式 * 但由于用到两个双向链表和内部类，这个模式看起来不是那么明显，需要仔细查看调用过程才发现 * * 下面对ChannelPipeline作一个模拟，只模拟关键代码： */ public class Pipeline { MYSQL数据库常用备份及恢复语句 chicony mysql 备份MySQL数据库的命令，可以加选不同的参数选项来实现不同格式的要求。 mysqldump -h主机 -u用户名 -p密码 数据库名 > 文件 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > ba 小白谈谈云计算--基于Google三大论文 CrazyMizzz Google云计算GFS     之前在没有接触到云计算之前，只是对云计算有一点点模糊的概念，觉得这是一个很高大上的东西，似乎离我们大一的还很远。后来有机会上了一节云计算的普及课程吧，并且在之前的一周里拜读了谷歌三大论文。不敢说理解，至少囫囵吞枣啃下了一大堆看不明白的理论。现在就简单聊聊我对于云计算的了解。     我先说说GFS   &n hadoop 平衡空间设置方法 daizj hadoopbalancer 在hdfs-site.xml中增加设置balance的带宽，默认只有1M： <property>   <name>dfs.balance.bandwidthPerSec</name>     <value>10485760</value>     <description&g Eclipse程序员要掌握的常用快捷键 dcj3sjt126com 编程   判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。 曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得 Android学习之路 dcj3sjt126com Android学习 转自：http://blog.csdn.net/ryantang03/article/details/6901459 以前有J2EE基础，接触JAVA也有两三年的时间了，上手Android并不困难，思维上稍微转变一下就可以很快适应。以前做的都是WEB项目，现今体验移动终端项目，让我越来越觉得移动互联网应用是未来的主宰。 下面说说我学习Android的感受，我学Android首先是看MARS的视 java 遍历Map的四种方法 eksliang javaHashMapjava 遍历Map的四种方法 转载请出自出处： http://eksliang.iteye.com/blog/2059996 package com.ickes; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; /** * 遍历Map的四种方式 【精典】数据库相关相关 gengzg 数据库 package C3P0; import java.sql.Connection; import java.sql.SQLException; import java.beans.PropertyVetoException; import com.mchange.v2.c3p0.ComboPooledDataSource; public class DBPool{ 自动补全 huyana_town 自动补全 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml&quo jquery在线预览PDF文件，打开PDF文件 天梯梦 jquery 最主要的是使用到了一个jquery的插件jquery.media.js，使用这个插件就很容易实现了。   核心代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional. ViewPager刷新单个页面的方法 lovelease androidviewpagertag刷新   使用ViewPager做滑动切换图片的效果时，如果图片是从网络下载的，那么再子线程中下载完图片时我们会使用handler通知UI线程，然后UI线程就可以调用mViewPager.getAdapter().notifyDataSetChanged()进行页面的刷新，但是viewpager不同于listview，你会发现单纯的调用notifyDataSetChanged()并不能刷新页面 利用按位取反（~）从复合枚举值里清除枚举值 草料场 enum 以 C# 中的 System.Drawing.FontStyle 为例。   如果需要同时有多种效果， 如：“粗体”和“下划线”的效果，可以用按位或（|） FontStyle style = FontStyle.Bold | FontStyle.Underline;   如果需要去除 style 里的某一种效果， Linux系统新手学习的11点建议 刘星宇 编程工作linux脚本 　　随着Linux应用的扩展许多朋友开始接触Linux，根据学习Windwos的经验往往有一些茫然的感觉：不知从何处开始学起。这里介绍学习Linux的一些建议。 　　一、从基础开始：常常有些朋友在Linux论坛问一些问题，不过，其中大多数的问题都是很基础的。例如：为什么我使用一个命令的时候，系统告诉我找不到该目录，我要如何限制使用者的权限等问题，这些问题其实都不是很难的，只要了解了 Linu hibernate dao层应用之HibernateDaoSupport二次封装 wangzhezichuan DAOHibernate /** * <p>方法描述:sql语句查询 返回List<Class> </p> * <p>方法备注: Class 只能是自定义类 </p> * @param calzz * @param sql * @return * <p>创建人：王川</p> * <p>创建时间：Jul 按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他 首页 - 关于我们 - 站内搜索 - Sitemap - 侵权投诉 版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.