Jupyter：数据分析和网络爬虫开发利器

Jupyter是一种流行的数据分析和网络爬虫开发工具。它具有许多功能，使得在各种语言（如Python、R和Julia）中编写、测试和调试代码变得简单。Jupyter的一个优点是，它允许用户在Web浏览器中与数据和可视化进行交互，无需在本地计算机上安装任何软件。另一个优点是，Jupyter可以使用代理IP地址，以避免在使用网络爬虫收集数据时被网站封锁。
Jupyter是一个开源的Web应用程序，对于数据分析师和开发人员来说，它已经成为一种备受欢迎的工具，因为它具有丰富的功能和用户友好的界面，适用于使用Python、R和Julia等各种编程语言的专业人士。
Jupyter的一个关键优势是它能够在Web浏览器环境中无缝集成代码、数据和可视化。这意味着用户可以直接在Web浏览器中编写、执行和修改代码单元，无需进行任何额外的软件安装。这个特性为用户提供了便捷的体验，他们可以方便地从任何带有互联网连接的设备上访问和交互他们的数据分析工作流程。
此外，Jupyter还提供了广泛的数据探索和可视化支持。它的笔记本界面允许用户在代码旁边包含描述性的Markdown文本、数学方程和可视化，从而提供了他们分析过程的综合性叙述。这个功能使用户能够创建交互式和动态报告，更容易地与同事或利益相关者交流和共享发现。
除了数据分析能力，Jupyter在网络爬虫开发方面表现出色。网络爬虫是用于从网站中提取数据的自动化程序。Jupyter为多种编程语言的开发和测试网络爬虫提供了一个便捷的环境。通过利用其交互式界面和代码执行能力，用户可以轻松构建和迭代他们的网络爬虫脚本。
在网络爬虫的背景下，Jupyter的一个显著优势是它能够使用代理IP地址。在从网站收集数据时，网络爬虫经常面临IP封锁的挑战，即网站限制访问或阻止来自特定IP地址的请求。Jupyter允许用户配置代理IP地址，这些地址充当网络爬虫与目标网站之间的中间人。通过使用不同的IP地址，用户可以规避IP封锁，无间断地收集数据，提高网络爬虫任务的可靠性和效率。
总的来说，Jupyter的多功能性、交互式环境和对多种编程语言的支持使其成为数据分析和网络爬虫开发的不可或缺的工具。它能够在Web浏览器中无缝集成代码、数据和可视化，结合代理IP使用等功能，赋予用户高效分析数据、创建引人注目的报告和从网络中收集有价值信息的能力。无论是用于探索性数据分析还是构建复杂的网络爬虫，Jupyter都是该领域专业人士的首选工具。
今年的618已经开始，PS5的价格创下新低，哪家电商的价格最低呢？下面用Jupyter可以快速实现：

import requests
from bs4 import BeautifulSoup
from fpdf import FPDF
import threading

# 亿牛云 爬虫代理加强版 
# 代理IP设置主机、端口、用户名和密码
proxy_host = 'www.16yun.cn'
proxy_port = '31000'
proxy_user = '16YUN'
proxy_pass = '16IP'

# 请求头设置
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 OPR/95.0.0.0'
}

# 商品名称
product_name = 'PS5游戏机'

# 保存商品信息的列表
product_list = []

# 获取商品价格
def get_product_price(platform):
    try:
        # 设置代理IP
        proxies = {
            'http': f'http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}',
            'https': f'http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}'
        }
        
        # 发送请求获取页面内容
        if platform == '京东':
            url = f'https://search.jd.com/Search?keyword={product_name}'
        elif platform == '淘宝':
            url = f'https://s.taobao.com/search?q={product_name}'
        elif platform == '拼多多':
            url = f'https://search.pinduoduo.com/search?q={product_name}'
        else:
            print(f'未知平台: {platform}')
            return
        
        response = requests.get(url, headers=headers, proxies=proxies)
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 解析页面获取商品价格
        if platform == '京东':
            price = soup.select('.price')[0].text.strip()
        elif platform == '淘宝':
            price = soup.select('.price')[0].text.strip()
        elif platform == '拼多多':
            price = soup.select('.price')[0].text.strip()
        
        # 将商品信息添加到列表
        product_list.append({'platform': platform, 'product': product_name, 'price': price})
        
    except Exception as e:
        print(f'获取商品价格出错: {platform}')
        print(e)

# 创建多线程进行并发请求
threads = []
platforms = ['京东', '淘宝', '拼多多']

for platform in platforms:
    thread = threading.Thread(target=get_product_price, args=(platform,))
    thread.start()
    threads.append(thread)

# 等待所有线程结束
for thread in threads:
    thread.join()

# 生成PDF文件
pdf = FPDF()
pdf.set_font('Arial', 'B', 16)
pdf.add_page()

# 添加商品信息到PDF
for product in product_list:
    pdf.cell(0, 10, f'平台: {product["platform"]}', ln=True)
    pdf.cell(0, 10, f'商品: {product["product"]}', ln=True)
    pdf.cell(0, 10, f'价格: {product["price"]}', ln=True)
    pdf.cell(0, 10, '', ln=True)

# 保存PDF文件
pdf.output('product_prices.pdf')