LeeHua
LeeHua

爬虫基础

爬虫基础

  • HTTP基本原理

    • URI----UniformResource Identifier----统一资源标志符

      • 统一资源标识符，用来唯一的标识一个资源

      • 例如：https://www.cnblogs.com

    • URL---Universal Resource Locator---统一资源定位符

      • 统一资源定位器，它是一种具体的URI，即URL可以用来标识一个资源，而且还指明了如何locate这个资源
      • 例如：https://www.cnblogs.com/liyihua/

    • Hypertext---超文本

      • 网页源代码是一系列 HTML 代码，里面包含了一系列标签，如 img 显示图片，p 指定显示段落等，浏览器解析这些标签后便形成了我们平常看到的网页，而这网页的源代码HTML 就可以称作超文本

    • HTTP和HTTPS（简单的讲：HTTPS是HTTP的安全版）

      • http是一种协议，全称超文本传输协议，所有的www文件都必须遵守这个标准
      • https，是以安全为目的的http通道，简单讲是http的安全版
      • 安全性：http不安全，https安全
      • 加密：http无法加密，https加密传输
      • 证书：http无需证书，https需证书

    • HTTP请求过程

      • 爬虫基础_第1张图片

    • HTTPS请求过程

      • 爬虫基础_第2张图片

    • 请求

       

      • 请求方法---Request Method

        • 常用方法：GET和POST
          • GET ：请求页面，并返回页面内容
          • POST：大多用于提交表单或上传文件，数据包含在请求题中

      • 请求的网址---Request URL

        • 请求的网址，即统一资源定位符，用 URL 可以唯一确定我们想请求的资源

      • 请求头---Request Headers

        • 用来说明服务器要使用的附加信息

      • 请求体---Request Body

        • 请求体一般承载的内容是POST请求中的表单数据，而对于GET请求，请求体则为空

    • 响应

      • 响应状态码---Response Status Code

        • 例如：

          307　　临时重定向　　请求的资源临时从其他位置响应。
          400　　错误请求　　服务器无法解析该请求。
          401　　未授权　　请求没有进行身份验证或验证未通过。
          403　　禁止访问　　服务器拒绝此请求。
          404　　未找到　　服务器找不到请求的网页。
          405　　方法禁用　　服务器禁用了请求中指定的方法。
          406　　不接受　　无法使用请求的内容响应请求的网页。
          407　　需要代理授权　　请求者需要使用代理授权。
          408　　请求超时　　服务器请求超时。

      • 响应头---Response Headers

        • 响应头包含了服务器对请求的应答信息

      • 响应体---REsponse Body

        • 最重要的当属响应体内容了，响应的正文数据都是在响应体中
        • 例如：请求一个网页，它的响应体就是网页的 HTML 代码；请求一张图片，它的响应体就是图片的二进制数据。

  • 网页基础

    • 网页的组成

      • HTML 定义了网页的内容和结构， css 描述了网页的布局， JavaScript 定义了网页的行为 。

      1. HTML---Hyper Text Markup Language---定义网页结构

        • 描述网页的一种语言，即超文本标记语言。

      2. CSS---CascadingStyle Sheets---层叠样式表

        • HTML 定义了网页的结构，但是只有 HTML 页面的布局并不美观，借助CSS，页面会变得更加美观、优雅。

      3. JS---JavaScript（是一种脚本语言）

        • 是一种动态类型、弱类型、基于原型的语言，内置支持类型
        • 在HTML（标准通用标记语言下的一个应用）网页上使用，用来给HTML网页增加动态功能

    • 网页的结构

      • DOCTYPE html>       # DOCTYPE 定义文档类型
<html>                       # html标签
<head>                       # 网页头：一些页面的配置和引用
<meta charset="UTF-8">               # 网页编码：UTF-8
<title>This is a Demotitle>                # 定义网页标题
 head>
<body>                       # 网页体：在网页正文中显示的内容
<div id=”container”>               # div标签：定义网页中的区块，它的id是container
<div class="rapper”〉               # 它的class是wrapper

        =”title”>Hello Worldh2>               # h2标签：二级标题
<p class=”text”>Hell口， this i s a paragraph.p>               # p标签：代表一个段落
div>
div>
 body >
 html>
      • 爬虫基础_第3张图片代码保存后，浏览器打开该文件。

         

    • 节点树及节点之间的关系

      • 在HTML中，所有标签定义的内容都是节点，它们构成了一个HTML DOM 树
      • DOM---Document Object Model---文档对象模型
        • DOM是W3C（万维网联盟）的标准

      • HTML DOM 将 HTML 文档视作树结构，这种结构被称为节点树爬虫基础_第4张图片

    • 节点树中的节点彼此拥有层次关系（顶节点称为根--root）

      • 父（parent）、子（child）、兄弟（sibling）
      • 爬虫基础_第5张图片节点树及节点之间的关系

    • 选择器

      • 网页是由一个一个的节点组成的，CSS选择器会根据不同的节点设置不同的样式规则。
      • CSS 中，选择器是一种模式，用于选择需要添加样式的元素
      • 例如：
      • 爬虫基础_第6张图片

         

  • 爬虫的基本原理

    • 爬虫概述

      • 1、获取网页---获取网页的源代码

      • 2、提取信息：

        • 1、通用方法：正则表达式
        • 2、根据网页节点的属性：CSS选择器、XPath 来提取网页信息的库（例如：Beautiful Soup、pyquery、lxml等）

      • 3、保存数据

        • 提取信息后，保存到数据库，如MySQL和MongoDB等，也可以保存至远程服务器，如借助SFTP进行操作等

      • 自动化程序---爬虫代替人完成操作

    • JavaScript渲染页面

      • JavaScript会改变HTML中的节点，向其添加内容，最后得到完整的页面
      • 使用urllib或requests等库请求当前页面时，得到的只是这个HTML代码。可使用Selenium、Splash这样的库来实现模拟JavaScript渲染。

  • 会话（服务端） 和 Cookies（客户端） --- 保持 HTTP连接状态

     

    • 静态网页

      • 网页的内容是 HTML 代码编写的，文字、图片等内容均通过写好的 HTML 代码来指定 ， 这种页面叫作静态网页

        • 优点：加载速度快、编写简单
        • 缺点：可维护性差 ，不能根据URL灵活多变地显示内容等

    • 动态网页：页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。

    • 无状态HTTP

      • HTTP 的无状态是指 HTTP 协议对事务处理是没有记忆能力的，也就是说服务器不知道客户端是什么状态 。

    • 会话

      • 其本来的含义是指有始有终的一系列动作/消息

      • 在 Web 中，会话对象用来存储特定用户会话所需的属性及配置信息

    • Cookies

      • 某些网站为了辨别用户身份 、 进行会话跟踪而存储在用户本地终端上的数据

    • 会话维持---Cookies 和会话需要配合，一个处于客户端，一个处于服务端，二者共同协作，实现登录会话控制

    • 属性结构

      • Cookie：

        • Name、Value、Domain、MaxAge、Path、Size字段、HTTP 字段、Secure

    • 会话 Cookie和持久 Cookie　

      会话 Cookie就是把 Cookie放在浏览器内存里，浏览器在关闭之后该 Cookie 即失效 ; 持久 Cookie则会保存到客户端的硬盘中，下次还可以继续使用，用于长久保持用户登录状态

  • 代理的基本原理

    • 基本原理

      • 代理服务器（proxy server）---实现IP伪装
      • 功能：代理网络用户去取得网络信息---网络信息的中转站
      • 在本机和服务器之间搭建一个桥，此时本机不是直接向Web服务器发起请求，而是向代理服务器发出请求

    • 代理的作用

      • 突破自身IP的访问限制
      • 访问一些单位或团体的内部资源
      • 提高访问速度
      • 隐藏真实IP

    • 爬虫代理

      • 爬虫爬取速度过快，在爬取过程中可能遇到同一个 IP访问过于频繁的问题，此时网站就会让我们输入验证码登录或者直接封锁IP。

        使用代理隐藏真实的 IP，让服务器误以为是代理服务器在请求向己。

        在爬取过程中通过不断更换代理，就不会被封锁，可 以达到很好的爬取效果。

    • 代理分类


      • 1、根据协议区分

        • FTP代理服务器、HTTP 代理服务器、SSL厅LS代理、RTSP 代理、Telnet代理、POP3/SMTP 代理、SOCKS 代理

      • 2、根据匿名程度区分

        • 高度匿名代理、普通匿名代理、透明代理、间谍代理

    • 常见的代理设置

      • 使用网上的免费代理、使用付费代理服务、ADSL 拨号

你可能感兴趣的:(爬虫基础)

  • Python 爬虫基础教程 盛子涵666 python爬虫开发语言
    爬虫的背景与应用诞生爬虫（WebCrawling）是自动化程序，用于从互联网上获取信息。爬虫的基本任务是自动访问网站，通过抓取网页内容并提取有用数据来构建数据库、索引或者进行进一步的数据分析。爬虫通常会模拟浏览器的行为，以避免被服务器识别为机器人，并且能够在大规模范围内高效地抓取信息。爬虫技术最早由搜索引擎开发者提出，目的是自动收集网页信息并将其索引，便于用户搜索时快速检索相关内容。随着互联网的快
  • 爬虫基础 巷955 爬虫
    引言:在当今信息爆炸的时代，互联网上充斥着海量的数据。如何高效地从这些数据中提取出有价值的信息，成为了许多开发者和数据分析师关注的焦点。爬虫技术（WebScraping）作为一种自动化获取网页数据的技术，正逐渐成为数据采集的重要手段。本文将带你从零开始学习爬虫的基础知识，帮助你掌握如何编写简单的爬虫程序。爬虫的基本流程:1.发送请求：爬虫首先向目标网站发送HTTP请求，获取网页的HTML内容。2.
  • Python：分享一个Python爬虫入门实例（有源码，学习使用） 衍生星球 python爬虫学习pyecharts
    一、爬虫基础知识Python爬虫是一种使用Python编程语言实现的自动化获取网页数据的技术。它广泛应用于数据采集、数据分析、网络监测等领域。以下是对Python爬虫的详细介绍：架构和组成：下载器：负责根据指定的URL下载网页内容，常用的库有Requests和urllib。解析器：用于解析下载的网页内容，提取所需的数据。BeautifulSoup和lxml是常用的解析库。存储器：将提取的数据存储到
  • 爬虫初学24-11-21 走在考研路上 爬虫爬虫
    第一章爬虫基础——写爬虫前要了解的一些基础知识1.1HTTP基本原理1.URI和URLURI的全称为UniformResourceIdentifier——统一资源标识符；URL的全称为UniversalResourceLocator——统一资源定位符示例：https://github.com/favicon.ico既是一个URI，也是一个URL。既有favicon.ico这样一个图标资源，我们用U
  • 基于Python零基础制作一个自己的爬虫程序 与光同尘 大道至简 python爬虫开发语言青少年编程visualstudiocodegithubhtml5
    此博客为一个详细的Python爬虫教程，从基础知识到完整实现，包括爬取网页内容、解析数据、存储数据、使用代理、反反爬策略等。稍后会提供完整的教程供你参考。1.爬虫基础什么是爬虫：网络爬虫（WebCrawler），又称网络蜘蛛（Spider），是一种自动化脚本或程序，用于按照一定规则批量获取网页数据。爬虫通过模拟浏览器行为向目标网站发送HTTP请求，获取网页的HTML源码，然后解析并提取所需的信息。
  • 从零打造 Python 爬虫项目：需求分析到部署 西攻城狮北 python爬虫实战案例
    一、项目概述二、需求分析三、开发环境搭建四、代码实现1.爬虫基础2.数据解析与存储3.应对反爬虫机制4.多页爬取五、部署与运行1.定时任务2.云服务器部署六、常见问题解决七、总结随着互联网的飞速发展，信息获取成为了人们日常生活和工作中不可或缺的一部分。然而，传统的手动收集信息的方式效率低下、准确性难以保证，无法满足大量数据需求。Python爬虫技术应运而生，它能够自动化地从互联网上获取大量数据，为
  • 【论文投稿】Python 网络爬虫：探秘网页数据抓取的奇妙世界 m0_74825172 面试学习路线阿里巴巴python爬虫microsoft
    目录前言一、Python——网络爬虫的绝佳拍档二、网络爬虫基础：揭开神秘面纱（一）工作原理：步步为营的数据狩猎（二）分类：各显神通的爬虫家族三、Python网络爬虫核心库深度剖析（一）requests：畅通无阻的网络交互（二）BeautifulSoup：解析网页的艺术大师（三）Scrapy：构建爬虫帝国的框架四、实战演练：从新手到高手的蜕变五、挑战与应对：在荆棘中前行六、结语：无限可能的爬虫之旅前
  • python数据分析之爬虫基础：爬虫介绍以及urllib详解 web13765607643 python数据分析爬虫
    前言在数据分析中，爬虫有着很大作用，可以自动爬取网页中提取的大量的数据，比如从电商网站手机商品信息，为市场分析提供数据基础。也可以补充数据集、检测动态变化等一系列作用。可以说在数据分析中有着相当大的作用！页面结构介绍这里主要介绍HTML的一些简单结构，需要一点前端的知识，可以根据情况直接跳过。Title姓名年龄性别张三18男铁锅炖大鹅小鸡炖蘑菇锅包肉奖励自己睡觉起床读书学习爬虫相关概念1、爬虫的概
  • 爬虫和逆向教程-专栏介绍和目录 数据知道 2025年爬虫和逆向教程爬虫python数据采集网络爬虫逆向
    文章目录一、爬虫基础和进阶二、App数据采集三、爬虫项目四、爬虫面试本专栏为爬虫初学者和进阶开发者量身定制的爬虫和逆向学习园地。为你提供全面而深入的爬虫和逆向技术指导，从入门到精通，从基础理论到高级实战，助你在数据的海洋中畅游，挖掘出有价值的信息。通过本专栏的学习，你将具备独立开发和优化爬虫程序的能力，及逆向分析能力和项目开发能力，成为爬虫领域的佼佼者。《本专栏持续更新中…（早订阅优惠仅需9.9元
  • 使用Python爬虫抓取并分析电商网站销量数据的完整指南 Python爬虫项目 2025年爬虫实战项目python爬虫开发语言selenium
    目录：前言爬虫基础概念什么是Web爬虫爬虫的工作原理Python爬虫库介绍准备工作安装所需的库选择目标电商网站分析目标电商网站使用浏览器开发者工具分析页面结构识别需要抓取的销量数据构建爬虫程序使用requests获取网页使用BeautifulSoup解析静态网页使用Selenium抓取动态页面防止反爬虫技术模拟浏览器请求使用代理池随机延迟请求抓取电商网站的销量数据抓取商品标题、销量、价格等信息处理
  • Python 网络爬虫入门全知道 安年CJ Pythonpython爬虫开发语言运维php服务器
    一、引言在当今数字化时代，网络上的数据量呈爆炸式增长。无论是进行数据分析、市场调研，还是开发智能应用，获取网络数据都变得极为重要。而Python网络爬虫就是一把打开网络数据宝库的利器。它能够自动地从网页中抓取我们需要的信息，为后续的数据处理和分析提供丰富的素材。本博客将带领大家逐步走进Python网络爬虫的精彩世界。二、网络爬虫基础概念（一）什么是网络爬虫网络爬虫，也称为网页蜘蛛，是一种按照一定的
  • 2020年Python最新面试题（四）：爬虫基础知识 Amo Xiang Python3入门与进阶pythonhttp面试题spider
    目录1.什么是爬虫?2.爬虫的基本流程有哪些?3.Request中包含了哪些内容?4.Response中包含了哪些内容5.HTTP请求中的POST、GET有什么区别?6.HTTP、HTTPS协议有什么区别?7.Cookie和Session有什么区别？8.域名和IP之间有什么关系?如何查看某个域名对应的IP地址?9.在HTTP协议头中，keep-alive字段有什么作用?10.HTTP常用的状态码(
  • 100天精通Python（爬虫篇）——第113天：爬虫基础模块之urllib详细教程大全 m0_74825074 面试学习路线阿里巴巴python爬虫开发语言
    文章目录1.urllib概述2.urllib.request模块1.urllib.request.urlopen()2.urllib.request.urlretrieve()3.urllib.request.Request()4.urllib.request.install_opener()5.urllib.request.build_opener()6.urllib.request.Abstr
  • python分布式爬虫去重_Python分布式爬虫(三) - 爬虫基础知识 weixin_39997311 python分布式爬虫去重
    0相关源码1技术选型爬虫能做什么1.1scrapyVSrequests+beautifulsoup做爬虫的时候，经常都会听到scrapyVSrequests+beautifulsoup的组合在本次分布式爬虫实现中只用scrapy而不用后者的原因是：requests和beautifulsoup都是库，scrapy是一个框架框架中可以应用requests等，可以集合很多第三方库基于twisted(异步
  • 办公自动化—VBA将csv某列数字进行以0填充为文本再接着转Excel 一晌小贪欢 Python自动化办公excelvba办公自动化自动化办公csv转Excel
    目录专栏导读背景效果预览步骤完整代码总结专栏导读欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手️‍博客主页：请点击——>一晌小贪欢的博客主页求关注该系列文章专栏：请点击——>Python办公自动化专栏求订阅此外还有爬虫专栏：请点击——>Python爬虫基础专栏求订阅此外还有python基础专栏：请点击——>
  • Python——批量图片转PDF（GUI版本） 一晌小贪欢 Python自动化办公pythonpdf开发语言Python办公图片转PDFpython-pdf
    目录专栏导读1、背景介绍2、库的安装3、核心代码4、完整代码总结专栏导读欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手️‍博客主页：请点击——>一晌小贪欢的博客主页求关注该系列文章专栏：请点击——>Python办公自动化专栏求订阅此外还有爬虫专栏：请点击——>Python爬虫基础专栏求订阅此外还有python基础专栏：请点击——>
  • python-爬虫基础-lxml.etree(2) Aldeo Pythonpythonlxml.etree
    （5）元素包含文本文本包含元素中间文本和末尾文本，例如，中间的文本为中间文本，之后的文本为元素末尾文本。root=etree.Element("root")root.text="TEXT"print(root.text)print(etree.tostring(root))#加html节点html=etree.Element("html")#加body节点body=etree.SubElement
  • 【论文投稿】Python 网络爬虫：探秘网页数据抓取的奇妙世界 m0_74824661 面试学习路线阿里巴巴python爬虫开发语言
    【IEEE出版|广东工业大学主办】第五届神经网络、信息与通信工程国际学术会议（NNICE2025）_艾思科蓝_学术一站式服务平台目录前言一、Python——网络爬虫的绝佳拍档二、网络爬虫基础：揭开神秘面纱（一）工作原理：步步为营的数据狩猎（二）分类：各显神通的爬虫家族三、Python网络爬虫核心库深度剖析（一）requests：畅通无阻的网络交互（二）BeautifulSoup：解析网页的艺术大师
  • 将Deepseek接入pycharm 进行AI编程 一晌小贪欢 自己的笔记pycharmAI编程deepseekDeepseek大模型AI模型
    目录专栏导读1、进入Deepseek开放平台创建APIkey2、调用API代码3、成功4、补充说明多轮对话总结专栏导读欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手️‍博客主页：请点击——>一晌小贪欢的博客主页求关注该系列文章专栏：请点击——>Python办公自动化专栏求订阅此外还有爬虫专栏：请点击——>Python爬虫基础专栏求订阅此外还有python基础专栏：请点击
  • Python爬虫学习——爬取小说章节 一大块肥皂 Python爬虫python爬虫
    之前学了Python好久都没有用，感觉再不继续学就要忘了。。。赶紧再挖个坑继续学习。这个部分会用Python去做爬虫来进行学习，巩固python的知识。爬虫的教程看的是Jack-Cui大佬的文章。这一次是跟着大佬学习：Python3网络爬虫（二）：下载小说的正确姿势（2020年最新版）_Jack-Cui-CSDN博客练习-爬取章节前面的爬虫基础部分就看大佬的上一篇博文，讲的非常棒：Python3网
  • Python 网络爬虫实战：从基础到高级爬取技术 一ge科研小菜鸡 编程语言Pythonpython
    个人主页：一ge科研小菜鸡-CSDN博客期待您的关注1.引言网络爬虫（WebScraping）是一种自动化技术，利用程序从网页中提取数据，广泛应用于数据采集、搜索引擎、市场分析、舆情监测等领域。本教程将涵盖requests、BeautifulSoup、Selenium、Scrapy等常用工具，并深入探讨反爬机制突破、动态加载页面、模拟登录、多线程/分布式爬取等高级技巧。2.爬虫基础：request
  • 爬虫基础（五）爬虫基本原理 A.sir啊 网络爬虫必备知识点爬虫网络http网络协议pythonpycharm
    目录一、爬虫是什么二、爬虫过程（1）获取网页（2）提取信息（3）保存数据三、爬虫可爬的数据四、爬虫问题一、爬虫是什么互联网，后面有个网字，我们可以把它看成一张蜘蛛网。爬虫，后面有个虫子，我们可以把它看成蜘蛛。爬虫之于互联网，就是蜘蛛之于蜘蛛网。蜘蛛每爬到一个节点，就是爬虫访问了一个网页。用正式的话来说，爬虫，就是自动提取、保存网页信息的程序。二、爬虫过程（1）获取网页获取网页，就是获取网页的源代码
  • 爬虫基础（三）Session和Cookie讲解 A.sir啊 网络爬虫必备知识点前端服务器运维网络网络爬虫
    目录一、前备知识点（1）静态网页（2）动态网页（3）无状态HTTP二、Session和Cookie三、Session四、Cookie（1）维持过程（2）结构正式开始说Session和Cookie之前，有些基础知识需要知道，我们先来看一下：一、前备知识点（1）静态网页比如，我们写了一段html代码，然后保存为一个html文件该文件所在主机，具有服务器那么其他人就可以通过访问服务器，来打开这个html
  • 爬虫基础（四）线程 和 进程 及相关知识点 A.sir啊 网络爬虫必备知识点服务器网络网络爬虫pythonpycharm
    目录一、线程和进程（1）进程（2）线程（3）区别二、串行、并发、并行（1）串行（2）并行（3）并发三、爬虫中的线程和进程（1）GIL锁（2）爬虫的多线程（3）Python的多进程一、线程和进程（1）进程所谓进程，就是正在运行的程序，它占用独立的内存区域用通俗的话来说：我们打开媒体播放器，就是打开了一个媒体播放器进程，打开浏览器，就是打开了一个浏览器进程，打开某软件，就是打开了某软件进程。这三个进程
  • 爬虫基础（六）代理简述 A.sir啊 网络爬虫必备知识点网络协议爬虫python
    目录一、什么是代理二、基本原理三、代理分类一、什么是代理爬虫一般是自动化的，当我们自动运行时爬虫自动抓取数据，但一会就出现了错误：如，您的访问频率过高！这是因为网站的反爬措施，如果频繁访问，则会被禁止，即封IP为解决这种情况，我们需要把自己的IP伪装一下，即代理所谓代理，就是代理服务器。二、基本原理正常来说：客户发送请求给服务器然后服务器将响应传给客户而代理的话：相当于在客户和服务器之间加一个代理
  • 03-2.python爬虫-Python爬虫基础(一) 执着的小火车 python入门到项目实践爬虫python开发语言
    HTTP基本原理HTTP（HyperTextTransferProtocol），即超文本传输协议，是互联网通信的关键所在。它作为应用层协议，构建于可靠的TCP协议之上，保障了数据传输的稳定与可靠，犹如网络世界的“交通规则”，规范着客户端与服务器之间的数据往来。HTTP的请求响应过程是其核心机制。当用户在浏览器中输入一个URL并按下回车键，浏览器就会作为客户端向服务器发送HTTP请求。请求由请求行、
  • Python爬虫基础知识：从零开始的抓取艺术 egzosn python爬虫开发语言
    在大数据时代，网络数据成为宝贵的资源，而Python爬虫则是获取这些数据的重要工具。本文旨在为初学者提供一份Python爬虫的入门指南，涵盖基础知识、常用库介绍、实战案例以及注意事项，帮助你快速上手，成为一名合格的“网络矿工”。一、Python爬虫概述1.1什么是爬虫？爬虫，也称为网络爬虫或蜘蛛，是一种自动抓取互联网信息的程序。它通过模拟人类浏览网页的行为，自动地遍历和抓取网络上的数据，常用于数据
  • 100天精通Python（爬虫篇）——第113天：‌爬虫基础模块之urllib详细教程大全 袁袁袁袁满 100天精通Pythonpython爬虫开发语言urllib爬虫实战urllib模块教程网络爬虫
    文章目录1.urllib概述2.urllib.request模块1.urllib.request.urlopen()2.urllib.request.urlretrieve()3.urllib.request.Request()4.urllib.request.install_opener()5.urllib.request.build_opener()6.urllib.request.Abstr
  • 使用Python爬虫抓取与分析航班信息：从数据采集到应用的完整实践 Python爬虫项目 2025年爬虫实战项目pythonselenium自动化爬虫开发语言phpmicrosoft
    目录：前言爬虫基础知识什么是爬虫？爬虫的工作原理爬虫的应用领域航班数据爬取的实际应用航班数据分析的重要性选择爬虫技术栈常见的爬虫框架与工具选择合适的工具：requestsvsSeleniumvsScrapy如何获取航班信息航班数据来源分析航班信息的结构与抓取目标爬虫抓取航班信息的步骤发送HTTP请求并获取航班数据使用Selenium抓取动态数据解析HTML页面并提取航班信息航班数据存储与处理存储抓
  • 使用Python Selenium抓取表单数据：从数据提取到自动化处理的完整指南 Python爬虫项目 2025年爬虫实战项目pythonselenium自动化爬虫开发语言phpmicrosoft
    目录：前言爬虫基础知识什么是爬虫爬虫的工作原理Selenium简介什么是SeleniumSelenium的工作原理表单数据抓取概述什么是表单数据常见的表单类型表单抓取的实际应用场景爬虫技术栈requestsvsSeleniumSelenium的安装与配置使用Selenium抓取表单数据的步骤启动浏览器并访问目标页面查找表单元素提交表单并抓取返回的数据数据存储与处理存储抓取的数据：CSV、数据库等数
  • java Illegal overloaded getter method with ambiguous type for propert的解决 zwllxs javajdk
    好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出 Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，
  • IT人应当知道的10个行业小内幕 beijingjava 工作互联网
    10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。 　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。 　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配
  • java 实现自定义链表 CrazyMizzz java数据结构
    1.链表结构   链表是链式的结构 2.链表的组成    链表是由头节点，中间节点和尾节点组成    节点是由两个部分组成：       1.数据域       2.引用域 3.链表的实现 &nbs
  • web项目发布到服务器后图片过一会儿消失 麦田的设计者 struts2上传图片永久保存
      作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片
  • CodeIgniter框架Cart类 name 不能设置中文的解决方法 IT独行者 CodeIgniterCart框架　
    今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。 在CI手册里也有说明，如下： $data = array( 'id' => 'sku_123ABC', 'qty' => 1, '
  • linux回收站 _wy_ linux回收站
    今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。     后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在
  • jquery回到页面顶端 知了ing htmljquerycss
    html代码： <h1 id="anchor">页面标题</h1> <div id="container">页面内容</div> <p><a href="#anchor" class="topLink">回到顶端</a><
  • B树、B-树、B+树、B*树 矮蛋蛋 B树
    原文地址： http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html B树        即二叉搜索树：        1.所有非叶子结点至多拥有两个儿子（Left和Right）； &nb
  • 数据库连接池 alafqq 数据库连接池
    http://www.cnblogs.com/xdp-gacl/p/4002804.html @Anthor:孤傲苍狼 数据库连接池 用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误： java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec
  • java泛型 百合不是茶 java泛型
    泛型 在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患   泛型的特点：消除强制转换 确保类型安全 向后兼容   简单泛型的定义：      泛型：就是在类中将其模糊化，在创建对象的时候再具体定义 class fan
  • javascript闭包[两个小测试例子] bijian1013 JavaScriptJavaScript
    一.程序一 <script> var name = "The Window"; var Object_a = { 　　name : "My Object", 　　getNameFunc : function(){ var that = this; 　　　　return function(){ 　　　　
  • 探索JUnit4扩展：假设机制（Assumption） bijian1013 javaAssumptionJUnit单元测试
    一.假设机制（Assumption）概述        理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，
  • 【Gson四】范型POJO的反序列化 bit1129 POJO
    在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过 String str = new Gson().toJson(data); 得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO   import com.google.gson.Gson; import java.
  • 【Spark八十五】Spark Streaming分析结果落地到MySQL bit1129 Stream
    几点总结： 1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法 2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，
  • NGINX + LUA实现复杂的控制 ronin47 nginx lua
    安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
  • java-递归判断数组是否升序 bylijinnan java
    public class IsAccendListRecursive { /*递归判断数组是否升序 * if a Integer array is ascending,return true * use recursion */ public static void main(String[] args){ IsAccendListRecursiv
  • Netty源码学习-DefaultChannelPipeline2 bylijinnan javanetty
    Netty3的API http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html 里面提到ChannelPipeline的一个“pitfall”： 如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB） 来
  • Java工具之JPS chinrui java
    JPS使用     熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来
  • window.print分页打印 ctrain window
    function init() { var tt = document.getElementById("tt"); var childNodes = tt.childNodes[0].childNodes; var level = 0; for (var i = 0; i < childNodes.length; i++) {
  • 安装hadoop时 执行jps命令Error occurred during initialization of VM daizj jdkhadoopjps
    在安装hadoop时，执行JPS出现下面错误   [slave16][email protected]:/tmp/hsperfdata_hdfs# jps Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working
  • PHP开发大型项目的一点经验 dcj3sjt126com PHP重构
    一、变量 最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。 二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十
  • android笔记之--向网络发送GET/POST请求参数 dcj3sjt126com android
    使用GET方法发送请求 private static boolean sendGETRequest (String path, Map<String, String> params) throws Exception{ //发送地http://192.168.100.91:8080/videoServi
  • linux复习笔记 之bash shell (3) 通配符 eksliang linux 通配符linux通配符
    转载请出自出处： http://eksliang.iteye.com/blog/2104387 在bash的操作环境中有一个非常有用的功能，那就是通配符。 下面列出一些常用的通配符，如下表所示 符号 意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c
  • Android关于短信加密 gqdy365 android
    关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）：     1、因为Android有短信收发接口，可以调用接口完成短信收发；         发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm
  • asp.net在网站根目录下创建文件夹 hvt .netC#hovertreeasp.netWeb Forms
    假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下： string m_keleyiFolderName = Server.MapPath("/hovertree"); if (Directory.Exists(m_keleyiFolderName)) { //文件夹已经存在 return; } else { try { D
  • 一个合格的程序员应该读过哪些书 justjavac 程序员书籍
    编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本， 你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。 以前就有国内网友介绍这个程序员书单，不过都是推荐数
  • 单实例实践 跑龙套_az 单例
       1、内部类 public class Singleton { private static class SingletonHolder { public static Singleton singleton = new Singleton(); } public Singleton getRes
  • PO VO BEAN 理解 q137681467 VODTOpo
    PO：      全称是 persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。 好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。     BO：     全称是 business object:业务对象 主要作用是把业务逻辑封装为一个对象。这个对
  • 战胜惰性，暗自努力 金笛子 努力
    偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？ 我有个朋友是搞技术的，平时嘻嘻哈哈，以
  • NDK/JNI二维数组多维数组传递 wenzongliang 二维数组jniNDK
    多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组 用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。 Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata) { jint i,j; int s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他