LeeHua
LeeHua

爬虫基础

爬虫基础

  • HTTP基本原理

    • URI----UniformResource Identifier----统一资源标志符

      • 统一资源标识符，用来唯一的标识一个资源

      • 例如：https://www.cnblogs.com

    • URL---Universal Resource Locator---统一资源定位符

      • 统一资源定位器，它是一种具体的URI，即URL可以用来标识一个资源，而且还指明了如何locate这个资源
      • 例如：https://www.cnblogs.com/liyihua/

    • Hypertext---超文本

      • 网页源代码是一系列 HTML 代码，里面包含了一系列标签，如 img 显示图片，p 指定显示段落等，浏览器解析这些标签后便形成了我们平常看到的网页，而这网页的源代码HTML 就可以称作超文本

    • HTTP和HTTPS（简单的讲：HTTPS是HTTP的安全版）

      • http是一种协议，全称超文本传输协议，所有的www文件都必须遵守这个标准
      • https，是以安全为目的的http通道，简单讲是http的安全版
      • 安全性：http不安全，https安全
      • 加密：http无法加密，https加密传输
      • 证书：http无需证书，https需证书

    • HTTP请求过程

      • 爬虫基础_第1张图片

    • HTTPS请求过程

      • 爬虫基础_第2张图片

    • 请求

       

      • 请求方法---Request Method

        • 常用方法：GET和POST
          • GET ：请求页面，并返回页面内容
          • POST：大多用于提交表单或上传文件，数据包含在请求题中

      • 请求的网址---Request URL

        • 请求的网址，即统一资源定位符，用 URL 可以唯一确定我们想请求的资源

      • 请求头---Request Headers

        • 用来说明服务器要使用的附加信息

      • 请求体---Request Body

        • 请求体一般承载的内容是POST请求中的表单数据，而对于GET请求，请求体则为空

    • 响应

      • 响应状态码---Response Status Code

        • 例如：

          307　　临时重定向　　请求的资源临时从其他位置响应。
          400　　错误请求　　服务器无法解析该请求。
          401　　未授权　　请求没有进行身份验证或验证未通过。
          403　　禁止访问　　服务器拒绝此请求。
          404　　未找到　　服务器找不到请求的网页。
          405　　方法禁用　　服务器禁用了请求中指定的方法。
          406　　不接受　　无法使用请求的内容响应请求的网页。
          407　　需要代理授权　　请求者需要使用代理授权。
          408　　请求超时　　服务器请求超时。

      • 响应头---Response Headers

        • 响应头包含了服务器对请求的应答信息

      • 响应体---REsponse Body

        • 最重要的当属响应体内容了，响应的正文数据都是在响应体中
        • 例如：请求一个网页，它的响应体就是网页的 HTML 代码；请求一张图片，它的响应体就是图片的二进制数据。

  • 网页基础

    • 网页的组成

      • HTML 定义了网页的内容和结构， css 描述了网页的布局， JavaScript 定义了网页的行为 。

      1. HTML---Hyper Text Markup Language---定义网页结构

        • 描述网页的一种语言，即超文本标记语言。

      2. CSS---CascadingStyle Sheets---层叠样式表

        • HTML 定义了网页的结构，但是只有 HTML 页面的布局并不美观，借助CSS，页面会变得更加美观、优雅。

      3. JS---JavaScript（是一种脚本语言）

        • 是一种动态类型、弱类型、基于原型的语言，内置支持类型
        • 在HTML（标准通用标记语言下的一个应用）网页上使用，用来给HTML网页增加动态功能

    • 网页的结构

      • DOCTYPE html>       # DOCTYPE 定义文档类型
<html>                       # html标签
<head>                       # 网页头：一些页面的配置和引用
<meta charset="UTF-8">               # 网页编码：UTF-8
<title>This is a Demotitle>                # 定义网页标题
 head>
<body>                       # 网页体：在网页正文中显示的内容
<div id=”container”>               # div标签：定义网页中的区块，它的id是container
<div class="rapper”〉               # 它的class是wrapper

        =”title”>Hello Worldh2>               # h2标签：二级标题
<p class=”text”>Hell口， this i s a paragraph.p>               # p标签：代表一个段落
div>
div>
 body >
 html>
      • 爬虫基础_第3张图片代码保存后，浏览器打开该文件。

         

    • 节点树及节点之间的关系

      • 在HTML中，所有标签定义的内容都是节点，它们构成了一个HTML DOM 树
      • DOM---Document Object Model---文档对象模型
        • DOM是W3C（万维网联盟）的标准

      • HTML DOM 将 HTML 文档视作树结构，这种结构被称为节点树爬虫基础_第4张图片

    • 节点树中的节点彼此拥有层次关系（顶节点称为根--root）

      • 父（parent）、子（child）、兄弟（sibling）
      • 爬虫基础_第5张图片节点树及节点之间的关系

    • 选择器

      • 网页是由一个一个的节点组成的，CSS选择器会根据不同的节点设置不同的样式规则。
      • CSS 中，选择器是一种模式，用于选择需要添加样式的元素
      • 例如：
      • 爬虫基础_第6张图片

         

  • 爬虫的基本原理

    • 爬虫概述

      • 1、获取网页---获取网页的源代码

      • 2、提取信息：

        • 1、通用方法：正则表达式
        • 2、根据网页节点的属性：CSS选择器、XPath 来提取网页信息的库（例如：Beautiful Soup、pyquery、lxml等）

      • 3、保存数据

        • 提取信息后，保存到数据库，如MySQL和MongoDB等，也可以保存至远程服务器，如借助SFTP进行操作等

      • 自动化程序---爬虫代替人完成操作

    • JavaScript渲染页面

      • JavaScript会改变HTML中的节点，向其添加内容，最后得到完整的页面
      • 使用urllib或requests等库请求当前页面时，得到的只是这个HTML代码。可使用Selenium、Splash这样的库来实现模拟JavaScript渲染。

  • 会话（服务端） 和 Cookies（客户端） --- 保持 HTTP连接状态

     

    • 静态网页

      • 网页的内容是 HTML 代码编写的，文字、图片等内容均通过写好的 HTML 代码来指定 ， 这种页面叫作静态网页

        • 优点：加载速度快、编写简单
        • 缺点：可维护性差 ，不能根据URL灵活多变地显示内容等

    • 动态网页：页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。

    • 无状态HTTP

      • HTTP 的无状态是指 HTTP 协议对事务处理是没有记忆能力的，也就是说服务器不知道客户端是什么状态 。

    • 会话

      • 其本来的含义是指有始有终的一系列动作/消息

      • 在 Web 中，会话对象用来存储特定用户会话所需的属性及配置信息

    • Cookies

      • 某些网站为了辨别用户身份 、 进行会话跟踪而存储在用户本地终端上的数据

    • 会话维持---Cookies 和会话需要配合，一个处于客户端，一个处于服务端，二者共同协作，实现登录会话控制

    • 属性结构

      • Cookie：

        • Name、Value、Domain、MaxAge、Path、Size字段、HTTP 字段、Secure

    • 会话 Cookie和持久 Cookie　

      会话 Cookie就是把 Cookie放在浏览器内存里，浏览器在关闭之后该 Cookie 即失效 ; 持久 Cookie则会保存到客户端的硬盘中，下次还可以继续使用，用于长久保持用户登录状态

  • 代理的基本原理

    • 基本原理

      • 代理服务器（proxy server）---实现IP伪装
      • 功能：代理网络用户去取得网络信息---网络信息的中转站
      • 在本机和服务器之间搭建一个桥，此时本机不是直接向Web服务器发起请求，而是向代理服务器发出请求

    • 代理的作用

      • 突破自身IP的访问限制
      • 访问一些单位或团体的内部资源
      • 提高访问速度
      • 隐藏真实IP

    • 爬虫代理

      • 爬虫爬取速度过快，在爬取过程中可能遇到同一个 IP访问过于频繁的问题，此时网站就会让我们输入验证码登录或者直接封锁IP。

        使用代理隐藏真实的 IP，让服务器误以为是代理服务器在请求向己。

        在爬取过程中通过不断更换代理，就不会被封锁，可 以达到很好的爬取效果。

    • 代理分类


      • 1、根据协议区分

        • FTP代理服务器、HTTP 代理服务器、SSL厅LS代理、RTSP 代理、Telnet代理、POP3/SMTP 代理、SOCKS 代理

      • 2、根据匿名程度区分

        • 高度匿名代理、普通匿名代理、透明代理、间谍代理

    • 常见的代理设置

      • 使用网上的免费代理、使用付费代理服务、ADSL 拨号

你可能感兴趣的:(爬虫基础)

  • Python 爬虫基础教程——BeautifulSoup抓取入门（2） 那个百分十先生
    大家好，上篇推文介绍了BeautifulSoup抓取的一些基础用法，本篇内容主要是介绍BeautifulSoup模块的文档树使用以及实例。一、遍历文档树直接看代码吧frombs4importBeautifulSouphtml='python知识学堂Python知识学堂欢迎您'#上面是随便写的一个页面代码soup=BeautifulSoup(html,'lxml')#print(soup.prett
  • Python爬虫基础知识 板栗妖怪 python爬虫开发语言
    (未完成)爬虫概念爬虫用于爬取数据，又称之为数据采集程序爬取数据来源于网络，网络中数据可以是有web服务器、数据库服务器、索引库、大数据等等提供爬取数据是公开的、非盈利。python爬虫使用python编写的爬虫脚本可以完成定时、定量、指定目标的数据爬取。主要使用多（单）线程/进程、网络请求库、数据解析、数据储存、任务调度等相关技术。爬虫和web后端服务关系爬虫使用网络请求库，相当于客户端请求，w
  • Python爬虫基础总结 醉蕤 Pythonpython爬虫
    活动地址：CSDN21天学习挑战赛学习的最大理由是想摆脱平庸，早一天就多一份人生的精彩；迟一天就多一天平庸的困扰。学习日记目录学习日记一、关于爬虫1、爬虫的概念2、爬虫的优点3、爬虫的分类4、重要提醒5、反爬和反反爬机制6、协议7、常用请求头和常用的请求方法8、常见的响应状态码9、url的详解二、爬虫基本流程三、可能需要的库四、小例1、requests请求网页2、python解析网页源码（使用Be
  • Python100个库分享第16个—sqlparse(SQL解析器) 一晌小贪欢 Python100个库分享sqlpython爬虫开发语言python学习python爬虫
    目录专栏导读库的介绍库的安装1、解析SQL语句2、格式化SQL语句3、提取表名4、分割多条SQL语句实际应用代码参考：总结专栏导读欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手️‍博客主页：请点击——>一晌小贪欢的博客主页求关注该系列文章专栏：请点击——>Python办公自动化专栏求订阅此外还有爬虫专栏：请点击——>Python爬虫基础专栏求订阅此外还有python基础
  • python+re正则表达式匹配指定10位整数 \ 小数 \ 整数 一晌小贪欢 Python每日tips自己的笔记python正则表达式excel
    目录专栏导读匹配整数(位数也可以指定)匹配10位数字匹配小数匹配数字总结专栏导读欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手️‍博客主页：请点击——>一晌小贪欢的博客主页求关注该系列文章专栏：请点击——>Python办公自动化专栏求订阅此外还有爬虫专栏：请点击——>Python爬虫基础专栏求订阅此外还有python基础专栏：请点击——>Python基础学习专栏求订阅<
  • 使用requests做爬虫 拿泥more Python爬虫
    文章目录爬虫基础requestsPythonFile(文件)方法open()file对象Python正则表达式数据解析验证码登录IP代理异步爬虫random笔记爬虫基础爬虫：模拟浏览器上网，抓取数据。www.baidu.com/robots.txt常用请求头User-AgentConnection：请求完毕后，是断开还是保持连接cookie:常用响应头Content-Type：服务器响应回客户端的
  • 爬虫基础简介 xnhdbb 爬虫python
    爬虫基础简介爬虫的定义：通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的价值：-实际应用-就业爬虫的合法性：-在法律中不被禁止-具有违法风险爬虫带来的风险可以体现在如下2个方面：-爬虫干扰了被访问网站的正常运营-爬虫抓取了受到法律保护的特定类型的数据或信息如何在使用编写爬虫的过程中避免触犯法律：-时常优化自己的程序，避免干扰被访问网站的政策运行-在使用传播爬取到的数据时，审查
  • 浅学爬虫-python爬虫基础 Jr_l 网络爬虫网络爬虫python
    介绍与应用Python爬虫是指利用Python编写程序从互联网上自动获取信息的技术。爬虫广泛应用于数据收集、价格监控、内容聚合、市场分析等领域。其基本原理是模拟浏览器发送HTTP请求获取网页数据，并通过解析HTML来提取所需的信息。基本工具Python中有许多强大的爬虫库，最常用的两个库是requests和BeautifulSoup。requests库:一个简单易用的HTTP库，用于发送HTTP请
  • 爬虫技巧分享：掌握高效数据抓取的艺术 shiming8879 爬虫python
    爬虫技巧分享：掌握高效数据抓取的艺术在当今数据驱动的世界里，爬虫技术成为了获取网页信息、分析数据不可或缺的工具。无论是学术研究、市场调研，还是商业智能，爬虫都扮演着重要的角色。然而，要编写出高效、稳定的爬虫，并非易事。本文将为你分享一系列爬虫技巧，帮助你更好地掌握数据抓取的艺术。一、基础篇：构建稳健的爬虫基础选择合适的库和工具在开始编写爬虫之前，选择合适的库和工具至关重要。Python作为一门简洁
  • Python爬虫基础知识：从零开始的抓取艺术 不知名靓仔 python爬虫php
    在大数据时代，网络数据成为宝贵的资源，而Python爬虫则是获取这些数据的重要工具。本文旨在为初学者提供一份Python爬虫的入门指南，涵盖基础知识、常用库介绍、实战案例以及注意事项，帮助你快速上手，成为一名合格的“网络矿工”。一、Python爬虫概述1.1什么是爬虫？爬虫，也称为网络爬虫或蜘蛛，是一种自动抓取互联网信息的程序。它通过模拟人类浏览网页的行为，自动地遍历和抓取网络上的数据，常用于数据
  • 多线程爬虫基础代码 ctrlCV工程师001 爬虫python开发语言
    #导入线程模块importthreadingdefcoding():#定义coding函数，用于打印字符串"aaa"十次foriinrange(10):print("aaa")defac():#定义ac函数，用于打印字符串"bbbb"十次：forjinrange(10):print("bbbb")defmain():#定义main函数，用于创建并启动两个线程：#创建第一个线程，目标函数是codin
  • 零基础如何高效的学习好Python爬虫技术？ IT青年
    如何高效学习Python爬虫技术？大部分Python爬虫都是按“发送请求-获得页面-解析页面-抽取并储存内容”流程来进行抓取，模拟人们使用浏览器获取网页信息的过程。高效学习Python爬虫技术的步骤：1、学Python网络爬虫基础知识学Python网络爬虫时先了解Python基本常识，变量、字符串、列表、字典、元组、操控句子、语法等，把基础打牢，在做案例时能知道运用的是哪些知识点。此外还需求了解一
  • Python爬虫知识图谱 极客代码 玩转Pythonpython爬虫
    下面是一份详细的Python爬虫知识图谱，涵盖了从基础入门到进阶实战的各个环节，涉及网络请求、页面解析、数据提取、存储优化、反爬策略应对以及法律伦理等多个方面，并配以关键点解析和代码案例，以供读者深入学习和实践。一、Python爬虫基础概念1.1网络爬虫简介-网络爬虫是一种自动浏览互联网上的信息资源，并按照一定规则抓取所需数据的程序或脚本。它模仿人类访问网页的行为，获取并解析网页内容。-作用：网络
  • 爬虫实战1.2.3 爬虫基础-爬虫的基本原理 罗汉堂主
    本文转载：静觅»[Python3网络爬虫开发实战]2.3-爬虫的基本原理我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到
  • 爬虫基础：Requests模块 小白进城
    Requests是基于Python开发的HTTP网络请求库。GET请求importrequestsurl="https://xxxx"response1=requests.get(url=url)response1.encoding=response1.apparent_encoding#转码print(response1.url)#请求地址print(response1.text)#内容的文本形
  • 《Python 网络爬虫简易速速上手小册》第1章：Python 网络爬虫基础（2024 最新版） 江帅帅 《Python网络爬虫简易速速上手小册》pytorchpython爬虫网络性能优化人工智能数据分析
    文章目录1.1网络爬虫简介1.1.1重点基础知识讲解1.1.2重点案例：社交媒体数据分析1.1.3拓展案例1：电商网站价格监控1.1.4拓展案例2：新闻聚合服务1.2网络爬虫的工作原理1.2.1重点基础知识讲解1.2.2重点案例：股票市场数据采集1.2.3拓展案例1：博客文章抓取1.2.4拓展案例2：酒店价格监控1.3网络爬虫的法律与道德考量1.3.1重点基础知识讲解1.3.2重点案例：社交媒体数
  • 【进阶】【Python网络爬虫】【15.爬虫框架】scrapy入门（附大量案例代码）（建议收藏） My.ICBM Python网络爬虫python爬虫scrapy
    Python网络爬虫基础一、爬虫框架1.什么是框架？2.初期如何学习框架？二、scrapy入门1.网络爬虫请求数据解析数据保存数据2.scrapy安装安装方式全局命令项目命令案例-scrapy下厨房网爬取settings.pyspidersblood.py案例-scrapy爬取哔哩哔哩网settings.pyitems.pypipelines.pyiderslibi.py-基于终端指令的持久化存储
  • 爬虫：request、scrapy、scrapy-redis的爬虫流程，匹配机制：xpath、正则、css选择器，反爬虫策略 little star* python网络中间件pythonjs
    文章目录一、python、PHP、Java、C/C++爬虫的比较二、python爬虫基础知识1.抓取HTML页面2.解析响应页面的内容3.采集动态HTMLselenium操作cookie隐式等待和显示等待打开新窗口和切换页面：4.验证码处理5.scrapy框架（scrapy、pyspider）安装scrapy框架scrapy框架架构项目文件作用CrawlSpider爬虫使用twisted异步保存M
  • 花瓣网美女图片爬取 林小果1 python爬虫python爬虫网络爬虫
    爬虫基础案例01花瓣网美女图片网站url：https://huaban.com图片爬取importrequestsimportjsonimportosres=requests.get(url="https://api.huaban.com/search/file?text=%E7%BE%8E%E5%A5%B3&sort=all&limit=40&page=1&position=search_pin
  • 爬虫基础-前端基础 小旺不正经 #爬虫爬虫前端
    Html是骨骼、css是皮肤、js是肌肉，三者之间的关系可以简单理解为m(html)-v(css)-c(js)浏览器的加载过程构建dom树子资源加载-加载外部的css、图片、js等外部资源样式渲染-css执行DOM树ajax、json、xmlAJAX是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。AJAX=异步JavaScript和XML。AJAX是一种用于创建快速动态网页的技术。j
  • 爬虫开发实战1.2.6 爬虫基础-Robots协议 罗汉堂主
    本文转载：静觅»[Python3网络爬虫开发实战]3.1.4-分析Robots协议利用urllib的robotparser模块，我们可以实现网站Robots协议的分析。本节中，我们来简单了解一下该模块的用法。Robots协议Robots协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（RobotsExclusionProtocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓
  • Python网络通信-python爬虫基础 落樱坠入星野 python爬虫开发语言笔记经验分享网络安全安全
    Python网络通信1、requests模块的使用1.1、安装requests模块pipinstallrequests打开pycharm安装成功会提示successfully1.2、发送GET请求简单请求（以京东举例）#coding=utf-8importrequestsurl="http://www.jd.com"#直接请求res=requests.get(url)#获取响应体的内容data=r
  • python爬虫基础 落樱坠入星野 python爬虫开发语言经验分享笔记
    python爬虫基础前言Python爬虫是一种通过编程自动化地获取互联网上的信息的技术。其原理可以分为以下几个步骤：发送HTTP请求：爬虫首先会通过HTTP或HTTPS协议向目标网站发送请求。这个请求包含了爬虫想要获取的信息，可以是网页的HTML内容、图片、视频等。接收响应：目标网站接收到请求后，会返回一个HTTP响应。这个响应包含了请求的数据，状态码、头部信息等。爬虫需要解析这个响应来获取所需的
  • python爬虫零基础学习之简单流程示例 只存在于虚拟的King python爬虫学习开发语言计算机网络学习方法
    文章目录爬虫基础爬虫流程常用库爬虫示例Python技术资源分享1、Python所有方向的学习路线2、学习软件3、入门学习视频4、实战案例5、清华编程大佬出品《漫画看学Python》6、Python副业兼职与全职路线爬虫基础网络爬虫（WebCrawler），也称为网页蜘蛛（WebSpider），是一种用于自动获取网页内容的程序。爬虫的主要任务是从互联网上抓取网页内容，然后对其进行解析和提取有用的信息
  • python 爬虫基础 -- 综合示例 午后阳光送给你 pythonpython爬虫
    python爬虫基础–综合示例题目：爬取某网站提供ip地址，并测试其是否可用技术list：requestsreBeautifulSouptelnetlib用以测试ip地址是否可用打开待爬取数据的网站，按F12，查看我们要截取的数据的格式每一行数据中，我们只关心ip地址及其端口号。编写可能用到的正则表达式ex='(?P.*?)(?P.*?)(?P.*?)(?P.*?)(?P.*?)'regaxEx=
  • 【头歌】——数据分析与实践-python-网络爬虫-Scrapy爬虫基础-网页数据解析-requests 爬虫-JSON基础 くらんゆうき 【头歌】——数据分析与实践答案数据分析python爬虫
    【头歌】——数据分析与实践-python-网络爬虫-Scrapy爬虫基础-网页数据解析-requests爬虫-JSON基础Pandas初体验第1关爬取网页的表格信息第2关爬取表格中指定单元格的信息第3关将单元格的信息保存到列表并排序第4关爬取div标签的信息第5关爬取单页多个div标签的信息第6关爬取多个网页的多个div标签的信息Scrapy爬虫基础第1关Scarpy安装与项目创建第2关Scrap
  • Python爬虫基础教程——lxml爬取入门 那个百分十先生
    大家好，上次介绍了BeautifulSoup爬虫入门,本篇内容是介绍lxml模块相关教程，主要为Xpath与lxml.cssselect的基本使用。一、lxml介绍引用官方的解释：lxmlXML工具箱是C库libxml2和libxslt的Python绑定。它的独特之处在于它将这些库的速度和XML功能的完整性与本机PythonAPI的简单性结合在一起，该PythonAPI大多数都兼容，但优于著名的E
  • Python爬虫基础篇1 桔梗.py python爬虫开发语言
    Python-Crawler简介：在Http协议中，定义了八种请求方法。这里介绍两种常用的请求方法，分别是get请求和post请求。get请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求。post请求：向服务器发送数据（登录）、上传文件等，会对服务器资源产生影响的时候会使用post请求。以上是在网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则
  • 爬虫基础及Python环境安装 明哥玩编程
    前言：爬虫是Python最常见的开发项目，而爬虫本身的应用对象又是多种多样（文本、视频、图片、其它文件等等），本视频系列课程，我们将会拿出多个案例进行爬虫项目实战讲解，帮大家对爬虫项目进行实战，培养爬虫项目分析的实际过程。（本系列每个视频教程都将控制到5-6分钟左右）第一篇、爬虫基础及Python环境安装爬虫是什么：网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取互联网信息
  • python爬虫基础--多线程--多进程--协程 我还可以熬_ #python爬虫python爬虫开发语言
    目录终于考完试了，自由了哈哈哈哈哈知识点回顾详看：python爬虫基础--json数据和jsonpath--多线程原理_我还可以熬_的博客-CSDN博客多线程多线程--方法版多线程--类版多进程multiprocessing模块Manager类，实现数据共享进程池的使用多进程--方法版多进程--进程池版协程安装第三方模块终于考完试了，自由了哈哈哈哈哈本来早该完成的这篇，然后期间考试，耽误了很久！！
  • java Illegal overloaded getter method with ambiguous type for propert的解决 zwllxs javajdk
    好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出 Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，
  • IT人应当知道的10个行业小内幕 beijingjava 工作互联网
    10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。 　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。 　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配
  • java 实现自定义链表 CrazyMizzz java数据结构
    1.链表结构   链表是链式的结构 2.链表的组成    链表是由头节点，中间节点和尾节点组成    节点是由两个部分组成：       1.数据域       2.引用域 3.链表的实现 &nbs
  • web项目发布到服务器后图片过一会儿消失 麦田的设计者 struts2上传图片永久保存
      作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片
  • CodeIgniter框架Cart类 name 不能设置中文的解决方法 IT独行者 CodeIgniterCart框架　
    今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。 在CI手册里也有说明，如下： $data = array( 'id' => 'sku_123ABC', 'qty' => 1, '
  • linux回收站 _wy_ linux回收站
    今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。     后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在
  • jquery回到页面顶端 知了ing htmljquerycss
    html代码： <h1 id="anchor">页面标题</h1> <div id="container">页面内容</div> <p><a href="#anchor" class="topLink">回到顶端</a><
  • B树、B-树、B+树、B*树 矮蛋蛋 B树
    原文地址： http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html B树        即二叉搜索树：        1.所有非叶子结点至多拥有两个儿子（Left和Right）； &nb
  • 数据库连接池 alafqq 数据库连接池
    http://www.cnblogs.com/xdp-gacl/p/4002804.html @Anthor:孤傲苍狼 数据库连接池 用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误： java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec
  • java泛型 百合不是茶 java泛型
    泛型 在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患   泛型的特点：消除强制转换 确保类型安全 向后兼容   简单泛型的定义：      泛型：就是在类中将其模糊化，在创建对象的时候再具体定义 class fan
  • javascript闭包[两个小测试例子] bijian1013 JavaScriptJavaScript
    一.程序一 <script> var name = "The Window"; var Object_a = { 　　name : "My Object", 　　getNameFunc : function(){ var that = this; 　　　　return function(){ 　　　　
  • 探索JUnit4扩展：假设机制（Assumption） bijian1013 javaAssumptionJUnit单元测试
    一.假设机制（Assumption）概述        理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，
  • 【Gson四】范型POJO的反序列化 bit1129 POJO
    在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过 String str = new Gson().toJson(data); 得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO   import com.google.gson.Gson; import java.
  • 【Spark八十五】Spark Streaming分析结果落地到MySQL bit1129 Stream
    几点总结： 1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法 2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，
  • NGINX + LUA实现复杂的控制 ronin47 nginx lua
    安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
  • java-递归判断数组是否升序 bylijinnan java
    public class IsAccendListRecursive { /*递归判断数组是否升序 * if a Integer array is ascending,return true * use recursion */ public static void main(String[] args){ IsAccendListRecursiv
  • Netty源码学习-DefaultChannelPipeline2 bylijinnan javanetty
    Netty3的API http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html 里面提到ChannelPipeline的一个“pitfall”： 如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB） 来
  • Java工具之JPS chinrui java
    JPS使用     熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来
  • window.print分页打印 ctrain window
    function init() { var tt = document.getElementById("tt"); var childNodes = tt.childNodes[0].childNodes; var level = 0; for (var i = 0; i < childNodes.length; i++) {
  • 安装hadoop时 执行jps命令Error occurred during initialization of VM daizj jdkhadoopjps
    在安装hadoop时，执行JPS出现下面错误   [slave16][email protected]:/tmp/hsperfdata_hdfs# jps Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working
  • PHP开发大型项目的一点经验 dcj3sjt126com PHP重构
    一、变量 最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。 二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十
  • android笔记之--向网络发送GET/POST请求参数 dcj3sjt126com android
    使用GET方法发送请求 private static boolean sendGETRequest (String path, Map<String, String> params) throws Exception{ //发送地http://192.168.100.91:8080/videoServi
  • linux复习笔记 之bash shell (3) 通配符 eksliang linux 通配符linux通配符
    转载请出自出处： http://eksliang.iteye.com/blog/2104387 在bash的操作环境中有一个非常有用的功能，那就是通配符。 下面列出一些常用的通配符，如下表所示 符号 意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c
  • Android关于短信加密 gqdy365 android
    关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）：     1、因为Android有短信收发接口，可以调用接口完成短信收发；         发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm
  • asp.net在网站根目录下创建文件夹 hvt .netC#hovertreeasp.netWeb Forms
    假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下： string m_keleyiFolderName = Server.MapPath("/hovertree"); if (Directory.Exists(m_keleyiFolderName)) { //文件夹已经存在 return; } else { try { D
  • 一个合格的程序员应该读过哪些书 justjavac 程序员书籍
    编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本， 你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。 以前就有国内网友介绍这个程序员书单，不过都是推荐数
  • 单实例实践 跑龙套_az 单例
       1、内部类 public class Singleton { private static class SingletonHolder { public static Singleton singleton = new Singleton(); } public Singleton getRes
  • PO VO BEAN 理解 q137681467 VODTOpo
    PO：      全称是 persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。 好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。     BO：     全称是 business object:业务对象 主要作用是把业务逻辑封装为一个对象。这个对
  • 战胜惰性，暗自努力 金笛子 努力
    偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？ 我有个朋友是搞技术的，平时嘻嘻哈哈，以
  • NDK/JNI二维数组多维数组传递 wenzongliang 二维数组jniNDK
    多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组 用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。 Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata) { jint i,j; int s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他