python 数据分析之 HTML文件解析

一 ：Html

1. Html 理解

HTML 是用来描述网页的一种语言。HTML 是一种在 Web 上使用的通用标记语言。HTML 允许你格式化文本，添加图片，创建链接、输入表单、框架和表格等等，并可将之存为文本文件，浏览器即可读取和显示。

HTML 指的是超文本标记语言: HyperText Markup Language
HTML 不是一种编程语言，而是一种标记语言
标记语言是一套标记标签 (markup tag)
HTML 使用标记标签来描述网页
HTML 文档包含了HTML 标签及文本内容
HTML文档也叫做 web 页面

2. Html 介绍

HTML：是 Hypertext Marked Language，即超文本标记语言，是一种用来制作超文本文档的简单标记语言；
HTTP超文本传输协议规定了浏览器在运行 HTML 文档时所遵循的规则和进行的操作。HTTP协议的制定使浏览器在运行超文本时有了统一的规则和标准。
HTML文件本质上是文本文件，而普通的文本文件只能显示字符。但是HTML技术则通过HTML标签把其他网页、图片、音频、视频等各种多媒体资源引入到当前网页中，让网页有了非常丰富的呈现方式，这就是超文本的含义——本身是文本，但是呈现出来的最终效果超越了文本。

3. Html 构成

html开发，本质上就是编写一个.html格式的文档，最终通过浏览器执行该文档，一个html文档中包含三部分:HTML部分、HTML部分、JS部分

Html组成	含义
HTML部分	HTML：hyper text markup language；hyper text：超文本，是指写在html文档中，并在网络上传输的 文字、图片、视频、音频；markup language：标记语言 。所谓标记：就是指由一对尖括号扩起来，当中具有特定英文单词的标识。标记的其他叫法：标签 元素 element。
CSS部分	CSS：cascading style sheet 层叠样式表；用来对文档中的标签设置样式，从而改变超文本在浏览器上的渲染效果
JS部分	JS：javaScript；运行在浏览器端的脚本语言。平时我们看到网页，除了可以看以外，还可以处理一些用 户的交互行为，例如：鼠标的点击，键盘的控制等等。这些功能需要通过JS来完成

html文档中只有两种类型的标记

html文档标记类型	含义
单标记	不能存放内容，多是一些功能性的标记
双标记	有开始有结束，主要功能是存放内容，可以是超文本， 也可以是其他标记

4. HTML结构 介绍

1> HTML文件结构

A: 文档类型声明

写在html文档的第一行是文档中唯一个非标签字符，起文档说明作用，用来告知浏览器，当前文档是一 个支持html5标准的文档，不可省略，其中最重要的就是当前HTML文档遵循的语法标准。

HTML4版本的文档类型声明是：

HTML5版本的文档类型声明是：

B: 根标签

html标签是整个文档的根标签，所有其他标签都必须放在html标签里面。上面的文档类型不能当做普通标签看待。该标签包含两个子标签：head 和 body

C: 头部 -head 元素

head标签用于定义文档的头部，其他头部元素都放在head标签里。头部元素包括title标签、script标签、style标签、link标签、meta标签等等。

D: title 标签

作用：设置文档的标题或者名称。浏览器通常将该标签的内容显示在窗口顶部或者标签页上。每个 HTML 文档只能有一个，必须有一个 title 标签。

E: meta 标签

声明字符的编码格式为 utf-8

F: 主体-body 标签

body标签定义网页的主体内容，在浏览器窗口内显示的内容都定义到body标签内;也就是我们的主要内容（比如文本、超链接、图像、表格和列表等）
E: 注释
描述当前代码功能，代码信息 、编写日期、作者 、维护日期、维护者

HTML注释的写法是：

F: demo

 
我的第一个标题
我的第一个段落。
 


===================================
 声明为 HTML5 文档
 元素是 HTML 页面的根元素
 元素包含了文档的元（meta）数据，如  定义网页编码格式为 utf-8（由于在大部分浏览器中直接输出中文会出现乱码，所以要在头部将字符声明为UTF-8）



 
我的第一个标题
我的第二个标题
我的第三个标题
 

B: 段落

HTML 段落是通过标签

来定义的

 
这是一个段落。
这是一个段落。
这是一个段落。

 

C: 链接

HTML 链接是通过标签 来定义的

 
这是一个链接使用了 href 属性
 

D: 图像

HTML 图像是通过标签 来定义的。注意： 图像的名称和尺寸是以属性的形式提供的。

E: 表格

表格由

标签来定义。每个表格均有若干行（由 标签定义），每行被分割为若干单元格（由

标签定义）。字母 td 指表格数据（table data），即数据单元格的内容。数据单元格可以包含文本、图片、列表、段落、表单、水平线、表格等等。表格的表头使用

标签进行定义。如果不定义边框属性，表格将不显示边框。有时这很有用，但是大多数时候，我们希望显示边框。使用边框属性来显示一个带有边框的表格： Header 1 Header 2 row 1, cell 1 row 1, cell 2 row 2, cell 1 row 2, cell 2 3> 列表速查 A: 基本文档 可见文本... B: 基本标签 h1-h6 块元素 独立成行 行间距 属性： align 对齐方式 left center right color 不存在 如果需要设置样式 要嵌套font标签 最大的标题 . . . . . . . . . . . . 我是标题1 这是一个段落。 （换行） （水平线） C: 文本格式化 粗体文本 计算机代码 强调文本 斜体文本 键盘输入 预格式化文本 更小的文本 重要的文本 （缩写） （联系信息） （文字方向） （从另一个源引用的部分） （工作的名称） （删除的文本） （插入的文本） （下标文本） （上标文本） D: 链接 普通的链接：链接文本 图像链接： 邮件链接： 发送e-mail 书签： 提示部分 跳到提示部分 E: 图片 F: 样式/区块 文档中的块级元素 文档中的内联元素 G: 列表 无序列表 项目 项目 有序列表 第一项 第二项 H: 定义列表 项目 1 描述项目 1 项目 2 描述项目 2 I: 表格 ` 苹果 香蕉 樱桃 ` 表格标题 表格标题 表格数据 表格数据 J: 框架 K: 实体 < 等同于 < > 等同于 > © 等同于 © M: 文本修饰 font 行内标签 属性： size 字体大小 最大值是7 color 颜色值 颜色单词 red green blue 颜色的RGB rgb(0,0,255) 十六进制表示 #0000ff face 字体族 黑体 楷体 宋体 华文彩云 必须浏览器支持 主题内容。     我还是主体内容 5> HTML语法基本规则 序列 规则内容 1 根标签有且只能有一个 2 标签可以嵌套但不能交叉嵌套 3 注释不能嵌套 4 属性必须有值，值必须加引号，单引号或双引号均可 5 标签名不区分大小写但建议使用小写 6> Htlm特点 序列 内容 1 使用是一对一对的标签组成;双标签 可以嵌套其他标签 2 标签之间可以相互嵌套，但是不可以交叉嵌套;;; 3 使用属性去区分标签不同; ; 二: python 对Html 文件分析 1. BeautifulSoup 在使用BeautiSoup对其进行解析，解析的时候要使用相应类型的解析器html.parser from bs4 import BeautifulSoup file = open(r'C:/Users/CHH_PC/Desktop/test.html','rb') html = file.read() bs = BeautifulSoup(html,'html.parser') BeautifulSoup 将复杂的HTML文档转换成一个复杂的树形结构，每个结点都是一个Python对象，所有对象可以分为四种： 对象 含义 Tag 标签及其内容：拿到它所找到的第一个内容； NavigableString 这个内容就是NavigableString（标签里的内容，string） BeautifulSoup 表示对整个文档的访问 Comment 是一个特殊的NavigableString，输出内容不包括注释符号 2. BeautifulSoup应用 1> 常用参数 用法 解释 bs.title Tag 标签及其内容：拿到它所找到的第一个内容 bs.title.string 只获得标签的内容，不要标签 bs.a.attrs 快速拿到标签里面的所有属性 bs.NavigableString NavigableString用.string获取标签内部的文字。 bs…head 获取head标签的所有内容 bs.head.contents head文档的遍历 bs.body.contents body文档的遍历 bs.body.contents[1] body中第一个文档的遍历；content可遍历的内容有很多，获取Tag所有的子节点，返回一个list;contents[1] 用列表索引获取它的某一个元素 bs…prettify() 获取HTML的缩进格式 bs…title 获取title标签的所有内容 bs.title.name 获取title标签的名称 bs.title.string 获取title的文本内容 bs.div 获取第一个div标签中的所有内容 bs.div[‘id’] 获取第一个div标签的id的值 bs.a 获取第一个a标签中的所有内容 bs.find_all(‘a’) 获取所有的a标签中的所有内容 2> 遍历文档树 其他参数 demo children for child in bs.body.contents[9].children: print(child);hildren 获取 Tag 所有的子节点，返回一个 生成器 .descsndants 获取 Tag 所有的子孙节点 .strings 如果Tag包含多个字符串，即在子孙节点中，可以用此获取，再进行遍历； .striped_strings 与strings 用法一致，清除多余的空白字符串；for child in bs.body.contents[9].stripped_strings: print(child) .parent 获取Tag 父节点 .parents 递归得到父辈元素的所有节点，返回一个生成器； .previous_sibling 获取当前Tag上一个节点，属性通常是字符串或者空白，真实结果其实是当前标签与上一个标签之间的顿号与换行符； .next_sibling 获取当前Tag下一个节点，属性通常是字符串或者空白，真实结果其实是当前标签与下一个标签之间的顿号与换行符; .previous_siblings 获取当前Tag上面所有的兄弟节点，返回一个生成器； .next_siblings 获取当前Tag下面所有的兄弟节点，返回一个生成器； .previous_element 获取解析过程中上一个被解析的对象，可能与previous_sibling相同，但通常都不同， .next_element 获取解析过程中下一个被解析的对象，可能与previous_sibling相同，但通常都不同； .previous_elements 返回一个生成器，可以向前访问文档的解析内容； .next_elements 返回一个生成器，可以向后访问文档的解析内容； 3> 文档的搜索 参数 含义 find_all() divs_bs = bs.find_all(‘div’) print(divs_bs)找到所有的列标签，统一放到divs_bs ;也可以编译一个find_all(re.compile(‘a’)）对象，然后find_all其中的内容 kwargs（参数） divs_bs = bs.find_all( id=“wp”)或者 divs_bs = bs.find_all(‘div’, id=“wp”) 再进行遍历 text divs_bs = bs.find_all( text=“请输入搜索内容”);其他属性divs_bs = bs.find_all( value=“请输入搜索内容”) limit divs_bs = bs.find_all(‘div’, limit=1) print(divs_bs);输出一个div信息 css选择器 含义 titlehead\body divs_bs = bs.select(‘title’) 通过title查询； # divs_bs = bs.select(“#toptb”) 加# 通过ID查找 . divs_bs = bs.select(“.pg_index”) 加 . 通过类名查找 head > title divs_bs = bs.select(‘head > title’) 通过子标签查询； a ivs_bs = bs.select(“a[class=‘sister’]”) 按照属性查找 4> BeautifulSoup解析器 解析器 语法 优势 劣势 Python标准库 BeautifulSoup(html, ‘html.parser’) Python的内置标准、执行速度适中、文档容错能力强 Python2.7.3及Python3.2.2之前的版本文档容错能力差 lxml HTML解析库 BeautifulSoup(html, ‘lxml’) 速度快、文档容错能力强 需要安装C语言库 lxml XML解析库 BeautifulSoup(html, ‘xml’) 速度快、唯一支持XML的解析器 速度快、唯一支持XML的解析器 html5lib解析库 BeautifulSoup(html, ‘html5lib’) 最好的容错性、以浏览器的方式解析文档，生成HTMLS格式的文档 速度慢、不依赖外部扩展 例如： soup = BeautifulSoup(html, ‘lxml’)创建对象 soup = BeautifulSoup(open(‘test.html’),‘lxml’)读取HTML文件 5> BeautifulSoup 高阶 A： find_all 参数举例 举例 含义 soup.find_all(‘a’) 查找与字符串完整匹配的内容，用于查找文档中所有的标签 soup.find_all(re.compile(‘^b’)) 传入正则表达式，BeautifulSoup会通过正则表达式的match()来匹配内容。返回所有表示和标签。 soup.find_all([‘p’,‘a’]) 传入列表参数，BeautifulSoup会与列表中任一元素匹配的内容返回。返回所有的 和标签 soup.find_all(text=re.compile(‘^b’)) 匹配正则表达式 soup.find_all(传方法) soup.find_all(test_def);def test_def: return tag.has_attr(“class”) 此处传参方法，判断标签是否含有class信息 三：urllib.requests 1. urllib库的作用-解析网页 作用：urllib 模块是一个高级的 web 交流库，其核心功能就是模仿web浏览器等客户端，去请求相应的资源，并返回一个类文件对象。可以使用代码模拟浏览器发起请求 urllib 是python3 的内置库，urllib库最大的作用就是可以去设定相关的头部信息然后和网站建立请求连接，请求连接建立完成后就能够去获取到网页的整体数据，这也是python爬虫脚本实现的核心 2. urllib子模块 urllib模块包括：urllib.request, urllib.error, urllib.parse,urllib.robotparser 子模块 解释 urllib.request 请求模块-可以用来发送request和获取request的结果 urllib.error 异常处理模块-包含了urllib.request产生的异常 urllib.parse url解析模块-用来解析和处理URL urllib.robotparser robots.txt解析模块-用来解析页面的robots.txt文件 模拟请求使用的最主要的库便是urllib.request，异常处理用urllib.error库 3. 使用流程 序列 步骤 1 指定url 2 发起请求：针对指定的url发起一个请求 3 获取页面数据：获取服务器响应回来的页面数据 4 持久化存储 4. urllib.request 发送请求 urllib.request 模块提供了最基本的构造 HTTP 请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理 authenticaton （授权验证）， redirections （重定向)， cookies (浏览器Cookies）以及其它内容 demo 1> demo import urllib.request response = urllib.request.urlopen("https://www.baidu.com") print(response) ==================== 返回一个一个 HTTPResposne 类型的对象，它包含方法有 read() 、 readinto() 、getheader(name) 、 getheaders() 、 fileno() 等函数和 msg 、 version 、 status 、 reason 、 debuglevel 、 closed 等属性，所以可以通过response 调用这些方法和属性 2> 函数 函数 含义 response.status 返回结果的状态码，如200代表请求成功，404代表网页未找到等 response.getheaders() 返回list 格式head 信息 response.getheader(“Server”) 查询具体信息 response.read() 读取返回信息 5. urllib.request.urlopen() def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT, *, cafile=None, capath=None, cadefault=False, context=None) 属性 理解 data 参数是可选的；如果要添加 data ，它要是字节流编码格式的内容，即 bytes 类型，通过 bytes() 函数可以进行转化，另外如果你传递了这个 data 参数，它的请求方式就不再是 GET 方式请求，而是 POST timeout timeout 参数可以设置超时时间，单位为秒，意思就是如果请求超出了设置的这个时间还没有得到响应，就会抛出异常，如果不指定，就会使用全局默认时间。它支持 HTTP 、 HTTPS 、 FTP 请求 cafile 和 capath 两个参数是指定CA证书和它的路径，这个在请求 HTTPS 链接时会有用 cadefault 参数现在已经弃用了，默认为 False 1> data import urllib.parse import urllib.request data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding= 'utf8') response = urllib.request.urlopen('http://httpbin.org/post', data=data) print(response.read().decode()) # 把bety转换为字典形式数据 ======================== { "args": {}, "data": "", "files": {}, "form": { "word": "hello" }, "headers": { "Accept-Encoding": "identity", "Content-Length": "10", "Content-Type": "application/x-www-form-urlencoded", "Host": "httpbin.org", "User-Agent": "Python-urllib/3.7", "X-Amzn-Trace-Id": "Root=1-63f61236-4616d33d219931e3332ba8b5" }, "json": null, "origin": "117.143.152.208", "url": "http://httpbin.org/post" } POST 请求: 这里我们传递了一个参数 word ，值是 hello 。它需要被转码成 bytes （字节流）类型。其中转字节流采用了 bytes() 方法； 第一个参数需要是 str (字符串)类型，需要用 urllib.parse.urlencode() 方法来将参数字典转化为字符串。 第二个参数指定编码格式，在这里指定为 utf8 2> timeout import urllib.request response = urllib.request.urlopen("https://www.baidu.com/?tn=65081411_1_oem_dg",timeout=1) print(response.read().decode()) 设置了超时时间是1秒，程序1秒过后服务器依然没有响应，于是抛出了 urllib.error.URLError: 异常，错误原因是 timed out;因此我们可以通过设置这个超时时间来控制一个网页如果长时间未响应就跳过它的抓取，利用 try,except 语句就可以实现这样的操作 import urllib.request import socket import urllib.error try: response = urllib.request.urlopen('http://httpbin.org/get',timeout=0.1) except urllib.error.URLError as e: if isinstance(e.reason, socket.timeout): print("Time out!") 3> Request 1. Request 详解 import urllib.request request = urllib.request.Request("https://www.baidu.com") response = urllib.request.urlopen(request) print(response.read().decode("utf-8")) 依然是用 urlopen() 方法来发送这个请求，只不过这次 urlopen() 方法的参数不再是一个URL，而是一个 Request ，通过构造这个这个数据结构，一方面我们可以将请求独立成一个对象，另一方面可配置参数更加 丰富和灵活 def __init__(self, url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None): 参数 含义 url 参数是请求链接，这个是必传参数，其他的都是可选参数 data 参数如果要传必须传 bytes （字节流）类型的，如果是一个字典，可以先用 urllib.parse.urlencode() 编码。 headers 参数是一个字典，你可以在构造 Request 时通过 headers 参数传递，也可以通过调用 Request 对象的 add_header() 方法来添加请求头。请求头最常用的用法就是通过修改 User-Agent 来伪装浏览器，默认的 User-Agent 是 Python-urllib ，你可以通过修改它来伪装浏览器，比如要伪装火狐浏览器，你可以把它设置为 Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2.0.0.11 origin_req_host 指的是请求方的 host 名称或者 IP 地址 unverifiable 指的是这个请求是否是无法验证的，默认是 False 。意思就是说用户没有足够权限来选择接收这个请求的结果。例如我们请求一个HTML文档中的图片，但是我们没有自动抓取图像的权限，这时 unverifiable 的值就是 True method 是一个字符串，它用来指示请求使用的方法，比如 GET ， POST ， PUT 等等 2. 传入多个参数构建一个 Request 通过四个参数构造了一个 Request ， url 即请求链接，在 headers 中指定了 User-Agent 和 Host ，传递的参数 data 用了 urlencode() 和 bytes() 方法来转成字节流，另外指定了请求方式为 POST from urllib import request,parse url = "http://httpbin.org/post" headers = { #伪装一个火狐浏览器 "User-Agent":'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)', "host":'httpbin.org' } dict = { "name":"Germey" } data = bytes(parse.urlencode(dict),encoding="utf8") req = request.Request(url=url,data=data,headers=headers,method="POST") response = request.urlopen(req) print(response.read().decode("utf-8")) ========================== { "args": {}, "data": "", "files": {}, "form": { "name": "Germey" }, "headers": { "Accept-Encoding": "identity", "Content-Length": "11", "Content-Type": "application/x-www-form-urlencoded", "Host": "httpbin.org", "User-Agent": "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)", "X-Amzn-Trace-Id": "Root=1-63f61795-1ff741e6101a79d9442e056c" }, "json": null, "origin": "117.143.152.208", "url": "http://httpbin.org/post" } Process finished with exit code 0 headers 也可以用 add_header() 方法来添加。 req = request.Request(url=url, data=data, method=‘POST’) req.add_header(‘User-Agent’, ‘Mozilla/4.0 (compatible; MSIE 5.5;Windows NT)’) 如此一来，我们就可以更加方便地构造一个 Request ，实现请求的发送 6. urllib.request高级特性 虽然可以构造 Request ，但是一些更高级的操作，比如 Cookies 处理，代理该怎样来设置？需要更强大的工具 Handler ; 简而言之你可以把它理解为各种处理器，有专门处理登录验证的，有处理 Cookies 的，有处理代理设置的，利用它们我们几乎可以做到任何 HTTP 请求中所有的事情 1> urllib.request.BaseHandler 它是所有其他 Handler 的父类，它提供了最基本的 Handler 的方法，例 如 default_open() 、 protocol_request() 等 BaseHandler 子类 含义 HTTPDefaultErrorHandler 用于处理HTTP响应错误，错误都会抛出 HTTPError 类型的异常 HTTPRedirectHandler 用于处理重定向 HTTPCookieProcessor 用于处理 Cookie ProxyHandler 用于设置代理，默认代理为空 HTTPPasswordMgr 用于管理密码，它维护了用户名密码的表 HTTPBasicAuthHandler 用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题 实例代码1 import urllib.request auth_handler = urllib.request.HTTPBasicAuthHandler() auth_handler.add_password(realm='PDQ Application', uri='https://mahler:8092/site-updates.py', user='klem', passwd='kadidd!ehopper') opener = urllib.request.build_opener(auth_handler) urllib.request.install_opener(opener) urllib.request.urlopen('http://www.example.com/login.html' ============================= 说明 Handler 和 Opener 的使用方法。在这里，首先实例化了一个 HTTPBasicAuthHandler 对象，利用 add_password() 添加进去用户名和密码，相当于建立了一个处理认证的处理器；接下来利用 urllib.request.build_opener() 方法来利用这个处理器构建一个 Opener ，那么这个 Opener 在发送请求的时候就具备了认证功能了。接下来利用 Opener 的 open() 方法打开链接，就可以完成认证了 实例代码2 代理 import urllib.request proxy_handler = urllib.request.ProxyHandler({ 'http': 'http://218.202.111.10:80', 'https': 'https://180.250.163.34:8888' }) opener = urllib.request.build_opener(proxy_handler) response = opener.open('https://www.baidu.com') print(response.read()) ============================= 用于说明代理的设置方法，代理可能已经失效。 在这里使用了 ProxyHandler ， ProxyHandler 的参数是一个字典，key是协议类型，比如 http 还是 https 等，value是代理链接，可以添加多个代理。 然后利用 build_opener() 方法利用这个 Handler 构造一个 Opener ，然后发送请求即可 2> Cookie设置 获取网站的 Cookie import http.cookiejar, urllib.request cookie = http.cookiejar.CookieJar() 或则cookie = http.cookiejar.LWPCookieJar(filename)# LWPCookieJar ，同样可以读取和保存 Cookie ，但是保存的格式和 MozillaCookieJar 的不一样，它会保存成与libwww-perl的Set-Cookie3文件格式的 Cookie handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('http://www.baidu.com') for item in cookie: print(item.name+"="+item.value) ======================== 打印 BAIDUID=8D12919D30F39DFDD8FC36AC5F965BD4:FG=1 BIDUPSID=8D12919D30F39DFDD1ED7D576F0628B2 H_PS_PSSID=36561_38129_37906_37861_38264_38173_38289_38243_38034_38263_37928_38285_26350_22157_37881 PSTM=1678009542 BDSVRTM=0 BD_HOME=1 =============================================== 首先必须声明一个 CookieJar 对象，接下来我们就需要利用 HTTPCookieProcessor 来构建一个 handler ，最后利用 build_opener 方法构建出 opener ，执行 open() 即可 Cookie 实际也是以文本形式保存 filename = 'cookie.txt' cookie = http.cookiejar.MozillaCookieJar(filename) handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('http://www.baidu.com') cookie.save(ignore_discard=True, ignore_expires=True) =================== 这时的 CookieJar 就需要换成 MozillaCookieJar ，生成文件时需要用到它，它是 CookieJar 的子类，可以用来处理 Cookie 和文件相关的事件，读取和保存 Cookie ，它可以将 Cookie 保存成 Mozilla 型的格式；运行之后可以发现生成了一个 cookie.txt 文件 从文件读取并利用Cookie 信息 cookie = http.cookiejar.LWPCookieJar() cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True) handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('http://www.baidu.com') print(response.read().decode('utf-8')) =========================== 利用上面的方式生成了 LWPCookieJar 格式的 Cookie ，然后利用 load() 方法，传入文件名称，后面同样的方法构建 handler 和 opener 即可 四 ： python 数据分析之 xlsxwriter文件解析 python 数据分析之 xlsxwriter文件解析 https://blog.csdn.net/weixin_42914706/article/details/129116587 你可能感兴趣的:(python,数据分析,html,python,数据分析) 2025年全国CTF夺旗赛-从零基础入门到竞赛，看这一篇就稳了！ 白帽安全-黑客4148 安全web安全网络网络安全CTF 目录一、CTF简介二、CTF竞赛模式三、CTF各大题型简介四、CTF学习路线4.1、初期1、html+css+js（2-3天）2、apache+php（4-5天）3、mysql（2-3天）4、python(2-3天)5、burpsuite（1-2天）4.2、中期1、SQL注入（7-8天）2、文件上传（7-8天）3、其他漏洞（14-15天）4.3、后期五、CTF学习资源5.1、CTF赛题复现平台5. 2025年全国CTF夺旗赛-从零基础入门到竞赛，看这一篇就稳了！ 白帽安全-黑客4148 网络安全web安全linux密码学CTF 目录一、CTF简介二、CTF竞赛模式三、CTF各大题型简介四、CTF学习路线4.1、初期1、html+css+js（2-3天）2、apache+php（4-5天）3、mysql（2-3天）4、python(2-3天)5、burpsuite（1-2天）4.2、中期1、SQL注入（7-8天）2、文件上传（7-8天）3、其他漏洞（14-15天）4.3、后期五、CTF学习资源5.1、CTF赛题复现平台5. 基于python深度学习遥感影像地物分类与目标识别、分割实践技术应用 xiao5kou4chang6kai4 深度学习遥感勘测python深度学习分类 专题一：深度学习发展与机器学习深度学习的历史发展过程机器学习，深度学习等任务的基本处理流程梯度下降算法讲解不同初始化，学习率对梯度下降算法的实例分析从机器学习到深度学习算法专题二深度卷积网络、卷积神经网络、卷积运算的基本原理池化操作，全连接层，以及分类器的作用BP反向传播算法的理解一个简单CNN模型代码理解特征图，卷积核可视化分析专题三TensorFlow与keras介绍与入门TensorFlow python 快速实现链接转 word 文档 嘿嘿潶黑黑 pythonword python快速实现链接转word文档演示代码展示最后演示代码展示fromnewspaperimportArticlefromdocximportDocumentfromdocx.sharedimportPt,RGBColorfromdocx.enum.styleimportWD_STYLE_TYPEfromdocx.oxml.nsimportqn#tkinterGUIimporttkintera Python入门笔记 「已注销」 计算机 文章目录第0周课程导学第1周Python基本语法元素保留字数据类型语句与函数输入函数第2周Python基本图形绘制turtle库绝对坐标海龟坐标turtle角度坐标体系RGB色彩体系画笔控制函数运动控制函数方向控制函数循环语句第3周基本数据类型整型浮点数科学计数法复数类型数值运算操作符二元操作符有对应的增强赋值操作符数值运算函数字符串类型的表示字符串切片字符串类型及操作字符串类型格式化time库时 dreamweaver html语言,Dreamweaver网页设计与制作(HTML+CSS+JavaScript) weixin_39979245 dreamweaverhtml语言 Dreamweaver网页设计与制作(HTML+CSS+JavaScript)编辑锁定讨论上传视频本词条缺少信息栏，补充相关内容使词条更完整，还能快速升级，赶紧来编辑吧！《Dreamweaver网页设计与制作(HTML+CSS+JavaScript)》是2014年清华大学出版社出版的图书。Dreamweaver网页设计与制作(HTML+CSS+JavaScript)图书详细信息编辑ISBN：978 html 5中css的含义,HTML 5+CSS+JavaScript网页设计与制作 律保阁-Michael html5中css的含义 HTML5+CSS+JavaScript网页设计与制作编辑锁定讨论上传视频《HTML5+CSS+JavaScript网页设计与制作》是2019年4月清华大学出版社出版的图书，作者是彭进香、张茂红、王玉娟、叶娟、孙秀娟、万幸、刘英。书名HTML5+CSS+JavaScript网页设计与制作作者彭进香张茂红王玉娟叶娟作者孙秀娟展开作者孙秀娟万幸刘英收起出版社清华大学出版社出版时间2019年4月定价48 pythonxml模块高级用法_Python minidom模块用法示例【DOM写入和解析XML】 Lucy-露西娅 pythonxml模块高级用法 本文实例讲述了Pythonminidom模块用法。分享给大家供大家参考，具体如下：一、DOM写XML文件#-*-coding:utf-8-*-#!python3#导入minidomfromxml.domimportminidom#1.创建DOM树对象dom=minidom.Document()#2.创建根节点。每次都要用DOM对象来创建任何节点。root_node=dom.createElemen html+css+javascript实用详解,HTML+CSS+JavaScript 课程标准 vvv666s ②学会运用HTML语言中的标记设置颜色、文本格式和列表；熟练掌握颜色值的配置和背景图案的设置方法,熟练掌握字符、链接颜色的设置方法；③掌握在网页中添加CSS、嵌入图像、声音、多媒体信息的方法；④熟练掌握表格的使用方法，学会利用表格设布局网页；掌握框架制作网页的方法，会使用框架设计网页；掌握制作表单的方法，会利用表单建立交互式页面；⑤掌握JavaScript语言的语法；⑥掌握在HTML语言代码中嵌入 EDA事件驱动架构 领域事件 Event Sourcing talentluke 架构设计 摘自http://www.jdon.com/eda.htmlEDA(Event-drivenarchitecture)是以事件为核心，与SOA以服务为核心有本质区别，是状态模式的延伸到架构上，事件是触发状态变化的根源，事件是介于业务和技术两者之间的概念，用户界面是事件主要发生来源，事件也可以来源其他系统或模块，通过事件可以实现系统或组件之间松耦合。EDA可以实现SOA服务之间的调用，事件也可以用于 Redis 全方位解析：从入门到实战 kiss strong redis数据库缓存 引言在当今互联网快速发展的时代，高并发、低延迟的应用场景越来越普遍。Redis，作为一款高性能的开源数据库，以其卓越的性能和灵活的功能，成为了许多开发者的首选工具。无论是在缓存、消息队列，还是在实时数据分析等领域，Redis都展现出了强大的能力。本文将从Redis的基本介绍、官网、安装、特性，到具体的存储类型、Java代码实例、SpringBoot整合，以及Redis的主要作用和应用场景，进行全面 前端开发入门指南：HTML、CSS和JavaScript基础知识 方向感超强的 javascriptcsshtml前端 引言：大家好，我是一名简单的前端开发爱好者，对于网页设计和用户体验的追求让我深深着迷。在本篇文章中，我将带领大家探索前端开发的基础知识，涵盖HTML、CSS和JavaScript。如果你对这个领域感兴趣，或者想要了解如何开始学习前端开发，那么这篇文章将为你提供一个良好的起点。1.前端开发概述在我们深入了解前端开发的细节之前，让我们先了解一下前端开发的定义和作用。简而言之，前端开发涉及构建用户直接与 React 渲染 Flash 接口数据 ox0080 #北漂+滴滴出行VIP激励Webreact.js前端前端框架 1.后端Python代码使用Flask创建多个接口，每个接口返回不同的数据，并使用自定义装饰器来绑定路由。代码：#app.pyfromflaskimportFlask,jsonifyapp=Flask(__name__)defapi_route(route,methods=['GET']):"""自定义装饰器，用于将函数与HTTP路由绑定"""defdecorator(func):app.rout LQB---基础练习---十六进制转八进制 「已注销」 #LQBLQB 试题基础练习十六进制转八进制资源限制内存限制：512.0MBC/C++时间限制：1.0sJava时间限制：3.0sPython时间限制：5.0s问题描述给定n个十六进制正整数，输出它们对应的八进制数。输入格式输入的第一行为一个正整数n（1<=n<=10）。接下来n行，每行一个由09、大写字母AF组成的字符串，表示要转换的十六进制正整数，每个十六进制数长度不超过100000。输出格式输出n行，每行为 【2025年】全国CTF夺旗赛-从零基础入门到竞赛，看这一篇就稳了！ 网安詹姆斯 web安全CTF网络安全大赛pythonlinux 【2025年】全国CTF夺旗赛-从零基础入门到竞赛，看这一篇就稳了！基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包目录一、CTF简介二、CTF竞赛模式三、CTF各大题型简介四、CTF学习路线4.1、初期1、html+css+js（2-3天）2、apache+php（4-5天）3、mysql（2-3天）4、python(2-3天)5、burpsuite（1-2天）4.2、中期1、S 机器学习·文本数据读写处理 AAA顶置摸鱼 python深度学习机器学习人工智能数据处理 前言在自然语言处理的第一步，需要面对的是各种各样以不同形式表现的文本数据，比如，txt、Excel中的表格数据，还有无法直接打开的pkl文件等。针对这些不同类型的数据，可以基于Python中的基本功能函数或者调用某些库进行读写以及作一些基本的处理。一、文本数据读写方法1.读写TXT文件读取方法：read()：读取整个文件，返回字符串。readline()：逐行读取，返回字符串。readlines( LQB（4）-python-DFS搜索 AAA顶置摸鱼 蓝桥杯python组深度优先算法python蓝桥杯 前言DFS即深度优先搜索（Depth-FirstSearch），是一种用于遍历或搜索树或图的算法，有三种核心的应用场景（基础遍历、回溯、剪枝）。一、DFS-基础遍历1.核心原理深度优先搜索（DFS）是一种遍历或搜索树/图的算法，优先沿着一条路径尽可能深入，直到无法继续再回溯。实现方式：递归：隐式利用系统调用栈。栈模拟：显式使用栈数据结构。2.代码实现(1)递归实现（树结构）classTreeNod 前端基础入门：HTML、CSS 和 JavaScript 阿绵 前端前端htmlcssjs 在现代网页开发中，前端技术扮演着至关重要的角色。无论是个人网站、企业官网，还是复杂的Web应用程序，前端开发的基础技术HTML、CSS和JavaScript都是每个开发者必须掌握的核心技能。本文将详细介绍这三者的基本概念及其应用一、HTML——网页的骨架HTML（HyperTextMarkupLanguage）是构建网页的基础语言。它是网页的结构和内容的标记语言，决定了网页上的文本、图像、表单等元 Python中LLM的知识图谱构建：动态更新与推理 二进制独立开发 GenAI与Python非纯粹GenAIpython知识图谱开发语言自然语言处理人工智能分布式机器学习 文章目录引言1.知识图谱的基本概念1.1知识图谱的定义1.2知识图谱的构建流程2.利用LLM进行知识抽取2.1实体识别2.2关系抽取2.3属性抽取3.知识融合3.1实体对齐3.2冲突消解4.知识存储5.知识推理5.1规则推理5.2基于LLM的推理6.动态更新6.1增量更新6.2实时更新7.结论引言随着人工智能技术的飞速发展，知识图谱（KnowledgeGraph,KG）作为一种结构化的知识表示方法 网页制作03-html,css,javascript初认识のhtml的图像设置 Ama_tor 网页制作专栏htmlcss前端 一、图像格式网页中图像的格式有三种，Gif，Jpeg，PngGif：Graphicinterchangeformat图像交换格式，文件最多可使用256种颜色，最适合显示色调不连续或具有大面积单一颜色的图像，例如导航条、按钮、图标、徽标或其他具有统一色彩和色调的图像；还可以制作动态图像Jpeg：Giantphotographicexpectgroup，它是一种图像压缩格式，可包含数百万种颜色，不支持 Python's SQLAlchemy and Object-Relational Mapping zhanglizhuo Python Acommontaskwhenprogramminganywebserviceistheconstructionofasoliddatabasebackend.Inthepast,programmerswouldwriterawSQLstatements,passthemtothedatabaseengineandparsethereturnedresultsasanormalarrayofrec Jira，一个强大灵活的项目和任务管理工具 Python 库 图灵学者 python精华jirapython开发语言 目录01初识Jira为什么选择Jira？02安装与配置安装jira库配置Jira访问获取APItoken：配置Python环境：03基本操作创建项目创建任务查询任务更新任务删除任务04高级操作处理子任务搜索任务添加附件评论任务05实战案例自动化创建与分配任务自动生成项目报告06结语01初识JiraJira是Atlassian公司开发的一款项目和任务管理工具。它广泛应用于软件开发、IT支持、营销等各 使用LlamaIndex查询 MongoDB 数据库，并获取 OSS (对象存储服务) 上的 PDF 文件，最终用Langchain搭建应用 朴拙Python交易猿 数据库mongodbpdf 使用LlamaIndex查询MongoDB数据库，并获取OSS(对象存储服务)上的PDF文件，然后利用Langchain搭建应用，涉及多个步骤。下面我们将详细介绍如何将这些步骤结合起来，构建一个系统：1.环境准备首先，确保你已经安装了以下Python库：pipinstallllama_indexpymongolangchainopenaiboto3pdfplumberpymongo：MongoDB python 连接 jira 我就是我是好孩子啊 pythonjira开发语言 Python连接到Jira实例、登录、查询、修改和创建bug首先，你需要安装jiraPython库pip3installjira连接到Jira并登录fromjiraimportJIRAfromjira.exceptionsimportJIRAError#Jira服务器地址，用户名和密码jira_server='https://your-jira-server.com'jira_user='your python调用接口返回401,带有Python的Jira API在有效凭据上返回错误401 weixin_39743369 python调用接口返回401 IamtryingtousetheJirapythonlibrarytodosomequitebasicthings.Evenbeforedoinganything,theconstructorfails.address='https://myaddress.atlassian.net'options={'server':address}un='[email protected]'#un='my'#alsod python邮件发送哪个好_(原创)python发送邮件 加勒比考斯 python邮件发送哪个好 这段时间一直在学习flask框架，看到flask扩展中有一个mail插件，所以今天就给大家演示如果发邮件。首先我注册了一个163邮箱，需要开启smtp功能,(网易的电子邮件服务器)。注册好163邮箱，然后开启smtp功能，如下图所示:开启的过程中需要绑定手机。我最终实现的样子是这样的:使用flask搭建了一个web服务器，然后做了一个网页，将收件人，主题，正文填好之后，点击发送，上面会显示发送结果 MXTU MAX 苹果cmsv10模板 仿毒舌自适应主题/短视X体验版完全开源 希希分享 软希网58soho_cn源码资源仿毒舌自适应主题/ 基于MxonePro二开的主题，全开源未加密。MXTUMAX仿毒舌苹果CMS影视自适应主题主题说明：1、将mxtheme目录放置根目录|将mxpro目录放置template文件夹中2、苹果cms后台-系统-网站参数配置-网站模板-选择mxpro模板目录填写html3、网站模板选择好之后一定要先访问前台，然后再进入后台设置4、主题后台地址：MXTUMAX图图主题,/admin.php/admin/m 如何用 python 获取实时的股票数据？_python efinance(2) 元点三 2024年程序员学习pythonjavalinux 先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课 如何用 python 获取实时的股票数据？_python efinance，2024年最新pdf面试简历 元点三 2024年程序员学习pythonpdf面试 先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课 python中enumerate()函数的用法 neu_张康 python中enumerate()函数的用法enumerate是翻译过来是枚举的意思，看下它的方法原型：enumerate(sequence,start=0)，返回一个枚举对象。sequence必须是序列或迭代器iterator，或者支持迭代的对象。enumerate()返回对象的每个元素都是一个元组，每个元组包括两个值，一个是计数，一个是sequence的值，计数是从start开始的，star 深入浅出Java Annotation(元注解和自定义注解） Josh_Persistence Java Annotation元注解自定义注解 一、基本概述     　　 Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制，用来将任何的信息或元数据（metadata）与程序元素（类、方法、成员变量等）进行关联。   　　更通俗的意思是为程序的元素（类、方法、成员变量）加上更直观更明了的说明，这些说明信息是与程序的业务逻辑无关，并且是供指定的工具或 mysql优化特定类型的查询 annan211 java工作mysql 本节所介绍的查询优化的技巧都是和特定版本相关的，所以对于未来mysql的版本未必适用。 1 优化count查询 对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看 真正的count()函数的作用到底是什么。 count()是一个特殊的函数，有两种非常不同的作用，他可以统计某个列值的数量，也可以统计行数。 在统 MAC下安装多版本JDK和切换几种方式 棋子chessman jdk 环境： MAC AIR,OS X 10.10,64位   历史： 过去 Mac 上的 Java 都是由 Apple 自己提供，只支持到 Java 6，并且OS X 10.7 开始系统并不自带（而是可选安装）（原自带的是1.6）。 后来 Apple 加入 OpenJDK 继续支持 Java 6，而 Java 7 将由 Oracle 负责提供。   在终端中输入jav javaScript （1） Array_06 JavaScriptjava浏览器 JavaScript 1、运算符 　　运算符就是完成操作的一系列符号，它有七类： 　　赋值运算符（=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=）、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位 国内顶级代码分享网站 袁潇含 javajdkoracle.netPHP        现在国内很多开源网站感觉都是为了利益而做的                  当然利益是肯定的,否则谁也不会免费的去做网站      & Elasticsearch、MongoDB和Hadoop比较 随意而生 mongodbhadoop搜索引擎   IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配 mac os 系统科研软件总结 张亚雄 mac os 1.1 Microsoft Office for Mac 2011      大客户版，自行搜索。      1.2 Latex （MacTex）:      系统环境：https://tug.org/mactex/     &nb Maven实战（四）生命周期 AdyZhang maven 1. 三套生命周期     Maven拥有三套相互独立的生命周期，它们分别为clean，default和site。 每个生命周期包含一些阶段，这些阶段是有顺序的，并且后面的阶段依赖于前面的阶段，用户和Maven最直接的交互方式就是调用这些生命周期阶段。 以clean生命周期为例，它包含的阶段有pre-clean, clean 和 post Linux下Jenkins迁移 aijuans Jenkins 1. 将Jenkins程序目录copy过去      源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面            tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com & request.getInputStream()只能获取一次的问题 ayaoxinchao requestInputstream 问题：在使用HTTP协议实现应用间接口通信时，服务端读取客户端请求过来的数据，会用到request.getInputStream()，第一次读取的时候可以读取到数据，但是接下来的读取操作都读取不到数据   原因： 1. 一个InputStream对象在被读取完成后，将无法被再次读取，始终返回-1； 2. InputStream并没有实现reset方法（可以重 数据库SQL优化大总结之 百万级数据库优化方案 BigBird2012 SQL优化 网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。 这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where jsonObject的使用 bijian1013 javajson         在项目中难免会用java处理json格式的数据，因此封装了一个JSONUtil工具类。 JSONUtil.java package com.bijian.json.study; import java.util.ArrayList; import java.util.Date; import java.util.HashMap; [Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration bit1129 zookeeper Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API，它包含了如下几个内部类     首先分析它的内部类，从WatchRegistration开始，为指定的znode path注册一个Watcher，   /** * Register a watcher for a particular p 【Scala十三】Scala核心七：部分应用函数 bit1129 scala 何为部分应用函数？ Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p Tomcat Error listenerStart 终极大法 ronin47 tomcat Tomcat报的错太含糊了，什么错都没报出来，只提示了Error listenerStart。为了调试，我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties，内容如下 Java代码  handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa 不用加减符号实现加减法 BrokenDreams 实现         今天有群友发了一个问题，要求不用加减符号(包括负号)来实现加减法。         分析一下，先看最简单的情况，假设1+1，按二进制算的话结果是10，可以看到从右往左的第一位变为0，第二位由于进位变为1。     读《研磨设计模式》-代码笔记-状态模式-State bylijinnan java设计模式 声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /* 当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类 状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况 把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化 如果在 CUDA程序block和thread超出硬件允许值时的异常 cherishLC CUDA 调用CUDA的核函数时指定block 和 thread大小，该大小可以是dim3类型的（三维数组），只用一维时可以是usigned int型的。 以下程序验证了当block或thread大小超出硬件允许值时会产生异常！！！GPU根本不会执行运算！！！ 所以验证结果的正确性很重要！！！ 在VS中创建CUDA项目会有一个模板，里面有更详细的状态验证。 以下程序在K5000GPU上跑的。 诡异的超长时间GC问题定位 chenchao051 jvmcmsGChbaseswap HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志： 2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700 maven环境快速搭建 daizj 安装mavne环境配置 一 下载maven 安装maven之前，要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。 maven下载地址：http://maven.apache.org/download.html，目前最新的是这个apache-maven-3.2.5-bin.zip，然后解压在任意位置，最好地址中不要带中文字符，这个做java 的都知道，地址中出现中文会出现很多 PHP网站安全，避免PHP网站受到攻击的方法 dcj3sjt126com PHP 对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie yii中给CGridView设置默认的排序根据时间倒序的方法 dcj3sjt126com GridView public function searchWithRelated() {         $criteria = new CDbCriteria;         $criteria->together = true; //without th Java集合对象和数组对象的转换 dyy_gusi java集合     在开发中，我们经常需要将集合对象（List，Set）转换为数组对象，或者将数组对象转换为集合对象。Java提供了相互转换的工具，但是我们使用的时候需要注意，不能乱用滥用。 1、数组对象转换为集合对象     最暴力的方式是new一个集合对象，然后遍历数组，依次将数组中的元素放入到新的集合中，但是这样做显然过 nginx同一主机部署多个应用 geeksun nginx 近日有一需求，需要在一台主机上用nginx部署2个php应用，分别是wordpress和wiki，探索了半天，终于部署好了，下面把过程记录下来。 1.   在nginx下创建vhosts目录，用以放置vhost文件。 mkdir vhosts   2.   修改nginx.conf的配置， 在http节点增加下面内容设置，用来包含vhosts里的配置文件 # ubuntu添加admin权限的用户账号 hongtoushizi ubuntuuseradd ubuntu创建账号的方式通常用到两种：useradd 和adduser . 本人尝试了useradd方法，步骤如下： 1:useradd    使用useradd时，如果后面不加任何参数的话，如：sudo useradd sysadm 创建出来的用户将是默认的三无用户：无home directory ,无密码,无系统shell。 顾应该如下操作：   第五章 常用Lua开发库2-JSON库、编码转换、字符串处理 jinnianshilongnian nginxlua   JSON库   在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，本人用过cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成 Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 yaerfeng1989 timerquartz定时器 原创整理不易，转载请注明出处：Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 代码下载地址：http://www.zuidaima.com/share/1772648445103104.htm 有两种流行Spring定时器配置：Java的Timer类和OpenSymphony的Quartz。 1.Java Timer定时 首先继承jav Linux下df与du两个命令的差别？ pda158 linux 　一、df显示文件系统的使用情况，与du比較，就是更全盘化。 　　最经常使用的就是 df -T，显示文件系统的使用情况并显示文件系统的类型。 　　举比例如以下： 　　[root@localhost ~]# df -T 　　Filesystem                   Type &n [转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象 ctfzh VOandroidsqlite反射Cursor 在写DAO层时，觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了，就写了一个工具类，用到了反射，可以把查询记录的值装到对应的VO里，也可以生成该VO的List。   使用时需要注意： 考虑到Android的性能问题，VO没有使用Setter和Getter，而是直接用public的属性。 表中的字段名需要和VO的属性名一样，要是不一样就得在查询的SQL中 该学习笔记用到的Employee表 vipbooks oraclesql工作     这是我在学习Oracle是用到的Employee表，在该笔记中用到的就是这张表，大家可以用它来学习和练习。 drop table Employee; -- 员工信息表 create table Employee( -- 员工编号 EmpNo number(3) primary key, -- 姓 按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他 首页 - 关于我们 - 站内搜索 - Sitemap - 侵权投诉 版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.