white_while
white_while

xpath选择器应用

文章目录

  • xpath选择器应用
    • xpath介绍
    • xpath语法
      • 表达式
      • 逻辑语句 and or
    • xpath函数
    • xpath提取元素
      • 在scrapy项目中使用xpath
      • lxml直接使用 xpath

xpath选择器应用

xpath介绍

XPath（XML Path Language - XML路径语言），它是一种用来确定XML文档中某部分位置的语言。
Xpath以XML为基础，提供用户在数据结构树中寻找节点的能力，Xpath被很多开发者亲切的称为小型查询语言

xpath使用路径表达式在xml和html中进行导航，适用于xml和html所以在爬虫中作为解析库使用

xpath包含标准函数库

xpath是w3c的标准，脱离语言

xpath节点关系

  1. 父节点
  2. 子节点
  3. 兄弟节点
  4. 祖先节点
  5. 子孙节点

xpath语法

表达式

表达式 描述
nodename 选取此节点的所有子节点
/ 从当前节点选取直接子节点
// 从当前节点选取子孙节点
. 选取当前节点
… 选取当前节点的父节点
@ 选取属性

示例：

表达式 描述
//article[@lang=‘cn’] 选取所有名称为article，同时属性lang值为cn的节点，[]谓语
article 选取所有article元素的所有子节点
/article 选取根元素article
article/a 选取所有属于article的子元素的a元素
//div 选取所有div子孙元素(不论出现在文档任何地方)
article//div 选取所有属于article元素的后代的div元素，不管它出现在article之下的任何位置
//@class 选取所有名为class的属性
/article/div[1] 选取属于article子元素的第一个div元素
/article/div[last()] 选取属于article子元素的最后一个div元素
/article/div[last()-1] 选取属于article子元素的倒数第二个div元素
//div[@lang] 选取所有拥有lang属性的div元素
//div[@lang=‘eng’] 选取所有lang属性为eng的div元素
/div/* 选取属于div元素的所有子节点
//* 选取所有元素
//div[@*] 选取所有带属性的div元素
//div/a | //div/p 选取所有div元素的a和p元素
//span | //ul 选取文档中的span和ul元素
article/div/p| //span 选取所有属于article元素的div元素的p元素 以及文档中所有的span元素

html基本结构

<html>
	<head>
		<title></title>
	</head>
	<body>
		<div id="1"></div>
		<div id="2">
			<div id="3"></div>
			<div id="4"></div>
		</div>
    </body>
</html>

对于节点关系

兄弟节点：
	div1和div2互为兄弟节点
父节点和子节点
	div3和div4的父节点是div2，他们是div2的子节点，每个节点都有唯一的父节点
祖先节点和子孙节点
	div都是body的子孙节点，body是div的祖先节点

一般静态页面的解析都是定位a标签获取href

逻辑语句 and or

选取多个属性可以用 and or |

div[@class="info_list password" and @node-type="password_box"]
div[@class="info_list password" or @node-type="password_box"]
div[@class="info_list password" | @node-type="password_box"]

xpath函数

函数

  1. text()
获取元素的文本
//*[@id="entry_737487"]/div[2]/h2/a/text()
  1. last()
获取最后一个元素
a[last()]
  1. 获取节点属性
直接使用 @
获取所有li节点下a节点的href属性
//li/a/@href
  1. contains() 判断是否包含
# 获取所有a标签(text包含 Next >的)的href属性
//a[contains(text(), 'Next >')]/@href
# 获取所有a标签(class属性包含 Next >的)
//a[contains(@class, 'Next >')]

xpath提取元素

在F12浏览器调试中可以Ctrl+Shift+C，或直接选择器选中元素右键copy，选择xpath复制

在scrapy项目中使用xpath

def parse(self, response):
    # 不建议的写法
    # /html/body/div[2]/div[2]/div[4]/div[1]/div[2]/h2/a/@href
    # 路径短
    # //*[@id="entry_732084"]/div[2]/h2/a/@href 该方法写死了id
    href = response.xpath('//*[@id="entry_732084"]/div[2]/h2/a/@href')
    # 提出字符串值,返回list,["",""]
    val_list = href.extract()
    # 提出字符串值,返回第一个结果
    val_first = href.extract_first(default="")
    print(val_first)
    # 推荐写法
    href = response.xpath('//div[@id="news_list"]/div[1]/div[2]/h2/a/@href')
    print(href.extract_first(default=""))
    # 推荐写法,缩短路径
    href = response.xpath('//div[@id="news_list"]//h2/a/@href')
    print(href.extract_first(default=""))
    # 推荐写法,缩短路径,指定父节点
    href = response.xpath('//div[@id="news_list"]//h2[@class="news_entry"]/a/@href')
    print(href.extract_first(default=""))
    pass
# //* 忽略前面的节点 [@id="xx"] 通过id定位到节点减少路径

Selector使用xpath

from scrapy.selector import Selector

Selector(text=browser.page_source).xpath(
        '//*[@id="boardfeed:287808301125883930"]/div/div[1]/div[1]/div/div/div/div/div[1]/a/div/div/div/div/div[1]/img').extract()

lxml直接使用 xpath

lxml

from lxml import etree


index_url = "https://www.baidu.com"
index_resp = requests.get(index_url, headers=headers)
index_tree = etree.HTML(index_resp.text)
suf_list = index_tree.xpath(
    '//div[@class="title"]/a/@href')

你可能感兴趣的:(爬虫,python,xpath,爬虫)

  • MySQL数据库表的设计 weixin_34289744 数据库python
    2019独角兽企业重金招聘Python工程师标准>>>表的约束主键约束createtablestudent(idintprimarykey,namevarchar(40));createtablestudent(idintprimarykeyauto_increment,namevarchar(20));唯一约束createtablestudent(idintprimarykeyauto_incr
  • python转换视频格式为mp4 宁君 Pythonpython
    1.第一种方法电脑下载安装ffmpeg方法见mac电脑安装ffmpeg两种方法然后代码如下frommoviepy.editorimportVideoFileClipimportosimportffmpegdefconvert_video_to_mp4(input_video_path,output_video_path):'''速度慢,CPU狂飙:paraminput_video_path::pa
  • 华为OD机试E卷 --寻找符合要求的最长子串 --24年OD统一考试（Java & JS & Python & C & C++） 飞码创造者 最新华为OD机试题库2024华为odjavajavascriptpythonc语言
    文章目录题目描述输入描述输出描述用例题目解析JS算法源码Java算法源码python算法源码c算法源码c++算法源码题目描述给你一个字符串s，字符串s首尾相连成一个环形，请你在环中找出‘l’、‘o’、‘x’字符都恰好出现了偶数次最长子字符串的长度。输入描述输入是一串小写的字母组成的字符串输出描述输出是一个整数备注•1≤s.length≤5*10^5•s只包含小写英文字母用例输入alolobo输出6
  • 华为OD机试E卷 --最大值--24年OD统一考试（Java & JS & Python & C & C++） 飞码创造者 最新华为OD机试题库2024华为odjavajavascriptpythonc语言
    文章目录题目描述输入描述输出描述用例题目解析JS算法源码Java算法源码python算法源码c算法源码c++算法源码题目描述给定—组整数(非负)，重排顺序后输出一个最大的整数。示例1输入:[10,9]输出:910说明:输出结果可能非常大，所以你需要返回一个字符串而不是整数。输入描述数字组合输出描述最大的整数用例输入109输出910说明无题目解析给定一组非负整数，我们需要对这些整数进行重排，使得重新
  • 华为OD机试C卷-- 字符串变换最小字符串（Java & JS & Python & C） 飞码创造者 华为OD机试题库华为odc语言javajavascriptpython
    获取题库不需要订阅专栏，可直接私信我进入CSDN领军人物top1博主的华为OD交流圈观看完整题库、最新面试实况、考试报告等内容以及大佬一对一答疑。题目描述给定一个字符串s，最多只能进行一次变换，返回变换后能得到的最小字符串（按照字典序进行比较）。变换规则：交换字符串中任意两个不同位置的字符。输入描述一串小写字母组成的字符串s输出描述按照要求进行变换得到的最小字符串。备注s是都是小写字符组成1≤s.
  • 【Triton 教程】持久矩阵乘法 (Persistent Matmul)
    Triton是一种用于并行编程的语言和编译器。它旨在提供一个基于Python的编程环境，以高效编写自定义DNN计算内核，并能够在现代GPU硬件上以最大吞吐量运行。更多Triton中文文档可访问→https://triton.hyper.ai/该脚本展示了使用Triton进行矩阵乘法的持久化内核实现(persistentkernelimplementations)。包含多种矩阵乘法方法，例如基础的朴
  • 《CPython Internals》阅读笔记：p151-p151 python
    《CPythonInternals》学习第9天，p151-p1510总结，总计1页。一、技术总结无。二、英语总结(生词：1)1.marshal(1)marshalingMarshallingormarshaling(USspelling)istheprocessoftransformingthememoryrepresentationofanobjectintoadataformsuitablef
  • python实现自动登录12306抢票 -- selenium python
    python实现自动登录12306抢票--selenium前言其实网上也出现了很多12306的代码，但是都不是最新的，我也是从网上找别人的帖子，看B站视频，然后写成了这个程序，想分享一下。其中我会说自己遇到的问题以及自己的一个改进。一、遇到的问题？1.url-正确的表头：就是首先url不要写错了，然后一定要加正确的表头，才可以拿到数据，就是我日期填写错误，然后生成的url就有问题，浪费了好多时间。
  • Python单例模式中的问题 后端python
    一、装饰器形式的单例模式首先先给出Python中装饰器的单例模式：python代码解读复制代码importthreadingdefsingleton(cls):_instances={}_lock=threading.Lock()defget_instance(*args,**kwargs):ifclsnotin_instances:with_lock:ifclsnotin_instances:_
  • 《CPython Internals》阅读笔记：p118-p150 python
    《CPythonInternals》学习第8天，p118-p150总结，总计33页。一、技术总结补充一些本人整理的关于Context-FreeGrammar(CFG)的知识。1.symbol(符号)Amathematicalsymbolisafigureoracombinationoffiguresthatisusedtorepresentamathematicalobject（符号是一个数字或数
  • 巧夺天工：VSCode Python 终端环境隔离的背后原理
    每个写Python的小伙伴都会感慨，VSCode对Python环境的支持太好了！当你切换Python解释器后，新开的终端会自动激活对应的环境，不同项目互不干扰，用起来简直不要太舒服。但是，你知道这背后的实现原理吗？终端环境隔离的本质：环境变量首先，我们要理解终端中环境激活的本质。当我们在终端中执行sourcevenv/bin/activate或condaactivateenv_name时，这些命令
  • 为什么在 Python 中 hash(-1) == hash(-2)? python
    英文：https://omairmajid.com/posts/2021-07-16-why-is-hash-in-python作者：OmairMajid译者：豌豆花下猫&Claude-3.5-Sonnet时间：原文发布于2021.07.16，翻译于2025.01.11收录于：Python为什么系列https://github.com/chinesehuazhou/python-whydo当我在等
  • 《CPython Internals》阅读笔记：p97-p117 python
    《CPythonInternals》学习第7天，p97-p117总结，总计21页。一、技术总结1.词法分析(lexicalanalysis)根据《Compilers-Principles,Techniques,andTools》(《编译原理》第2版)第5页：Thefirstphaseofacompileriscalledlexicalanalysisorscanning.Thelexcicalan
  • 《CPython Internals》阅读笔记：p96-p96 python
    《CPythonInternals》学习第6天，p96-p96总结，总计1页。一、技术总结1.parser-tokenizerp92,Creatingaconcretesyntaxtreeusingaparser-tokenizer,orlexer.p96,CPythonhasaparser-tokenizermodule,writteninC.当做这在92页提到parser-tokenizer的
  • Python列表方法 L_lemo004 Pythonpython
    目录添加元素Pythonappend()方法添加元素Pythonextend()方法添加元素Pythoninsert()方法插入元素删除元素del：根据索引值删除元素pop()：根据索引值删除元素remove()：根据元素值进行删除clear()：删除列表所有元素修改元素修改单个元素修改一组元素查找元素index()方法count()方法添加元素实际开发中，经常需要对Python列表进行更新，包括
  • requests库的安装和使用指南
    Requests库安装与使用指南Requests是一个功能强大且易于使用的PythonHTTP库，广泛应用于发送各种HTTP请求，如GET、POST等。以下内容将详细介绍Requests库的安装和使用方法，帮助您高效地在Python中进行HTTP操作。️安装Requests库要使用Requests库，首先需要确保已安装pip工具。然后，在终端或命令行中运行以下命令进行安装：pipinstallre
  • 用Python在Excel工作表中创建数据透视图
    数据透视图是基于数据透视表创建的Excel图标，它能够帮助我们从复杂的数据集中提炼出有价值的信息，提供直观且易于理解的数据视图。对于需要频繁更新或处理大量数据集的人员以及任何依赖数据做出决策的人来说，用Python在Excel中创建数据透视图能够根据最新的数据快速调整和生成新的分析图表，从而提高工作效率并增强数据分析的灵活性。本文将介绍如何使用Python在Excel工作表中创建数据透视图。用Py
  • pip工具安装第三方库 nfenghklibra pippython
    使用pip+cmd引入第三方库pip是Python包管理工具，提供了对Python包的查找、下载、安装、卸载的功能。注意：pip已内置于Python3.4和2.7及以上版本，其他版本需另行安装常规命令：pipinstall安装第三方库的库名（以json为例）pipinstalljson指定版本号：pipinstall库名==库的版本号pipinstalljieba==0.42.1卸载库：pipun
  • python 词云示例 布道天下 python
    python词云示例以2021年中央1号文件和政府工作报告文件为例，输出50个关键词。#testPython.pyimportjiebaimportwordclouddefoutputWordCloud(text,outPngName):#配置词云对象参数temp=wordcloud.WordCloud(width=1000,height=1000,font_path="msyh.ttc",max
  • requests库的安装和使用指南
    Requests库安装与使用指南Requests是一个简洁且功能强大的Python库，用于发送HTTP请求。它广泛应用于数据采集、API调用等场景。本文将详细介绍Requests库的安装与基本使用方法，并通过实例和图表帮助您快速掌握其核心功能。目录安装Requests库导入Requests库发送GET请求发送POST请求添加Headers处理响应处理JSON响应异常处理附加参数会话管理文件下载工作
  • 【Python基础 字典】汽车限行 学Python的小趴菜 python
    最近在准备期末机考，看实验课的代码，发现有提升效率的空间，就改了改测评过了。这个效率提升是砍掉了循环结构判断车牌号末尾数字的奇偶，改用纯数学方法（提取数字判断奇偶）任务描述为缓解城市交通压力，武汉市交管局对于长江一桥及江汉一桥实行限行，规定如下：‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‭
  • Python小项目：利用U-net完成细胞图像分割
    利用U-Net完成细胞图像分割的详细指南在生物医学领域，细胞图像分割是一个关键步骤，能够帮助研究人员分析细胞结构和功能。U-Net作为一种强大的卷积神经网络结构，广泛应用于医学图像分割任务。本文将详细介绍如何利用U-Net完成细胞图像分割项目，涵盖从数据准备到模型部署的各个步骤。项目步骤概览数据准备数据预处理构建U-Net模型训练模型模型评估图像分割结果可视化调优和优化部署和应用1.数据准备收集数
  • json相关内容(python) 大哥喝阔落 jsonpython开发语言
    JSON（JavaScriptObjectNotation）是一种轻量级的数据交换格式，易于人阅读和编写，也易于机器解析和生成。Python提供了json模块来处理JSON数据。以下是关于Python中JSON的详细内容：1.导入json模块importjson2.将Python对象转换为JSON字符串使用json.dumps()函数可以将Python对象（如字典、列表、字符串、数字等）转换为JS
  • PyEcharts 基本图表之词云图 开不开心少年 头哥题目python开发语言
    第1关：WordCloud：词云图任务描述本关任务：利用所学知识，按要求自行绘制一个词云图。相关知识为了完成本关任务，你需要掌握：1.Python的基本语法，2.PyEcharts词云图的相关内容。编程要求根据以上介绍，在右侧编辑器补充代码，使用给定数据绘制一个词云图，要求：系列名称设置为空，数据项为data，单词字体大小范围设置为20到100，词云图轮廓设置为全局变量中的SymbolType.D
  • Nginx Proxy Manager 反代本地服务502错误——基于 1panel 部署遇到的问题解决方案 nginx后端python
    参考：NginxProxyManager反代本地服务502错误我的需求如下：我有一个需求：我有一台云服务器，ip地址为114.55.xxx.xxx然后在这个机器上部署了一个python服务http://114.55.xxx.xxx:8086我需要实现一个功能：部署一个nginx当我访问云服务器的80端口的时候，可以帮我反向代理访问python服务，我应该如何设置nginx呢？给我对应的配置文件配置
  • 基于Tkinter和Canvas实现PCB产品的Map分布展示 卤蛋叔叔 TkinterCanvasMappython
    本文是基于SEMI的G85文件（文件格式类型为XML），和Python的Tkinter和Canvas模块实现PCB/SUB（芯片基板）类型的产品的检测缺陷的Map分布展示，第一部分主要对程序的页面进行展示1、Lot_Map叠合的页面主要分为两个页面图，通过点击获取文件按钮（获取的文件格式为固定的G85文件，示例如图2），获取指定格式路径下的文件后，左边页面：点击获取MergeMap明细，可获取到所
  • Python小工具：利用ffmpy3库3秒钟将视频转换为音频 Python知识圈 python
    作者|pk哥来源公众号|Python知识圈（ID：PythonCircle）最近，有读者微信上私聊我，想让我写一篇视频批量转换成音频的文章，我答应了，周末宅家里把这个小工具做出来了。这样，对于有些视频学习文件，我们可以批量转换成音频文件，学习方式更多样化了。之前也用过ffmpeg处理视频文件。ffmpeg这个程序处理视频是好用，但是有没有更轻便的呢？可以不下载这个程序吗？还真有，Python里有f
  • 应急救援路径规划中的蚁群算法与路径评价研究【附代码】 拉勾科研工作室 算法
    数据科学与大数据专业|数据分析与模型构建|数据驱动决策✨专业领域：数据挖掘与清洗大数据处理与存储技术机器学习与深度学习模型数据可视化与报告生成分布式计算与云计算数据安全与隐私保护擅长工具：Python/R/Matlab数据分析与建模Hadoop/Spark大数据处理平台SQL数据库管理与优化Tableau/PowerBI数据可视化工具TensorFlow/PyTorch深度学习框架✅具体问题可以私
  • 【列表复制】详解python中list列表复制的几种方法（赋值、切片、copy()，deepcopy()） 有梦想的程序星空 Python开发教程python开发语言
    在Python编程领域，列表是一种极为常用的数据结构，用于存储多个元素的有序集合。当涉及到对列表进行复制操作时，浅拷贝和深拷贝是两种重要的概念与技术手段，它们在处理列表数据的过程中有着截然不同的行为和影响，深刻理解二者的差异与应用场景对于编写高效、准确且健壮的Python代码至关重要。1、浅拷贝和深拷贝浅拷贝复制指向某个对象的地址（指针），而不复制对象本身，新对象和原对象共享同一内存。深拷贝会额外
  • python3安装clickhouse_sqlalchemy(greenlet) 失败
    安装clickhouse_sqlalchemy时，可能会遇到依赖问题，特别是greenlet模块的安装问题。以下是详细的解决方案，帮助您顺利完成安装过程。常见问题与解决方案1.升级pip确保您的pip版本是最新的，这有助于避免由于旧版本导致的兼容性问题。pipinstall--upgradepip解释：使用pipinstall--upgradepip命令将pip升级到最新版本，以确保能够安装最新的
  • java封装继承多态等 麦田的设计者 javaeclipsejvmcencapsulatopn
           最近一段时间看了很多的视频却忘记总结了，现在只能想到什么写什么了，希望能起到一个回忆巩固的作用。     1、final关键字       译为：最终的        &
  • F5与集群的区别 bijian1013 weblogic集群F5
            http请求配置不是通过集群，而是F5；集群是weblogic容器的，如果是ejb接口是通过集群。         F5同集群的差别，主要还是会话复制的问题，F5一把是分发http请求用的，因为http都是无状态的服务，无需关注会话问题，类似
  • LeetCode[Math] - #7 Reverse Integer Cwind java题解MathLeetCodeAlgorithm
    原题链接：#7 Reverse Integer   要求： 按位反转输入的数字 例1： 输入 x = 123, 返回 321 例2： 输入 x = -123, 返回 -321   难度：简单   分析： 对于一般情况，首先保存输入数字的符号，然后每次取输入的末位（x%10）作为输出的高位（result = result*10 + x%10）即可。但
  • BufferedOutputStream 周凡杨
         首先说一下这个大批量，是指有上千万的数据量。      例子：      有一张短信历史表，其数据有上千万条数据，要进行数据备份到文本文件，就是执行如下SQL然后将结果集写入到文件中！      select t.msisd
  • linux下模拟按键输入和鼠标 被触发 linux
    查看/dev/input/eventX是什么类型的事件， cat /proc/bus/input/devices 设备有着自己特殊的按键键码，我需要将一些标准的按键，比如0－9，X－Z等模拟成标准按键，比如KEY_0,KEY-Z等，所以需要用到按键 模拟，具体方法就是操作/dev/input/event1文件，向它写入个input_event结构体就可以模拟按键的输入了。 linux/in
  • ContentProvider初体验 肆无忌惮_ ContentProvider
    ContentProvider在安卓开发中非常重要。与Activity，Service，BroadcastReceiver并称安卓组件四大天王。 在android中的作用是用来对外共享数据。因为安卓程序的数据库文件存放在data/data/packagename里面，这里面的文件默认都是私有的，别的程序无法访问。 如果QQ游戏想访问手机QQ的帐号信息一键登录，那么就需要使用内容提供者COnte
  • 关于Spring MVC项目（maven）中通过fileupload上传文件 843977358 mybatisspring mvc修改头像上传文件upload
    Spring MVC 中通过fileupload上传文件，其中项目使用maven管理。   1.上传文件首先需要的是导入相关支持jar包：commons-fileupload.jar,commons-io.jar 因为我是用的maven管理项目，所以要在pom文件中配置（每个人的jar包位置根据实际情况定） <!-- 文件上传 start by zhangyd-c --&g
  • 使用svnkit api，纯java操作svn，实现svn提交，更新等操作 aigo svnkit
     原文：http://blog.csdn.net/hardwin/article/details/7963318   import java.io.File; import org.apache.log4j.Logger; import org.tmatesoft.svn.core.SVNCommitInfo; import org.tmateso
  • 对比浏览器，casperjs，httpclient的Header信息 alleni123 爬虫crawlerheader
    @Override protected void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException { String type=req.getParameter("type"); Enumeration es=re
  • java.io操作 DataInputStream和DataOutputStream基本数据流 百合不是茶 java流
    1，java中如果不保存整个对象，只保存类中的属性，那么我们可以使用本篇文章中的方法，如果要保存整个对象  先将类实例化  后面的文章将详细写到     2，DataInputStream 是java.io包中一个数据输入流允许应用程序以与机器无关方式从底层输入流中读取基本 Java 数据类型。应用程序可以使用数据输出流写入稍后由数据输入流读取的数据。
  • 车辆保险理赔案例 bijian1013 车险
    理赔案例： 一货运车，运输公司为车辆购买了机动车商业险和交强险，也买了安全生产责任险，运输一车烟花爆竹，在行驶途中发生爆炸，出现车毁、货损、司机亡、炸死一路人、炸毁一间民宅等惨剧，针对这几种情况，该如何赔付。 赔付建议和方案： 客户所买交强险在这里不起作用，因为交强险的赔付前提是：“机动车发生道路交通意外事故”； 如果是交通意外事故引发的爆炸，则优先适用交强险条款进行赔付，不足的部分由商业
  • 学习Spring必学的Java基础知识(5)—注解 bijian1013 javaspring
            文章来源：http://www.iteye.com/topic/1123823，整理在我的博客有两个目的：一个是原文确实很不错，通俗易懂，督促自已将博主的这一系列关于Spring文章都学完；另一个原因是为免原文被博主删除，在此记录，方便以后查找阅读。           有必要对
  • 【Struts2一】Struts2 Hello World bit1129 Hello world
    Struts2 Hello World应用的基本步骤 创建Struts2的Hello World应用，包括如下几步： 1.配置web.xml 2.创建Action 3.创建struts.xml，配置Action 4.启动web server，通过浏览器访问   配置web.xml <?xml version="1.0" encoding="
  • 【Avro二】Avro RPC框架 bit1129 rpc
    1. Avro RPC简介 1.1. RPC RPC逻辑上分为二层，一是传输层，负责网络通信；二是协议层，将数据按照一定协议格式打包和解包 从序列化方式来看，Apache Thrift 和Google的Protocol Buffers和Avro应该是属于同一个级别的框架，都能跨语言，性能优秀，数据精简，但是Avro的动态模式（不用生成代码，而且性能很好）这个特点让人非常喜欢，比较适合R
  • lua　set get cookie ronin47 lua cookie
    lua: local access_token = ngx.var.cookie_SGAccessToken if access_token then ngx.header["Set-Cookie"] = "SGAccessToken="..access_token.."; path=/;Max-Age=3000" end
  • java-打印不大于N的质数 bylijinnan java
    public class PrimeNumber { /** * 寻找不大于N的质数 */ public static void main(String[] args) { int n=100; PrimeNumber pn=new PrimeNumber(); pn.printPrimeNumber(n); System.out.print
  • Spring源码学习-PropertyPlaceholderHelper bylijinnan javaspring
    今天在看Spring 3.0.0.RELEASE的源码，发现PropertyPlaceholderHelper的一个bug 当时觉得奇怪，上网一搜，果然是个bug，不过早就有人发现了，且已经修复： 详见： http://forum.spring.io/forum/spring-projects/container/88107-propertyplaceholderhelper-bug
  • [逻辑与拓扑]布尔逻辑与拓扑结构的结合会产生什么? comsci 拓扑
       如果我们已经在一个工作流的节点中嵌入了可以进行逻辑推理的代码,那么成百上千个这样的节点如果组成一个拓扑网络,而这个网络是可以自动遍历的,非线性的拓扑计算模型和节点内部的布尔逻辑处理的结合,会产生什么样的结果呢?    是否可以形成一种新的模糊语言识别和处理模型呢?  大家有兴趣可以试试,用软件搞这些有个好处,就是花钱比较少,就算不成
  • ITEYE 都换百度推广了 cuisuqiang GoogleAdSense百度推广广告外快
    以前ITEYE的广告都是谷歌的Google AdSense，现在都换成百度推广了。   为什么个人博客设置里面还是Google AdSense呢？   都知道Google AdSense不好申请，这在ITEYE上也不是讨论了一两天了，强烈建议ITEYE换掉Google AdSense。至少，用一个好申请的吧。   什么时候能从ITEYE上来点外快，哪怕少点
  • 新浪微博技术架构分析 dalan_123 新浪微博架构
    新浪微博在短短一年时间内从零发展到五千万用户，我们的基层架构也发展了几个版本。第一版就是是非常快的，我们可以非常快的实现我们的模块。我们看一下技术特点，微博这个产品从架构上来分析，它需要解决的是发表和订阅的问题。我们第一版采用的是推的消息模式，假如说我们一个明星用户他有10万个粉丝，那就是说用户发表一条微博的时候，我们把这个微博消息攒成10万份，这样就是很简单了，第一版的架构实际上就是这两行字。第
  • 玩转ARP攻击 dcj3sjt126com r
    我写这片文章只是想让你明白深刻理解某一协议的好处。高手免看。如果有人利用这片文章所做的一切事情，盖不负责。 网上关于ARP的资料已经很多了，就不用我都说了。 用某一位高手的话来说，“我们能做的事情很多，唯一受限制的是我们的创造力和想象力”。 ARP也是如此。 以下讨论的机子有 一个要攻击的机子：10.5.4.178 硬件地址：52:54:4C:98
  • PHP编码规范 dcj3sjt126com 编码规范
    一、文件格式 1. 对于只含有 php 代码的文件，我们将在文件结尾处忽略掉 "?>" 。这是为了防止多余的空格或者其它字符影响到代码。例如：<?php$foo = 'foo';2. 缩进应该能够反映出代码的逻辑结果，尽量使用四个空格，禁止使用制表符TAB，因为这样能够保证有跨客户端编程器软件的灵活性。例
  • linux 脱机管理（nohup） eksliang linux nohupnohup
    脱机管理 nohup 转载请出自出处：http://eksliang.iteye.com/blog/2166699 nohup可以让你在脱机或者注销系统后，还能够让工作继续进行。他的语法如下 nohup [命令与参数] --在终端机前台工作 nohup [命令与参数] & --在终端机后台工作   但是这个命令需要注意的是，nohup并不支持bash的内置命令，所
  • BusinessObjects Enterprise Java SDK greemranqq javaBOSAPCrystal Reports
    最近项目用到oracle_ADF  从SAP/BO 上调用 水晶报表，资料比较少，我做一个简单的分享，给和我一样的新手 提供更多的便利。   首先，我是尝试用JAVA JSP 去访问的。   官方API：http://devlibrary.businessobjects.com/BusinessObjectsxi/en/en/BOE_SDK/boesdk_ja
  • 系统负载剧变下的管控策略 iamzhongyong 高并发
    假如目前的系统有100台机器，能够支撑每天1亿的点击量（这个就简单比喻一下），然后系统流量剧变了要，我如何应对，系统有那些策略可以处理，这里总结了一下之前的一些做法。 1、水平扩展 这个最容易理解，加机器，这样的话对于系统刚刚开始的伸缩性设计要求比较高，能够非常灵活的添加机器，来应对流量的变化。 2、系统分组 假如系统服务的业务不同，有优先级高的，有优先级低的，那就让不同的业务调用提前分组
  • BitTorrent DHT 协议中文翻译 justjavac bit
    前言 做了一个磁力链接和BT种子的搜索引擎 {Magnet & Torrent}，因此把 DHT 协议重新看了一遍。 BEP: 5Title: DHT ProtocolVersion: 3dec52cb3ae103ce22358e3894b31cad47a6f22bLast-Modified: Tue Apr 2 16:51:45 2013 -070
  • Ubuntu下Java环境的搭建 macroli java工作ubuntu
    配置命令： 　　$sudo apt-get install ubuntu-restricted-extras 　　再运行如下命令： 　　$sudo apt-get install sun-java6-jdk 　　待安装完毕后选择默认Java. 　　$sudo update- alternatives --config java 　　安装过程提示选择，输入“2”即可，然后按回车键确定。
  • js字符串转日期（兼容IE所有版本） qiaolevip TODateStringIE
    /** * 字符串转时间（yyyy-MM-dd HH:mm:ss） * result （分钟） */ stringToDate : function(fDate){ var fullDate = fDate.split(" ")[0].split("-"); var fullTime = fDate.split("
  • 【数据挖掘学习】关联规则算法Apriori的学习与SQL简单实现购物篮分析 superlxw1234 sql数据挖掘关联规则
    关联规则挖掘用于寻找给定数据集中项之间的有趣的关联或相关关系。 关联规则揭示了数据项间的未知的依赖关系，根据所挖掘的关联关系，可以从一个数据对象的信息来推断另一个数据对象的信息。 例如购物篮分析。牛奶 ⇒ 面包 [支持度：3%，置信度：40%] 支持度3%：意味3%顾客同时购买牛奶和面包。 置信度40%：意味购买牛奶的顾客40%也购买面包。 规则的支持度和置信度是两个规则兴
  • Spring 5.0 的系统需求，期待你的反馈 wiselyman spring
                   Spring 5.0将在2016年发布。Spring5.0将支持JDK 9。          Spring 5.0的特性计划还在工作中，请保持关注，所以作者希望从使用者得到关于Spring 5.0系统需求方面的反馈。  
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他