就是想读个研究生
就是想读个研究生

爬虫 解析 笔记1

解析:xpath

  • xpath
  • 案例1：获取百度网站的百度一下
  • 案例2：爬取站长素材的图片

xpath

xpath基本语法：

  1. 路径查询
    //：查找所有子孙节点，不考虑层级关系
    /：找直接子节点
  2. 谓词查询
    //div[@id]
    //div[@id=“mainontent”]
  3. 属性查询
    //@class
  4. 模糊查询
    //div[contains(@id, “he”)]
    //div[starts-with(@id, “he”)]
  5. 内容查询
    //div/h1/text()
  6. 逻辑运算
    //div[@id=“head” and @class=“s_down”]
    //title | //price
    注意：xpath既可以解析本地文件也可以解析服务器响应的文件
DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8"/>
    <title>Titletitle>
head>
<body>
    <ul>
        <li>北京li>
        <li>上海li>
        <li>广州li>
        <li>深圳li>
    ul>
    <ul>
        <li id="l1" class="c1">大连li>
        <li id="l2">哈尔滨li>
        <li id="c3">沈阳li>
        <li id="c4">长春li>
    ul>
body>
html>

from lxml import etree

#xpath解析
# （1）本地文件
# （2）服务器响应的数据response.read().decode('utf-8')

# 解析本地文件etree.parse()
tree = etree.parse('spider_test.html')

#tree.xpath('xpath路径')
#查找ul下面的li
li_list = tree.xpath("//body/ul/li")
print(li_list)
print(len(li_list))
#查找所有有id的属性的li标签
li_list = tree.xpath("//ul/li[@id]/text()") #路径查询
print(li_list)
print(len(li_list))
#查找id为l1的标签
li_list = tree.xpath("//ul/li[@id='l1']/text()") #谓词查询
print(li_list)
print(len(li_list))
#查找到id为l1的li标签的class的属性值
li_list = tree.xpath("//ul/li[@id='l1']/@class") #属性查询
print(li_list)
print(len(li_list))
#查询id中包含l的li标签
li_list =tree.xpath('//ul/li[contains(@id, "l")]/text()') #模糊查询
print(li_list)
print(len(li_list))
#查询id的值以l开头的li标签
li_list =tree.xpath('//ul/li[starts-with(@id, "c")]/text()') #模糊查询
print(li_list)
print(len(li_list))
#查询id为l1和class为c1的li标签
li_list =tree.xpath('//ul/li[@id="l1" and @class="c1"]/text()') #逻辑运算
print(li_list)
print(len(li_list))
#查找到id为l1的li标签以及id为c3的li标签
li_list =tree.xpath('//ul/li[@id="l1"]/text() | //ul/li[@id="c3"]/text()') #逻辑运算
print(li_list)
print(len(li_list))

案例1：获取百度网站的百度一下

from lxml import etree
import urllib.request

# （1）获取网页源码 （2）解析 （3）打印结果
url = 'http://www.baidu.com'
headers = {
    'User-Agent':'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
}
#请求对象的定制
request = urllib.request.Request(url=url, headers=headers)
#模拟浏览器访问服务器
response = urllib.request.urlopen(request)
#获取网页源码
content = response.read().decode('utf-8')
#解析网页源码
tree = etree.HTML(content)
#获取想要的数据,xpath的返回值是一个列表类型的数据
result = tree.xpath('//input[@id="su"]/@value')

print(result[0])

案例2：爬取站长素材的图片

#（1）获取网页源码 （2）解析 （3）下载

#url = 'https://sc.chinaz.com/tupian/shengdanjietupian.html' 第一页
#url = ’https://sc.chinaz.com/tupian/shengdanjietupian_2.html‘ 第二页
#url = ’https://sc.chinaz.com/tupian/shengdanjietupian_3.html‘ 第三页

#请求对象的定制
def create_request(page):
    if page == 1:
        url = 'https://sc.chinaz.com/tupian/shengdanjietupian.html'
    else:
        url = 'https://sc.chinaz.com/tupian/shengdanjietupian_' + str(page) + '.html'
    headers = {
        'User-Agegnt':'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
    }

    request = urllib.request.Request(url=url, headers=headers)
    return request

def get_content(request):
    # 模拟浏览器访问服务器
    response = urllib.request.urlopen(request)
    #获取网页源码
    content = response.read().decode('utf-8')
    return content

def download_jpg(content):
    #解析网页源码
    tree = etree.HTML(content)
    name_list = tree.xpath('//body//div[@class="container"]//div[@class="item"]/img/@alt')
    #一般涉及到图片的网站，会使用懒加载
    data_original = tree.xpath('//body//div[@class="container"]//div[@class="item"]/img/@data-original')
    for i in range(len(name_list)):
        name = name_list[i]
        jpg = data_original[i]
        url = 'https:' + jpg
        urllib.request.urlretrieve(url=url, filename='./Christmas_img/' + name + '.jpg')


if __name__ == '__main__':
    start_page = int(input("请输入起始页码："))
    end_page = int(input("请输入结束页码："))
    for page in range(start_page, end_page+1):
        #请求对象的定制
        request = create_request(page)
        #获取网页源码
        content = get_content(request)
        #下载图片
        download_jpg(content)

你可能感兴趣的:(爬虫,爬虫)

  • 搜索引擎原理详解 风不归Alkaid 搜索引擎搜索引擎
    搜索引擎是一种复杂的软件系统，旨在帮助用户找到互联网上的信息。它们通过索引大量网页并快速响应用户查询来工作。搜索引擎的核心功能包括爬虫（crawling）、索引（indexing）、查询处理（queryprocessing）和排名（ranking）。一、网络爬虫（WebCrawling）网络爬虫（WebCrawling）是搜索引擎的核心组件之一，它的主要任务是发现和获取互联网上的网页内容，以便后续
  • 0307 - 爬虫与反爬虫 ITJason
    首先，爬虫是灰色的；其合理利用，取决于爬虫方的心态和能力，也取决于反爬虫的技术。爬虫用的好，可以成就Google、百度这样的公司；用得不好，可能对别人的利益，造成严重的伤害。不管怎样，爬虫极其广泛地存在。最近我也接触了一点，简单说说。先说反爬虫方保护自己的财产，怎么做都不为过（可能吧）。说一个例子，你在百度搜索页面所做的任何操作，包括鼠标移动、页面滚动、点击、甚至什么都不做的等待时间，所有这些信息
  • 网络爬虫是否存在侵权行为，合法吗？ Bj陈默 爬虫python网络
    网络爬虫是一种按照一定规则自动抓取互联网信息的程序或脚本。其是否存在侵权行为以及是否合法不能一概而论，需要根据具体情况进行分析判断，主要从以下几个方面考量：一、合法性的判定遵守robots协议：robots协议（也称爬虫协议）是网站通过该协议明确警示搜索引擎哪些页面可以爬取，哪些页面不能爬取，相当于网站立在自己房间门口的一个“牌子”，告知外来者谁可以过来，谁不可以过来。如果网络爬虫在被爬取方设置的
  • python爬虫 使用pyppeteer爬取非静态页面内容，使用事件循环批量爬取，提升效率 IvanWKQ python爬虫开发语言
    最近写的是彩票系统，需要爬取很多彩票信息，展示的代码只是我整个爬虫程序的一小部分首先是使用pyppeteer抓取非静态页面，将整个逻辑封装成一个异步方法，有多个页面爬取，将多个页面爬取存储到任务列表，并行执行任务列表内部的异步函数我这代码里面有个main（）函数，内部并行执行了各自的任务列表内部协程，算是一个拓展，有兴趣可以看看我这个demo爬取的是竞彩网的体育资讯，爬取的都是近两天的部分体育资讯
  • python爬虫：通过DBLP数据库获取数据挖掘顶会KDD在2023年的论文收录和相关作者信息 千里澄江 python数据分析python爬虫算法数据挖掘数据分析
    Task1读取网站主页整个页面的html内容并解码为文本串（可使用urllib.request的相应方法），将其以UTF-8编码格式写入page.txt文件。Code1importurllib.requestwithurllib.request.urlopen('https://dblp.dagstuhl.de/db/conf/kdd/kdd2023.html')asresponse:html=r
  • go语言爬虫解析html,Go 函数特性和网络爬虫示例 京东手机 go语言爬虫解析html
    爬取页面这篇通过网络爬虫的示例，来了解Go语言的递归、多返回值、延迟函数调用、匿名函数等方面的函数特性。首先是爬虫的基础示例，下面两个例子展示通过net/http包来爬取页面的内容。获取一个URL下面的程序展示从互联网获取信息，获取URL的内容，然后不加解析地输出：//输出从URL获取的内容packagemainimport("fmt""io""net/http""os""strings")fun
  • Python爬虫使用的IP协议主要是什么 晓生谈跨境 python爬虫tcp/ip
    在Python爬虫的开发和使用过程中，网络协议起着至关重要的作用。爬虫需要通过网络协议与服务器进行通信，获取网页数据。其中，最主要的IP协议是TCP/IP（TransmissionControlProtocol/InternetProtocol，传输控制协议/因特网协议）。TCP/IP是互联网的基础协议，它定义了电子设备如何连入因特网，以及数据如何在它们之间传输。TCP/IP不是一个协议，而是一个
  • 爬虫业务为什么一定要用住宅代理辅助 晓生谈跨境 爬虫网络
    数据对于企业和个人用户而言尤为重要。而爬虫技术作为一种高效获取网络数据的方式，受到越来越多的关注和应用。然而，随着网络安全的不断提升和网站反爬虫机制的增强，爬虫业务面临诸多挑战。在这样的背景下，选择住宅代理辅助爬虫业务成为了一种明智的选择。本文将探讨为什么爬虫业务一定要选住宅代理辅助，并阐述住宅代理的优势和应用场景，为企业和个人用户提供全面的指南和建议。一、爬虫业务的挑战与问题1.IP封禁：网站为
  • 用爬虫玩转石墨文档细解 程序员小羊！ selenium自动化爬虫石墨文档
    您好，我是程序员小羊！前言石墨文档是一款受欢迎的在线协作工具，它允许多人实时编辑和共享文档。通过爬虫技术，我们可以自动化地获取石墨文档中的内容，进行数据分析或备份。不过，在使用爬虫技术时，务必遵循相关法律法规及服务条款，确保不违反用户隐私或服务协议。一、爬虫概述与基础知识爬虫，也称为网络蜘蛛，是一种自动化程序，用于访问网页并提取信息。常见的爬虫工具包括Python的requests、Beautif
  • 虚拟机安装hadoop，hbase（单机伪集群模式） 流~星~雨 大数据相关hadoophbase大数据
    虚拟机安装Hadoop，Hbase工作中遇到了大数据方面的一些技术栈，没有退路可言，只能去学习掌握它，就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心，所以有些特定的业务需要引进能够处理大数据量的数据库，hadoop提供了分布式文件系统（HDFS）来存储数据，又提供了分布式计算框架（mapreduce）来对这些数据进行
  • 这几个高级爬虫软件和插件真的强！ @Python大数据分析 爬虫
    亮数据（BrightData）亮数据是一款强大的数据采集工具，以其全球代理IP网络和强大数据采集技术而闻名。它能够轻松采集各种网页数据，包括产品信息、价格、评论和社交媒体数据等。网站：https://get.brightdata.com/weijun功能与特点：全球网络数据采集：提供一站式服务，将全网数据转化为结构化数据库。商用代理网络：拥有超过7200万个IP，覆盖195个国家，每日更新上百万I
  • python爬虫521 PUTAOAO python爬虫开发语言
    爬虫521记录记录最近想学爬虫，尝试爬取自己账号下的文章标题做个词云csdn有反爬机制原理我就不说啦大家都写了看到大家结果是加cookie但是我加了还是521报错尝试再加了referer就成功了(╹▽╹)importmatplotlibimportrequestsfromwordcloudimportWordCloudimportmatplotlib.pyplotaspltimportjieba#
  • selenium的webdriver报错NoSuchMethodError lexy_0 测试seleniumpython爬虫
    之前学python爬虫的时候就踩过一次坑，这次又踩了，防止以后踩，一定要记录一下。selenium的依赖版本，浏览器的版本，浏览器的驱动版本，这三个是需要互相对应的。驱动和驱动版本对应，但和selenium依赖版本不对应，也会出现java.lang.NoSuchMethodError报错；常见报错及解决办法，这是别人的总结博客但是selenium最恶心的就是你的驱动版本对，也会有奇奇怪怪的问题。一
  • 探索TV-Crawler：一款强大的电视节目爬虫框架 孔旭澜Renata
    探索TV-Crawler：一款强大的电视节目爬虫框架项目简介是一个由Python编写的开源项目，其目标是抓取各大电视台的节目信息并进行整理。对于那些热衷于规划观影时间或想要了解最新电视节目内容的人来说，这是一个非常实用的工具。开发者可以通过此项目轻松获取电视节目的播出时间、频道和标题等数据。技术分析1.Python与ScrapyTV-Crawler基于Python的强大网络爬虫框架Scrapy构建
  • Scrapy入门学习 晚睡早起₍˄·͈༝·͈˄*₎◞ ̑̑ Pythonscrapy学习python开发语言笔记
    文章目录Scrapy一.Scrapy简介二.Scrapy的安装1.进入项目所在目录2.安装软件包Scrapy3.验证是否安装成功三.Scrapy的基础使用1.创建项目2.在tutorial/spiders目录下创建保存爬虫代码的项目文件3.运行爬虫4.利用css选择器+ScrapyShell提取数据例如:Scrapy一.Scrapy简介Scrapy是一个用于抓取网站和提取结构化数据的应用程序框架，
  • Python爬虫示例01：网页数据采集至Excel 棠梨煎雪灬 Python学习python爬虫excel
    Python爬虫示例01：网页数据采集至Excel文章目录Python爬虫示例01：网页数据采集至Excel写在前面一、问题描述二、编程思路`参考网站名称`写在前面使用目的：避免繁琐网页浏览工作，提高工作效率声明：请勿对任何网站进行过分数据提取一、问题描述读取某网站的电影链接、图片链接、影片中英文名、评分、评价数、概况、相关信息，汇总至表格二、编程思路准备工作：导入下面的文件（文件导入如下）fro
  • 为什么搜索引擎可以检索到网站？ 程序员T哥 搜索引擎爬虫网络安全网络爬虫网络协议javapython
    搜索引擎和爬虫，基于百度举例为什么搜索引擎可以快速检索到所有对应页面？搜索引擎能够快速检索到所有对应页面，主要归功于以下几个方面：爬虫技术：自动遍历互联网上的网页。索引：将爬取的网页内容转换成数据结构存储。关键词匹配：检索包含用户输入关键词的网页。页面排名：使用复杂算法对搜索结果排序。数据库技术：处理和存储大量数据。分布式计算：提高处理速度。缓存机制：快速返回热门查询结果。用户行为分析：优化搜索结
  • Python爬虫案例三：获取天天基金网的数据并使用pandas保存成excel数据 躺平的花卷 python爬虫pandas
    1、基础知识简介：excel两种文件后缀：xlsxxls3种保存库的方式：1.openpyxl-->只能针对xlsx2.pandas3.xlutils--->只能针对xls2、pandas保存成excel数据的具体流程：#1.导包（取别名）importpandasaspd#2.获取数据（字典）===>每个键值对都是一个字段dic={'姓名':['张三','李四','王五','赵六'],'年龄':[
  • python爬虫番外篇 | Reuqests库高级用法（1） 摆烂牛杂 爬虫python爬虫c++
    文章目录1.会话对象（SessionObjects）2.请求和响应对象（RequestandResponseObjects）3.准备好的请求（PreparedRequests）4.SSL证书验证5.客户端证书6.CA证书7.正文内容工作流程（BodyContentWorkflow）8.keep-alive9.流式上传（StreamingUploads）10.块编码的请求（Chunk-Encoded
  • Python大数据之Python爬虫学习总结——day16 数据可视化 笨小孩124 Python爬虫学习总结信息可视化python大数据
    数据可视化Map_地图基础地图知识点:基础示例:实战练习:知识点:自定义模块:制作中国地图data1.txt文件内容python代码示例制作区域地图data2.txt文件内容python代码示例Line_折线图基础折线图实战练习:Bar_柱状图基础柱状图反转以及主题设置Json数据python数据转为json数据知识点:示例:json数据转为python数据知识点:json文件:示例:Map_地图
  • Springboot+爬虫+推荐算法+前后端分离实现小说推荐系统 计算机程序优异哥
    如何针对互联网各大小说阅读网站的小说数据进行实时采集更新，建立自己的小说资源库，针对海量的小说数据开展标签处理特征分析，利用推荐算法完成针对用户的个性化阅读推荐？基于以上问题，本次小说推荐系统，建设过程主要分为小说推荐网站前端系统，小说运维管理后台系统，小说数据实时采集爬虫三个部分。小说推荐网站前端系统主要采用开源前端框架搭建小说推荐网站，提供用户登录注册，小说阅读等功能，小说运维管理后台，提供管
  • 快速收集信息，Python爬虫教你一招爬取豆瓣Top250信息！ 不想秃头的里里
    随着科技不断发展，互联网已经进入了大数据时代。我们过去只能通过报刊杂志、电视广播获取到有限的信息，而现在，互联网上的海量数据，让我们享受到了信息自由。但是，我们获取到了海量的信息同时，也带来了大量的垃圾信息。所以必须要通过一些技术手段进行收集、整理、分析、筛选，然后才能获取到对我们有用的相关内容。而这个技术手段，就叫网络爬虫技术。前两天老铁跟我吐槽，他的老板突然要他收集豆瓣电影Top250榜单上的
  • requests库 uid68423 python开发语言
    一、pycharm导入requests库在终端下输入pipinstallrequests按回车即可导入。如果使用piplist可以查到requests库即导入成功。二、requsets的get请求url为我们要请求的网址，headers用于伪造请求头，有的网址拒绝爬虫访问。##GET#importrequests#url="http://httpbin.org/get"###携带get请求参数,多
  • 爬虫使用优质代理：确保高效稳定的数据采集之道 神龙IP. 爬虫
    爬虫使用优质代理的最佳实践在进行网络爬虫时，使用优质代理就像是为你的爬虫装上了强劲的发动机，能够大幅提升数据抓取的效率和成功率。然而，选择和使用优质代理并非易事，今天我们就来探讨如何在爬虫中有效使用优质代理。1.什么是优质代理？优质代理通常指的是那些速度快、稳定性高、匿名性强的代理IP。这些代理能够提供快速的响应时间，减少请求失败的概率，同时有效保护用户的真实IP地址。优质代理就像是一条畅通的高速
  • 分享一个基于Spark的招聘数据可视化与分析系统Hadoop大数据源码（源码、调试、LW、开题、PPT） 计算机源码社 大数据大数据spark毕业设计项目计算机毕业设计源码计算机毕设论文hadoop计算机课程设计
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|基
  • Python基础进阶知识点 小小毛球球 Python学习算法青少年编程pythonc语言学习
    一、Web开发同步框架：Django、Flask；异步框架：Tornado、Sanic；Tornado框架；Git版本控制；HTTP方法以及响应码；关系型数据库：MySQL、PostgreSQL、Oracle；非关系型数据库：Redis、Mongo；日志；项目的部署；实战练习。二、爬虫爬虫应用领域；爬虫的合法性：Robots.txt；HTTP请求：请求行、请求头，请求体；响应：响应码、响应头、响应
  • 浅学爬虫-python爬虫基础 Jr_l 网络爬虫网络爬虫python
    介绍与应用Python爬虫是指利用Python编写程序从互联网上自动获取信息的技术。爬虫广泛应用于数据收集、价格监控、内容聚合、市场分析等领域。其基本原理是模拟浏览器发送HTTP请求获取网页数据，并通过解析HTML来提取所需的信息。基本工具Python中有许多强大的爬虫库，最常用的两个库是requests和BeautifulSoup。requests库:一个简单易用的HTTP库，用于发送HTTP请
  • python+selenium爬虫自动化批量下载文件 @＿简单就好 Python爬虫python爬虫selenium
    一、项目需求在一个业务网站有可以一个个打开有相关内容的文本，需要逐个保存为TXT，数据量是以千为单位，人工操作会麻木到崩溃。二、解决方案目前的基础办法就是使用python+selenium自动化来代替人工去操作，虽然效率比其他爬虫低，但是也防止被封IP的风险。也能满足项目的需求。准备工作，先从网站下载项目清单xls文件，里面会有对应的唯一识别码，就是编号。三、写代码具体技术路线1.init一个初始
  • Python+selenium+chromedriver实现爬虫示例代码 程序员Baby~ pythonselenium软件测试程序员接口测试自动化测试测试工程师
    下载好所需程序1.Selenium简介Selenium是一个用于Web应用程序测试的工具，直接运行在浏览器中，就像真正的用户在操作一样。2.Selenium安装方法一：在Windows命令行（cmd）输入pipinstallselenium即可自动安装，安装完成后，输入pipshowselenium可查看当前的版本方法二：直接下载selenium包：selenium下载网址Pychome安装sel
  • Python爬虫——下载PPT模板 小黑爬虫 python爬虫
    Python爬虫——下载PPT模板1.调用需要库安装库：Windows+R输入cmd后执行下面这两行pipinstallrequestspipinstalllxmlimportrequestsfromlxmlimportetreeimportos2.完整代码废话不多说直接上源码，代码复制后就可以直接运行defone_url(url):resp=requests.get(url)resp.encod
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他