头顶一根发的程序猿
头顶一根发的程序猿

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第1张图片


Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第2张图片

先来看看页面长啥样的:https://book.douban.com/top250?start=25

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第3张图片

我们将要爬取哪些信息：书名、链接、评分、一句话评价……

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第4张图片

1. 爬取单个信息

我们先来尝试爬取书名，利用之前的套路，还是先复制书名的xpath：

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第5张图片

得到第一本书《追风筝的人》的书名xpath如下：

//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div[1]/a

得到xpath，我们就可以按照之前的方法来尝试一下：

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第6张图片

返回的竟然是空值，这就很尴尬了。

这里需要注意，浏览器复制的 xpath 信息并不是完全可靠的，浏览器经常会自己在里面增加多余的 tbody 标签，我们需要手动把这些标签删掉。

修改 xpath 后再来尝试，结果如下:

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第7张图片

切记：浏览器复制 xpath 不是完全可靠，看到 tbody 标签特别要注意。

分别复制《追风筝的人》、《小王子》、《围城》、《解忧杂货店》的 xpath 信息进行对比：

//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div[1]/a

//*[@id="content"]/div/div[1]/div/table[2]/tbody/tr/td[2]/div[1]/a

//*[@id="content"]/div/div[1]/div/table[3]/tbody/tr/td[2]/div[1]/a

//*[@id="content"]/div/div[1]/div/table[4]/tbody/tr/td[2]/div[1]/a

比较可以发现书名的 xpath 信息仅仅 table 后的序号不一样，并且跟书的序号一致，于是去掉序号（去掉 tbody），我们可以得到通用的 xpath 信息：

//*[@id=“content”]/div/div[1]/div/table/tr/td[2]/div[1]/a

好了，我们试试把这一页全部书名爬下来:

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第8张图片

2.爬取多个信息

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第9张图片

分别复制《追风筝的人》、《小王子》、《围城》、《解忧杂货店》评分的 xpath 信息进行对比：

//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div[2]/span[2]

//*[@id="content"]/div/div[1]/div/table[2]/tbody/tr/td[2]/div[2]/span[2]

//*[@id="content"]/div/div[1]/div/table[3]/tbody/tr/td[2]/div[2]/span[2]

//*[@id="content"]/div/div[1]/div/table[4]/tbody/tr/td[2]/div[2]/span[2]

相信你已经可以秒写出爬取全部评分的xpath了：

//*[@id=“content”]/div/div[1]/div/table/tr/td[2]/div[2]/span[2]

把评分的xpath放入之前的代码，运行：

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第10张图片

现在我们再把书名和评分同时爬取下来：

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第11张图片

这里我们默认书名和评分爬到的都是完全的、正确的信息，这种默认一般情况没问题，但其实是有缺陷的，如果我们某一项少爬或多爬了信息，那么两种数据的量就不一样了，从而匹配错误。比如下面的例子:

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第12张图片

书名xpath 后的@title 改为 text()，获取的文本数量与评分数量不一致，出现匹配错位。

如果我们以每本书为单位，分别取获取对应的信息，那肯定完全匹配。

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第13张图片

书名的标签肯定在这本书的框架内，于是我们从书名的标签向上找，发现覆盖整本书的标签（左边网页会有代码包含内容的信息），把xpath 信息复制下来：

//*[@id="content"]/div/div[1]/div/table[1]

我们将整本书和书名的xpath进行对比

//*[@id=“content”]/div/div[1]/div/table[1] #整本书

//*[@id=“content”]/div/div[1]/div/table[1]/tr/td[2]/div[1]/a #书名

//*[@id=“content”]/div/div[1]/div/table[1]/tr/td[2]/div[2]/span[2] #评分

不难发现，书名和评分 xpath 的前半部分和整本书的 xpath 一致的，

那我们可以通过这样写 xpath 的方式来定位信息：

file=s.xpath(“//*[@id=“content”]/div/div[1]/div/table[1]”)

title =div.xpath(“./tr/td[2]/div[1]/a/@title”)

score=div.xpath(“./tr/td[2]/div[2]/span[2]/text()”)

在实际的代码中来看一下：

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第14张图片

刚刚我们爬了一本书的信息，那如何爬这个页面所有书呢？很简单啊，把 xpath 中

后面定位的序号去掉就ok。

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第15张图片

终于看到庐山真面目了，不过，等等~

title = div.xpath("./tr/td[2]/div[1]/a/@title")[0]

score=div.xpath("./tr/td[2]/div[2]/span[2]/text()")[0]

为什么这两行后面多了个 [0] 呢？我们之前爬出来的数据是列表,外面带个方框，看着非常难受,列表只有一个值，对其取第一个值就OK。如果不熟悉列表的知识，可以回去补补。

接下来就是按照这样的方式多爬几个元素啦！

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第16张图片

有一个点需要注意的是：

num=div.xpath("./tr/td[2]/div[2]/span[3]/text()")[0].strip("(").strip().strip(")")

这行代码用了几个 strip() 方法，()里面表示要删除的内容，strip(“(”) 表示删除括号， strip() 表示删除空白符。

嗯，已经把一个页面搞定了，接下来需要，把所有页面的信息都爬下来。

3.翻页，爬取所有页面信息

先来看一下翻页后url是如何变化的：

https://book.douban.com/top250?start=0 #第一页

https://book.douban.com/top250?start=25 #第二页

https://book.douban.com/top250?start=50 #第三页

url 变化的规律很简单，只是 start=() 的数字不一样而已，而且是以每页25为单位，递增25，这不正是每页的书籍的数量吗？于是，我们只需要写一个循环就可以了啊。

for a in range(10):

url = 'https://book.douban.com/top250?start={}'.format(a*25)

#总共10个页面，用 a*25 保证以25为单位递增

这里要强调一下 Python range() 函数

基本语法：range(start, stop, step)

start：计数从 start 开始。默认是从 0 开始。例如 range(5) 等价于range(0,5);

end：计数到 end 结束，但不包括 end。例如：range（0,5）是 [0,1,2,3,4] 没有5

step：步长，默认为1。例如：range(0,5) 等价于 range(0,5,1)

>>>range(10) #从 0 开始到 10 （不包含）

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

>>> range(1, 11) #从 1 开始到 11 (不包含)

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

>>> range(0, 30, 5) #从0到30（不包含），步长为5

[0, 5, 10, 15, 20, 25]

加上循环之后，完整代码如下：

from lxml import etree

import requests

import time

for a in range(10):

url = 'https://book.douban.com/top250?start={}'.format(a*25)

data = requests.get(url).text

s=etree.HTML(data)

file=s.xpath('//*[@id="content"]/div/div[1]/div/table')

time.sleep(3)

for div in file:

title = div.xpath("./tr/td[2]/div[1]/a/@title")[0]

href = div.xpath("./tr/td[2]/div[1]/a/@href")[0]

score=div.xpath("./tr/td[2]/div[2]/span[2]/text()")[0]

num=div.xpath("./tr/td[2]/div[2]/span[3]/text()")[0].strip("(").strip().strip(")").strip()

scrible=div.xpath("./tr/td[2]/p[2]/span/text()")

if len(scrible) > 0:

print("{},{},{},{},{}".format(title,href,score,num,scrible[0]))

else:

print("{},{},{},{}".format(title,href,score,num))

来运行一下：

Python爬虫入门 | 4 爬取豆瓣TOP250图书信息_第17张图片

请务必要自己练习几遍，你觉得自己看懂了，还是会出错，不信我们赌五毛钱。

Python 的基础语法很重要，没事的时候多去看看：字符串、列表、字典、元组、条件语句、循环语句……

编程最重要的是实战，比如你已经能够爬TOP250的图书了，去试试TOP250电影呢。

好了，这节课就到这里！

你可能感兴趣的:(Python爬虫入门 | 4 爬取豆瓣TOP250图书信息)

  • CentOS 9 Stream 中查看 Python 版本并升级 Python 一个小坑货 CentOS9StreamPythonpythoncentos开发语言
    CentOS9Stream中查看Python版本并升级Python1.查看当前Python版本2.升级Python版本（1）安装开发工具（2）安装必要的依赖包（3）下载和安装新版本的Python（4）验证安装3.更新`python`和`python3`命令（可选）4.安装pip（如果没有安装）5.升级pip（可选）在CentOS9Stream中查看Python版本并升级Python版本的方法如下：
  • java合并word mischen520 word合并java项目实战javaword
    最近在做一个需求，主要是将多个word合并输出为一个word，经过调研，代码如下所示：1.导入pom.xmlorg.apache.poipoi-ooxml4.1.22.测试类：packagecom.common.utils;importorg.apache.poi.openxml4j.opc.OPCPackage;importorg.apache.poi.openxml4j.util.ZipSec
  • nodejs版本管理，使用 nvm 删除node版本，要删除 Node.js 的某个版本详细操作 m0_74825108 node.js
    要删除Node.js的某个版本并保持NodeVersionManager(nvm)的管理整洁，可以按以下步骤操作：步骤1：查看已安装的Node.js版本nvmls这会列出你通过nvm安装的所有Node.js版本。输出类似于：->v18.17.1v16.20.2v14.21.3default->v18.17.1带箭头(->)的是当前使用的版本。步骤2：卸载某个版本使用以下命令卸载特定版本：nvmun
  • 试题转excel；试题整理；试卷转Excel，word试题转excel 流形填表 excelword
    一、问题描述我父亲是一名教师，偶尔会需要整理一些高质量的题目到excel中以往都是手动复制搬运，几百道题几乎需要一个下午的时间关键这些事，枯燥无聊费眼睛，实在是看起来就很蠢的工作就想着做一个工具，可以自动处理这个工作，自动将word试题按照要求写入excel中，自动整理试题比如：图片中有550道选择题的文档，有很多不需要的信息，开头语，页眉页脚，还有广告、水印我也看了市面上一些处理方法大都是用正则
  • python的多线程编程之锁 代码输入中... python爬虫数据分析开发语言pycharm
    1、背景概述在上篇文章中，主要讲述了python中的socket编程的一些基本方面，但是缺少关于锁的相关概念，从而在这篇文章中进行补充。由于在python中，存在了GIL，也就是全局解释器锁，从而在每次进行获得cpu的时候，同时只有一个线程获得了cpu的运行，在这个方面可以认为是线程安全的，但是在线程运行的时候，是共享内存的，共享相同的数据信息，从而这个时候python的线程就不那么安全了。在py
  • Eclipse插件开发二：初识hello word的配置信息 歪桃 eclipsejavaide
    在之前的文章中，我们创建了一个例子，现在我们来认识这个例子。Eclipse插件开发一：helloword以下是目录结构，主要有一个java类，一个MANIFEST.MF配置，一个plugin.xml配置1.MANIFEST.MFMANIFEST.MF文件的主要作用是提供插件的元数据，使得Eclipse平台能够正确加载和管理插件。它定义了插件的基本信息、依赖关系和执行环境要求，确保插件在运行时能够找
  • 三星note3_lineageOS16刷SuperSu开启root权限 SabreWulf2020 AndroidlineageOS16三星note3rootlineageOSroot
    前面一篇文章写了note3刷lineageOS16,此处记录一下root过程。LineageOSrom在开发者选项中内置了root访问设置，您只需为adb和应用程序启用它，这非常简单。要启用root或rootLineageOS，请遵循以下步骤。一、如何root1.手机已刷入TWRP2.下载SuperSu.zip,并放置到手机内存中3.同时按下手机向上音量键重启手机,进入恢复模式4.点击手机中的"I
  • word合并邮件 空白式离开 word
    .创建主文档和源数据：○创建一个Word文档，包含所有邮件共有的内容，如信封、信头等。○创建一个Excel表格，包含需要个性化的信息，如收件人、发件人、正文等。2.打开Word文档，选择邮件合并：○打开Word文档，点击菜单栏中的“邮件”，然后选择“开始邮件合并”。3.选择收件人：○点击“电子邮件”，然后选择“选择收件人”中的“使用现有列表”。4.选择数据源：○浏览并选择包含收件人信息的Excel
  • wordpress常见数据库连接错误原因及其解决方案 wodrpress资源分享 数据库wordpress
    WordPress数据库连接错误通常是由于数据库配置问题、数据库服务器问题或权限问题引起的。以下是一些常见的数据库连接错误及其解决方案：常见错误信息1.“Errorestablishingadatabaseconnection”2.“WordPressdatabaseerror:[Errormessage]”3.“Unknowndatabase”4.“Accessdeniedforuser”常见原
  • 客户案例：致远OA与携程商旅集成方案 慧集通-让软件连接更简单！ 慧集通（DataLinkX）致远OA客户案例集API低代码需求分析产品经理系统集成携程商旅致远OA
    一、前言本项目原型客户公司创建于1992年,主要生产并销售包括糖果系列、巧克力系列、烘焙系列、卤制品系列4大类,200多款产品。公司具有行业领先的生产能力,拥有各类生产线100+条,年产能超过10万吨。同时,经过30年的发展,公司积累了完善的销售网络,核心经销商已经超过1200个,超16万个销售终端可以覆盖全国所有城市。在现有优势的基础上,优秀的团队以及雄厚的资金实力将助力公司早日实现“与世界共享
  • NPOI导出表格信息，导出图片 天堂镇的幽灵 C#
    StringBuilderstrTemp=newStringBuilder();strTemp.Append(@"select*,dbo.fu_GetCompanyNameById(company_id)asCompanyNamefromInvoiceSpecialwheredeleted=0");//stringcompStr=";//站点,公司权限管理控制筛选if(manager.role_i
  • 2025年地信、遥感等专业常见考试时间一览（教资/四六级/测绘师…… 新中地GIS开发老师 GIS地信地理信息科学地理信息系统干货分享arcgis
    25年的部分考试时间线基本上也确定了下来，我们今天就来总结一下地信遥感等专业25年常见的考试时间（以考试时间为准，报名时间需提前）：（部分证书考试尚未公布具体时间，暂按照24年时间）一、2025年上半年中小学教师资格(笔试)考试时间：3月8日二、2025年上半年全国计算机等级考试考试时间：3月29日、31日三、2025年上半年GIS应用技术测评考试时间：5月中旬四、2025年上半年中小学教师资格(
  • 2019-Android-高级面试题总结-从java语言到AIDL使用与原理 2401_89790831 androidjava开发语言
    4.通过线程池线程池的工作原理：线程池可以减少创建和销毁线程的次数，从而减少系统资源的消耗，当一个任务提交到线程池时a.首先判断核心线程池中的线程是否已经满了，如果没满，则创建一个核心线程执行任务，否则进入下一步b.判断工作队列是否已满，没有满则加入工作队列，否则执行下一步c.判断线程数是否达到了最大值，如果不是，则创建非核心线程执行任务，否则执行饱和策略，默认抛出异常###说下handler原理
  • 利用Python爬虫获取阿里巴巴商品详情：代码示例与实践指南 小爬虫程序猿 APIpython爬虫开发语言
    在电商数据分析和市场研究中，获取商品详情是至关重要的一步。虽然阿里巴巴开放平台提供了官方API来获取商品信息，但在某些情况下，使用爬虫技术来抓取数据也是一种有效的手段。本文将介绍如何利用Python爬虫获取阿里巴巴商品详情，并提供详细的代码示例。一、准备工作（一）环境搭建确保你的Python环境已经安装了以下必要的库：requests：用于发送HTTP请求。BeautifulSoup：用于解析HT
  • 阿里巴巴商品搜索结果页结构复杂吗？ 小爬虫程序猿 Javapython爬虫信息可视化
    阿里巴巴商品搜索结果页的结构相对复杂，但通过合理的方法和工具，可以有效地解析和提取所需信息。以下是对阿里巴巴商品搜索结果页结构的分析：一、返回值的主要组成部分（一）商品总数（totalItems）表示搜索到的商品总数，这一数值直接反映了搜索结果的规模。电商平台可以根据商品总数判断是否需要进行分页处理，以优化用户体验。（二）商品列表（items）包含与搜索关键字匹配的商品列表，每个商品都是一个对象，
  • MySQL备份案例: mysqldump+binlog实现完全+增量备份 糯米汤圆～ mysql数据库运维linux
    一、素材准备1.创建一个干净环境的虚拟机--192.168.46.120openEuler22.linux在线安装MySQLa.查看本地MySQL安装列表，选择安装版本[root@openEuler~]#yumlist|grep-i"^mysql"mysql.src8.0.40-1.oe2203sp4update-sourcemysql.x86_648.0.40-1.oe2203sp4update
  • 人工智能领域单词：英文解释 周杰伦_Jay 人工智能深度学习神经网络中文分词全文检索
    目录1、前言2、单词组1：15个3、单词组2：15个4、单词组3：15个5、单词组4：15个6、单词组5：15个1、前言亲爱的家人们，创作很不容易，若对您有帮助的话，请点赞收藏加关注哦，您的关注是我持续创作的动力，谢谢大家！有问题请私信或联系邮箱：[email protected]、单词组1：15个1、人工智能(ArtificialIntelligence,AI):atechnologythatsi
  • 【ArcGIS微课1000例】0140：总览（鹰眼）、放大镜、查看器的用法 刘一哥GIS arcgis放大镜总览鹰眼查看器python
    文章目录一、总览工具二、放大镜工具三、查看器工具ArcGIS中提供了三种局部查看的工具：总览（鹰眼）、放大镜、查看器，如下图所示，本文讲述这三种工具的使用方法。一、总览工具为了便于效果查看与比对，本实验采用全球影像数据（位于配套实验数据包中的0140.rar中），加载数据如下：启用总览工具，该工具其实就是鹰眼工具。鹰眼框大小调整：
  • 国产化环境下的Nginx依赖安装利器：麒麟v10系统arm64架构专用 劳筝千Daphne
    国产化环境下的Nginx依赖安装利器：麒麟v10系统arm64架构专用packages.zip项目地址:https://gitcode.com/open-source-toolkit/b9858项目介绍在国产化环境中，麒麟v10系统（arm64架构）的普及率越来越高，然而，安装Nginx及其依赖包的过程却可能因为环境差异而变得复杂。为了简化这一过程，我们推出了一个专门针对麒麟v10系统的Nginx
  • 华为云计算平台架构介绍 单车~ 算法数据结构
    在当今数字化时代，云计算已成为企业实现数字化转型和创新发展的关键支撑技术。华为作为全球领先的信息与通信技术（ICT）解决方案供应商，凭借先进的技术和创新的设计，其云计算平台架构为用户提供了高效、可靠、安全且灵活的云计算服务。一、总体架构概述华为云计算平台架构秉持分层设计的理念，涵盖了基础设施层（IaaS）、平台层（PaaS）以及应用层（SaaS）。这样的分层架构，能够让各层实现独立的扩展与优化，并
  • Oracle 学习全攻略 来恩1003 Oracleoracle学习数据库
    Oracle学习资料Oracle学习资料Oracle学习资料在当今信息技术蓬勃发展的时代，数据库管理系统起着举足轻重的作用，而Oracle作为行业内的领军者，以其强大、稳定、高效的特性，广泛应用于金融、电信、政府等诸多关键领域。若你渴望踏入数据库领域的高阶殿堂，开启Oracle的学习之旅无疑是明智之举。以下将为你详细阐述Oracle的学习路径。一、入门奠基：环境搭建与初步认知了解Oracle体系架
  • Intel系统编程指南第八章——8.8 多核架构 zenny_chen 操作系统及嵌入式开发编程cache多线程存储工具扩展
    本小节描述了支持双核和四核技术的Intel64和IA-32处理器的架构。本讨论可应用于Intel奔腾处理器至尊版、奔腾D处理器、Intel酷睿Duo、双核Intel至强处理器、Intel酷睿2Quad处理器，以及四核Intel至强处理器。通常而言，每个处理器核心具有专用的架构资源，与底层的不带硬件多线程性能微架构的一单个处理器实现相同。一个双核处理器中的每个逻辑处理器（不管是否支持Intel超线程
  • PLUTO：突破基于模仿学习的自动驾驶规划极限 硅谷秋水 机器学习自动驾驶人工智能自动驾驶人工智能机器学习计算机视觉
    24年4月来自香港科技大学的论文“PLUTO:PushingtheLimitofImitationLearning-basedPlanningforAutonomousDriving”。PLUTO，突破基于模仿学习的自动驾驶规划极限。改进来自三个关键方面：一种纵向横向感知模型架构，可实现灵活多样的驾驶行为；一种创新的辅助损失计算方法，可广泛应用且可高效地进行批量计算；一种利用对比学习的训练框架，采
  • 架构师反向代理Haproxy+压力测试 - 学习笔记 无影V随风 学习笔记linux相关
    一.Apache的反向代理(生产不建议使用)1.Apache的编译安装:yuminstallapr-develapr-util-develpcre-developenssl-develcd/usr/local/src/wgethttp://archive.apache.org/dist/httpd/httpd-2.4.18.tar.gztar-zxvfhttpd-2.4.18.tar.gzcdht
  • odoo 学习 卫玠_juncheng python
    环境问题psycopg2-binary==2.9.9python-ldap==3.4.0gevent==22.10.2环境问题。最后使用的是conda环境pythonodoo-bin-codoo.conf-ibase使用了conda环境执行命令：pythonodoo-bin-codoo.conf-ibase开发顺序打开视图添加菜单自定义表单自定义树自定义脚手架安装开发者模式进入开发者模式：?deb
  • 如何修改 Angular 运行的主机和端口 ？ angular
    在Angular中，host指的是应用程序可访问的域名或IP地址，而port指的是应用程序通过它与网络通信的特定网关。默认情况下，Angular应用运行在localhost上，端口号是4200。在某些情况下，更这些默认设置是必要的，例如在不同的环境中部署应用程序或避免端口冲突的情况下。使用AngularCLIAngularCLI提供了一种简单的方式来修改这些设置。在不同的port上启动Angula
  • Cortex-M3(转) oldbalck 嵌入式操作系统系统架构
    原来一直在Cortex-A8上做相关算法的开发和移植，最近要在Cortex-M3上实现一小功能，所以要了解一下Cortex-M3架构，在网上看到这篇blog不错，特转载一下。http://blog.mcuol.com/User/share_119/Article/39534_1.htm首先，在学习Cortex-M3时，我们必须要知道必要的缩略语。整理如下：AMBA:先进单片机总线架构ADK:AMB
  • Haproxy 负载均衡集群 weixin_34348805
    |br0router192.168.29.128vip:192.168.29.128192.168.29.128/32修改内核参数servicehttpdstart测试：找宿主机http://192.168.29.128找同学去访问:确保它的电脑没有192.168.29.0/24网络却把把网关指向宿主机10网段的IP再去访问http://192.168.29.128三、部署memcached把机器
  • VScode使用element-ui插件准备 web15286201346 面试学习路线阿里巴巴vscodeidevisualstudiocodejava-ee后端
    文章目录插件1、Chinese(Simplified)LanguagePackforVisualStidioCode中文汉化包2、AutoCloseTag自动闭合标签3、AutoRenameTag尾部闭合标签同步修改4、BracketPairColorizer用不同颜色高亮显示匹配的括号5、HighlightMatchingTag高亮显示匹配标签6、Vscode-element-helper7、l
  • 理解 Base64 编码原理及其 JavaScript 实现 red润 前端javascript开发语言前端
    理解Base64编码原理及其JavaScript实现下一篇博客在JavaScript中处理中文字符串的Base64编码与解码注意：这里没有处理中文base64编码情况什么是Base64编码？Base64编码是一种将二进制数据转换为可打印字符的编码方式。它将每三个字节（24位）的二进制数据转换为四个字符，每个字符由64个字符集合中的一个表示。这使得数据可以通过文本协议传输（如电子邮件、HTTP请求等
  • 算法 单链的创建与删除 换个号韩国红果果 c算法
    先创建结构体 struct student { int data; //int tag;//标记这是第几个 struct student *next; }; // addone 用于将一个数插入已从小到大排好序的链中 struct student *addone(struct student *h,int x){ if(h==NULL) //??????
  • 《大型网站系统与Java中间件实践》第2章读后感 白糖_ java中间件
           断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章，这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难，但每一个屏障都会有解决方案，最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。          看完整章内容，
  • zeus持久层spring事务单元测试 deng520159 javaDAOspringjdbc
    今天把zeus事务单元测试放出来,让大家指出他的毛病, 1.ZeusTransactionTest.java 单元测试   package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Test; import
  • Rss 订阅 开发 周凡杨 htmlxml订阅rss规范
                    RSS是 Really Simple Syndication的缩写（对rss2.0而言，是这三个词的缩写，对rss1.0而言则是RDF Site Summary的缩写，1.0与2.0走的是两个体系）。   RSS
  • 分页查询实现 g21121 分页查询
    在查询列表时我们常常会用到分页，分页的好处就是减少数据交换，每次查询一定数量减少数据库压力等等。 按实现形式分前台分页和服务器分页： 前台分页就是一次查询出所有记录，在页面中用js进行虚拟分页，这种形式在数据量较小时优势比较明显，一次加载就不必再访问服务器了，但当数据量较大时会对页面造成压力，传输速度也会大幅下降。 服务器分页就是每次请求相同数量记录，按一定规则排序，每次取一定序号直接的数据
  • spring jms异步消息处理 510888780 jms
    spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器，常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量，以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理，进一步提高性能，减少侦听器的阻塞。具体配置如下：
  • highCharts柱状图 布衣凌宇 hightCharts柱图
    第一步：导入 exporting.js,grid.js,highcharts.js;第二步：写controller   @Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController {  private UserServi
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans springmvcSpring 教程spring3 教程Spring 入门
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • TLS java简单实现 antlove javasslkeystoretlssecure
      1. SSLServer.java package ssl; import java.io.FileInputStream; import java.io.InputStream; import java.net.ServerSocket; import java.net.Socket; import java.security.KeyStore; import
  • Zip解压压缩文件 百合不是茶 Zip格式解压Zip流的使用文件解压
       ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件; ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));     &n
  • underscore.js 学习（一） bijian1013 JavaScriptunderscore
            工作中需要用到underscore.js，发现这是一个包括了很多基本功能函数的js库，里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。       学
  • java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon) bijian1013 javajvmjstatd
    1.介绍         jstatd是一个基于RMI（Remove Method Invocation）的服务程序，它用于监控基于HotSpot的JVM中资源的创建及销毁，并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。         jstatd是基于RMI的，所以在运行jstatd的服务
  • 【Spring框架三】Spring常用注解之Transactional bit1129 transactional
    Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力，如下是@Transactional注解的定义：   /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version
  • 我(程序员)的前进方向 bitray 程序员
    作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
  • nginx lua开发经验总结 ronin47
    使用nginx lua已经两三个月了，项目接开发完毕了，这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的，跟PHP的占比差不多持平了，因此在开发中遇到一些问题备忘一下 1：content_by_lua中代码容量有限制，一般不要写太多代码，正常编写代码一般在100行左右（具体容量没有细心测哈哈，在4kb左右），如果超出了则重启nginx的时候会报 too long pa
  • java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。颠倒之后的栈为{5,4,3,2,1}，5处在栈顶 bylijinnan java
    import java.util.Stack; public class ReverseStackRecursive { /** * Q 66.颠倒栈。 * 题目：用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。 * 颠倒之后的栈为{5,4,3,2,1}，5处在栈顶。 *1. Pop the top element *2. Revers
  • 正确理解Linux内存占用过高的问题 cfyme linux
    Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上： Mem:   3889836k total,  3341868k used,   547968k free,   286044k buffers Swap:  6127608k total,&nb
  • [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题 comsci 工作流
         当我们的流程引擎进入IRC阶段的时候，当循环反馈模型出现之后，每次循环都会导致一大堆节点内存数据残留在系统内存中，循环的次数越多，这些残留数据将导致系统内存溢出，并使得引擎崩溃。。。。。。       而解决办法就是利用汇编语言或者其它系统编程语言，在引擎运行时，把这些残留数据清除掉。
  • 自定义类的equals函数 dai_lm equals
    仅作笔记使用 public class VectorQueue { private final Vector<VectorItem> queue; private class VectorItem { private final Object item; private final int quantity; public VectorI
  • Linux下安装R语言 datageek R语言 linux
    命令如下：sudo gedit  /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
  • 如何修改mysql 并发数(连接数)最大值 dcj3sjt126com mysql
    MySQL的连接数最大值跟MySQL没关系，主要看系统和业务逻辑了   方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可 　　方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppass
  • 单一功能原则 dcj3sjt126com 面向对象的程序设计软件设计编程原则
    单一功能原则[ 编辑]     SOLID 原则 单一功能原则 开闭原则 Liskov代换原则 接口隔离原则 依赖反转原则 查   论   编 在面向对象编程领域中，单一功能原则（Single responsibility principle）规定每个类都应该有
  • POJO、VO和JavaBean区别和联系 fanmingxing VOPOJOjavabean
    POJO和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Plain Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比POJO复杂很多，JavaBean是一种组件技术，就好像你做了一个扳子，而这个扳子会在很多地方被
  • SpringSecurity3.X--LDAP：AD配置 hanqunfeng SpringSecurity
    前面介绍过基于本地数据库验证的方式，参考http://hanqunfeng.iteye.com/blog/1155226，这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证，权限依旧存储在本地数据库中】。   将配置文件中的如下部分删除： <!-- 认证管理器，使用自定义的UserDetailsService，并对密码采用md5加密-->
  • mac mysql 修改密码 IXHONG mysql
    $ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码（注意，这是第一次MySQL密码为空的时候的设置命令，如果是修改密码，还需在-
  • 设计模式--抽象工厂模式 kerryg 设计模式
    抽象工厂模式：     工厂模式有一个问题就是，类的创建依赖于工厂类，也就是说，如果想要拓展程序，必须对工厂类进行修改，这违背了闭包原则。我们采用抽象工厂模式，创建多个工厂类，这样一旦需要增加新的功能，直接增加新的工厂类就可以了，不需要修改之前的代码。     总结：这个模式的好处就是，如果想增加一个功能，就需要做一个实现类，
  • 评"高中女生军训期跳楼” nannan408
       首先，先抛出我的观点，各位看官少点砖头。那就是，中国的差异化教育必须做起来。    孔圣人有云：有教无类。不同类型的人，都应该有对应的教育方法。目前中国的一体化教育，不知道已经扼杀了多少创造性人才。我们出不了爱迪生，出不了爱因斯坦，很大原因，是我们的培养思路错了，我们是第一要“顺从”。如果不顺从，我们的学校，就会用各种方法，罚站，罚写作业，各种罚。军
  • scala如何读取和写入文件内容？ qindongliang1922 javajvmscala
    直接看如下代码： package file import java.io.RandomAccessFile import java.nio.charset.Charset import scala.io.Source import scala.reflect.io.{File, Path} /** * Created by qindongliang on 2015/
  • C语言算法之百元买百鸡 qiufeihu c算法
    中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”，鸡翁一，值钱五，鸡母一，值钱三，鸡雏三，值钱一，百钱买百鸡，问翁，母，雏各几何？ 代码如下： #include <stdio.h> int main() { int cock,hen,chick; /*定义变量为基本整型*/ for(coc
  • Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode wyz2009107220 NameNode
    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image 优点：Hadoop较早的版本都自带，