ArthurN
ArthurN

初级爬虫使用指北(6)--很多目标

目录

  1. 目的
  2. 分析需求
  3. 分析网页
  4. 重复之道
  5. 与爬虫结合
  6. 附加题

写在前面：
从现在开始，教程可能会变成这样：


来源：微博@英式没品笑话

好，让我们开始吧

1. 目的

我已经知道如何收集 & 解析 网页数据了，那么问题来了，如果有很多很多的网页等待着我收集，难道我要每次都去修改“目标URL”再运行一次程序吗？

是时候发挥程序的作用了：

  • 函数化
  • 循环作业

2. 分析需求：一个实战任务

我希望收集ACM的Fellow的基础信息，做一些基础的统计，那么我将：

  • 首先，抽取这些fellow的基本信息，以及他们的对应的Digital Library的档案信息 (https://awards.acm.org/fellows/award-winners)

    ACM的fellow列表

  • 其次，在Digital Library的档案信息中，这两个地方是我即将收集的信息点——专家的“单位”信息，以及他/她过往出版物的统计信息 (https://dl.acm.org/author_page.cfm?id=81100622053)

    对应的DL档案信息

3. 分析网页

我可以直接访问“Fellow”列表的网页，抽取这些专家的基础信息（姓名/年份/来源），但是我也需要抽取每个人对应的Digital Library数据中的档案信息。

所以，使用“右键->检查”查看鼠标点击出对应的元素的具体源代码：


使用“检查”功能

使用BeautifulSoup解析网页

t_table = soup.find(
    'table', attrs={'summary': 'Awards Winners List'})

如果我没说清楚的话，那么在看一次。
我需要抽取档案信息的Affiliation History 信息，在这行字上点击鼠标右键，再选中“检查”：


再次使用“检查”功能

这样我们就知道了我们即将抽取的标签的路径


chrome 浏览器上使用“检查”功能的结果

使用BeautifulSoup解析网页

tableList_pub = soup.find_all(
        'table',
        attrs={'width': '90%', 'style': 'margin-top: 1px; margin-bottom: 10px',
               'border': '0', 'align': 'left'})

4. 重复之道

函数化：定义一种动作

将一个常见的动作（代码）固定下来，每次只改变想更改的部分即可。“函数化”还可以使代码块的

print('I fetch apple')
print('I fetch pencil')
print('I fetch your heart')
print('I fetch your love in my dream')

以上代码等价于：

def fetch(something):
    print('I fetch ' + something)

fetch('apple')
fetch('pencil')
fetch('your heart')
fetch('love in my dream')

循环：迈向自动化

循环可以让某些动作重复，而不用代码一次次地重复写

print('0')
print('1')
print('2')
print('3')
print('4')
print('5')
print('6')
print('7')

以上代码等价于：

for i in range(8):
    print(str(i))

5. 与爬虫结合

当我找到

里的所有标签后，我应该遍历每一个tr标签，找到目标信息点：

再次再次使用“检查”功能

我当然不会一个个写代码抽取它们，所以使用“循环”：

fellowList = [] # 初始化一个空的列表，用于存放数据

# 对于每一个找到的‘tr’标签，循环处理
for tr in t_table.tbody.find_all('tr', attrs={'role': 'row'}):

    tdList = tr.find_all('td') # 找到‘tr’中的‘td’标签

    name = tdList[0].string # 第一个‘td’标签是 姓名

    year = tdList[2].string # 第三个‘td’标签是 年份

    nation = tdList[3].string # 第四个‘td’标签是 来源

    dlLink = tdList[4].a['href'] # 第五个‘td’标签是 对应的Digital Library 的档案链接

    fellowList.append([name, year, nation, dlLink]) # 把这些标签的内容放置于列表中

当然我还要清理抽取内容中的乱码，所以以上代码进一步更改为：

# 清理网页文本数据
def cleanStr(text):
    ''' 清理网页字符串里的无用字符'''
    # 清理 空格
    # 'Masinter,\xa0Larry\xa0M' -> 'Masinter, Larry M'
    # \xa0 是 html 里的空格  
    text.replace('\xa0', ' ')

    text.replace('\t', '')  # 清理 回车
    text.replace('\n', '')  # 清理 退格

    return text

# 使用一个列表放置数据
fellowList = []

# 对于每一个找到的‘tr’标签，循环处理
for tr in t_table.tbody.find_all('tr', attrs={'role': 'row'}):

    # 找到‘tr’中的‘td’标签
    tdList = tr.find_all('td')

    # 第一个‘td’标签是 姓名
    name = tdList[0].string
    cleanStr(name)

    # 第三个‘td’标签是 年份
    year = tdList[2].string
    cleanStr(year)

    # 第四个‘td’标签是 来源
    nation = tdList[3].string
    cleanStr(nation)

    # 第五个‘td’标签是 对应的Digital Library 的档案链接
    dlLink = tdList[4].a['href']

    # 把这些标签的内容放置于列表中
    fellowList.append([name, year, nation, dlLink])

6. 附加题

  • 这些代码可以进一步精简，但是为了增加可读性，保持一定的冗余也是好的
  • 完整代码将在下一章给出

你可能感兴趣的:(初级爬虫使用指北(6)--很多目标)

  • 车载音频开发（三）：对wav音频做定浮点转换（采样深度转换） Mr Chris_LI wav音频开发心得音视频
    对于wav的采样格式讨论较多的是定浮点采样基于上一节我们对采样点的理解车载音频开发（二）：对音频数据作音量调节_音频数据的音量控制代码-CSDN博客定点常见的有16bit，24bit，和32bit浮点一般用float(32bit)IEEE754浮点数不同位深度的取值范围：16bit定点数:-32,768~32,76724bit定点数:-8,388,608~8,388,60732bit定点数:-2,
  • 大学生学完python靠几个接单网站兼职，实现经济独立 「已注销」 python开发语言
    大学生学完python靠几个接单网站兼职，实现经济独立程序员就是当今时代的手艺人，程序员可以通过个人的技术来谋生。而在工作之余接私单可以作为一种创富的途径，受到程序员的广泛认可。说句实在话，现在这个时代，很多人仅靠主业顶多维持基本生活，想让自己、家人生活好一点很难。我接的私活并不算多，加起来也就几万左右，只能算一半，我想把一些经验分享出来，毕竟现在生活都不容易，能赚一点是一点。一、程序员接活、新手
  • USB转串口芯片CH9102替代CP2102注意事项 Chery1140 单片机嵌入式硬件
    CH9102与CP2102可实现pin2pin兼容，可以在不更改硬件设计的前提下实现不同型号间快速切换与产品应用。CH9102系列型号包括：CH9102F（QFN24）和CH9102X（QFN28），CP2102系列型号包括：CP2102、CP2102N-GQFN24、CP2102N-GQFN28。1.应用差异说明1）驱动说明：CH9102芯片为CDC类串口芯片，用户可以选择使用操作系统内置的CD
  • 【计算机毕设任务书】基于微信小程序的宠物寄养平台的设计与实现 Eastonzhang888 计算机毕设任务书参考案例课程设计微信小程序宠物数据库intellij-idea计算机毕业设计小程序
    一、设计的主要内容、技术参数及工作要求研究目的现在宠物寄养管理中已有一些商家使用了基本的管理软件，这些软件都是依靠客户端，只可以特定人员使用，不能实现信息的共享。虽然可以帮助工作人员减少工作量，但从根本上还是无法满足用户的需求。这些软件都还是基于网络发展之初的要求，没有利用现代网络的技术，体现不了更为实用的功能。依靠客户端的系统开发时没有考虑园际化的问题，所以也满足不了国际化的要求。最近几年来，我
  • 【练习】【二分】力扣热题100 34. 在排序数组中查找元素的第一个和最后一个位置 柠石榴 输入输出力扣hot100leetcode算法c++二分
    题目给你一个按照非递减顺序排列的整数数组nums，和一个目标值target。请你找出给定目标值在数组中的开始位置和结束位置。如果数组中不存在目标值target，返回[-1,-1]。你必须设计并实现时间复杂度为O(logn)的算法解决此问题。示例1：输入：nums=[5,7,7,8,8,10],target=8输出：[3,4]示例2：输入：nums=[5,7,7,8,8,10],target=6输出
  • EasyX安装及使用 于冬恋 java开发语言
    安装链接：EasyXGraphicsLibraryforC++安装完成包含头文件graphics.h即可使用RGB合成颜色（红色部分，绿色部分，蓝色部分）每种颜色的值都是（0~255）坐标默认的原点在窗口的左上角，x轴向右为正，y轴向下为正，度量单位是像素点。设备：简单来说就是绘图表面（在EasyX中，设备分为两种，一种是默认的绘图窗口，一种是IMAGE对象。通过SetWorkinglmage()
  • AI 大模型：Intelligent Agent—— 开启智能新纪元 AI-入门 人工智能学习产品经理面试agi
    在LLM语境下，Agent理解为在某种能自主理解、规划决策、执行复杂任务的智能体，LLM充当着智能体的“大脑”。从软件工程的角度，智能体是一种基于大语言模型的，具备规划思考能力、记忆能力、使用工具函数的能力，能自主完成给定任务的计算机程序。在基于LLM的智能体中，LLM的充当着智能体的“大脑”的角色，同时还有3个关键部分：规划（Planning）:智能体会把大型任务分解为子任务，并规划执行任务的流
  • 网络协议、网络安全架构、网络安全标准 Utopia.️ 网络协议web安全架构
    1.网络协议网络协议是计算机网络中设备之间通信的规则集。熟悉常见的网络协议及其工作原理是确保网络安全的基础。常见协议：TCP/IP协议：这是网络通信的基础协议，确保数据从源端传输到目标端，支持多种传输方式（TCP可靠传输，UDP快速但不可靠）。HTTP/HTTPS：HTTP用于浏览器与服务器之间的通信，HTTPS则是在HTTP上添加了SSL/TLS加密层，用于确保数据传输的安全性。DNS协议：用于
  • CH340N的使用注意事项 鹿屿二向箔 单片机嵌入式硬件
    使用CH340N将MCU的串口（UART）转换为USB输出是一种常见的方案，适用于需要将嵌入式设备连接到电脑的场景。以下是详细的连接方法和步骤：1.CH340N简介功能：CH340N是一款USB转串口芯片，支持USB2.0协议，可将UART信号转换为USB信号。特点：内置晶振，无需外部晶振。支持5V和3.3V电源电压。封装为SOP-8，体积小，适合紧凑设计。2.硬件连接以下是CH340N与MCU（
  • nginx反向代理jupyter jerry-89 jupyterlabnginxjupyterpython
    1.jupyter配置打开配置文件/home/jack/.jupyter/jupyter_notebook_config.py2.反向代理配置这个/jack/与上面添加的对应location/jack/{proxy_passhttp://192.168.196.164:8888/jack/;proxy_set_headerHost$host;proxy_set_headerX-Real-IP$re
  • 欧*雅WCS项目总结 十五001 项目归档后端java程序人生
    项目介绍使用系统APRISO下发任务与wcs交互，wcs包含与海康agv对接，以及APRISO不纳入管理的库位（包括线边库位、码头库位、暂存区库位、空栈板库位）。wcs的主要定位就是高度定制化贴合生产业务，可以说wcs成为了agv和APRISO之间的桥梁。APRISO下发任务时候，通过生成xml文件实现的，这时候wcs会监听该文件目录新建的xml文件来生成任务。刚开始部署后不到一周出现了监听失效问
  • 生产企业使用系统大全 十五001 其他笔记经验分享其他
    作为一般企业员工可能只负责或对其中部分系统比较熟悉，其实如果是一个生产型企业完整的系统大全应该包含以下这些，但由于系统之间可能存在的边界模糊，会把其他系统的功能给进行合并，但不影响我们了解成熟系统所对应的职责，以下就是十大系统的功能：图来源于：白话聊IT一、MES（制造执行系统）核心作用：宛如一座桥梁，衔接企业的计划层（由ERP系统代表）与工厂的实际控制系统，专注于对工厂生产现场进行实时、精准的管
  • 如何快速定位并解决 Linux 系统性能瓶颈：终极全攻略 BitTalk 性能优化linux服务器java
    在现代IT环境中，Linux系统被广泛应用于服务器、嵌入式设备和超级计算机等各类场景。随着系统负载的增加，性能瓶颈不可避免地会影响系统的可靠性和效率。因此，了解如何有效地诊断和解决Linux系统中的性能问题至关重要。本篇博客将深入探讨Linux性能瓶颈的可能来源，介绍各种性能评估方法和概念，并最终提供使用Linux命令查找性能瓶颈的实用指南。性能瓶颈的可能来源在Linux系统中，性能瓶颈可能出现在
  • 【人工智能时代】- AI 聚合平台 xiaoli8748_软件开发 人工智能时代人工智能
    最近听朋友介绍，国内有个团队开发了一个全功能的AI聚合平台，包含主流的GPT和绘画功能，以及一些其他的衍生功能，几乎应有尽有。于是，对AI很感兴趣的我，便也来瞧瞧这是个什么样的存在，以下便是我的真实使用感受。除此以外，作为一个程序员，我还使用了该平台提供的API接口，开发了一个简单的小程序。文章的末尾，我将提供免费的AI机器人，以及小程序体验地址，记得查收哦~官方网站：https://302.ai
  • 在瑞芯微RK3588平台上使用RKNN部署YOLOv8Pose模型的C++实战指南 机 ＿ 长 YOLO系列模型有效涨点改进深度学习落地实战YOLOc++开发语言
    在人工智能和计算机视觉领域，人体姿态估计是一项极具挑战性的任务，它对于理解人类行为、增强人机交互等方面具有重要意义。YOLOv8Pose作为YOLO系列中的新成员，以其高效和准确性在人体姿态估计任务中脱颖而出。本文将详细介绍如何在瑞芯微RK3588平台上，使用RKNN（RockchipNeuralNetworkToolkit）框架部署YOLOv8Pose模型，并进行C++代码的编译和运行。注本文全
  • transformer模型构建 AI耽误的大厨 自然语言处理nlptransformer算法人工智能神经网络word2vec
    2.6模型构建学习目标掌握编码器-解码器结构的实现过程.掌握Transformer模型的构建过程.通过上面的小节,我们已经完成了所有组成部分的实现,接下来就来实现完整的编码器-解码器结构.Transformer总体架构图:编码器-解码器结构的代码实现#使用EncoderDecoder类来实现编码器-解码器结构classEncoderDecoder(nn.Module):def__init__(se
  • 深度学习之目标检测的常用标注工具 铭瑾熙 人工智能机器学习深度学习深度学习目标检测目标跟踪
    1LabelImgLabelImg是一款开源的图像标注工具，标签可用于分类和目标检测，它是用Python编写的，并使用Qt作为其图形界面，简单好用。注释以PASCALVOC格式保存为XML文件，这是ImageNet使用的格式。此外，它还支持COCO数据集格式。2labelmelabelme是一款开源的图像/视频标注工具，标签可用于目标检测、分割和分类。灵感是来自于MIT开源的一款标注工具Label
  • ug12在win8计算机名错,我电脑是win8.1的 装ug8.0 装ug为什么会提示错误?? zc791022 ug12在win8计算机名错
    可以安装，64位的可能要通用许可证才能安装。安装NX8.0.0.25之前，最好卸载掉“大于4.0”的许可服务(因为你只要装了8.0的许可服务，7.0/6.0/5.0都可以启动的)，安装后打不开NX8.0的，重启电脑试试！1.用记事本方式打开安装文件夹下的“crack\UGSLicensing\NX8.0.lic”(把里面SERVERthis_hostID=20110555528000里面的this
  • ug12无法连接服务器系统,NX许可证错误：无法连接至许可证服务器系统。SPLM_LICENSE_SERVER错误[-15]... 逍遥药师 ug12无法连接服务器系统
    问题原因这个问题可以说只要用过NX软件的工程师，都会遇到过，是最常见的NX许可证错误，可以说没有之一，因为这个提示只是告诉你，你的当前NX许可服务没有启动，就算是你安装完NX主程序不安装许可服务，也是这个提示。所以这个警告提示，实际上对你的问题参考没多大帮助。能让NX许可服务不能启动的原因有很多，所以只能自己去排查以下几种情况。解决方案1、检查你的NX许可服务有没有安装。(这是最基本，一般情况下不
  • DeepSeek-R1 技术全景解析：从原理到实践的“炼金术配方” ——附多阶段训练流程图与核心误区澄清... 雪停时偶遇一叶春 流程图
    合集-人工智能(5)1.如何改进AI模型在特定环境中的知识检索2024-09-242.深度学习与统计学中的时间序列预测2024-10-033.《使用coze搭建一个会搜索、写ppt、思维导图的Agent》2024-10-294.深入浅出：Agent如何调用工具——从OpenAIFunctionCall到CrewAI框架01-145.DeepSeek-R1技术全景解析：从原理到实践的“炼金术配方”—
  • heidisql连接远程数据库_【已解决】HeidiSQL连接（登录）MySQL数据库报错10061问题... weixin_39589511 heidisql连接远程数据库
    windows核心编程---第六章线程的调度每个线程都有一个CONTEXT结构,保存在线程内核对象中.大约每隔20mswindows就会查看所有当前存在的线程内核对象.并在可调度的线程内核对象中选择一个,将其保存在CONTEXT结构的值载入c...【转】SQLite提示databasediskimageismalformed的解决方法SQLite有一个很严重的缺点就是不提供Repair命令.导致死
  • Python 舆论风向分析爬虫：全流程数据获取、清洗与情感剖析 西攻城狮北 python爬虫开发语言实战案例
    引言在当今信息爆炸的时代，互联网上充斥着海量的用户言论和观点。了解舆论风向对于企业、政府机构以及研究者等具有重要的意义，可以帮助他们及时把握公众情绪、调整策略与决策。Python作为一种强大的编程语言，在数据爬取与分析方面具有得天独厚的优势，能够助力我们高效地实现舆情监测与深入剖析。一、环境搭建与目标确定1.环境搭建为了顺利完成爬虫与数据分析任务，首先需要确保你的开发环境已经安装了以下Python
  • 【vue】Mammoth.js的使用：将.docx转换成HTML 暴富暴富暴富啦啦啦 1024程序员节
    mammoth.convertToHtml(input,options）：把源文档转换为HTML文档mammoth.convertToMarkdown(input,options)：把源文档转换为Markdown文档。mammoth.extractRawText(input)：提取文档的原始文本。这将忽略文档中的所有格式。每个段落后跟两个换行符。npminstallelement-uimammot
  • 麒麟v10安装mysql5.7（ARM架构） qqxinxi arm开发
    下载路径：华为云镜像麒麟v10是潮流时代的新时髦的linux操作系统，但随着ARM架构流行，出现了一些卡点，不以为然，没当回事的大吃一惊。经常卡住。例如:在安装mysql5.7（ARM架构）最简单：使用rpmmysql-5.7.27.1.el7.aarch64.rpm文件比较小下载完之后rpm-ivhmysql-5.7.27.1.el7.aarch64.rpm比较简单常用的方法，再不能连接互联网时
  • YOLOv8 Pose使用RKNN进行推理 い不靠譜︶朱Sir 实用项目部署YOLO人工智能pythonlinuxpip
    关注微信公众号：朱sir的小站，发送202411081即可免费获取源代码下载链接一、简单介绍YOLOv8-Pose是一种基于YOLOv8架构的姿态估计模型，能够识别图像中的关键点位置，这些关键点通常表示人体的关节、特征点或其他显著位置。该模型在COCO关键点数据集上训练，适合多种姿势估计任务。二、ONNX推理1.首先需要先将Pytorch模型转换为Onnx模型，下载pt模型这里给出官方的权重下载地
  • PyCharm 集成 DeepSeek：本地运行 or API 直连？打造你的 AI 编程神器！ AI云极 【AI智能系列】pycharm人工智能idedeepseek
    在AI赋能编程的时代，如何让AI辅助写代码，提升开发效率？DeepSeek作为一款开源、强大、免费的AI编程助手，结合PyCharm，能够大幅提升Python编程体验。今天，我们就来详细讲解如何在PyCharm中接入DeepSeek，无论你想使用本地部署的DeepSeek，还是官方API版本，都能轻松实现！为什么选择DeepSeek+PyCharm？DeepSeekR1采用6710亿参数的MoE（
  • 快速复制A库表数据前10000行到B库 musk1212 数据库sqlmysql
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录应用场景一、存储过程，快速复制A库表数据前10000行到B库二、使用优化点说明结构优化性能调整错误处理增强安全改进调用示例应用场景表结构可预先存在或不存在mysql5.7快速复制A库表数据前10000行到B库一、存储过程，快速复制A库表数据前10000行到B库/*设置自定义分隔符以处理存储过程中的分号*/DELIMITER$$
  • 深入了解 CDN：概念、原理、过程、作用及工作场景 羊村懒哥 网络网络加速缓存
    目录一、CDN的概念二、CDN的工作原理三、CDN的工作过程四、CDN的作用五、CDN可结合使用的技术六、CDN能够解决的网络问题七、CDN的工作场景在当今互联网飞速发展的时代，用户对于网页加载速度和内容获取的时效性要求越来越高。CDN（ContentDeliveryNetwork，⭐内容分发网络）应运而生，它在提升网络性能和用户体验方面发挥着关键作用。本文将详细介绍CDN的概念、工作原理、工作过
  • 【CUDA】Pytorch_Extensions joker D888 深度学习pytorchpythoncudac++深度学习
    【CUDA】Pytorch_Extensions为什么要开发CUDA扩展？当我们在PyTorch中实现自定义算子时，通常有两种选择：使用纯Python实现（简单但效率低）使用C++/CUDA扩展（高效但需要编译）对于计算密集型的操作（如神经网络中的自定义激活函数），使用CUDA扩展可以获得接近硬件极限的性能。本文将以实现一个多项式激活函数x²+x+1为例，展示完整的开发流程。完整CUDA扩展代码解
  • 散热风扇常见的调速方式有哪几种 辉盈防爆散热风扇 其他
    在现代电子设备中，散热风扇扮演着至关重要的角色，它们通过高效的空气流动帮助设备排热，保障设备的稳定运行。而散热风扇的调速方式，则是影响其散热效率和使用寿命的关键因素。那么，散热风扇如何调速?有哪几种调速方式?1.PWM(脉冲宽度调制)调速是有一个专用的PWM调速操控电路来调理，这个操控信号是要散热风扇生产厂家来完结，此功用可以使用频率和高低压电平来操控风扇转速，经过调整占空比来线性操控风扇转速，带
  • java责任链模式 3213213333332132 java责任链模式村民告县长
    责任链模式，通常就是一个请求从最低级开始往上层层的请求，当在某一层满足条件时，请求将被处理，当请求到最高层仍未满足时，则请求不会被处理。 就是一个请求在这个链条的责任范围内，会被相应的处理，如果超出链条的责任范围外，请求不会被相应的处理。 下面代码模拟这样的效果： 创建一个政府抽象类,方便所有的具体政府部门继承它。 package 责任链模式; /** *
  • linux、mysql、nginx、tomcat 性能参数优化 ronin47
    一、linux 系统内核参数 /etc/sysctl.conf文件常用参数 net.core.netdev_max_backlog = 32768 #允许送到队列的数据包的最大数目 net.core.rmem_max = 8388608 #SOCKET读缓存区大小 net.core.wmem_max = 8388608 #SOCKET写缓存区大
  • php命令行界面 dcj3sjt126com PHPcli
    常用选项 php -v php -i PHP安装的有关信息 php -h 访问帮助文件 php -m 列出编译到当前PHP安装的所有模块 执行一段代码 php -r 'echo "hello, world!";' php -r 'echo "Hello, World!\n";' php -r '$ts = filemtime("
  • Filter&Session 171815164 session
    Filter HttpServletRequest requ = (HttpServletRequest) req; HttpSession session = requ.getSession(); if (session.getAttribute("admin") == null) { PrintWriter out = res.ge
  • 连接池与Spring,Hibernate结合 g21121 Hibernate
            前几篇关于Java连接池的介绍都是基于Java应用的，而我们常用的场景是与Spring和ORM框架结合，下面就利用实例学习一下这方面的配置。         1.下载相关内容：     &nb
  • [简单]mybatis判断数字类型 53873039oycg mybatis
           昨天同事反馈mybatis保存不了int类型的属性,一直报错，错误信息如下:       Caused by: java.lang.NumberFormatException: For input string: "null" at sun.mis
  • 项目启动时或者启动后ava.lang.OutOfMemoryError: PermGen space 程序员是怎么炼成的 eclipsejvmtomcatcatalina.sheclipse.ini
       在启动比较大的项目时，因为存在大量的jsp页面，所以在编译的时候会生成很多的.class文件，.class文件是都会被加载到jvm的方法区中，如果要加载的class文件很多，就会出现方法区溢出异常 java.lang.OutOfMemoryError: PermGen space.     解决办法是点击eclipse里的tomcat，在
  • 我的crm小结 aijuans crm
    各种原因吧，crm今天才完了。主要是接触了几个新技术： Struts2、poi、ibatis这几个都是以前的项目中用过的。 Jsf、tapestry是这次新接触的，都是界面层的框架，用起来也不难。思路和struts不太一样，传说比较简单方便。不过个人感觉还是struts用着顺手啊，当然springmvc也很顺手，不知道是因为习惯还是什么。jsf和tapestry应用的时候需要知道他们的标签、主
  • spring里配置使用hibernate的二级缓存几步 antonyup_2006 javaspringHibernatexmlcache
    ．在spring的配置文件中 applicationContent.xml，hibernate部分加入 xml 代码 <prop key="hibernate.cache.provider_class">org.hibernate.cache.EhCacheProvider</prop> <prop key="hi
  • JAVA基础面试题 百合不是茶 抽象实现接口String类接口继承抽象类继承实体类自定义异常
    /*   * 栈（stack）：主要保存基本类型（或者叫内置类型）（char、byte、short、   *int、long、 float、double、boolean）和对象的引用，数据可以共享，速度仅次于   * 寄存器（register），快于堆。堆（heap）：用于存储对象。   */  &
  • 让sqlmap文件 "继承" 起来 bijian1013 javaibatissqlmap
            多个项目中使用ibatis , 和数据库表对应的 sqlmap文件（增删改查等基本语句)，dao, pojo 都是由工具自动生成的, 现在将这些自动生成的文件放在一个单独的工程中，其它项目工程中通过jar包来引用 ，并通过"继承"为基础的sqlmap文件，dao,pojo 添加新的方法来满足项
  • 精通Oracle10编程SQL(13)开发触发器 bijian1013 oracle数据库plsql
    /* *开发触发器 */ --得到日期是周几 select to_char(sysdate+4,'DY','nls_date_language=AMERICAN') from dual; select to_char(sysdate,'DY','nls_date_language=AMERICAN') from dual; --建立BEFORE语句触发器 CREATE O
  • 【EhCache三】EhCache查询 bit1129 ehcache
    本文介绍EhCache查询缓存中数据，EhCache提供了类似Hibernate的查询API，可以按照给定的条件进行查询。   要对EhCache进行查询，需要在ehcache.xml中设定要查询的属性   数据准备 @Before public void setUp() { //加载EhCache配置文件 Inpu
  • CXF框架入门实例 白糖_ springWeb框架webserviceservlet
    CXF是apache旗下的开源框架，由Celtix + XFire这两门经典的框架合成，是一套非常流行的web service框架。 它提供了JAX-WS的全面支持，并且可以根据实际项目的需要，采用代码优先（Code First）或者 WSDL 优先（WSDL First）来轻松地实现 Web Services 的发布和使用，同时它能与spring进行完美结合。 在apache cxf官网提供
  • angular.equals boyitech AngularJSAngularJS APIAnguarJS 中文APIangular.equals
    angular.equals   描述: 比较两个值或者两个对象是不是 相等。还支持值的类型，正则表达式和数组的比较。   两个值或对象被认为是 相等的前提条件是以下的情况至少能满足一项： 两个值或者对象能通过=== （恒等） 的比较 两个值或者对象是同样类型，并且他们的属性都能通过angular
  • java-腾讯暑期实习生-输入一个数组A[1,2,...n]，求输入B，使得数组B中的第i个数字B[i]=A[0]*A[1]*...*A[i-1]*A[i+1] bylijinnan java
    这道题的具体思路请参看 何海涛的微博：http://weibo.com/zhedahht import java.math.BigInteger; import java.util.Arrays; public class CreateBFromATencent { /** * 题目：输入一个数组A[1,2,...n]，求输入B，使得数组B中的第i个数字B[i]=A
  • FastDFS 的安装和配置 修订版 Chen.H linuxfastDFS分布式文件系统
    FastDFS Home:http://code.google.com/p/fastdfs/ 1. 安装 http://code.google.com/p/fastdfs/wiki/Setup http://hi.baidu.com/leolance/blog/item/3c273327978ae55f93580703.html 安装libevent (对libevent的版本要求为1.4.
  • [强人工智能]拓扑扫描与自适应构造器 comsci 人工智能
          当我们面对一个有限拓扑网络的时候,在对已知的拓扑结构进行分析之后,发现在连通点之后,还存在若干个子网络,且这些网络的结构是未知的,数据库中并未存在这些网络的拓扑结构数据....这个时候,我们该怎么办呢?       那么,现在我们必须设计新的模块和代码包来处理上面的问题
  • oracle merge into的用法 daizj oraclesqlmerget into
    Oracle中merge into的使用 http://blog.csdn.net/yuzhic/article/details/1896878 http://blog.csdn.net/macle2010/article/details/5980965 该命令使用一条语句从一个或者多个数据源中完成对表的更新和插入数据. ORACLE 9i 中，使用此命令必须同时指定UPDATE 和INSE
  • 不适合使用Hadoop的场景 datamachine hadoop
    转自：http://dev.yesky.com/296/35381296.shtml。 　　Hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候，会听到脱口而出的回答：Hadoop!  实际上Hadoop被设计和建造出来，是用来解决一系列特定问题的。对某些问题来说，Hadoop至多算是一个不好的选择，对另一些问题来说，选择Ha
  • YII findAll的用法 dcj3sjt126com yii
    看文档比较糊涂，其实挺简单的： $predictions=Prediction::model()->findAll("uid=:uid",array(":uid"=>10));   第一个参数是选择条件：”uid=10″。其中:uid是一个占位符，在后面的array(“:uid”=>10)对齐进行了赋值； 更完善的查询需要
  • vim 常用 NERDTree 快捷键 dcj3sjt126com vim
    下面给大家整理了一些vim NERDTree的常用快捷键了，这里几乎包括了所有的快捷键了，希望文章对各位会带来帮助。 切换工作台和目录 ctrl + w + h 光标 focus 左侧树形目录ctrl + w + l 光标 focus 右侧文件显示窗口ctrl + w + w 光标自动在左右侧窗口切换ctrl + w + r 移动当前窗口的布局位置 o 在已有窗口中打开文件、目录或书签，并跳
  • Java把目录下的文件打印出来 蕃薯耀 列出目录下的文件文件夹下面的文件目录下的文件
    Java把目录下的文件打印出来 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年7月11日 11:02:
  • linux远程桌面----VNCServer与rdesktop hanqunfeng Desktop
    windows远程桌面到linux，需要在linux上安装vncserver，并开启vnc服务，同时需要在windows下使用vnc-viewer访问Linux。vncserver同时支持linux远程桌面到linux。   linux远程桌面到windows，需要在linux上安装rdesktop，同时开启windows的远程桌面访问。   下面分别介绍，以windo
  • guava中的join和split功能 jackyrong java
    guava库中，包含了很好的join和split的功能，例子如下： 1） 将LIST转换为使用字符串连接的字符串    List<String> names = Lists.newArrayList("John", "Jane", "Adam", "Tom");
  • Web开发技术十年发展历程 lampcy androidWeb浏览器html5
    回顾web开发技术这十年发展历程： Ajax 03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。 彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
  • 架构师之mima-----------------mina的非NIO控制IOBuffer(说得比较好) nannan408 buffer
    1.前言。   如题。 2.代码。   IoService IoService是一个接口，有两种实现：IoAcceptor和IoConnector；其中IoAcceptor是针对Server端的实现，IoConnector是针对Client端的实现；IoService的职责包括： 1、监听器管理 2、IoHandler 3、IoSession
  • ORA-00054:resource busy and acquire with NOWAIT specified Everyday都不同 oraclesessionLock
    [Oracle] 今天对一个数据量很大的表进行操作时，出现如题所示的异常。此时表明数据库的事务处于“忙”的状态，而且被lock了，所以必须先关闭占用的session。   step1，查看被lock的session：   select t2.username, t2.sid, t2.serial#, t2.logon_time from v$locked_obj
  • javascript学习笔记 tntxia JavaScript
      javascript里面有6种基本类型的值:number、string、boolean、object、function和undefined。number：就是数字值，包括整数、小数、NaN、正负无穷。string:字符串类型、单双引号引起来的内容。boolean:true、false object:表示所有的javascript对象，不用多说function:我们熟悉的方法，也就是
  • Java enum的用法详解 xieke90 enum枚举
    Java中枚举实现的分析：     示例：  public static enum SEVERITY{ INFO,WARN,ERROR }     enum很像特殊的class，实际上enum声明定义的类型就是一个类。 而这些类都是类库中Enum类的子类      (java.l