Liam_ml
Liam_ml

rvest包总结

阅读数：290

1、rvest介绍

网络爬虫是讲呈现在网页上以非结构格式（html）存储的数据转化为结构化数据的技术，该技术非常简单易用。

rvest是R用户使用率最多的爬虫包，它简洁的语法可以解决大部分的爬虫问题。

基本使用方法：

  1. 使用read_html读取网页；

  2. 通过CSS或Xpath获取所需要的节点并使用html_nodes读取节点内容；

  3. 结合stringr包对数据进行清理。

与Python的比较：

  • Python倾向于做大型爬虫，与R相比，语法相对复杂，因此Python爬虫的学习曲线会相对陡峭。

  • 对于那些时间宝贵，又想从网上获取数据的初学者而言，用R做爬虫是最好的选择：

  1. R语法相对直观，规则更加灵活；

  2. 对于数据量不大的用户来数（小于百万级），R也能够非常自如地处理；

  3. 先学习R爬虫，等熟悉爬虫的原理之后，在过渡到Python是很容易的。

rvest的项目主页：https://cran.r-project.org/web/packages/rvest/index.html

2、API介绍

读取与提取：

  • read_html( ) 读取html文档的函数

  • html_nodes( ) 选择提取文档中指定元素的部分

  • html_name( ) 提取标签名称；

  • html_text( ) 提取标签内的文本；

  • html_attr( ) 提取指定属性的内容；

  • html_attrs( ) 提取所有的属性名称及其内容；

  • html_table( ) 解析网页数据表的数据到R的数据框中；

  • html_form( ) 提取表单。

乱码处理：

  • guess_encoding( ) 用来探测文档的编码，方便我们在读入html文档时设置正确的编码格式

url <- "http://quote.eastmoney.com/stocklist.html"

x <- content(GET(url), "raw")

guess_encoding(x)

guess_encoding( )

用于探测网页的编码，遇到编码错误用这个解决

  • repair_encoding( ) 用来修复html文档读入后的乱码问题

行为模拟：

  • set_values( ) 修改表单

  • submit_form( ) 提交表单

  • html_session( ) 模拟HTML浏览器会话

  • jump_to( ) 得到相对或绝对链接

  • follow_link( ) 通过表达式找到当前页面下的链接

  • session_history( ) 历史记录导航工具

3、函数详解

—3.1 读取与提取

——3.1.1 read_html

函数定义：read_html(x, encoding = "", ..., options = c("RECOVER", "NOERROR", "NOBLANKS"))

参数列表：

  • x 可以是url，本地路径，包含html的字符串，或者来自httr的请求如果x是URL参数就传递给GET()

  • encoding 文档的编码形式,查看iconvlist()有完整列表,他如果不能正确确定encoding方式可以尝试stri_enc_detect

应用实例：

image

——3.1.2 html_nodes

函数定义：

  • html_nodes(x, css, xpath)

  • html_node(x, css, xpath)

html_node只输出一个元素。当给了一个节点列表时，html_node将返回一个长度相等的列表。

参数列表：

  • x 完整的文档(XMLInternalDocument)，tags列表(XMLNodeSet)，单一的tag(XMLInternalElementNode)

  • css, xpath 要收集的节点。css和xpath 两种selector方式可选（class用".", id用"#"与标签连接, 标签之间用空格, ">"指定的筛选条件的父级标签），可使用浏览器插件Selector Gadget辅助（chrome中的css viewer 和 xpath helper 也是神器）

应用实例：

image
image

——3.1.3 html_name

函数定义：html_name(x)

参数列表：x 完整的文档(XMLInternalDocument)，标签列表(XMLNodeSet)或(XMLInternalElementNode)

应用实例：

image

——3.1.4 html_text

函数定义：html_text(x, trim = FALSE)

参数列表：

  • x 完整的文档(XMLInternalDocument)，标签列表(XMLNodeSet)或(XMLInternalElementNode)

  • trim 如果TRUE则过滤前后的空格

应用实例：

image

——3.1.5 html_attr

函数定义：

  • html_attr(x, name, default = NA_character_)

  • html_attrs(x)

参数列表：

  • x 完整的文档(XMLInternalDocument)，标签列表(XMLNodeSet)或(XMLInternalElementNode)

  • name 要提取的属性名

  • default 若任何一个节点的属性不存在则用这里设置的string参数

应用实例：

image

——3.1.6 html_table

函数定义：html_table(x, header = NA, trim = TRUE, fill = FALSE, dec = ".")

参数列表：

  • x 网页文档、节点集或单个节点

  • header 如果为TRUE则使用第一行为列名，若为NA，当有标签时使用第一行为列名

  • trim 如果为TRUE则过滤每个单元格前后的空格

  • fill 如果TRUE，自动填充缺失为NA

  • dec 字符转换为10进制

应用实例：

image

——3.1.7 html_form

函数定义：html_form(x)

参数列表：x 网页文档、节点集或单个节点

应用实例：

image

—3.2 乱码处理

——3.2.1 guess_encoding

函数定义：guess_encoding(x)

参数列表：x 字符型向量

应用实例：

image
image

——3.2.2 repair_encoding

函数定义：repair_encoding(x, from = NULL)

参数列表：

  • x 字符型向量

  • from 字符的实际编码格式

应用实例：

image

—3.3 行为模拟

——3.3.1 set_values( ) 修改表单

函数定义：set_values(form, ...)

参数列表：

  • form 要修改的表单

  • ... 针对要修改控件的的名-值对

应用实例：

image

——3.3.2 submit_form

函数定义：submit_form(session, form, submit = NULL, ...)

参数列表：

  • session 要提交表单的会话

  • form 要提交的表单

  • submit 上传使用的button名，如果没有设置，默认为form第一个上传的button

  • ... GET()和POST()的附加参数

应用实例：

image
image

——3.3.3 html_session

函数定义：

  • html_session(url, …)

  • is.session(x)

参数列表：

  • url 开始session的地址

  • ... 这整个session的httr配置参数

  • x 欲测试是否是session的object

方法：

一个session结构可以响应httr和html方法的操作：可以访问请求的属性，以及可以使用html_nodes访问html。

应用实例：

image

——3.3.4 jump_to

函数定义：jump_to(x, url, ...)

参数列表：

  • x 一个会话

  • url 要访问的地址（相对或绝对）

应用实例：

image

——3.3.5 follow_link

函数定义：follow_link(x, i, css, xpath, ...)

参数列表：

  • x 一个会话

  • i 若为整型，则选择第i个链接；若为字符串，则选择包含该文本信息的第一个链接

  • css xpath 要选择的节点

  • ... 能应用到这个请求的任何httr配置

应用实例：

image

——3.3.6 session_history

函数定义：

  • session_history(x)

  • back(x)

参数列表：x 一个会话

应用实例：

image

4、补充知识

—4.1 包外API

  1. head( ) 检查数据

  2. as.numeric( ) 转化为数值型

  3. gsub( ) 移除" ", "\n", "\t"等

  4. as.factor( ) 转化为因子

  5. data.frame( ) 合并为数据框

  6. trycatch( ) 错误处理

  7. write.csv( ) 输出csv文件

  8. file.download( ) 下载网络文件

  9. read.table( ) 读取本地文件

  10. save( ) 保存变量到本地

  11. sapply( ) 向量化调用函数

  12. iconv( ) 转化编码格式

  13. rbind( ) 合并行

  14. paste( ) 连接字符串，多用来生成有规律的链接地址

—4.2 关联package

  1. stringr 字符串处理

  2. RSelenium 模拟网页操作，可抓取动态页面

  3. ggplot2 数据可视化

  4. magrittr 辅助rvest

—4.3 使用技巧

  1. 获取特定序位的html标签，用到了magrittr包里的extract2函数。下面两行代码都可以获得该网页中第一个标签

    • ateam %>% html_nodes("table") %>% extract2(1) %>% html_nodes("img")

    • ateam %>% html_nodes("table") %>% [[(1) %>% html_nodes("img")

    1. %>%是管道操作符，意思是把左边的操作结果作为参数传递给右边的命令

    2. 需要换页的同类型页面的地址一般会有规律，找到规律后就可生成一系列地址

    3. 定位所需内容时，有时html_nodes+stringr更方便，不使用html_text

    4. 若爬取内容过多，可使用边爬边存或者分批处理等

    米霖微信.PNG

    添加我的微信吧

    你可能感兴趣的:(rvest包总结)

    • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
      前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
    • 水平垂直居中的几种方法（总结） LJ小番茄 CSS_玄学语言htmljavascript前端csscss3
      1.使用flexbox的justify-content和align-items.parent{display:flex;justify-content:center;/*水平居中*/align-items:center;/*垂直居中*/height:100vh;/*需要指定高度*/}2.使用grid的place-items:center.parent{display:grid;place-item
    • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
      提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
    • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
      目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
    • 拥有断舍离的心态，过精简生活--《断舍离》读书笔记 爱吃丸子的小樱桃
      不知不觉间房间里的东西越来越多，虽然摆放整齐，但也时常会觉得空间逼仄，令人心生烦闷。抱着断舍离的态度，我开始阅读《断舍离》这本书，希望从书中能找到一些有效的方法，帮助我实现空间、物品上的断舍离。《断舍离》是日本作家山下英子通过自己的经历、思考和实践总结而成的，整体内涵也从刚开始的私人生活哲学的“断舍离”升华成了“人生实践哲学”，接着又成为每个人都能实行的“改变人生的断舍离”，从“哲学”逐渐升华成“
    • 使用LLaVa和Ollama实现多模态RAG示例 llzwxh888 python人工智能开发语言
      本文将详细介绍如何使用LLaVa和Ollama实现多模态RAG（检索增强生成），通过提取图像中的结构化数据、生成图像字幕等功能来展示这一技术的强大之处。安装环境首先，您需要安装以下依赖包：!pipinstallllama-index-multi-modal-llms-ollama!pipinstallllama-index-readers-file!pipinstallunstructured!p
    • 利用Requests Toolkit轻松完成HTTP请求 nseejrukjhad http网络协议网络python
      RequestsToolkit的力量：轻松构建HTTP请求Agent在现代软件开发中，API请求是与外部服务交互的核心。RequestsToolkit提供了一种便捷的方式，帮助开发者构建自动化的HTTP请求Agent。本文旨在详细介绍RequestsToolkit的设置、使用和潜在挑战。引言RequestsToolkit是一个强大的工具包，可用于构建执行HTTP请求的智能代理。这对于想要自动化与外
    • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
      目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
    • 阶段总结反思 轻争
      马上就要进入10月份了，今天做一下前段时间的总结和反思。前段时间，日更、英语、健身、护肤坚持的比较好。阅读、书法坚持的不好。1.中间被迫停更半个多月，其余时间一直在坚持日更挑战。偶尔也有不想写的时候，就做一下摘抄。因为阅读（输入）没跟上来，所以写作（输出）质量有待进一步加强。2.英语做到了一周至少学习5天，每次不少于30分钟，但是小班课没有跟上更新速度，下一步要争取利用零碎时间补听小班课。3.减肥
    • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
      前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
    • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
      华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
    • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
      文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    • 主题升华随机抽总结 木棉咕噜
      昨天晚上在火山灿教练那里抽了主题升华最后一关。一共抽了两个故事，现总结如下。第一个故事是《并不是你想象的那样》。主题一：有时候，面对别人一些貌似不合常情的行为，不要轻易的指责他，也许背后有我们所不知道的原因。在这一个主题里面，刚开始的时候，我没有加上貌似二字。所以就没有改动之后这么精准。主题二：有时候我们对他人善意的行为，可能会给我们带来一些意外的回报。主题三：面对同样一件事，因为不同的人看待问题
    • 【无标题】达瓦达瓦 JhonKI 考研
      博客主页：https://blog.csdn.net/2301_779549673欢迎点赞收藏⭐留言如有错误敬请指正！本文由JohnKi原创，首发于CSDN未来很长，值得我们全力奔赴更美好的生活✨文章目录前言111️‍111❤️111111111111111总结111前言111骗骗流量券，嘿嘿111111111111111111111111111️‍111❤️111111111111111总结11
    • 上图为是否色发 JhonKI 考研
      博客主页：https://blog.csdn.net/2301_779549673欢迎点赞收藏⭐留言如有错误敬请指正！本文由JohnKi原创，首发于CSDN未来很长，值得我们全力奔赴更美好的生活✨文章目录前言111️‍111❤️111111111111111总结111前言111骗骗流量券，嘿嘿111111111111111111111111111️‍111❤️111111111111111总结11
    • 143234234123432 JhonKI 考研
      博客主页：https://blog.csdn.net/2301_779549673欢迎点赞收藏⭐留言如有错误敬请指正！本文由JohnKi原创，首发于CSDN未来很长，值得我们全力奔赴更美好的生活✨文章目录前言111️‍111❤️111111111111111总结111前言111骗骗流量券，嘿嘿111111111111111111111111111️‍111❤️111111111111111总结11
    • 目前哪里有卖高仿包包，推荐十个渠道已更新 富腕表之家
      1、工厂购买，推荐微信:【76929666】目前买的人最多的渠道。2、某宝购买，价格较高，质量没有保障。3、拼夕夕，价格是便宜，但是质量不敢想象。4、专柜购买，数量较少，经常断货，价格也太高不好接受。5、批发市场购买，可遇不可求，一般生活在批发市场附近的，根本不用考虑在哪里买高仿包包分几个级别？在当今的包类市场中，广州作为一个知名的货源地，已经成为高仿包行业的一个重要标志。随着市场的需求增加，高仿
    • SpringBlade dict-biz/list 接口 SQL 注入漏洞 文章永久免费只为良心 oracle数据库
      SpringBladedict-biz/list接口SQL注入漏洞POC:构造请求包查看返回包你的网址/api/blade-system/dict-biz/list?updatexml(1,concat(0x7e,md5(1),0x7e),1)=1漏洞概述在SpringBlade框架中，如果dict-biz/list接口的后台处理逻辑没有正确地对用户输入进行过滤或参数化查询（PreparedSta
    • openssl+keepalived安装部署 _小亦_ 项目部署keepalivedopenssl
      文章目录OpenSSL安装下载地址编译安装修改系统配置版本Keepalived安装下载地址安装遇到问题安装完成配置文件keepalived运行检查运行状态查看系统日志修改服务service重新加载systemd检查配置文件语法错误OpenSSL安装下载地址考虑到后面设备可能没法连接到外网，所以采用安装包的方式进行部署，下载地址：https://www.openssl.org/source/old/
    • “这才好”麻辣香锅 能够增加人身体的免疫能力 小补文知
      我就来介绍一种香锅，那就是“这才好”麻辣香锅，它产出于著名的蜀地文化，具有悠久的历史土家风味，麻辣鲜香，健康安全。采用传统秘制麻辣香锅油辣子，还有贴心加料“孜然包”满足人们的不同口味需求，香锅底料辣椒，微辣且香，含有丰富微量元素和维生素，具有辣而不躁，味道纯正，醇厚温和。花椒采用历史悠久，被列为宫廷供品的“贡椒”的汉源花椒。我们还挑选了“川菜之魂”郫县豆瓣的鼻祖品牌豆瓣，保留最原始的郫县豆瓣味道，
    • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven Energet!c 开发语言
      1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
    • CentOS的根目录下，/bin 和 /sbin 用途和权限 Energet!c Linux日常centoslinux运维
      CentOS的根目录下，/bin和/sbin用途和权限一、/bin(Binary)二、/sbin(SystemBinary)三、总结在CentOS的根目录下，/bin和/sbin目录有不同的用途和权限一、/bin(Binary)用途:存放系统的基本命令，这些命令对所有用户都是可用的。例如：ls、cp、mv、rm等。权限:普通用户和系统管理员都可以使用这些命令。二、/sbin(SystemBinar
    • JVM、JRE和 JDK：理解Java开发的三大核心组件 Y雨何时停T Javajava
      Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
    • linux 发展史 种树的猴子 内核java操作系统linux大数据
      linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
    • 又到年末 伊人微语
      今天，工作群里，各个部门开始提醒老师们上交各种期末总结资料，才蓦然感觉这个学期已接近尾声，才意识到2022即将过去，新的一年的脚步声已经越来越近不由得生阳一些感慨。年纪大了，感觉到每个日子都是“倏”地一声就过去了，来不及思量，来不及回顾，一年就这么过去了。我常常想，为什么会有这样的感觉呢？年轻时候的每一天是24小时，现在的每一天也不曾少过一分钟，为什么就会感觉到它的脚步越来越快呢？后来我想明白了，
    • 大都会资本BMAN的2018年终总结 非线性思考
      1投资的本质是认知变现赚钱=足够的认知*高效的的变现。2投资的三大基石策略:提升认知高效变现知行合一3如果你亏钱了要么是认知的问题，要么是变现的问题，要么而是知行合一的问题。4投资需要知行合一，很简单的道理，却拦住了很多高手，是因为认知和行动中间还隔着人性。顶级的高手能把自己从贪嗔痴中抽离出来，顶级高手没有人性，只有原则。5如果你玩的是空气币，就不要幻想拿着它改变世界，那是你套出了幻觉，眼光放短一
    • CentOS 7官方源停服，配置本机光盘yum源 码哝小鱼 linux运维centoslinux运维
      1、挂载系统光盘mkdir/mnt/isomount-oloop/tools/CentOS-7-x86_64-DVD-1810.iso/mnt/isocd/mnt/iso/Packages/rpm-ivh/mnt/iso/Packages/yum-utils-1.1.31-50.el7.noarch.rpm(图形界面安装，默契已安装）如安装yum-utils依赖错误，按提示安装依赖包rpm-ivh
    • 2024.9.6 Python，华为笔试题总结，字符串格式化，字符串操作，广度优先搜索解决公司组织绩效互评问题，无向图 RaidenQ python华为leetcode算法力扣广度优先无向图
      1.字符串格式化name="Alice"age=30formatted_string="Name:{},Age:{}".format(name,age)print(formatted_string)或者name="Alice"age=30formatted_string=f"Name:{name},Age:{age}"print(formatted_string)2.网络健康检查第一行有两个整数m
    • Python神器！WEB自动化测试集成工具 DrissionPage 亚丁号 python开发语言
      一、前言用requests做数据采集面对要登录的网站时，要分析数据包、JS源码，构造复杂的请求，往往还要应付验证码、JS混淆、签名参数等反爬手段，门槛较高。若数据是由JS计算生成的，还须重现计算过程，体验不好，开发效率不高。使用浏览器，可以很大程度上绕过这些坑，但浏览器运行效率不高。因此，这个库设计初衷，是将它们合而为一，能够在不同须要时切换相应模式，并提供一种人性化的使用方法，提高开发和运行效率
    • python批量读取tiff文件_Python Pillow批量转换tif格式到jpg weixin_39557797
      最近因为想要整下网站的壁纸，从网站下载了别人整理好的合集压缩包，解压之后，却发现里面的文件都是tif的，tif格式网站和电脑都不认的，根本不能作壁纸。这时候，就需要转换图片格式了，首先我找了几款转换格式的软件，发现效果都不好，要不是不支持tif格式，要不就是转换出来的图片糊的不行。最终，还是决定用Python的Pillow库来写一个脚本，完成这个任务。下面是整个的小脚本----importosim
    • 统一思想认识 永夜-极光 思想
      1.统一思想认识的基础,才能有的放矢  原因:    总有一种描述事物的方式最贴近本质,最容易让人理解.    如何让教育更轻松,在于找到最适合学生的方式.          难点在于,如何模拟对方的思维基础选择合适的方式.   &
    • Joda Time使用笔记 bylijinnan javajoda time
      Joda Time的介绍可以参考这篇文章： http://www.ibm.com/developerworks/cn/java/j-jodatime.html 工作中也常常用到Joda Time，为了避免每次使用都查API，记录一下常用的用法：     /** * DateTime变化（增减） */ @Tes
    • FileUtils API eksliang FileUtilsFileUtils API
      转载请出自出处：http://eksliang.iteye.com/blog/2217374 一、概述 这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。
    • 各种新兴技术 不懂事的小屁孩 技术
      1:gradle Gradle 是以 Groovy 语言为基础，面向Java应用为主。基于DSL（领域特定语言）语法的自动化构建工具。 现在构建系统常用到maven工具，现在有更容易上手的gradle， 搭建java环境: http://www.ibm.com/developerworks/cn/opensource/os-cn-gradle/ 搭建android环境： http://m
    • tomcat6的https双向认证 酷的飞上天空 tomcat6
      1.生成服务器端证书 keytool -genkey -keyalg RSA -dname "cn=localhost,ou=sango,o=none,l=china,st=beijing,c=cn" -alias server -keypass password -keystore server.jks -storepass password -validity 36
    • 托管虚拟桌面市场势不可挡 蓝儿唯美
      用户还需要冗余的数据中心，dinCloud的高级副总裁兼首席营销官Ali Din指出。该公司转售一个MSP可以让用户登录并管理和提供服务的用于DaaS的云自动化控制台，提供服务或者MSP也可以自己来控制。 在某些情况下，MSP会在dinCloud的云服务上进行服务分层，如监控和补丁管理。 MSP的利润空间将根据其参与的程度而有所不同，Din说。 “我们有一些合作伙伴负责将我们推荐给客户作为个
    • spring学习——xml文件的配置 a-john spring
      在Spring的学习中，对于其xml文件的配置是必不可少的。在Spring的多种装配Bean的方式中，采用XML配置也是最常见的。以下是一个简单的XML配置文件： <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.or
    • HDU 4342 History repeat itself 模拟 aijuans 模拟
      来源：http://acm.hdu.edu.cn/showproblem.php?pid=4342 题意：首先让求第几个非平方数，然后求从1到该数之间的每个sqrt(i)的下取整的和。 思路：一个简单的模拟题目，但是由于数据范围大，需要用__int64。我们可以首先把平方数筛选出来，假如让求第n个非平方数的话，看n前面有多少个平方数，假设有x个，则第n个非平方数就是n+x。注意两种特殊情况，即
    • java中最常用jar包的用途 asia007 java
      java中最常用jar包的用途 jar包用途axis.jarSOAP引擎包commons-discovery-0.2.jar用来发现、查找和实现可插入式接口，提供一些一般类实例化、单件的生命周期管理的常用方法.jaxrpc.jarAxis运行所需要的组件包saaj.jar创建到端点的点到点连接的方法、创建并处理SOAP消息和附件的方法，以及接收和处理SOAP错误的方法.  w
    • ajax获取Struts框架中的json编码异常和Struts中的主控制器异常的解决办法 百合不是茶 jsjson编码返回异常
      一:ajax获取自定义Struts框架中的json编码  出现以下 问题:       1,强制flush输出  json编码打印在首页 2, 不强制flush js会解析json 打印出来的是错误的jsp页面   却没有跳转到错误页面 3,  ajax中的dataType的json 改为text 会
    • JUnit使用的设计模式 bijian1013 java设计模式JUnit
      JUnit源代码涉及使用了大量设计模式 1、模板方法模式（Template Method）         定义一个操作中的算法骨架，而将一些步骤延伸到子类中去，使得子类可以不改变一个算法的结构，即可重新定义该算法的某些特定步骤。这里需要复用的是算法的结构，也就是步骤，而步骤的实现可以在子类中完成。   
    • Linux常用命令（摘录） sunjing crondchkconfig
      chkconfig --list   查看linux所有服务 chkconfig --add servicename 添加linux服务 netstat -apn | grep 8080  查看端口占用 env 查看所有环境变量 echo $JAVA_HOME 查看JAVA_HOME环境变量   安装编译器 yum install -y gcc
    • 【Hadoop一】Hadoop伪集群环境搭建 bit1129 hadoop
       结合网上多份文档，不断反复的修正hadoop启动和运行过程中出现的问题，终于把Hadoop2.5.2伪分布式安装起来，跑通了wordcount例子。Hadoop的安装复杂性的体现之一是，Hadoop的安装文档非常多，但是能一个文档走下来的少之又少，尤其是Hadoop不同版本的配置差异非常的大。Hadoop2.5.2于前两天发布，但是它的配置跟2.5.0，2.5.1没有分别。 &nb
    • Anychart图表系列五之事件监听 白糖_ chart
      创建图表事件监听非常简单：首先是通过addEventListener('监听类型',js监听方法)添加事件监听，然后在js监听方法中定义具体监听逻辑。 以钻取操作为例，当用户点击图表某一个point的时候弹出point的name和value，代码如下： <script> //创建AnyChart var chart = new AnyChart(); //添加钻取操作&quo
    • Web前端相关段子 braveCS web前端
      Web标准：结构、样式和行为分离   使用语义化标签 0）标签的语义：使用有良好语义的标签，能够很好地实现自我解释，方便搜索引擎理解网页结构，抓取重要内容。去样式后也会根据浏览器的默认样式很好的组织网页内容，具有很好的可读性，从而实现对特殊终端的兼容。 1）div和span是没有语义的：只是分别用作块级元素和行内元素的区域分隔符。当页面内标签无法满足设计需求时，才会适当添加div
    • 编程之美-24点游戏 bylijinnan 编程之美
      import java.util.ArrayList; import java.util.Arrays; import java.util.HashSet; import java.util.List; import java.util.Random; import java.util.Set; public class PointGame { /**编程之美
    • 主页面子页面传值总结 chengxuyuancsdn 总结
      1、showModalDialog returnValue是javascript中html的window对象的属性,目的是返回窗口值,当用window.showModalDialog函数打开一个IE的模式窗口时,用于返回窗口的值 主界面 var sonValue=window.showModalDialog("son.jsp"); 子界面 window.retu
    • [网络与经济]互联网+的含义 comsci 互联网+
            互联网+后面是一个人的名字 = 网络控制系统       互联网+你的名字 =  网络个人数据库       每日提示:如果人觉得不舒服,千万不要外出到处走动,就呆在床上,玩玩手游,更不能够去开车,现在交通状况不
    • oracle 创建视图 with check option daizj 视图vieworalce
      我们来看下面的例子： create or replace view testview as select empno,ename from emp where ename like ‘M%’ with check option; 这里我们创建了一个视图，并使用了with check option来限制了视图。 然后我们来看一下视图包含的结果： select * from testv
    • ToastPlugin插件在cordova3.3下使用 dibov Cordova
          自己开发的Todos应用，想实现“ 再按一次返回键退出程序 ”的功能，采用网上的ToastPlugins插件，发现代码或文章基本都是老版本，运行问题比较多。折腾了好久才弄好。下面吧基于cordova3.3下的ToastPlugins相关代码共享。       ToastPlugin.java package&nbs
    • C语言22个系统函数 dcj3sjt126com cfunction
      C语言系统函数一、数学函数下列函数存放在math.h头文件中Double floor(double num) 求出不大于num的最大数。Double fmod(x, y) 求整数x/y的余数。Double frexp(num, exp); double num; int *exp; 将num分为数字部分（尾数）x和 以2位的指数部分n，即num=x*2n，指数n存放在exp指向的变量中，返回x。D
    • 开发一个类的流程 dcj3sjt126com 开发
      本人近日根据自己的开发经验总结了一个类的开发流程。这个流程适用于单独开发的构件，并不适用于对一个项目中的系统对象开发。开发出的类可以存入私人类库，供以后复用。   以下是开发流程： 1. 明确类的功能，抽象出类的大概结构 2. 初步设想类的接口 3. 类名设计（驼峰式命名） 4. 属性设置(权限设置) 判断某些变量是否有必要作为成员属
    • java 并发 shuizhaosi888 java 并发
      能够写出高伸缩性的并发是一门艺术   在JAVA SE5中新增了3个包 java.util.concurrent java.util.concurrent.atomic java.util.concurrent.locks 在java的内存模型中，类的实例字段、静态字段和构成数组的对象元素都会被多个线程所共享，局部变量与方法参数都是线程私有的，不会被共享。
    • Spring Security（11）——匿名认证 234390216 Spring SecurityROLE_ANNOYMOUS匿名
      匿名认证 目录 1.1     配置 1.2     AuthenticationTrustResolver          对于匿名访问的用户，Spring Security支持为其建立一个匿名的AnonymousAuthenticat
    • NODEJS项目实践0.2[ express,ajax通信...] 逐行分析JS源代码 Ajaxnodejsexpress
        一、前言         通过上节学习，我们已经        ubuntu系统搭建了一个可以访问的nodejs系统，并做了nginx转发。本节原要做web端服务 及 mongodb的存取，但写着写着，web端就
    • 在Struts2 的Action中怎样获取表单提交上来的多个checkbox的值 lhbthanks javahtmlstrutscheckbox
      第一种方法：获取结果String类型 在 Action 中获得的是一个 String 型数据，每一个被选中的 checkbox 的 value 被拼接在一起，每个值之间以逗号隔开(,)。 所以在 Action 中定义一个跟 checkbox 的 name 同名的属性来接收这些被选中的 checkbox 的 value 即可。 以下是实现的代码： 前台 HTML 代码：
    • 003.Kafka基本概念 nweiren hadoopkafka
      Kafka基本概念：Topic、Partition、Message、Producer、Broker、Consumer。 Topic：             消息源（Message）的分类。 Partition：             Topic物理上的分组，一
    • Linux环境下安装JDK roadrunners jdklinux
      1、准备工作 创建JDK的安装目录： mkdir -p /usr/java/   下载JDK，找到适合自己系统的JDK版本进行下载： http://www.oracle.com/technetwork/java/javase/downloads/index.html   把JDK安装包下载到/usr/java/目录，然后进行解压： tar -zxvf jre-7
    • Linux忘记root密码的解决思路 tomcat_oracle linux
      1：使用同版本的linux启动系统，chroot到忘记密码的根分区passwd改密码 　　2：grub启动菜单中加入init=/bin/bash进入系统，不过这时挂载的是只读分区。根据系统的分区情况进一步判断. 　　3: grub启动菜单中加入 single以单用户进入系统. 　　4:用以上方法mount到根分区把/etc/passwd中的root密码去除 　　例如: 　　ro
    • 跨浏览器 HTML5 postMessage 方法以及 message 事件模拟实现 xueyou jsonpjquery框架UIhtml5
      postMessage 是 HTML5 新方法，它可以实现跨域窗口之间通讯。到目前为止，只有 IE8+, Firefox 3, Opera 9, Chrome 3和 Safari 4 支持，而本篇文章主要讲述 postMessage 方法与 message 事件跨浏览器实现。postMessage 方法 JSONP 技术不一样，前者是前端擅长跨域文档数据即时通讯，后者擅长针对跨域服务端数据通讯，p