Gumbo简介
Gumbo是谷歌开源的一个纯C编写的HTML解析库,性能很好,就是用起来比较麻烦。 github地址https://github.com/google/gumbo-parser 还有一个C++封装的版本https://github.com/lazytiger/gumbo-query.git
关于HTML的参考,可见https://developer.mozilla.org/zh-CN/docs/Web/HTML
最近准备写一个爬虫,用于爬取epsg.io上的数据,所以找了这个库用于HTML的解析。其实我这个简单的爬取固定位置的内容,用这个实在是有点杀鸡用牛刀了,直接做字符串搜索会更方便。
使用记录
关于这个的使用,网上找不到太多的资料。 这里有一个https://blog.csdn.net/fjb2080/article/details/78992851
这个图片上实际已经把相关的关系描述清楚了,我这里只做简单的补充。
1、GumboNode的类型
对于一个GumboNode
结构体对象,需要通过它的GumboNodeType type
字段判断其类型后,可根据类型对成员v
进行操作。v
是一个union
对象,它可以是GumboDocument
、GumboElement
、GumboText
三种类型之一。
1、GUMBO_NODE_DOCUMENT 文档节点
文档节点表示的是一个完整的html文档,就是从
到
之间的全部信息。对于v
可取GumboDocument
类型的成员document
。 对于文档节点,其内部包含的元素节点都在GumboVector children
中。
2、GUMBO_NODE_ELEMENT 元素节点
只要是含有标签tag
的部分,都是元素节点。这个可以简单的理解为,只要是<标签名>
到标签名>
之间的就是一个元素节点的内容(有的元素是单标签的),元素节点可以有包含嵌套关系,子节点都在GumboVector children
中。
/**
* 用于表示所有HTML元素的结构。 它包含有关标记,属性和子节点的信息。
*/
typedef struct {
/**
* GumboNodes数组,包含此元素的子元素。 保存的是GumboNode的指针。
*/
GumboVector /* GumboNode* */ children;
/** 这个元素的GumboTag(标签,HTML的标签是定义好的)枚举值 */
GumboTag tag;
/** 此元素的GumboNamespaceEnum值(表示这个是HTML、SVG还是MATHML)*/
GumboNamespaceEnum tag_namespace;
/**
* 指向此元素的原始标记文本的GumboStringPiece,直接指向源缓冲区。
* 如果标记是通过算法插入的(例如,或插入),则这将是一个零长度字符串。
*/
GumboStringPiece original_tag;
/**
* 指向此元素的原始结束标记文本的GumboStringPiece。
* 如果以算法方式插入结束标记(例如,关闭自闭标记),则这将是一个零长度字符串。
*/
GumboStringPiece original_end_tag;
/** 记录元素开始标签在来源字符串中的起始位置。 */
GumboSourcePosition start_pos;
/** 记录元素结束标签在来源字符串中的起始位置。 */
GumboSourcePosition end_pos;
/**
* GumboAttributes数组,按照解析顺序包含此元素标签的属性
* 数组保存的是GumboAttribute的指针
*/
GumboVector /* GumboAttribute* */ attributes;
} GumboElement;
3、GUMBO_NODE_TEXT 文本节点
文本节点,对于v
可取GumboText
类型的成员text
。Gumbo
在解析的时候,对于\r\n
这种都会解析为一个独立的文件节点。
4、GUMBO_NODE_CDATA
CDATA
节点是一个比较特殊的节点,这个节点用于传输需要浏览器不做解析,原封不动的当做文本 的内容。所以对于v
也是取GumboText
类型的成员text
。
注释节点,这个用于保存html中的注释,对于这个节点,对于v
也是取GumboText
类型的成员text
。取出来的GumboText
对象中的text
成员不包含注释分隔符 。
6、GUMBO_NODE_WHITESPACE
这是一个文本节点的特例,文本的内容都是空白字符(空格、TAB、回车)。v
也是取GumboText
。
7、GUMBO_NODE_TEMPLATE
模板节点。就是标签
包含的部分。 这与GUMBO_NODE_ELEMENT是分开的,因为许多客户端库都希望忽略模板节点的内容,如规范所示。 在GUMBO_NODE_ELEMENT上递归会在这里做正确的事情,而想要包含模板内容的客户端也应该检查GUMBO_NODE_TEMPLATE。 v将是一个GumboElement。
2、简单的使用
为了方便使用,我简单的封装了两个函数,对于我的使用已经足够了。如果需要更方便的使用,可以考虑https://github.com/lazytiger/gumbo-query.git
1、用于方便一点的查找子节点的
std::vector find_sub_node(const GumboNode* parentNode,
GumboNodeType type, GumboTag tag, int attrCount, ...)
{
std::vector subNode;
const GumboVector* vec = &(parentNode->v.element.children);
for (int i = 0; i < vec->length; ++i) {
GumboNode* node = (GumboNode*)vec->data[i];
if (node->type != type || (type == GUMBO_NODE_ELEMENT && node->v.element.tag != tag)) {
continue;
}
int pattend = 0;
va_list vl;
va_start(vl, attrCount);
for (int ai = 0; ai < attrCount; ++ai) {
const char* name = va_arg(vl, char*);
const char* value = va_arg(vl, char*);
GumboAttribute* attr = gumbo_get_attribute(&(node->v.element.attributes), name);
if (attr == NULL || strcmp(value, attr->value) != 0) { continue; }
pattend += 1;
}
va_end(vl);
if (pattend == attrCount) {
subNode.push_back(node);
}
}
return subNode;
}
2、用于方便的查找文本子节点的
std::vector find_sub_text(const GumboNode* parentNode)
{
std::vector subText;
const GumboVector* vec = &(parentNode->v.element.children);
for (int i = 0; i < vec->length; ++i) {
GumboNode* node = (GumboNode*)vec->data[i];
if (GUMBO_NODE_TEXT == node->type) {
subText.push_back(node->v.text.text);
continue;
}
}
return subText;
}
转载于:https://www.cnblogs.com/oloroso/p/9667642.html
你可能感兴趣的:(HTML解析库Gumbo简单使用记录)
python记录6from flask import Flaskapp = Flask(__name__) @app.route(‘/‘)def hello_world(): retu
我讨厌python
python 开发语言 后端
利用pycharm实现视频分镜1.下载pip3installpycharm或者官网下载2.网页显示文字步骤想要在网页上显示:Hello,World!第一步先在PyCharm上新建项目然后在main.py中输入以下代码fromflaskimportFlaskapp=Flask(__name__)@app.route('/')defhello_world():return'Hello,World!'i
MyBatis 从入门到精通:详解基础与实战(完整版)
以恒1
mybatis
MyBatis从入门到精通:详解基础与实战(完整版)(新手入门篇在主页)一、MyBatis基础概念1.1什么是ORM?ORM(Object-RelationalMapping)即对象关系映射,是一种将数据库表与程序对象自动映射的技术。MyBatis作为半自动化的ORM框架,允许开发者直接编写SQL,同时自动处理对象与数据库结果的映射。1.2MyBatis核心功能SQL映射:将Java方法与SQL语
C++使用ZeroMQ和MessagePack实现简单又轻量级的RPC框架
特立独行的猫a
C++ c++ rpc zeromq messagepack
在现代的分布式系统中,远程过程调用(RPC)是一个非常重要的机制,它允许不同的服务或组件之间的通信,就像调用本地函数一样。本文将介绍如何使用ZeroMQ和MessagePack来构建一个轻量级的RPC框架,并提供一个简单的使用示例。ZeroMQ简介ZeroMQ(也称为0MQ)是一个高性能的异步消息库,旨在使用标准的、对等的传输协议实现消息的发送与接收。ZeroMQ的核心是提供一个消息队列,使得消息
基于 Docker 搭建 FRP 内网穿透开源项目
xdpcxq1029
技术分享 docker 开源 容器
有些配置项不知道该不该用,不知道该在哪用,不知道怎么用,所以我自己写个文章简单记录一下做个笔记本文介绍的是基于Docker运行frps和frpc,并通过TCP协议简单穿透SSH和HTTP,在观看本文之前请确保你的机器已经安装Docker服务端搭建frps#连接拥有公网IP的服务器,在合适的位置创建frps目录作为工作空间#创建frps目录作为工作空间$mkdirfrps#创建服务端配置文件$tou
AI编程篇-python基础篇
cv工程师(ctrl+c\v)
AI编程 python
转型AI算法后的总结-python基础篇python基础AI算法工程师的日常开发工作离不开python这门语言。python的优点:开源免费、简单易学、丰富的库。以下是我总结的python的一些基础:1.python及IDE工具安装对于初学者来说,python的安装是必不可少的,但是为了方便代码编辑和查看结果及debug,可以安装pycharm社区版暂时用来前期学习:python安装及注意事项:下
如何用Python绘制柱状图堆叠图?
上官美丽
技术分享 python 开发语言
在数据分析和可视化的过程中,柱状图是一种非常常用的图表类型。它能清晰地展示不同类别之间的比较。而堆叠柱状图则是在此基础上,能够展示各个部分在整体中的占比!今天,我们来聊聊如何使用Python绘制堆叠柱状图,帮助你更好地理解数据。我们将使用一个非常流行的库:Matplotlib。准备工作首先,你需要确保安装了Matplotlib库。如果还没有安装,可以通过以下命令来安装:pipinstallmatp
python socket库详解
mosquito_lover1
python websocket
socket是Python标准库中的一个模块,提供了对底层网络通信的接口,允许开发者进行网络编程。通过socket你可以创建客户端和服务器应用程序,实现网络通信。1.基本概念-Socket:是网络通信的端点,用于在不同主机之间或同一主机上的不同进程之间进行数据传输。-IP地址:标识网络中的设备。-端口号:标识设备上的特定进程或服务。-协议:常用的协议有TCP(传输控制协议)和UDP(用户数据报协议
如何快速创建Fastapi项目
黄小耶@
fastapi python linux
一、环境安装安装第三方库来搭建项目依赖pipinstallfastapi#fastapi框架pipinstalltortoise-orm[accel]#数据库的ormpipinstalluvicorn#web服务器pipinstallpyjwt#权限认证pipinstallaerich#数据库迁移pipinstallaiomysql#Mysql数据库驱动二、项目结构构建大型的项目结构,文件结构如下
Mysql的命令大全
黄小耶@
mysql 数据库
一、数据库1、创建数据库createdatabase数据库名charsetutf8;2、查看数据库showdatabases;selectdatabse();3、删除数据库dropdatabse数据库名;4、使用数据库use数据库名;二、数据表1、创建表createtable表名(字段名类型);2、查看表showtables;3、修改表altertable表名modify字段名char(6);#修
C/C++框架和库推荐
大王算法
C++入门及项目实战宝典 C/C++开发实战365 C++
值得学习的C语言开源项目-1.WebbenchWebbench是一个在Linux下使用的非常简单的网站压测工具。它使用fork()模拟多个客户端同时访问我们设定的URL,测试网站在压力下工作的性能,最多可以模拟3万个并发连接去测试网站的负载能力。Webbench使用C语言编写,代码实在太简洁,源码加起来不到600行。下载链接:http://home.tiscali.cz/~cz210552/web
Elastic Stack 8.16.0 日志收集平台的搭建
JingAi_jia917
Elastisearch Logstash Filebeat Kibana Elastic stack ELK日志平台
简介1.1ELK介绍ELK是Elasticsearch、Logstash、Kibana三款开源工具的首字母缩写,构成了一套完整的日志管理解决方案,主要用于日志的采集、存储、分析与可视化。1)Logstash:数据管道工具,负责从多种来源(如文件、数据库、消息队列)采集日志,进行过滤、格式化后输出到目标(如Elasticsearch);2)Elasticsearch:分布式实时搜索与
订单管理系统 大学生数据库大作业/数据库实践MYSQL
陌路物是人非
数据库 课程设计
订单管理系统从入门到入土下载Maven,Nodejs创建一个数据库sql_end,创建四个数据库表,并确保用户名为root用户密码为123456再IDEA中加载Springboot依赖(可以直接新建一个任意名称的文件夹,项目导入spring的框架),启动spring项目打开index.html输入用户名和密码,点击注册,再点击登录点击个人中心,点击修改用户信息,修改自己的余额点击逛店铺,选择一个商
构建多序列比对的删除矩阵Deletion Matrix
qq_27390023
生物信息学 pytorch 深度学习 人工智能
从多序列比对(MultipleSequenceAlignment,MSA)数据中构建删除矩阵(DeletionMatrix)是蛋白质结构预测中的一个重要步骤。删除矩阵记录了每个位置相对于参考序列的缺失(deletion)信息,这些信息对于理解蛋白质的进化关系和结构变化非常关键。以下是从A3M格式文件的MSA序列数据中构建删除矩阵的核心代码和示例解析。1.A3M格式文件(.a3m):每个序列都以>开
程序调用Sql Server存储过程超时,但是数据库执行存储过程无异常的问题剖析
.Net 爱好者
c# .net .netcore
在前端程序调用存储过程时出现执行超时,而直接在数据库中执行存储过程没有问题,这种情况可能与以下几个因素有关:1.查询计划缓存和参数嗅探SQLServer会为存储过程生成并缓存查询计划,以便在后续执行时提高性能。然而,查询计划是基于第一次执行时的参数生成的,这被称为“参数嗅探”。如果第一次执行时的参数与后续执行时的参数差异较大,可能会导致不适合的查询计划,从而影响性能。重新编译存储过程会使SQLSe
Oracle 数据库基础入门(七):触发器与事务的深度探究
Aphelios380
Oracle oracle 数据库 java sql
在Oracle数据库的生态系统中,触发器与事务是构建可靠、高效数据处理流程的关键组件。触发器能够自动响应特定数据库事件执行预设操作,而事务则确保一组数据库操作的原子性、一致性、隔离性和持久性。对于Java全栈开发者而言,深入理解并熟练运用触发器与事务,不仅能提升数据库操作的精细化程度,还能为构建稳健的企业级应用提供坚实支撑。让我们一同深入探索Oracle数据库中的触发器与事务。目录一、触发器(一)
MySQL数据库笔记
艽掵猫
数据库 mysql 笔记
一、数据库基础概念1.数据库定义数据库:统一管理、长期存储、有组织的相关数据集合。特征:数据按模型组织(冗余小、独立性高、易扩展、可共享)。2.实际应用数据存储:高效管理大量结构化数据。数据管理:增删改查(CRUD)与权限控制。数据分析:整合数据源,支持决策。3.常见数据库系统数据库特点MySQL开源、高性能、易用,适用于Web应用。Oracle企业级、高可靠,支持大型应用。SQLServer微软
通过Python使用json库写一个更新josn文件中某个字段中数组数据的函数
焦虑肇事者
json
你可以使用Python中的json库来读取json文件,然后使用Python字典的方式来更新json文件中的某个字段。最后,使用json库的写入功能将更新后的字典写回json文件。例如,你可以使用以下代码来实现这个功能:importjsondefupdate_json_array(json_file,field,new_data):#读取json文件withopen(json_file,'r')a
Android Framework学习——安卓进程启动流程(Android 13)
Big Popsicle
android 学习
提示:本文仅作个人学习记录,禁止转载本文参考:袁神的文章,理解Android进程创建流程文章目录1,前言2,简略步骤3,代码走读3.1,提要,从系统启动末尾开始3.2,system_server发起请求3.3,Zygote创建进程3.4,新进程的运行总结1,前言进程是作为应用程序容器存在的,每个应用启动前需要先创建一个进程,进程是由Zygote进程孵化来的,它拥有独立的资源空间,用来运行四大组件,
Jetpack LiveData
Bonnie_cat
JetPack android
1.什么是LiveData?LiveData是一种可观察的数据持有者,通常用于在Android应用中以生命周期感知的方式更新UI。它是生命周期感知的,意味着它只会通知处于活跃生命周期状态(如STARTED或RESUMED)的观察者。LiveData通常与ViewModel结合使用,用于将UI与数据分离。2.LiveData的使用场景数据驱动UI:当数据发生变化时,自动更新UI,例如从数据库或网络获
html-to-image的使用及图片变形和无图问题修复
庸懒
前端
html-to-image的使用及图片变形和无图问题修复最近迭代的时候因为新增了一个需求,需要前端提供素材及样式给后端,后端同步渲染,但是因为部分样式问题后端无法实现所以决定前端将页面生成图片然后传递给后端使用,本文记录一下使用的过程及遇到的部分问题。技术调研现在将页面元素转换成图片的插件有很多,普遍使用的技术原理都是利用canvas或者SVG将页面元素转换成画布或者svg元素,然后再转成图片。这
Python 在人工智能领域的实际6大案例
Solomon_肖哥弹架构
人工智能 机器学习 python
Python作为一种功能强大且易于学习的编程语言,在人工智能(AI)领域得到了广泛的应用。从机器学习到深度学习,从自然语言处理到计算机视觉,Python提供了丰富的库和框架,使得开发者能够快速实现各种AI应用。本文将通过多个实际案例,展示Python在人工智能领域的强大功能和应用前景。二、案例一:手写数字识别(MNIST)1.背景介绍手写数字识别是机器学习领域的经典入门项目,MNIST数据集包含了
基于AI算法实现的情感倾向分析的方法
程序员奇奇
计算机毕设 人工智能 算法
完整代码:https://download.csdn.net/download/pythonyanyan/87430621背景目前,情感倾向分析的方法主要分为两类:一种是基于情感词典的方法;一种是基于机器学习的方法,如基于大规模语料库的机器学习。前者需要用到标注好的情感词典,英文的词典有很多,中文主要有知网整理的情感词典Hownet和台湾大学整理发布的NTUSD两个情感词典,还有哈工大信息检索研究
性能2-科学计算中的日志记录:调试、性能与信任
李星星BruceL
自动化测试 python pandas numpy 算法
目录科学计算中的日志记录:调试、性能与信任你已经运行了科学模型的批处理程序,经过数小时的计算后,它输出了一个结果。然而,结果是错误的。你怀疑计算中存在错误,但不确定具体是什么问题,而缓慢的反馈循环使得调试变得更加困难。如果能不花费数天时间运行程序就能调试并加速它,那该多好?虽然我不是科学家,而是一名软件工程师,但我曾在科学计算领域工作了一年半。我想提供一个解决这类问题的潜在方案:日志记录,特别是我
使用Java进行MySQL数据库的增删改查操作
代码快速拳
数据库 java mysql Java
在Java开发中,使用JDBC(JavaDatabaseConnectivity)来连接和操作数据库是非常常见的。本文将介绍如何使用JDBC编程来实现MySQL数据库的增删改查操作。首先,我们需要准备好MySQL的JDBC驱动程序。你可以从MySQL官方网站下载并安装适合你使用的驱动程序版本。确保将驱动程序的JAR文件添加到你的Java项目的类路径中。接下来,我们将逐个介绍如何执行MySQL数据库
垃圾收集算法
zhangpeng455547940
Java 数据结构与算法设计 算法 jvm java
常见算法引用计数记录每个对象的引用次数,当引用次数为零时回收对象标记-清除根引用可达分析、扫描内存回收不可达对象分代回收基于观察到大多数对象生命周期较短,而少数对象生命周期较长的优化算法空闲回收在CPU空闲时运行垃圾回收器,以减少对程序执行的影响增量回收将垃圾回收任务分解为多个小步骤,逐步完成。可以避免一次性垃圾回收导致的长时间暂停,从而减少对程序性能的影响Java最新垃圾回收算法Java最新垃圾
软件测试之使用Requests库进行接口测试
头疼的程序员
软件测试 测试工具
文章目录前言Requests库是什么为什么要用Requests库进行接口测试安装Requests库Requests库使用发送GET请求发送带查询参数的GET请求响应内容格式添加请求头信息发送一个POST请求查看响应内容断言请求超时Cookie与Session模拟登录参考目录前言阅读本文前请注意最后编辑时间,文章内容可能与目前最新的技术发展情况相去甚远。欢迎各位评论与私信,指出错误或是进行交流等。本
什么是SQL语言,它有哪些主要功能?
破碎的天堂鸟
学习教程 sql 数据库
SQL(StructuredQueryLanguage,结构化查询语言)是一种专为管理关系型数据库设计的标准化语言。它不仅是与数据库交互的核心工具,也是现代数据驱动应用的基础。以下从定义、功能分类、扩展性及应用场景等方面进行全面解析:一、SQL语言的定义与历史背景基本定义SQL是一种声明式语言,允许用户通过简洁的语法描述“需要什么数据”,而非具体实现步骤。其发音可为“S-Q-L”或“sequel”
后端开源库手册
Vic2334
JAVA 开源 java
Exceleasyexcel快速、简洁、解决大文件内存溢出的java处理Excel工具GitHub-alibaba/easyexcel:快速、简洁、解决大文件内存溢出的java处理Excel工具com.alibabaeasyexcel3.3.3POI老牌、内存占用稍大org.apache.poipoi3.17org.apache.poipoi-ooxml3.17BICBoard国内BI版本很多年不
postgis与高德地图转化
Vic2334
数据库 postgresql 学习
SQL转化将PostGIS中的地理数据与高德地图所需的格式进行匹配可以涉及以下几个步骤:1.数据格式:首先,需要了解高德地图所需的地理数据格式。通常,高德地图可能接受常见的地理数据格式,如WGS84坐标系的经纬度坐标。2.坐标系转换:如果PostGIS中的地理数据使用的是不同的坐标系,可能需要进行坐标系转换。这可以通过使用专门的坐标转换库或工具来完成。3.数据提取:从PostGIS中提取所需的地理
JVM GC四大算法
coding_-_半生
jvm 算法 java
JVMGC四大算法文章目录JVMGC四大算法GC四大算法一、引用计数法二、复制算法(COPY)三、标记清除算法(MARK-SWEEP)四、标记整理算法(MARK-COMPACT)五、总结GC四大算法一、引用计数法描述:给每一个对象分配一个计数器,用于记录对象是否被引用,被引用一次,计数进行+1优点:方便直接判断对象是否能够回收缺点:使用计数器需要消耗一定的内存,且每一次计数的修改同样需要消耗内存致
开发者关心的那些事
圣子足道
ios 游戏 编程 apple 支付
我要在app里添加IAP,必须要注册自己的产品标识符(product identifiers)。产品标识符是什么?
产品标识符(Product Identifiers)是一串字符串,它用来识别你在应用内贩卖的每件商品。App Store用产品标识符来检索产品信息,标识符只能包含大小写字母(A-Z)、数字(0-9)、下划线(-)、以及圆点(.)。你可以任意排列这些元素,但我们建议你创建标识符时使用
负载均衡器技术Nginx和F5的优缺点对比
bijian1013
nginx F5
对于数据流量过大的网络中,往往单一设备无法承担,需要多台设备进行数据分流,而负载均衡器就是用来将数据分流到多台设备的一个转发器。
目前有许多不同的负载均衡技术用以满足不同的应用需求,如软/硬件负载均衡、本地/全局负载均衡、更高
LeetCode[Math] - #9 Palindrome Number
Cwind
java Algorithm 题解 LeetCode Math
原题链接:#9 Palindrome Number
要求:
判断一个整数是否是回文数,不要使用额外的存储空间
难度:简单
分析:
题目限制不允许使用额外的存储空间应指不允许使用O(n)的内存空间,O(1)的内存用于存储中间结果是可以接受的。于是考虑将该整型数反转,然后与原数字进行比较。
注:没有看到有关负数是否可以是回文数的明确结论,例如
画图板的基本实现
15700786134
画图板
要实现画图板的基本功能,除了在qq登陆界面中用到的组件和方法外,还需要添加鼠标监听器,和接口实现。
首先,需要显示一个JFrame界面:
public class DrameFrame extends JFrame { //显示
linux的ps命令
被触发
linux
Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照,就是执行ps命令的那个时刻的那些进程,如果想要动态的显示进程信息,就可以使用top命令。
要对进程进行监测和控制,首先必须要了解当前进程的情况,也就是需要查看当前进程,而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行
Android 音乐播放器 下一曲 连续跳几首歌
肆无忌惮_
android
最近在写安卓音乐播放器的时候遇到个问题。在MediaPlayer播放结束时会回调
player.setOnCompletionListener(new OnCompletionListener() {
@Override
public void onCompletion(MediaPlayer mp) {
mp.reset();
Log.i("H
java导出txt文件的例子
知了ing
java servlet
代码很简单就一个servlet,如下:
package com.eastcom.servlet;
import java.io.BufferedOutputStream;
import java.io.IOException;
import java.net.URLEncoder;
import java.sql.Connection;
import java.sql.Resu
Scala stack试玩, 提高第三方依赖下载速度
矮蛋蛋
scala sbt
原文地址:
http://segmentfault.com/a/1190000002894524
sbt下载速度实在是惨不忍睹, 需要做些配置优化
下载typesafe离线包, 保存为ivy本地库
wget http://downloads.typesafe.com/typesafe-activator/1.3.4/typesafe-activator-1.3.4.zip
解压r
phantomjs安装(linux,附带环境变量设置) ,以及casperjs安装。
alleni123
linux spider
1. 首先从官网
http://phantomjs.org/下载phantomjs压缩包,解压缩到/root/phantomjs文件夹。
2. 安装依赖
sudo yum install fontconfig freetype libfreetype.so.6 libfontconfig.so.1 libstdc++.so.6
3. 配置环境变量
vi /etc/profil
JAVA IO FileInputStream和FileOutputStream,字节流的打包输出
百合不是茶
java核心思想 JAVA IO操作 字节流
在程序设计语言中,数据的保存是基本,如果某程序语言不能保存数据那么该语言是不可能存在的,JAVA是当今最流行的面向对象设计语言之一,在保存数据中也有自己独特的一面,字节流和字符流
1,字节流是由字节构成的,字符流是由字符构成的 字节流和字符流都是继承的InputStream和OutPutStream ,java中两种最基本的就是字节流和字符流
类 FileInputStream
Spring基础实例(依赖注入和控制反转)
bijian1013
spring
前提条件:在http://www.springsource.org/download网站上下载Spring框架,并将spring.jar、log4j-1.2.15.jar、commons-logging.jar加载至工程1.武器接口
package com.bijian.spring.base3;
public interface Weapon {
void kil
HR看重的十大技能
bijian1013
提升 能力 HR 成长
一个人掌握何种技能取决于他的兴趣、能力和聪明程度,也取决于他所能支配的资源以及制定的事业目标,拥有过硬技能的人有更多的工作机会。但是,由于经济发展前景不确定,掌握对你的事业有所帮助的技能显得尤为重要。以下是最受雇主欢迎的十种技能。 一、解决问题的能力 每天,我们都要在生活和工作中解决一些综合性的问题。那些能够发现问题、解决问题并迅速作出有效决
【Thrift一】Thrift编译安装
bit1129
thrift
什么是Thrift
The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work efficiently and s
【Avro三】Hadoop MapReduce读写Avro文件
bit1129
mapreduce
Avro是Doug Cutting(此人绝对是神一般的存在)牵头开发的。 开发之初就是围绕着完善Hadoop生态系统的数据处理而开展的(使用Avro作为Hadoop MapReduce需要处理数据序列化和反序列化的场景),因此Hadoop MapReduce集成Avro也就是自然而然的事情。
这个例子是一个简单的Hadoop MapReduce读取Avro格式的源文件进行计数统计,然后将计算结果
nginx定制500,502,503,504页面
ronin47
nginx 错误显示
server {
listen 80;
error_page 500/500.html;
error_page 502/502.html;
error_page 503/503.html;
error_page 504/504.html;
location /test {return502;}}
配置很简单,和配
java-1.二叉查找树转为双向链表
bylijinnan
二叉查找树
import java.util.ArrayList;
import java.util.List;
public class BSTreeToLinkedList {
/*
把二元查找树转变成排序的双向链表
题目:
输入一棵二元查找树,将该二元查找树转换成一个排序的双向链表。
要求不能创建任何新的结点,只调整指针的指向。
10
/ \
6 14
/ \
Netty源码学习-HTTP-tunnel
bylijinnan
java netty
Netty关于HTTP tunnel的说明:
http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/socket/http/package-summary.html#package_description
这个说明有点太简略了
一个完整的例子在这里:
https://github.com/bylijinnan
JSONUtil.serialize(map)和JSON.toJSONString(map)的区别
coder_xpf
jquery json map val()
JSONUtil.serialize(map)和JSON.toJSONString(map)的区别
数据库查询出来的map有一个字段为空
通过System.out.println()输出 JSONUtil.serialize(map): {"one":"1","two":"nul
Hibernate缓存总结
cuishikuan
开源 ssh javaweb hibernate缓存 三大框架
一、为什么要用Hibernate缓存?
Hibernate是一个持久层框架,经常访问物理数据库。
为了降低应用程序对物理数据源访问的频次,从而提高应用程序的运行性能。
缓存内的数据是对物理数据源中的数据的复制,应用程序在运行时从缓存读写数据,在特定的时刻或事件会同步缓存和物理数据源的数据。
二、Hibernate缓存原理是怎样的?
Hibernate缓存包括两大类:Hib
CentOs6
dalan_123
centos
首先su - 切换到root下面1、首先要先安装GCC GCC-C++ Openssl等以来模块:yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel2、再安装ncurses模块yum -y install ncurses-develyum install ncurses-devel3、下载Erang
10款用 jquery 实现滚动条至页面底端自动加载数据效果
dcj3sjt126com
JavaScript
无限滚动自动翻页可以说是web2.0时代的一项堪称伟大的技术,它让我们在浏览页面的时候只需要把滚动条拉到网页底部就能自动显示下一页的结果,改变了一直以来只能通过点击下一页来翻页这种常规做法。
无限滚动自动翻页技术的鼻祖是微博的先驱:推特(twitter),后来必应图片搜索、谷歌图片搜索、google reader、箱包批发网等纷纷抄袭了这一项技术,于是靠滚动浏览器滚动条
ImageButton去边框&Button或者ImageButton的背景透明
dcj3sjt126com
imagebutton
在ImageButton中载入图片后,很多人会觉得有图片周围的白边会影响到美观,其实解决这个问题有两种方法
一种方法是将ImageButton的背景改为所需要的图片。如:android:background="@drawable/XXX"
第二种方法就是将ImageButton背景改为透明,这个方法更常用
在XML里;
<ImageBut
JSP之c:foreach
eksliang
jsp forearch
原文出自:http://www.cnblogs.com/draem0507/archive/2012/09/24/2699745.html
<c:forEach>标签用于通用数据循环,它有以下属性 属 性 描 述 是否必须 缺省值 items 进行循环的项目 否 无 begin 开始条件 否 0 end 结束条件 否 集合中的最后一个项目 step 步长 否 1
Android实现主动连接蓝牙耳机
gqdy365
android
在Android程序中可以实现自动扫描蓝牙、配对蓝牙、建立数据通道。蓝牙分不同类型,这篇文字只讨论如何与蓝牙耳机连接。
大致可以分三步:
一、扫描蓝牙设备:
1、注册并监听广播:
BluetoothAdapter.ACTION_DISCOVERY_STARTED
BluetoothDevice.ACTION_FOUND
BluetoothAdapter.ACTION_DIS
android学习轨迹之四:org.json.JSONException: No value for
hyz301
json
org.json.JSONException: No value for items
在JSON解析中会遇到一种错误,很常见的错误
06-21 12:19:08.714 2098-2127/com.jikexueyuan.secret I/System.out﹕ Result:{"status":1,"page":1,&
干货分享:从零开始学编程 系列汇总
justjavac
编程
程序员总爱重新发明轮子,于是做了要给轮子汇总。
从零开始写个编译器吧系列 (知乎专栏)
从零开始写一个简单的操作系统 (伯乐在线)
从零开始写JavaScript框架 (图灵社区)
从零开始写jQuery框架 (蓝色理想 )
从零开始nodejs系列文章 (粉丝日志)
从零开始编写网络游戏 
jquery-autocomplete 使用手册
macroli
jquery Ajax 脚本
jquery-autocomplete学习
一、用前必备
官方网站:http://bassistance.de/jquery-plugins/jquery-plugin-autocomplete/
当前版本:1.1
需要JQuery版本:1.2.6
二、使用
<script src="./jquery-1.3.2.js" type="text/ja
PLSQL-Developer或者Navicat等工具连接远程oracle数据库的详细配置以及数据库编码的修改
超声波
oracle plsql
在服务器上将Oracle安装好之后接下来要做的就是通过本地机器来远程连接服务器端的oracle数据库,常用的客户端连接工具就是PLSQL-Developer或者Navicat这些工具了。刚开始也是各种报错,什么TNS:no listener;TNS:lost connection;TNS:target hosts...花了一天的时间终于让PLSQL-Developer和Navicat等这些客户
数据仓库数据模型之:极限存储--历史拉链表
superlxw1234
极限存储 数据仓库 数据模型 拉链历史表
在数据仓库的数据模型设计过程中,经常会遇到这样的需求:
1. 数据量比较大; 2. 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态, 比如,查看某一个用户在过去某一段时间内,更新过几次等等; 4. 变化的比例和频率不是很大,比如,总共有10
10点睛Spring MVC4.1-全局异常处理
wiselyman
spring mvc
10.1 全局异常处理
使用@ControllerAdvice注解来实现全局异常处理;
使用@ControllerAdvice的属性缩小处理范围
10.2 演示
演示控制器
package com.wisely.web;
import org.springframework.stereotype.Controller;
import org.spring