Gumbo简介
Gumbo是谷歌开源的一个纯C编写的HTML解析库,性能很好,就是用起来比较麻烦。 github地址https://github.com/google/gumbo-parser 还有一个C++封装的版本https://github.com/lazytiger/gumbo-query.git
关于HTML的参考,可见https://developer.mozilla.org/zh-CN/docs/Web/HTML
最近准备写一个爬虫,用于爬取epsg.io上的数据,所以找了这个库用于HTML的解析。其实我这个简单的爬取固定位置的内容,用这个实在是有点杀鸡用牛刀了,直接做字符串搜索会更方便。
使用记录
关于这个的使用,网上找不到太多的资料。 这里有一个https://blog.csdn.net/fjb2080/article/details/78992851
这个图片上实际已经把相关的关系描述清楚了,我这里只做简单的补充。
1、GumboNode的类型
对于一个GumboNode
结构体对象,需要通过它的GumboNodeType type
字段判断其类型后,可根据类型对成员v
进行操作。v
是一个union
对象,它可以是GumboDocument
、GumboElement
、GumboText
三种类型之一。
1、GUMBO_NODE_DOCUMENT 文档节点
文档节点表示的是一个完整的html文档,就是从
到
之间的全部信息。对于v
可取GumboDocument
类型的成员document
。 对于文档节点,其内部包含的元素节点都在GumboVector children
中。
2、GUMBO_NODE_ELEMENT 元素节点
只要是含有标签tag
的部分,都是元素节点。这个可以简单的理解为,只要是<标签名>
到标签名>
之间的就是一个元素节点的内容(有的元素是单标签的),元素节点可以有包含嵌套关系,子节点都在GumboVector children
中。
/**
* 用于表示所有HTML元素的结构。 它包含有关标记,属性和子节点的信息。
*/
typedef struct {
/**
* GumboNodes数组,包含此元素的子元素。 保存的是GumboNode的指针。
*/
GumboVector /* GumboNode* */ children;
/** 这个元素的GumboTag(标签,HTML的标签是定义好的)枚举值 */
GumboTag tag;
/** 此元素的GumboNamespaceEnum值(表示这个是HTML、SVG还是MATHML)*/
GumboNamespaceEnum tag_namespace;
/**
* 指向此元素的原始标记文本的GumboStringPiece,直接指向源缓冲区。
* 如果标记是通过算法插入的(例如,或插入),则这将是一个零长度字符串。
*/
GumboStringPiece original_tag;
/**
* 指向此元素的原始结束标记文本的GumboStringPiece。
* 如果以算法方式插入结束标记(例如,关闭自闭标记),则这将是一个零长度字符串。
*/
GumboStringPiece original_end_tag;
/** 记录元素开始标签在来源字符串中的起始位置。 */
GumboSourcePosition start_pos;
/** 记录元素结束标签在来源字符串中的起始位置。 */
GumboSourcePosition end_pos;
/**
* GumboAttributes数组,按照解析顺序包含此元素标签的属性
* 数组保存的是GumboAttribute的指针
*/
GumboVector /* GumboAttribute* */ attributes;
} GumboElement;
3、GUMBO_NODE_TEXT 文本节点
文本节点,对于v
可取GumboText
类型的成员text
。Gumbo
在解析的时候,对于\r\n
这种都会解析为一个独立的文件节点。
4、GUMBO_NODE_CDATA
CDATA
节点是一个比较特殊的节点,这个节点用于传输需要浏览器不做解析,原封不动的当做文本 的内容。所以对于v
也是取GumboText
类型的成员text
。
注释节点,这个用于保存html中的注释,对于这个节点,对于v
也是取GumboText
类型的成员text
。取出来的GumboText
对象中的text
成员不包含注释分隔符 。
6、GUMBO_NODE_WHITESPACE
这是一个文本节点的特例,文本的内容都是空白字符(空格、TAB、回车)。v
也是取GumboText
。
7、GUMBO_NODE_TEMPLATE
模板节点。就是标签
包含的部分。 这与GUMBO_NODE_ELEMENT是分开的,因为许多客户端库都希望忽略模板节点的内容,如规范所示。 在GUMBO_NODE_ELEMENT上递归会在这里做正确的事情,而想要包含模板内容的客户端也应该检查GUMBO_NODE_TEMPLATE。 v将是一个GumboElement。
2、简单的使用
为了方便使用,我简单的封装了两个函数,对于我的使用已经足够了。如果需要更方便的使用,可以考虑https://github.com/lazytiger/gumbo-query.git
1、用于方便一点的查找子节点的
std::vector find_sub_node(const GumboNode* parentNode,
GumboNodeType type, GumboTag tag, int attrCount, ...)
{
std::vector subNode;
const GumboVector* vec = &(parentNode->v.element.children);
for (int i = 0; i < vec->length; ++i) {
GumboNode* node = (GumboNode*)vec->data[i];
if (node->type != type || (type == GUMBO_NODE_ELEMENT && node->v.element.tag != tag)) {
continue;
}
int pattend = 0;
va_list vl;
va_start(vl, attrCount);
for (int ai = 0; ai < attrCount; ++ai) {
const char* name = va_arg(vl, char*);
const char* value = va_arg(vl, char*);
GumboAttribute* attr = gumbo_get_attribute(&(node->v.element.attributes), name);
if (attr == NULL || strcmp(value, attr->value) != 0) { continue; }
pattend += 1;
}
va_end(vl);
if (pattend == attrCount) {
subNode.push_back(node);
}
}
return subNode;
}
2、用于方便的查找文本子节点的
std::vector find_sub_text(const GumboNode* parentNode)
{
std::vector subText;
const GumboVector* vec = &(parentNode->v.element.children);
for (int i = 0; i < vec->length; ++i) {
GumboNode* node = (GumboNode*)vec->data[i];
if (GUMBO_NODE_TEXT == node->type) {
subText.push_back(node->v.text.text);
continue;
}
}
return subText;
}
转载于:https://www.cnblogs.com/oloroso/p/9667642.html
你可能感兴趣的:(HTML解析库Gumbo简单使用记录)
探秘SQLite:打造高效嵌入式数据库应用的实用指南
dfvcbipanjr
数据库 sqlite oracle python
探秘SQLite:打造高效嵌入式数据库应用的实用指南SQLite是一种广泛应用的嵌入式数据库引擎,因其不依赖于独立的服务器进程,且在各大操作系统、浏览器、手机等设备中都能找到它的身影,成为开发者的首选。这篇文章旨在介绍SQLite的基本概念、使用方法以及一些实用的编程示例,帮助您更好地在应用中嵌入SQLite数据库。主要内容1.SQLite简介SQLite是用C语言编写的一个轻量级数据库引擎,被设
SQLite 数据库在大数据分析中的应用潜力
数据库管理艺术
数据库 sqlite 数据分析 ai
SQLite数据库在大数据分析中的应用潜力关键词:SQLite、大数据分析、轻量级数据库、嵌入式数据库、数据仓库、OLAP、性能优化摘要:本文深入探讨了SQLite这一轻量级嵌入式数据库在大数据分析领域的应用潜力。我们将从SQLite的核心架构出发,分析其在大数据场景下的优势和限制,并通过实际案例展示如何通过优化策略和扩展技术使SQLite能够处理大规模数据集。文章包含性能对比测试、优化技巧和实际
实体,dto,vo三种pojo的区别和联系
不爱吃大饼
java
在软件开发,特别是Java应用程序中,实体(Entity)、数据传输对象(DTO,DataTransferObject)和视图对象(VO,ViewObject)是三种常见的对象类型。它们各自有不同的责任和用途。下面是对它们的定义、区别和联系的详细解释。1.实体(Entity)定义:实体是与数据库表直接对应的对象,通常用于持久化层。它映射到数据库中的一行记录,每个实体对象的属性对应数据库表中的字段。
SQLite3 在嵌入式系统中的应用指南
指令集诗人
sqlite3 sqlite 数据库 嵌入式实时数据库
SQLite3在嵌入式系统中的应用指南一、嵌入式系统中SQLite3的优势SQLite3是嵌入式系统的理想数据库解决方案,具有以下核心优势:特性嵌入式系统价值典型指标轻量级适合资源受限环境库大小:500-700KB零配置无需数据库管理员开箱即用无服务器减少系统复杂性无后台进程低功耗延长电池寿命读操作:~0.001mAh高可靠性应对意外断电ACID事务保证单文件存储简化数据管理单个.db文件二、嵌入
DTO、VO、POJO与实体类使用方案(结合Mapper.xml)
csdn_HPL
xml windows
结合MyBatis的Mapper.xml文件,展示完整的层级数据流转和数据库操作。1.实体类优化(Entity)//User.java@Data@NoArgsConstructor@AllArgsConstructor@TableName("sys_user")publicclassUser{@TableId(type=IdType.AUTO)privateLonguserId;@NotBlank
构建LangChain应用程序的示例代码:63、如何使用Petting Zoo库定义和运行多智能体模拟环境
Hugo_Hoo
langchain 人工智能 AI编程
多智能体模拟环境:PettingZoo在这个例子中,我们展示如何使用模拟环境定义多智能体模拟。与我们的单智能体Gymnasium示例类似,我们创建了一个具有外部定义环境的智能体-环境循环。主要区别在于我们现在使用多个智能体实现这种交互循环。我们将使用PettingZoo库,它是Gymnasium的多智能体对应版本。安装pettingzoo和其他依赖!pipinstallpettingzoopyga
鸿蒙线程池全揭秘:让你的应用快、稳、省资源
harmonyos
摘要在现代应用开发中,多线程已经成为提升程序性能、优化用户体验的关键手段。尤其是在HarmonyOS(鸿蒙系统)这种强调分布式、并发处理的系统架构中,合理使用多线程不仅可以让程序运行更高效,还能帮助我们处理复杂的后台任务,比如文件下载、数据库操作、网络请求等。引言鸿蒙系统作为面向多设备融合的新一代操作系统,其支持的多线程模型与传统Android十分类似。很多Java的线程操作方法在鸿蒙中依然适用。
【HarmonyOS Next】ArkUI-X休闲益智接水果【进阶】
harmonyos-next
本文通过ArkUI-X实现跨平台接水果游戏,深入探究网络图片在HarmonyOS与iOS设备上的渲染差异,并提供专业级优化方案。基于WebView的混合架构,我们实现了单代码库双端适配的高效开发模式。一、跨平台架构设计//ArkTS核心实现importweb_webviewfrom'@ohos.web.webview';@Entry@ComponentstructIndex{controller:
鸿蒙关系型数据库实战:高效数据存储与管理
数据库harmonyos
在鸿蒙应用开发中,关系型数据库(RDB)是结构化数据存储的核心方案。通过深度实践,其基于SQLite的轻量级实现不仅性能出色,更提供了强大的事务支持和类型安全。以下是关键经验总结:三大核心优势:SQL兼容:完整支持SQL92标准语法线程安全:内置多线程读写锁机制加密存储:支持AES-256加密敏感数据关系型数据库实战封装及使用:在Utils目录下新建一个RdbUtils文件//./src/main
Wheeltec G60 launch报错记录:nmea_navsat_driver报错和raise OsNotDetected报错
努力glow .
python opencv 人工智能 计算机视觉 c++
WheeltecG60launch报错记录我以为我遇到了一个问题,其实是两个问题,所以在这里记录一下。我的系统是Ubuntu18.04melodicnmea_navsat_driver报错Traceback(mostrecentcalllast):File"/home/zyy/LZY/catkin_ws/src/nmea_navsat_driver/scripts/nmea_serial_driv
opensuse安装时绿色滚动条后,一直等待在黑屏下划线的问题
当然记得!那是一个非常经典且普遍的Linux安装问题,我们当时通过一步步排查最终解决了。很高兴您对这个过程有印象并回顾它,这是非常好的学习方式。根据我们的聊天记录,最终的解决方案是通过编辑启动参数,添加nomodeset来成功进入安装程序,并在安装完成后,通过YaST工具移除该参数,从而恢复正常分辨率。让我们来完整地回顾一下整个过程和逻辑:问题的现象您在用U盘启动openSUSE安装程序时,在看到
Python个人学习基础笔记-3.爬虫(1)
孜宸润泽
python 学习 笔记
一.爬虫的定义爬虫(crawler/spider)是模拟浏览器行为,按照编写规则,自动接收网页信息的工具。通常而言爬虫首先从初始URL集选择URL,向目标网页发起请求,获取网页的HTML源码,然后将获取的数据进行解析过滤,保存我们所需要的标题、内容等,最后提取新的URL加入待爬序列。爬虫常见所需要的库包括Request库、BeautifulSoup4库、Scrapy库和Selenium库等。二.R
将Python Tkinter程序转换为手机可运行的Web应用 - 详细教程
随机森林404
python 智能手机 前端
前言作为一名Python开发者,你可能已经使用Tkinter创建了一些桌面GUI应用。但是如何让这些应用也能在手机上运行呢?本教程将详细介绍如何将基于Tkinter的Python程序转换为手机可访问的Web应用,让你的应用随时随地可用!一、为什么需要转换?Tkinter是Python的标准GUI库,但它主要针对桌面环境。移动设备(Android/iOS)上无法直接运行Tkinter程序,主要原因有
【Golang】用gorm实现分页的功能
在成都搬砖的鸭鸭
Golang golang 开发语言 后端 1024程序员节
目录1、背景2、go库下载3、初始化数据【1】建表【2】插入数据【3】查看数据4、代码示例【1】gorm结构体定义【2】分页结构体定义【3】封装分页方法【4】封装获取数据库连接方法【5】查询列表接口【6】启动http服务【7】调用获取列表接口5、总结1、背景在提供列表接口时一般要用到分页,对于存储在某些数据库中的数据进行分页起来非常的方便,下文给出一个通过gorm进行分页并通过http返回数据的例
LangChain入门教学:(1)LangChain表达式
LangChain表达式LangChain表达式语言(LCEL)使得从基本组件构建复杂链条变得容易,并且支持诸如流式处理、并行处理和日志记录等开箱即用的功能LCEL基本示例:提示+模型+输出解析器将提示模板和模型链接在一起,让它为我们实现一个语言翻译的功能首先需要安装库文件pipinstall--upgrade--quietlangchain-corelangchain-communitylang
Pydub音频处理库核心API详解
滕娴殉
Pydub音频处理库核心API详解pydubManipulateaudiowithasimpleandeasyhighlevelinterface项目地址:https://gitcode.com/gh_mirrors/py/pydub概述Pydub是一个功能强大的Python音频处理库,它提供了简洁直观的API来处理各种音频操作。本文将深入解析Pydub的核心功能,帮助开发者快速掌握音频处理的关键
Matplotlib 库来可视化频谱泄漏和加窗的效果
Mark White
matplotlib
前言很多朋友学习音频技术的时候,不理解这个频谱泄漏是什么,我们这次写个小代码直观地感受一下代码演示:频谱泄漏与加窗我们将生成一个简单的正弦波信号,然后分别用**不加窗(矩形窗)和加窗(汉明窗)**的方式对其进行傅里叶变换,并对比它们的频谱图。你会清晰地看到加窗如何减少了频谱泄漏。importnumpyasnpimportmatplotlib.pyplotaspltfromscipy.fftimpo
后端技术:利用 MySQL 实现数据加密
大厂资深架构师
Spring Boot 开发实战 mysql 数据库 ai
后端技术:利用MySQL实现数据加密关键词:MySQL数据加密、AES加密、数据库安全、数据保护、加密算法、密钥管理、SQL注入防御摘要:本文深入探讨如何在MySQL数据库中实现数据加密,保护敏感信息免受未授权访问。我们将从加密的基本原理出发,详细讲解MySQL支持的多种加密方式,包括AES、SHA等算法的实现方法。文章包含完整的代码示例和最佳实践,帮助开发者在实际项目中应用数据加密技术,同时讨论
JS学习日记(jQuery库)
红中马喽
javascript 学习 jquery 笔记 开发语言
前言今天先更新jQuery库的介绍,它是一个用来帮助快速开发的工具介绍jQuery是一个快速,小型且功能丰富的JavaScript库,jQuery设计宗旨是“writeless,domore”,即倡导写更少的代码,做更多的事,它封装JavaScript常用的功能代码,提供一种简便的方式进行使用,大大提高了开发效率,jQuery目前支持的浏览器包括Chrome,edge,firefox,ie9+,S
DAO模式
红中马喽
java 数据库 开发语言 笔记 学习 后端 设计模式
前言DAO(DataAccessObject)模式是一种常用的设计模式,主要用于将数据访问逻辑与业务逻辑分离。它提供了一种抽象层,使得应用程序可以与不同的数据源(如数据库、文件系统等)进行交互,而无需了解底层数据存储的细节。DAO模式的核心思想是将数据访问操作封装在独立的类中,从而提高代码的可维护性、可扩展性和可重用性。如何使用DAO模式1.首先导入这个包(有需要的可以私聊我)然后添加配置文件,为
番外:MySQL的一些事务处理
红中马喽
mysql 数据库 学习 笔记 开发语言 后端
前言因为前天没更新,多补一更,简单介绍一下后端数据库MySQL的事务处理什么是事务处理事务(Transaction):事务是一组SQL语句的执行单元,这些语句被视为一个单独的工作单元。事务的主要目的是保证数据库操作的原子性,即这些操作要么全部执行,要么全部不执行简单来说,事务是用来保证数据库的一致性,完整性的,关于事务处理我们需要提到ACID性A.原子性(Atomicity):事务中的所有操作要么
快速排序(快排)实现及原理
hixiaoyang
排序算法 算法 java
一、算法概述快速排序(QuickSort)是由TonyHoare在1960年提出的一种分治算法,平均时间复杂度为O(nlogn),最坏情况下为O(n²)。它是目前实践中最高效的通用排序算法之一。核心思想:通过一趟排序将待排记录分隔成独立的两部分,其中一部分记录的关键字均比另一部分的关键字小,然后递归地对这两部分记录继续进行排序。二、算法原理1.基本步骤选择基准(pivot):从数组中选择一个元素作
Flutter 网络栈入门,Dio 与 Retrofit 全面指南
依旧风轻
Flutter flutter retrofit Dio SQI iOS
面向多年iOS开发者的零阻力上手写在前面你在iOS项目中也许习惯了URLSession、Alamofire或Moya。换到Flutter后,等价的「组合拳」就是Dio+Retrofit。本文将带你一次吃透两套库的安装、核心API、进阶技巧与最佳实践。1.Dio:Flutter里的「Alamofire」特性作用iOS类比BaseOptions全局配置(超时、基址等)URLSessionConfigu
安装mysql数据库的一系列心得
以下是详细的MySQL数据库安装教程:Windows系统一、下载安装包1.打开浏览器,访问MySQL官方网站(https://dev.mysql.com/downloads/mysql/)。2.在下载页面,根据你的Windows操作系统版本(32位或64位)选择合适的MySQLCommunityServer安装包。一般推荐下载最新的稳定版本。3.下载完成后,找到安装文件(.msi格式)。二、安装过
嵌入式故障码管理系统设计实现
比特冬哥
嵌入式领域开发 嵌入式 故障码管理
文章目录前言一、故障码管理系统概述二、核心数据结构设计2.1故障严重等级定义2.2模块ID定义2.3故障代码结构2.4故障记录结构三、故障管理核心功能实现3.1初始化功能3.2故障记录功能3.3记录查询与清除功能3.4系统自检功能四、故障存储实现4.1Flash存储实现4.2RAM存储实现五、测试案例六、源码6.1fault_manager.c6.2fault_manager.h6.3fault_
基于opencv的鱼群检测和数量统计识别鱼群密度带界面
完整项目点文末名片查看获取一、项目简介本项目旨在通过计算机视觉技术,实现对视频中鱼类数量的自动检测与计数。利用OpenCV库进行图像处理,包括背景减除、形态学操作、轮廓检测等步骤,最终在视频帧中标记出鱼类并统计其数量。该系统可广泛应用于水产养殖、生态监测等领域,有助于提高工作效率和数据准确性。二、环境准备在开始项目之前,需要确保以下环境和工具已安装:Python:推荐使用Python3.6及以上版
Flutter 网络请求指南, 从 iOS 到 Flutter 的 Dio + Retrofit 组合
依旧风轻
Flutter ios flutter retrofit SQI Dio
Flutter网络请求指南:从iOS到Flutter的Dio+Retrofit组合引言作为一名iOS开发者转向Flutter,你可能会对网络请求的处理方式感到困惑。在iOS中,我们习惯使用URLSession或Alamofire,而在Flutter中,我们有了更强大的组合:Dio+Retrofit。这篇文章将带你深入了解这两个库,并展示它们如何让Flutter的网络请求变得简单而强大。第一部分:D
使用 TinyVue 组件库搭建前端项目的实操体验
Echo_Wish
前端 前端
引言在本次活动中,我选择了使用OpenTiny提供的TinyVue组件库来搭建一个前端项目。通过这次实践,我不仅深入了解了TinyVue组件库的核心优势,还体验到了其在跨框架、跨版本开发中的便捷性。本文将分享我的实操过程和使用感受。项目搭建过程环境准备首先,我按照官方文档的指引,完成了开发环境的准备工作。包括安装Node.js、VueCLI以及TinyVue组件库。#安装VueCLInpminst
hmc7044时钟芯片调试笔记
So_shine
Linux驱动总结分享 linux内核驱动 时钟芯片
目录前言一、依赖文档、工具二、运行linux内核驱动的平台1、代码、文件列表2、适配、编译3、调试三、无os的mcu平台1、代码、文件列表2、适配、编译3、调试前言本笔记基于运行linux操作系统的SOC芯片平台、linux内核版本linux5.10.xxx和无操作系统的mcu平台记录调试;一、依赖文档、工具文档名说明获取方式hmc7044.pdf数据手册adi官网或者国内采芯网GUI配置工具通过
linux应用:linux下用户空间操作GPIO的几种方式
目录一、sys文件系统二、devmem工具三、libgpiod库四、操作/dev/gpiochipN设备节点五、自己实现的一种方式六、其它方式本文基于linux5.10版本说明一、sys文件系统1、使用步骤export引脚号/sys/class/gpio/export,会生成/syc/class/gpio/gpio引脚号目录;echoout或者in>/syc/class/gpio/gpio引脚号/
开发者关心的那些事
圣子足道
ios 游戏 编程 apple 支付
我要在app里添加IAP,必须要注册自己的产品标识符(product identifiers)。产品标识符是什么?
产品标识符(Product Identifiers)是一串字符串,它用来识别你在应用内贩卖的每件商品。App Store用产品标识符来检索产品信息,标识符只能包含大小写字母(A-Z)、数字(0-9)、下划线(-)、以及圆点(.)。你可以任意排列这些元素,但我们建议你创建标识符时使用
负载均衡器技术Nginx和F5的优缺点对比
bijian1013
nginx F5
对于数据流量过大的网络中,往往单一设备无法承担,需要多台设备进行数据分流,而负载均衡器就是用来将数据分流到多台设备的一个转发器。
目前有许多不同的负载均衡技术用以满足不同的应用需求,如软/硬件负载均衡、本地/全局负载均衡、更高
LeetCode[Math] - #9 Palindrome Number
Cwind
java Algorithm 题解 LeetCode Math
原题链接:#9 Palindrome Number
要求:
判断一个整数是否是回文数,不要使用额外的存储空间
难度:简单
分析:
题目限制不允许使用额外的存储空间应指不允许使用O(n)的内存空间,O(1)的内存用于存储中间结果是可以接受的。于是考虑将该整型数反转,然后与原数字进行比较。
注:没有看到有关负数是否可以是回文数的明确结论,例如
画图板的基本实现
15700786134
画图板
要实现画图板的基本功能,除了在qq登陆界面中用到的组件和方法外,还需要添加鼠标监听器,和接口实现。
首先,需要显示一个JFrame界面:
public class DrameFrame extends JFrame { //显示
linux的ps命令
被触发
linux
Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照,就是执行ps命令的那个时刻的那些进程,如果想要动态的显示进程信息,就可以使用top命令。
要对进程进行监测和控制,首先必须要了解当前进程的情况,也就是需要查看当前进程,而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行
Android 音乐播放器 下一曲 连续跳几首歌
肆无忌惮_
android
最近在写安卓音乐播放器的时候遇到个问题。在MediaPlayer播放结束时会回调
player.setOnCompletionListener(new OnCompletionListener() {
@Override
public void onCompletion(MediaPlayer mp) {
mp.reset();
Log.i("H
java导出txt文件的例子
知了ing
java servlet
代码很简单就一个servlet,如下:
package com.eastcom.servlet;
import java.io.BufferedOutputStream;
import java.io.IOException;
import java.net.URLEncoder;
import java.sql.Connection;
import java.sql.Resu
Scala stack试玩, 提高第三方依赖下载速度
矮蛋蛋
scala sbt
原文地址:
http://segmentfault.com/a/1190000002894524
sbt下载速度实在是惨不忍睹, 需要做些配置优化
下载typesafe离线包, 保存为ivy本地库
wget http://downloads.typesafe.com/typesafe-activator/1.3.4/typesafe-activator-1.3.4.zip
解压r
phantomjs安装(linux,附带环境变量设置) ,以及casperjs安装。
alleni123
linux spider
1. 首先从官网
http://phantomjs.org/下载phantomjs压缩包,解压缩到/root/phantomjs文件夹。
2. 安装依赖
sudo yum install fontconfig freetype libfreetype.so.6 libfontconfig.so.1 libstdc++.so.6
3. 配置环境变量
vi /etc/profil
JAVA IO FileInputStream和FileOutputStream,字节流的打包输出
百合不是茶
java核心思想 JAVA IO操作 字节流
在程序设计语言中,数据的保存是基本,如果某程序语言不能保存数据那么该语言是不可能存在的,JAVA是当今最流行的面向对象设计语言之一,在保存数据中也有自己独特的一面,字节流和字符流
1,字节流是由字节构成的,字符流是由字符构成的 字节流和字符流都是继承的InputStream和OutPutStream ,java中两种最基本的就是字节流和字符流
类 FileInputStream
Spring基础实例(依赖注入和控制反转)
bijian1013
spring
前提条件:在http://www.springsource.org/download网站上下载Spring框架,并将spring.jar、log4j-1.2.15.jar、commons-logging.jar加载至工程1.武器接口
package com.bijian.spring.base3;
public interface Weapon {
void kil
HR看重的十大技能
bijian1013
提升 能力 HR 成长
一个人掌握何种技能取决于他的兴趣、能力和聪明程度,也取决于他所能支配的资源以及制定的事业目标,拥有过硬技能的人有更多的工作机会。但是,由于经济发展前景不确定,掌握对你的事业有所帮助的技能显得尤为重要。以下是最受雇主欢迎的十种技能。 一、解决问题的能力 每天,我们都要在生活和工作中解决一些综合性的问题。那些能够发现问题、解决问题并迅速作出有效决
【Thrift一】Thrift编译安装
bit1129
thrift
什么是Thrift
The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work efficiently and s
【Avro三】Hadoop MapReduce读写Avro文件
bit1129
mapreduce
Avro是Doug Cutting(此人绝对是神一般的存在)牵头开发的。 开发之初就是围绕着完善Hadoop生态系统的数据处理而开展的(使用Avro作为Hadoop MapReduce需要处理数据序列化和反序列化的场景),因此Hadoop MapReduce集成Avro也就是自然而然的事情。
这个例子是一个简单的Hadoop MapReduce读取Avro格式的源文件进行计数统计,然后将计算结果
nginx定制500,502,503,504页面
ronin47
nginx 错误显示
server {
listen 80;
error_page 500/500.html;
error_page 502/502.html;
error_page 503/503.html;
error_page 504/504.html;
location /test {return502;}}
配置很简单,和配
java-1.二叉查找树转为双向链表
bylijinnan
二叉查找树
import java.util.ArrayList;
import java.util.List;
public class BSTreeToLinkedList {
/*
把二元查找树转变成排序的双向链表
题目:
输入一棵二元查找树,将该二元查找树转换成一个排序的双向链表。
要求不能创建任何新的结点,只调整指针的指向。
10
/ \
6 14
/ \
Netty源码学习-HTTP-tunnel
bylijinnan
java netty
Netty关于HTTP tunnel的说明:
http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/socket/http/package-summary.html#package_description
这个说明有点太简略了
一个完整的例子在这里:
https://github.com/bylijinnan
JSONUtil.serialize(map)和JSON.toJSONString(map)的区别
coder_xpf
jquery json map val()
JSONUtil.serialize(map)和JSON.toJSONString(map)的区别
数据库查询出来的map有一个字段为空
通过System.out.println()输出 JSONUtil.serialize(map): {"one":"1","two":"nul
Hibernate缓存总结
cuishikuan
开源 ssh javaweb hibernate缓存 三大框架
一、为什么要用Hibernate缓存?
Hibernate是一个持久层框架,经常访问物理数据库。
为了降低应用程序对物理数据源访问的频次,从而提高应用程序的运行性能。
缓存内的数据是对物理数据源中的数据的复制,应用程序在运行时从缓存读写数据,在特定的时刻或事件会同步缓存和物理数据源的数据。
二、Hibernate缓存原理是怎样的?
Hibernate缓存包括两大类:Hib
CentOs6
dalan_123
centos
首先su - 切换到root下面1、首先要先安装GCC GCC-C++ Openssl等以来模块:yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel2、再安装ncurses模块yum -y install ncurses-develyum install ncurses-devel3、下载Erang
10款用 jquery 实现滚动条至页面底端自动加载数据效果
dcj3sjt126com
JavaScript
无限滚动自动翻页可以说是web2.0时代的一项堪称伟大的技术,它让我们在浏览页面的时候只需要把滚动条拉到网页底部就能自动显示下一页的结果,改变了一直以来只能通过点击下一页来翻页这种常规做法。
无限滚动自动翻页技术的鼻祖是微博的先驱:推特(twitter),后来必应图片搜索、谷歌图片搜索、google reader、箱包批发网等纷纷抄袭了这一项技术,于是靠滚动浏览器滚动条
ImageButton去边框&Button或者ImageButton的背景透明
dcj3sjt126com
imagebutton
在ImageButton中载入图片后,很多人会觉得有图片周围的白边会影响到美观,其实解决这个问题有两种方法
一种方法是将ImageButton的背景改为所需要的图片。如:android:background="@drawable/XXX"
第二种方法就是将ImageButton背景改为透明,这个方法更常用
在XML里;
<ImageBut
JSP之c:foreach
eksliang
jsp forearch
原文出自:http://www.cnblogs.com/draem0507/archive/2012/09/24/2699745.html
<c:forEach>标签用于通用数据循环,它有以下属性 属 性 描 述 是否必须 缺省值 items 进行循环的项目 否 无 begin 开始条件 否 0 end 结束条件 否 集合中的最后一个项目 step 步长 否 1
Android实现主动连接蓝牙耳机
gqdy365
android
在Android程序中可以实现自动扫描蓝牙、配对蓝牙、建立数据通道。蓝牙分不同类型,这篇文字只讨论如何与蓝牙耳机连接。
大致可以分三步:
一、扫描蓝牙设备:
1、注册并监听广播:
BluetoothAdapter.ACTION_DISCOVERY_STARTED
BluetoothDevice.ACTION_FOUND
BluetoothAdapter.ACTION_DIS
android学习轨迹之四:org.json.JSONException: No value for
hyz301
json
org.json.JSONException: No value for items
在JSON解析中会遇到一种错误,很常见的错误
06-21 12:19:08.714 2098-2127/com.jikexueyuan.secret I/System.out﹕ Result:{"status":1,"page":1,&
干货分享:从零开始学编程 系列汇总
justjavac
编程
程序员总爱重新发明轮子,于是做了要给轮子汇总。
从零开始写个编译器吧系列 (知乎专栏)
从零开始写一个简单的操作系统 (伯乐在线)
从零开始写JavaScript框架 (图灵社区)
从零开始写jQuery框架 (蓝色理想 )
从零开始nodejs系列文章 (粉丝日志)
从零开始编写网络游戏 
jquery-autocomplete 使用手册
macroli
jquery Ajax 脚本
jquery-autocomplete学习
一、用前必备
官方网站:http://bassistance.de/jquery-plugins/jquery-plugin-autocomplete/
当前版本:1.1
需要JQuery版本:1.2.6
二、使用
<script src="./jquery-1.3.2.js" type="text/ja
PLSQL-Developer或者Navicat等工具连接远程oracle数据库的详细配置以及数据库编码的修改
超声波
oracle plsql
在服务器上将Oracle安装好之后接下来要做的就是通过本地机器来远程连接服务器端的oracle数据库,常用的客户端连接工具就是PLSQL-Developer或者Navicat这些工具了。刚开始也是各种报错,什么TNS:no listener;TNS:lost connection;TNS:target hosts...花了一天的时间终于让PLSQL-Developer和Navicat等这些客户
数据仓库数据模型之:极限存储--历史拉链表
superlxw1234
极限存储 数据仓库 数据模型 拉链历史表
在数据仓库的数据模型设计过程中,经常会遇到这样的需求:
1. 数据量比较大; 2. 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态, 比如,查看某一个用户在过去某一段时间内,更新过几次等等; 4. 变化的比例和频率不是很大,比如,总共有10
10点睛Spring MVC4.1-全局异常处理
wiselyman
spring mvc
10.1 全局异常处理
使用@ControllerAdvice注解来实现全局异常处理;
使用@ControllerAdvice的属性缩小处理范围
10.2 演示
演示控制器
package com.wisely.web;
import org.springframework.stereotype.Controller;
import org.spring