OxYGC
OxYGC

[Java框架] Java常用爬虫框架推荐

Selenium

GitHub 截止 2023年9月份 Star数量27.7K
Selenium是一款基于浏览器自动化的工具，它可以模拟用户在浏览器上的操作行为，并获取网页上的内容。Selenium支持多种浏览器，可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而言，运行速度较慢。

WebMagic

GitHub 截止 2023年9月份 Star数量10.9K
WebMagic是一款基于Java的分布式爬虫框架，它使用了多线程和异步IO等技术，可以高效地爬取网站数据。WebMagic提供了丰富的插件机制，支持自定义解析器、处理器等功能。但是需要注意的是，WebMagic并不支持JavaScript渲染页面。

Jsoup

GitHub 截止 2023年9月份 Star数量10.3K
Jsoup是一款Java HTML解析器，它提供了易于使用的API，使得我们能够从一个URL、文件或字符串中提取和处理数据。相较于其他框架，Jsoup更加便捷、简单，并且具有良好的可读性。但是如果需要处理JavaScript生成内容，则需要另外考虑。

Crawler4j

GitHub 截止 2023年9月份 Star数量4.4K
Crawler4j是一个开源的Java爬虫框架，它使用了多线程和内存缓存技术，并且可以自定义URL过滤器、解析器等功能。Crawler4j支持限制爬虫深度、设置爬取延时等功能，并且可以与Lucene等搜索引擎结合使用。但是需要注意的是，Crawler4j不支持JavaScript渲染页面。

Apache Nutch

GitHub 截止 2023年9月份 Star数量2.7K
Apache Nutch是一款基于Java的开源网络爬虫框架，它使用了多线程和分布式技术，并且支持自定义URL过滤器、解析器等功能。Apache Nutch可以很好地处理JavaScript生成内容，并且支持与Solr等搜索引擎结合使用。但是需要注意的是，Apache Nutch的学习曲线较为陡峭。

HtmlUnit

GitHub 截止 2023年9月份 Star数量731
HtmlUnit是一款基于Java的GUI-less浏览器，它可以模拟浏览器行为并获取网页上的内容。HtmlUnit支持JavaScript渲染页面，并且可以自定义请求头、Cookie等信息。但是需要注意的是，HtmlUnit相较于其他框架而言，运行速度较慢。

参考资料 & 致谢

[1] Java爬虫框架选择指南，轻松找到最适合你的框架

你可能感兴趣的:(Spring,/,Boot,/,OtherFramework,Java,/,C++,/,C#,....,java,爬虫,开发语言)

  • java 批量查询es_java操作ES的简单查询和bool查询 weixin_39831567 java批量查询es
    导入包org.elasticsearch.clienttransport5.2.2org.apache.logging.log4jlog4j-api2.7org.apache.logging.log4jlog4j-core2.7junitjunitRELEASEViewCode2.Java操作基本操作通过client客户端对象获得客户端然后通过preparIndex等方法传入index,type,
  • 2025年计算机毕业设计springboot 校园二手物品交易平台的设计与实现 基林计算机毕设程序 课程设计springboot后端
    本系统（程序+源码）带文档lw万字以上文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容选题背景随着环保意识的增强和校园经济的蓬勃发展，校园二手物品交易逐渐成为大学生群体中的重要经济活动。当前，国内外对于二手物品交易的研究主要集中在电商平台的发展、交易模式的创新以及市场潜力的挖掘等方面。然而，专门针对校园二手物品交易平台的研究相对较少，尤其是结合大学生实际需求和行为特点的
  • 创建ASCII数字打印机(OpenCV C++) 河边一只猫 opencvc++cv
    学习OpenCV3（中文版）LearningOpenCV3ComputerVisioninC++withtheOpenCVLibrary第四章练习1建立一个500×500大小的单通道图像，每个像素值都为0。a.创建一个ASCII数字打印机，你可以在自己电脑上输入数字，并在一个20像素高、10像素宽的方块中显示数字。当你键入时，数字将从左到右显示，直到到达图像的末尾才停止。b.允许键入回车和退格。c
  • Elasticsearch 学习 Anthonywish java后端elasticsearchspringdata全文检索
    内容摘要安装Elasticsearch使用Rest的API操作索引使用Rest的API查询数据使用Rest的API聚合数据SpringDataElasticsearch使用1.Elasticsearch介绍和安装用户访问我们的首页，一般都会直接搜索来寻找自己想要购买的商品。而商品的数量非常多，而且分类繁杂。如果能正确的显示出用户想要的商品，并进行合理的过滤，尽快促成交易，是搜索系统要研究的核心。面
  • 【Qt入门】详解QCloseEvent、QFocusEvent、QShowEvent 和 QHideEvent事件 人才程序员 QT高级教程qt数据库c++开发语言c语言面向对象ui
    文章目录前言QCloseEvent、QFocusEvent、QShowEvent和QHideEvent事件QCloseEvent作用重载函数常用成员函数QFocusEvent作用重载函数常用成员函数QShowEvent作用重载函数常用成员函数QHideEvent作用重载函数常用成员函数示例代码说明总结前言在图形用户界面（GUI）编程中，事件处理是一个核心部分。Qt作为一个强大的跨平台C++应用程序
  • 【C++】 C++ 配置文件读取数组：读取 int[], float[], string[]，bool[]；读取 int, float, string,bool；错误输出，长度判定等 R-G-B OpenCVC++C/C++C++c++读取配置文件配置文件读数组读取int[]读取float[]读取string[]读取bool[]
    文章目录1读取int,float,string，bool2读取int[],float[],string[]，bool[]3完整代码3.1头文件3.2.cpp文件4.实例调用5错误主要功能1.读取int,float,string，bool（getInt,getFloat,getString,getBool）。2.读取int,float,string数组（getIntArray,getFloatArr
  • JUC模块 C18298182575 java
    JUC（JavaUtilConcurrent）是Java标准库中用于支持并发编程的模块，提供了丰富的工具类和框架，帮助开发者编写高效、线程安全的并发程序。JUC模块自Java5引入，是Java并发编程的核心部分。1.JUC的核心组件1.1原子类（AtomicClasses）作用：提供原子操作，避免使用锁的情况下实现线程安全。常见类：AtomicInteger：原子操作的整数。AtomicLong：
  • 【OpenCV C++】以时间命名存图，自动检查存储目录，若不存在自动创建， 按下空格、回车、Q、S自动存图 R-G-B OpenCVC++opencvc++计算机视觉
    文章目录//保存图像的函数voidsaveImage(constcv::Mat&frame){//生成唯一文件名autonow=std::chrono::system_clock::
  • Github 2024-08-16Java开源项目日报 Top10 老孙正经胡说 github开源Github趋势分析开源项目PythonGolang
    根据GithubTrendings的统计，今日(2024-08-16统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下：开发语言项目数量Java项目10TypeScript项目1Ruby项目1ApacheDubbo:高性能的Java开源RPC框架创建周期：4441天开发语言：Java协议类型：ApacheLicense2.0Star数量：40303个Fork数量：26383次关注人数
  • Github 2024-09-30 开源项目周报 Top15 老孙正经胡说 github开源Github趋势分析开源项目PythonGolang
    根据GithubTrendings的统计，本周(2024-09-30统计)共有15个项目上榜。根据开发语言中项目的数量，汇总情况如下：开发语言项目数量Python项目7JupyterNotebook项目2Dart项目1Ruby项目1HTML项目1C#项目1TypeScript项目1Rust项目1非开发语言项目1AutoGPT:人工智能革命的先锋创建周期：486天开发语言：Python协议类型：MI
  • Vue+ElementUI+SpringMVC实现分页 史天航 java入门篇
    Vue+ElementUI+SpringMVC实现分页这一段时间写项目用到了Vue+ElementUI，这里记录一下使用ElementUI内置分页插件结合后端SSM框架的实现思路和实现过程。其中遇到了很多坑，我会尽量把见到的坑都记录下来，希望对你有所帮助。首先让我们看一下最终效果：起步本博文的主要讲一下Vue+ElementUI结合后端SpringMVC实现分页的实现思路，基本的elementUI
  • 单体架构、集群、分布式、微服务的区别！ 码熔burning 微服务架构分布式微服务
    目录一、单体架构二、集群‍♀️‍♂️三、分布式架构四、微服务架构️五、总结我的其他文章也讲解的比较有趣，如果喜欢博主的讲解方式，可以多多支持一下，感谢！✨更多请看个人主页：码熔burning其他优质专栏：【✨设计模式】【SpringBoot】【多线程】【Redis】…等一、单体架构是什么：想象一下，你开了一家小餐馆，所有的功能都在一个地方完成：点餐、做饭、收银、打扫卫生，所有员工都在一个屋檐下工作
  • TypeScript系列01-类型系统全解析 Mr.NickJJ Typescript系列typescript前端javascript
    本文总结了TypeScript的类型系统基础，涵盖了：TypeScript的价值：静态类型检查为JavaScript添加了类型安全保障基本类型系统：从原始类型到特殊类型（any、unknown、never）的完整介绍类型注解与推断：理解何时依赖自动推断，何时显式标注类型类型兼容性：掌握TypeScript结构类型系统的核心规则1.TypeScript介绍1.1与JavaScript的关系TypeS
  • Java 大视界 -- Java 大数据机器学习模型的可解释性增强技术与应用（107） 青云交 大数据新视界Java大视界大数据java可解释性AISHAPLIME因果推理可视化交互
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- Java 大数据在智慧环保污染源监测与预警中的应用（104） 青云交 大数据新视界Java大视界java大数据智慧环保污染源监测实时预警FlinkLSTM
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- Java 大数据分布式文件系统的性能调优实战（101） 青云交 大数据新视界Java大视界java大数据Java大数据分布式文件系统性能调优HDFSImpala
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- 深入剖析 Java 大数据实时 ETL 中的数据质量保障策略（97） 青云交 大数据新视界Java大视界Java大数据实时ETL数据质量保障数据清洗数据校验机器学习算法统计方法
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- 绿色大数据：Java 技术在节能减排中的应用与实践（90） 青云交 大数据新视界Java大视界java大数据绿色大数据节能减排算法优化分布式计算资源管理
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- 大数据伦理与法律：Java 技术在合规中的作用与挑战（87） 青云交 大数据新视界Java大视界java大数据大数据伦理大数据法律数据加密访问控制应对策略
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- 区块链赋能 Java 大数据：数据可信与价值流转（84） 青云交 大数据新视界Java大视界java大数据数据可信价值流转智能合约共识机制区块链
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • 【高并发】Java 高并发 HTTP 接口优化：如何在 10 毫秒内调用 20+ 服务？ 工一木子 高并发Java系统设计javahttp接口优化
    Java高并发HTTP接口优化：如何在10毫秒内调用20+服务？在分布式系统中，一个HTTP接口调用多个外部服务是常见场景。但如果需要在10毫秒内完成20+服务调用，就面临网络延迟、线程切换、I/O阻塞等挑战。本文将深入剖析高性能HTTP接口优化策略，并提供Java并发实战代码。1.面临的挑战同步调用慢：如果串行调用20个服务，每个服务平均耗时50ms，总时长将超过1秒。网络延迟：HTTP请求通常
  • 用c++ 写会移动的坦克 初学者1111123 c++开发语言
    #include#include#include#include"asd.h"usingnamespacestd;chartank_up[10][10]={{'.','#','.','.','.','.','.','.','.','.'},{'#','#','#','.','.','.','.','.','.','.'},{'#','#','#','.','.','.','.','.','.','
  • 基于Springboot的毕业论文管理系统的设计与实现 2301_81127431 javajava
    基于SpringBoot的毕业论文管理系统的设计与实现摘要：随着科技和互联网的飞速发展，无纸化办公方式已成为时代潮流，不仅绿色环保，而且能提高办公效率。目前，在很多高校，无纸化办公方式也特别普遍，但是，对于毕业论文的管理，却有很多高校仍处于人工管理的阶段，过程繁琐且效率低下，不利于教师对学生毕业论文管理做到整理方便、查找迅速。这种人工管理论文的方式已不能满足现代高校建设数字化校园的发展需要。针对目
  • 5个GitHub热点开源项目！！ 架构文摘JGWZ github学习工具
    1.自托管Moonlight游戏串流服务：Sunshine主语言：C++，Star：14.4k，周增长：500这是一个自托管的Moonlight游戏串流服务器端项目，支持所有Moonlight客户端。用户可以在自己电脑上搭建一个游戏流服务，通过局域网或互联网串流PC游戏到其他设备，实现跨设备的游戏共享和远程操控。它还提供了Web管理界面，方便进行配置和客户端配对，适用于Windows、Linux和
  • Java 大视界 -- 基于 Java 的大数据流处理容错机制与恢复策略（113） 青云交 大数据新视界Java大视界java大数据流处理容错机制CheckpointExactly-Once故障恢复
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • 多线程--volatile关键字 帅的飞起来 多线程java多线程
    volatile是java中的一个关键字，用于修饰变量，主要解决多线程环境下的可见性和有序性问题。一、volatile的作用可见性：保证一个线程对volatile变量的修改对其他线程立即可见有序性：禁止指令重排序，确保代码的执行顺序与编写顺序一致（关于可见性和有序性请参考多线程JMM）二、内存屏障的类型1、LoadLoadBarrier示例：Load1；LoadLoad；Load2，确保Load1
  • Spring Boot 接口 JSON 序列化优化：忽略 Null 值的九种解决方案详解 坎布里奇 SpringBootspringbootjsonpython
    一、针对特定接口null的处理：方法一：使用@JsonInclude注解1.1类级别：在接口返回的‌DTO类或字段‌上添加@JsonInclude注解，强制忽略null值：类级别：所有字段为null时不返回@JsonInclude(JsonInclude.Include.NON_NULL)publicclassMyResponseDTO{privateStringfield1;1.2字段级别：在具
  • Es5 javascript实现继承的5种方式及对应缺点（超详细） 没资格抱怨 JS核心javascript前端
    1.原型链原型链作为实现继承的主要方法，其基本思想是利用原型让一个引用类型继承另一个引用类型的属性和方法。简单理解为：将父类构造函数的实例对象作为子类构造函数的原型对象，通过修改原型的方式实现继承另一个引用类型的属性和方法。代码演示：functionParent(name){this.name=name;this.children=["a","b"];}functionChild(){}Child
  • [前端笔记——HTML介绍] 3.＜head＞标签里有什么？ 弓早早o_O 前端#前端html
    [前端笔记——HTML介绍]3.head标签里有什么？1.标题2.元数据：元素3.在站点增加自定义图标4.HTML中应用CSS和JavaScript5.为文档设定主语言元素的内容不会再浏览器中显示，它的作用是保存页面的一些元数据。接下来介绍几个head中重要的常用元素：1.标题元素可以为文档添加标题。注意和的区别：元素在页面加载完毕时显示在页面中，是为body添加标题的，通常只出现一次，用来标记页
  • 在Spring Boot项目中将中文转换为拼音：从入门到实践 和烨 核心业务思路java
    文章目录在SpringBoot项目中将中文转换为拼音：从入门到实践引言一、拼音转换的背景与需求1.1拼音转换的应用场景1.2技术选型二、SpringBoot集成pinyin4j2.1添加依赖2.2创建拼音工具类2.3在SpringBoot中使用工具类2.4编写测试用例三、实践中的注意事项3.1多音字处理3.2性能优化3.3其他拼音库四、总结在SpringBoot项目中将中文转换为拼音：从入门到实践
  • 集合框架 天子之骄 java数据结构集合框架
       集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
  • Table Driven（表驱动）方法实例 bijian1013 javaenumTable Driven表驱动
    实例一： /** * 驾驶人年龄段 * 保险行业，会对驾驶人的年龄做年龄段的区分判断 * 驾驶人年龄段：01-[18,25);02-[25,30);03-[30-35);04-[35,40);05-[40,45);06-[45,50);07-[50-55);08-[55,+∞) */ public class AgePeriodTest { //if...el
  • Jquery 总结 cuishikuan javajqueryAjaxWebjquery方法
    1.$.trim方法用于移除字符串头部和尾部多余的空格。如：$.trim('   Hello   ') // Hello2.$.contains方法返回一个布尔值，表示某个DOM元素（第二个参数）是否为另一个DOM元素（第一个参数）的下级元素。如：$.contains(document.documentElement, document.body); 3.$
  • 面向对象概念的提出 麦田的设计者 java面向对象面向过程
            面向对象中，一切都是由对象展开的，组织代码，封装数据。   在台湾面向对象被翻译为了面向物件编程，这充分说明了，这种编程强调实体。       下面就结合编程语言的发展史，聊一聊面向过程和面向对象。      c语言由贝尔实
  • linux网口绑定 被触发 linux
    刚在一台IBM Xserver服务器上装了RedHat Linux Enterprise AS 4，为了提高网络的可靠性配置双网卡绑定。 一、环境描述 我的RedHat Linux Enterprise AS 4安装双口的Intel千兆网卡，通过ifconfig -a命令看到eth0和eth1两张网卡。 二、双网卡绑定步骤： 2.1 修改/etc/sysconfig/network
  • XML基础语法 肆无忌惮_ xml
    一、什么是XML？ XML全称是Extensible Markup Language，可扩展标记语言。很类似HTML。XML的目的是传输数据而非显示数据。XML的标签没有被预定义，你需要自行定义标签。XML被设计为具有自我描述性。是W3C的推荐标准。   二、为什么学习XML？ 用来解决程序间数据传输的格式问题 做配置文件 充当小型数据库   三、XML与HTM
  • 为网页添加自己喜欢的字体 知了ing 字体 秒表 css
    @font-face { font-family: miaobiao;//定义字体名字 font-style: normal; font-weight: 400; src: url('font/DS-DIGI-e.eot');//字体文件 } 使用： <label style="font-size:18px;font-famil
  • redis范围查询应用-查找IP所在城市 矮蛋蛋 redis
    原文地址： http://www.tuicool.com/articles/BrURbqV 需求 根据IP找到对应的城市 原来的解决方案 oracle表（ip_country）： 查询IP对应的城市： 1.把a.b.c.d这样格式的IP转为一个数字，例如为把210.21.224.34转为3524648994 2. select city from ip_
  • 输入两个整数， 计算百分比 alleni123 java
    public static String getPercent(int x, int total){ double result=(x*1.0)/(total*1.0); System.out.println(result); DecimalFormat df1=new DecimalFormat("0.0000%");
  • 百合——————>怎么学习计算机语言 百合不是茶 java 移动开发
        对于一个从没有接触过计算机语言的人来说，一上来就学面向对象，就算是心里上面接受的了，灵魂我觉得也应该是跟不上的，学不好是很正常的现象，计算机语言老师讲的再多，你在课堂上面跟着老师听的再多，我觉得你应该还是学不会的，最主要的原因是你根本没有想过该怎么来学习计算机编程语言，记得大一的时候金山网络公司在湖大招聘我们学校一个才来大学几天的被金山网络录取，一个刚到大学的就能够去和
  • linux下tomcat开机自启动 bijian1013 tomcat
    方法一： 修改Tomcat/bin/startup.sh 为: export JAVA_HOME=/home/java1.6.0_27 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:. export PATH=$JAVA_HOME/bin:$PATH export CATALINA_H
  • spring aop实例 bijian1013 javaspringAOP
    1.AdviceMethods.java package com.bijian.study.spring.aop.schema; public class AdviceMethods { public void preGreeting() { System.out.println("--how are you!--"); } } 2.beans.x
  • [Gson八]GsonBuilder序列化和反序列化选项enableComplexMapKeySerialization bit1129 serialization
    enableComplexMapKeySerialization配置项的含义  Gson在序列化Map时，默认情况下，是调用Key的toString方法得到它的JSON字符串的Key，对于简单类型和字符串类型，这没有问题，但是对于复杂数据对象，如果对象没有覆写toString方法，那么默认的toString方法将得到这个对象的Hash地址。   GsonBuilder用于
  • 【Spark九十一】Spark Streaming整合Kafka一些值得关注的问题 bit1129 Stream
    包括Spark Streaming在内的实时计算数据可靠性指的是三种级别： 1. At most once，数据最多只能接受一次，有可能接收不到 2. At least once, 数据至少接受一次，有可能重复接收 3. Exactly once  数据保证被处理并且只被处理一次，   具体的多读几遍http://spark.apache.org/docs/lates
  • shell脚本批量检测端口是否被占用脚本 ronin47
    #!/bin/bash cat ports |while read line do#nc -z -w 10 $line nc -z -w 2 $line 58422>/dev/null2>&1if[ $?-eq 0]then echo $line:ok else echo $line:fail fi done 这里的ports 既可以是文件
  • java-2.设计包含min函数的栈 bylijinnan java
    具体思路参见：http://zhedahht.blog.163.com/blog/static/25411174200712895228171/ import java.util.ArrayList; import java.util.List; public class MinStack { //maybe we can use origin array rathe
  • Netty源码学习-ChannelHandler bylijinnan javanetty
    一般来说，“有状态”的ChannelHandler不应该是“共享”的，“无状态”的ChannelHandler则可“共享” 例如ObjectEncoder是“共享”的, 但 ObjectDecoder 不是 因为每一次调用decode方法时，可能数据未接收完全（incomplete）， 它与上一次decode时接收到的数据“累计”起来才有可能是完整的数据，是“有状态”的 p
  • java生成随机数 cngolon java
    方法一： /** * 生成随机数 * @author cngolon@126.com * @return */ public synchronized static String getChargeSequenceNum(String pre){ StringBuffer sequenceNum = new StringBuffer(); Date dateTime = new D
  • POI读写海量数据 ctrain 海量数据
    import java.io.FileOutputStream; import java.io.OutputStream; import org.apache.poi.xssf.streaming.SXSSFRow; import org.apache.poi.xssf.streaming.SXSSFSheet; import org.apache.poi.xssf.streaming
  • mysql 日期格式化date_format详细使用 daizj mysqldate_format日期格式转换日期格式化
    日期转换函数的详细使用说明  DATE_FORMAT(date,format) Formats the date value according to the format string. The following specifiers may be used in the format string. The&n
  • 一个程序员分享8年的开发经验 dcj3sjt126com 程序员
      在中国有很多人都认为IT行为是吃青春饭的，如果过了30岁就很难有机会再发展下去!其实现实并不是这样子的，在下从事.NET及JAVA方面的开发的也有8年的时间了，在这里在下想凭借自己的亲身经历，与大家一起探讨一下。 明确入行的目的 很多人干IT这一行都冲着“收入高”这一点的，因为只要学会一点HTML, DIV+CSS，要做一个页面开发人员并不是一件难事，而且做一个页面开发人员更容
  • android欢迎界面淡入淡出效果 dcj3sjt126com android
    很多Android应用一开始都会有一个欢迎界面，淡入淡出效果也是用得非常多的，下面来实现一下。 主要代码如下： package com.myaibang.activity; import android.app.Activity;import android.content.Intent;import android.os.Bundle;import android.os.CountDown
  • linux 复习笔记之常见压缩命令 eksliang tar解压linux系统常见压缩命令linux压缩命令tar压缩
    转载请出自出处:http://eksliang.iteye.com/blog/2109693 linux中常见压缩文件的拓展名 *.gz gzip程序压缩的文件 *.bz2 bzip程序压缩的文件 *.tar tar程序打包的数据，没有经过压缩 *.tar.gz tar程序打包后，并经过gzip程序压缩 *.tar.bz2 tar程序打包后，并经过bzip程序压缩 *.zi
  • Android 应用程序发送shell命令 gqdy365 android
    项目中需要直接在APP中通过发送shell指令来控制lcd灯，其实按理说应该是方案公司在调好lcd灯驱动之后直接通过service送接口上来给APP，APP调用就可以控制了，这是正规流程，但我们项目的方案商用的mtk方案，方案公司又没人会改，只调好了驱动，让应用程序自己实现灯的控制，这不蛋疼嘛！！！！ 发就发吧！ 一、关于shell指令： 我们知道，shell指令是Linux里面带的
  • java 无损读取文本文件 hw1287789687 读取文件无损读取读取文本文件charset
    java 如何无损读取文本文件呢？ 以下是有损的 @Deprecated public static String getFullContent(File file, String charset) { BufferedReader reader = null; if (!file.exists()) { System.out.println("getFull
  • Firebase 相关文章索引 justjavac firebase
    Awesome Firebase 最近谷歌收购Firebase的新闻又将Firebase拉入了人们的视野，于是我做了这个 github 项目。 Firebase 是一个数据同步的云服务，不同于 Dropbox 的「文件」，Firebase 同步的是「数据」，服务对象是网站开发者，帮助他们开发具有「实时」（Real-Time）特性的应用。 开发者只需引用一个 API 库文件就可以使用标准 RE
  • C++学习重点 lx.asymmetric C++笔记
    1.c++面向对象的三个特性：封装性，继承性以及多态性。   2.标识符的命名规则：由字母和下划线开头，同时由字母、数字或下划线组成；不能与系统关键字重名。   3.c++语言常量包括整型常量、浮点型常量、布尔常量、字符型常量和字符串性常量。   4.运算符按其功能开以分为六类：算术运算符、位运算符、关系运算符、逻辑运算符、赋值运算符和条件运算符。 &n
  • java bean和xml相互转换 q821424508 javabeanxmlxml和bean转换java bean和xml转换
    这几天在做微信公众号 做的过程中想找个java bean转xml的工具，找了几个用着不知道是配置不好还是怎么回事，都会有一些问题， 然后脑子一热谢了一个javabean和xml的转换的工具里，自己用着还行，虽然有一些约束吧 ， 还是贴出来记录一下      顺便你提一下下，这个转换工具支持属性为集合、数组和非基本属性的对象。   packag
  • C 语言初级 位运算 1140566087 位运算c
    第十章 位运算   1、位运算对象只能是整形或字符型数据，在VC6.0中int型数据占4个字节   2、位运算符： 运算符 作用 ~ 按位求反 << 左移 >> 右移 & 按位与 ^ 按位异或 | 按位或 他们的优先级从高到低；   3、位运算符的运算功能： a、按位取反： ~01001101 = 101
  • 14点睛Spring4.1-脚本编程 wiselyman spring4
    14.1 Scripting脚本编程 脚本语言和java这类静态的语言的主要区别是:脚本语言无需编译,源码直接可运行; 如果我们经常需要修改的某些代码,每一次我们至少要进行编译,打包,重新部署的操作,步骤相当麻烦; 如果我们的应用不允许重启,这在现实的情况中也是很常见的; 在spring中使用脚本编程给上述的应用场景提供了解决方案,即动态加载bean; spring支持脚本
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他