weixin_30745553
weixin_30745553

简易数据分析 11 | Web Scraper 抓取表格数据

简易数据分析 11 | Web Scraper 抓取表格数据_第1张图片

这是简易数据分析系列的第 11 篇文章。

今天我们讲讲如何抓取网页表格里的数据。首先我们分析一下，网页里的经典表格是怎么构成的。

简易数据分析 11 | Web Scraper 抓取表格数据_第2张图片

  • First Name 所在的行比较特殊，是一个表格的表头，表示信息分类
  • 2-5 行是表格的主体，展示分类内容

经典表格就这些知识点，没了。下面我们写个简单的表格 Web Scraper 爬虫。

1.制作 Sitemap

我们今天的练手网站是

http://www.huochepiao.com/search/chaxun/result.asp?txtChuFa=%C9%CF%BA%A3&txtDaoDa=%B1%B1%BE%A9

爬虫的内容是抓取上海到北京的所有列车时刻表。

我们先创建一个包含整个表格的 container，Type 类型选为 Table，表示我们要抓取表格。

简易数据分析 11 | Web Scraper 抓取表格数据_第3张图片

具体的参数如上图所示，因为比较简单，就不多说了。

在这个面板下向下翻，会发现多了一个不一样的面板。观察一下你就会发现，这些数据其实就是表格数据类型的分类，在这个案例里，他把车次、出发站、开车时间等分类都列了出来。

简易数据分析 11 | Web Scraper 抓取表格数据_第4张图片

在 Table columns 这个分类里，每一行的内容旁边的选择按钮默认都是打勾的，也就是说默认都会抓取这些列的内容。如果你不想抓取某类内容，去掉对应的勾选就可以了。

在你点击 Save selector 的按钮时，会发现 Result key 的一些选项报错，说什么 invalid format 格式无效：

简易数据分析 11 | Web Scraper 抓取表格数据_第5张图片

解决这个报错很简单，一般来说是 Result key 名字的长度不够，你给加个空格加个标点符号就行。如果还报错，就试试换成英文名字：

简易数据分析 11 | Web Scraper 抓取表格数据_第6张图片

解决报错保存成功后，我们就可以按照 Web Scraper 的爬取套路抓取数据了。

2.为什么我不建议你用 Web Scraper 的 Table Selector？

如果你按照刚刚的教程做下里，就会感觉很顺利，但是查看数据时就会傻眼了。

刚开始抓取时，我们先用 Data preview 预览一下数据，会发现数据很完美：

简易数据分析 11 | Web Scraper 抓取表格数据_第7张图片

抓取数据后，在浏览器的预览面板预览，会发现车次这一列数据为 null，意味着没有抓取到相关内容：

简易数据分析 11 | Web Scraper 抓取表格数据_第8张图片

我们下载抓取的 CSV 文件后，在预览器里打开，会发现车次的数据出现了，但出发站的数据又为 null 了！

简易数据分析 11 | Web Scraper 抓取表格数据_第9张图片

这不是坑爹呢！

关于这个问题我调查了半天，应该是 Web Scraper 对中文关键字索引的支持不太友好，所以会抛出一些诡异的 bug，因此我并不建议大家用它的 Table 功能。

如果真的想抓取表格数据，我们可以用之前的方案，先创建一个类型为 Element 的 container，然后在 container 里再手动创建子选择器，这样就可以规避这个问题。

上面只是一个原因，还有一个原因是，在现代网站，很少有人用 HTML 原始表格了。

HTML 提供了表格的基础标签，比如说

、 、 等标签，这些标签上提供了默认的样式。好处是在互联网刚刚发展起来时，可以提供开箱即用的表格；缺点是样式太单一，不太好定制，后来很多网站用其它标签模拟表格，就像 PPT里用各种大小方块组合出一个表格一样，方便定制：

简易数据分析 11 | Web Scraper 抓取表格数据_第10张图片

出于这个原因，当你在用 Table Selector 匹配一个表格时，可能会死活匹配不上，因为从 Web Scraper 的角度考虑，你看到的那个表格就是个高仿，根本不是原装正品，自然是不认的。

3.总结

我们并不建议直接使用 Web Scraper 的 Table Selector，因为对中文支持不太友好，也不太好匹配现代网页。如果有抓取表格的需求，可以用之前的创建父子选择器的方法来做。

4.推荐阅读

简易数据分析 10 | Web Scraper 翻页——抓取「滚动加载」类型网页

20190709220018.png

转载于:https://www.cnblogs.com/web-scraper/p/web_scraper_table.html

你可能感兴趣的:(简易数据分析 11 | Web Scraper 抓取表格数据)

  • 【实操】信息安全工程师系列-第22关 网站安全需求分析与安全保护工程 披荆斩棘的GG 安全
    【实操】信息安全工程师系列-第22关网站安全需求分析与安全保护工程********永远不要信任用户输入。—安全编程格言一、网站安全基础概念与威胁分（一）核心定义**网站安全目标：**保障机密性（数据不泄露）、完整性（数据不被篡改）、可用性（服务不中断）和可控性（管理可控制）。**技术架构：**基于B/S架构，涉及网络通信、操作系统、数据库、Web服务器（如Apache、IIS）、Web应用及相关协
  • 2021-10-10 如鱼饮水2020
    中原焦点团队网络中26期坚持分享第516天（20211010）论文答辩稿背了N篇，第三个就是我上台演讲，心跳加速，深呼吸极力默念：稳就是定海神针。前两位男生都是低头读稿，虽然自己也带着手稿，距离太远根本看不到。硬着头皮背吧，脑子断篇也得上，先阳谋一下：第一次上讲台特别紧张。调整一下语速，结合APP，能背多少是多少吧，丑媳妇总归要见公婆的。先感谢导师的悉心指导和在坐的各位，论文的结构框架和大概内容几
  • 网络编程中的 Protobuf 和 JsonCpp 全面解析 筏.k c++asio网络编程网络开发语言c++服务器
    文章目录前言一、为什么需要序列化？序列化的好处：常见序列化格式包括：二、JsonCpp与Protobuf对比三、JsonCpp简介与示例（客户端通信）JsonCpp使用示例（客户端发送请求）：JsonCpp使用示例（服务器解析请求）：四、Protobuf简介与示例（服务器通信）定义消息格式（user.proto）编译生成代码：服务器端序列化&发送数据接收端解析数据五、使用建议总结前言在网络编程中，
  • 缓存三兄弟和布隆过滤器 想躺平的咸鱼干 redis缓存哈希算法算法javaintellij-idea
    缓存三兄弟缓存穿透：大量的请求查询数据库中不存在的数据，缓存直接从机数据库，导致数据库压力过大甚至宕机解决方案：布隆过滤器：在缓存层前加入布隆过滤器，预存合法数据的Key，请求到达时先通过布隆过滤器查看是否存在，查看是否拦截。缓存空对象：对数据库中不存在的数据，缓存一个短期的空值。需要结合异步线程定期清理无效空值，避免长期占用内存。缓存空对象缓存空对象：是一种解决缓存穿透问题的策略，当查询某个不存
  • 乐观锁的介绍 想躺平的咸鱼干 redisjava数据库大数据intellij-idea
    乐观锁乐观锁是一种并发控制机制，如果多种事务并发冲突的概率比较低，所以在数据操作的时候布里吉加锁，在提交时检查数据是否被其他事务修改过，通过版本号（version）或时间戳（Timestamp）实现，确保数据一致性。乐观锁通过版本控制+冲突检测实现高效并发管理，适用于低冲突，高并发的互联网，优势在于无锁设计与高吞吐。时间戳：用于记录某个事件具体时间的数值或字符串，它的核心作用是唯一标识某一时刻。时
  • C#语法基础总结（超级全面）（二） inwith C#语法基础c#开发语言
    文章目录c#语法基本元素关键字操作符（operator）类型转换标识符（Identifier）语句try语句迭代语句（循环语句）索引器文本（字面值）五大数据类型引用类型：值类型：变量、对象与内存装箱和拆箱类类的实例化类的三大成员（属性、方法、事件）属性（property）方法（函数）方法参数值参数引用参数输出参数数组参数具名参数可选参数扩展方法（this参数）方法的重载构造器（constructo
  • Python爬虫博客：使用Selenium模拟登录并抓取需要身份验证的网站内容 Python爬虫项目 2025年爬虫实战项目python爬虫selenium信息可视化开发语言百度测试工具
    引言在爬虫开发的过程中，我们常常遇到需要身份验证才能访问的网站。例如，很多社交媒体、新闻网站、电商平台等都要求用户登录才能访问一些特定内容。如何模拟登录并抓取这些需要身份验证的网页内容成为了一个非常重要且常见的需求。Selenium，作为一个强大的浏览器自动化工具，不仅可以模拟用户的浏览行为，还能够模拟用户输入用户名和密码、点击登录按钮等操作，突破了普通爬虫工具（如requests）无法处理的Ja
  • Docker架构深度解析：从核心概念到企业级实践
    Docker架构深度解析：从核心概念到企业级实践一、Docker架构全景图1.1整体架构示意图二、核心组件深度解析2.1DockerDaemon工作机制三、镜像与容器原理3.1镜像分层结构3.2容器生命周期四、网络架构详解4.1网络模式对比4.2Bridge网络实现原理五、存储架构与实践5.1存储驱动对比5.2数据卷使用模式六、企业级实践方案6.1高可用架构设计七、安全最佳实践7.1安全防护体系八
  • C#中的LINQ解析 三千道应用题 C#学无止境c#
    本文仅作为参考大佬们文章的总结。LINQ（LanguageIntegratedQuery，语言集成查询）是C#中一项革命性的技术，它将查询功能直接集成到C#语言中，使开发者能够以声明式的方式查询各种数据源。LINQ提供了一种统一的语法来查询和操作不同类型的数据，包括内存中的集合、数据库、XML文档等，极大地简化了数据处理流程。一、LINQ概述与核心概念1.LINQ的定义与价值LINQ是.NETFr
  • Proto文件从入门到精通——现代分布式系统通信的基石（含实战案例） 筏.k gRPCc++rpc服务器
    gRPC核心技术详解：Proto文件从入门到精通——现代分布式系统通信的基石（含实战案例）更新时间：2025年7月18日️标签：gRPC|ProtocolBuffers|Proto文件|微服务|分布式系统|RPC通信|接口定义文章目录前言一、基础概念：Proto文件究竟是什么？1.什么是Proto文件？2.传统通信vsProto通信二、语法详解：Proto文件的构成要素1.基本语法结构2.数据类型
  • 11月8日 秋水长天_2fad
    事件:晚上三人小组会，国栋给我们讲了他的课件思路感受:感动幸福，小小的不安想法:这是一个敞开的人，能如此和盘托出，我如此被相信，我是幸运的，也是幸福的。为什么别人对我这么好？我什么都没做啊。期待:对自己:多消化，活学活用对别人:无我的应对:记录，多理解，看到思路，看自己如何去用，才不辜负我的渴望:与人联结我的模式:收获意外惊喜时诚惶诚恐我需要做的:少计划多行动，心怀感恩，传递生命力:绽放
  • 2021-11-09 bcd9015d7411
    2021.11.09中原焦点团队焦莉霞，本周第一次约练。今天作为来访者进行了第一次约练，感受到了咨询师老师的稳和能视察到行为背后原因的深厚功底。也让我看到了自己想要的是什么，在我摇摆不定，混乱的思绪中，如果不摇摆将会有什么选择。随着老师深情的陪伴，让我的情绪有了一个宣泄口，诉说即疗愈，顿时感觉心里舒畅了很多，回复了力量，也更理性的去看待一些问题，只有自己不断的学习、成长才能带动孩子，带着期待等待孩
  • 2019-11-11晨间日记 野老说史
    今天光棍节起床：6：05就寝：9：30天气：晴6～17℃心情：好纪念日：叫我起床的不是闹钟是梦想年度目标及关键点：本月重要成果：今日三只青蛙/番茄钟成功日志-记录三五件有收获的事务学风整顿散步财务检视人际的投入开卷有益-学习/读书/听书三焦，以横膈膜和肚脐为界中医把人体五脏六腑分成三个部分：上焦中焦和下焦。上焦主清应该升，下焦主浊应该降中焦运转健康与饮食今日步数：18693今日锻炼：10000今日
  • GEV/POT/Markov/点过程/贝叶斯极值全解析；基于R语言的极值统计学
    极值统计学就是专门研究自然界和人类社会中很少发生，然而发生之后有着巨大影响的极端现象的统计建模及分析方法；在水文、气象、环境、生态、保险和金融等领域都有着广泛的应用。专题一、独立假设下的极值统计建模主要内容包括：1.广义极值模型.2.极小值的处理.3.广义Pareto模型.4.第r大次序统计量建模.5.R语言中极值统计学包.6.实例操作1-2.(提供案例数据及代码)专题二、平稳时间序列的极值统计建
  • 9月11日丰盛日记之日（脓肿修复历程2） 贵在坚持的小生活
    8天的住院后，周一终于带着赤裸裸的四个刀口出院了，迎接我的依旧是无法坐和长久的站立，但，我知道我距离“好”不远了……1.回家的心情和在医院的心情截然不一样，而且感受着身体越来越好的滋味，还是不错的，内心丰盈！期待越来越好，且不复发。海上嘉年华的桥2.躺在床上，看着小伙伴们在群里的聊天，知道大家工作学习积极热烈，在脑海中想象办公室的情景，大家在工作学习的路上不断成长和进步，我心生羡慕；尤其是能“坐着
  • java cas aba问题_Java CAS操作的ABA问题 自考大三学狗 javacasaba问题
    CAS介绍比较并交换(compareandswap,CAS)，是原子操作的一种，可用于在多线程编程中实现不被打断的数据交换操作，从而避免多线程同时改写某一数据时由于执行顺序不确定性以及中断的不可预知性产生的数据不一致问题。CAS操作基于CPU提供的原子操作指令实现，各个编译器根据这个特点实现了各自的原子操作函数。来源维基百科：C语言：由GNU提供了对应的__sync系列函数完成原子操作。Windo
  • c语言如何宏定义枚举型结构体,C语言学习笔记--枚举&结构体 搁浅的鲎 c语言如何宏定义枚举型结构体
    枚举枚举是一种用户定义的数据类型，它用关键字enum以如下语法格式来声明：enum枚举类型名字{名字0，名字1，。。。，名字n}；枚举类型名字通常并不真的使用，要用的是大括号里面的名字，因为它们就是常量符号，它们的类型是int，值则依次从0到n。如：enumcolor{red,yellow,green};就创建了3个常量，red的值是0，yellow的值是1，green的值是2。当需要一些可以排列
  • Spring框架整合Redis哨兵模式的实战教程 轩辕姐姐
    本文还有配套的精品资源，点击获取简介：Spring框架作为Java企业级开发的重要组件，与Redis高性能键值数据库结合，特别是在其哨兵系统支持下，能实现Redis服务的高可用性。本文详细阐述了如何在Spring项目中整合Redis哨兵模式，包括依赖添加、配置哨兵系统、创建连接工厂、配置RedisTemplate以及异常处理等关键步骤。通过整合，可以确保应用数据存储和缓存的稳定性和连续性，适用于需
  • USB （四）基于 STM32 USB的开发
    文章目录官网demo基于官网demo考虑的事情usb代码的架构及接口USB数据流程USB中断枚举复位挂起唤醒usbdevice收数据以MSC为例usbdevice发数据以MSC为例应用处理流程其他描述符官网demo软件代码在官网是存在的:STSW-STM32046开发板对应的是:en.stm32_f105-07_f2_f4_usb-host-device_lib\Project\USB_Devic
  • CVE-2005-4900：TLS SHA-1 安全漏洞修复详解 Nova_CaoFc 运维日常技术博文分享安全linux服务器运维
    前言在信息安全日益重要的当下，任何微小的加密弱点都可能被攻击者利用，从而导致数据泄露、流量劫持或更严重的业务中断。本文将结合实际环境中常见的Nginx配置示例，深入剖析CVE-2005-4900（TLS中使用SHA-1哈希算法）的危害，并提供完整、可操作的修复流程。一、什么是CVE-2005-4900漏洞CVE-2005-4900定位于TLS协议中使用SHA-1作为消息认证和签名哈希算法的安全漏洞
  • 《幸福的科学》第四章 Harriet打卡 20211018 Harriet温暖眼瞳
    一、请回答一下3道思考题：001：你过去做事有“福流”的状态吗，是什么事情？跳舞，工作上完成大的项目，做主持人时行云流水地带动整个气氛，与家人聊天的时候002：内在动机是如何理解，分享一下你参与读书会的动机或者工作的动机是什么？内在动机是指由个体内在需要引起的动机，例如，学生觉得学习有意义或有趣就会积极主动地学习，这就是内在动机。我参与读书的动机是想修炼自己，让自己更优秀。003：读书能让你感受到
  • 深入探索C++ STL：从基础到进阶
    目录引言一、什么是STL二、STL的版本三、STL的六大组件容器（Container）算法（Algorithm）迭代器（Iterator）仿函数（Functor）空间配置器（Allocator）配接器（Adapter）四、STL的重要性五、如何学习STL六、STL的缺陷总结引言在C++的世界里，标准模板库（STL）是一项极为强大的工具。它不仅为开发者提供了可复用的组件库，更是一个融合了数据结构与算
  • 尚硅谷C语言笔记-结构体与共用体 想名困难户 尚硅谷C语言笔记c语言笔记
    1、结构体(struct)类型的基本使用1.1为什么需要结构体？C语言内置的数据类型，除了几种原始的基本数据类型，只有数组属于复合类型，可以同时包含多个值，但是只能包含相同类型的数据，实际使用场景受限。1.2结构体的理解C语言提供了struct关键字，允许自定义复合数据类型，将不同类型的值组合在一起，这种类型称为结构体（structure）类型。C语言没有其他语言的对象(object)和类(cla
  • 微信小程序案例 - 本地生活（列表页面）
    一、前言随着微信小程序的普及，越来越多的生活服务类应用开始基于微信小程序进行开发。其中，“本地生活”类小程序（如美食、团购、周边游等）因其贴近用户日常需求而广受欢迎。本篇文章将以一个“本地生活列表页面”的实际案例为例，手把手带你实现一个完整的微信小程序本地生活类首页列表页面，包括：✅页面结构设计✅数据绑定与渲染✅列表项布局与样式优化✅下拉刷新与上拉加载更多✅搜索功能初步实现✅真实数据模拟与静态化处
  • 关于Spring RestTemplate
    一、概述RestTemplate是SpringFramework提供的一个同步HTTP客户端工具，用于简化与RESTfulAPI的交互。它封装了底层HTTP通信细节，提供了统一的API来发送各种HTTP请求（GET、POST、PUT、DELETE等），并自动处理响应数据的序列化和反序列化。二、依赖配置如果使用Maven项目，需要在pom.xml中添加以下依赖：xml  org.springfram
  • 【橘子分布式】Thrift RPC(编程篇) 当年明日 分布式分布式rpc网络协议
    一、简介之前我们研究了一下thrift的一些知识，我们知道他是一个rpc框架，他作为rpc自然是提供了客户端到服务端的访问以及两端数据传输的消息序列化，消息的协议解析和传输，所以我们今天就来了解一下他是如何实现这些功能，并且如何在实际代码中使用。我们需要搭建环境。1.安装Thrift作用：把IDL语言描述的接口内容，生成对应编程语言的代码，简化开发。我们已经介绍了在mac如何使用brew安装了。2
  • Day04_C语言网络编程20250716_sql语言大全 liujing10232929 C语言网络编程c语言网络sql
    linux中sql语法大全：MYSQL数据库什么是数据库：关系型数据管理系统数据库的结构层次：数据库文件(后缀名.db)->表单->字段->存储的数据数据库里面针对数据的所有操作，都需要使用指令去实现MYSQL数据库特点：特别适合web的环境，和PHP结合非常好低版本的MYSQL依旧是开源软件，适合用来做二次开发先安装一下mysql安装前，检测是否安装了mysql:rpm–qa|grepmysql
  • LINDDUN威胁建模 原理和架构及案例 hao_wujing 人工智能
    大家读完觉得有帮助记得关注和点赞！！！LINDDUN威胁建模框架是专注于隐私风险分析的系统化方法论，其名称源自七类隐私威胁的首字母缩写（Linking,Identifying,Non-repudiation,Detectability,Disclosure,Unawareness,Non-compliance）。以下从原理、架构及典型案例三方面展开深度解析：一、核心原理：隐私威胁分类与数据流分析1
  • 基于生成对抗网络增强主动学习的超高温陶瓷硬度优化 神经网络15044 深度学习算法仿真模型生成对抗网络学习人工智能
    复现论文：基于生成对抗网络增强主动学习的超高温陶瓷硬度优化我将使用Python复现这篇关于使用生成对抗网络(GAN)增强主动学习来优化超高温陶瓷(UHTC)硬度的研究论文。以下是完整的实现代码和解释。1.环境准备和数据加载首先，我们需要准备必要的Python库并加载数据。importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimpor
  • 分布式弹性故障处理框架——Polly(1)
    1前言之服务雪崩在我们实施微服务之后，服务间的调用变得异常频繁，多个服务之前可能存在互相依赖的关系，当某个服务出现故障或者是因为服务间的网络出现故障，导致服务调用的失败，进而影响到某个业务服务处理失败，服务依赖的故障可能导致级联崩溃，如一个微服务不可用拖垮整个系统。【服务雪崩】服务雪崩通常遵循“从局部故障到全局崩溃”的递进路径，可拆解为以下步骤：初始故障某个基础服务（如数据库、缓存、第三方API）
  • HttpClient 4.3与4.3版本以下版本比较 spjich javahttpclient
    网上利用java发送http请求的代码很多，一搜一大把，有的利用的是java.net.*下的HttpURLConnection，有的用httpclient，而且发送的代码也分门别类。今天我们主要来说的是利用httpclient发送请求。 httpclient又可分为 httpclient3.x httpclient4.x到httpclient4.3以下 httpclient4.3
  • Essential Studio Enterprise Edition 2015 v1新功能体验 Axiba .net
    概述：Essential Studio已全线升级至2015 v1版本了！新版本为JavaScript和ASP.NET MVC添加了新的文件资源管理器控件，还有其他一些控件功能升级，精彩不容错过，让我们一起来看看吧！ syncfusion公司是世界领先的Windows开发组件提供商，该公司正式对外发布Essential Studio Enterprise Edition 2015 v1版本。新版本
  • [宇宙与天文]微波背景辐射值与地球温度 comsci 背景
            宇宙这个庞大,无边无际的空间是否存在某种确定的,变化的温度呢?      如果宇宙微波背景辐射值是表示宇宙空间温度的参数之一,那么测量这些数值,并观测周围的恒星能量输出值,我们是否获得地球的长期气候变化的情况呢?   &nbs
  • lvs-server 男人50 server
    #!/bin/bash # # LVS script for VS/DR # #./etc/rc.d/init.d/functions # VIP=10.10.6.252 RIP1=10.10.6.101 RIP2=10.10.6.13 PORT=80 case $1 in start)   /sbin/ifconfig eth2:0 $VIP broadca
  • java的WebCollector爬虫框架 oloz 爬虫
    WebCollector主页： https://github.com/CrawlScript/WebCollector 下载：webcollector-版本号-bin.zip将解压后文件夹中的所有jar包添加到工程既可。 接下来看demo package org.spider.myspider; import cn.edu.hfut.dmic.webcollector.cra
  • jQuery append 与 after 的区别 小猪猪08
    1、after函数 定义和用法： after() 方法在被选元素后插入指定的内容。 语法： $(selector).after(content) 实例： <html> <head> <script type="text/javascript" src="/jquery/jquery.js"></scr
  • mysql知识充电 香水浓 mysql
    索引 索引是在存储引擎中实现的，因此每种存储引擎的索引都不一定完全相同，并且每种存储引擎也不一定支持所有索引类型。 根据存储引擎定义每个表的最大索引数和最大索引长度。所有存储引擎支持每个表至少16个索引，总索引长度至少为256字节。 大多数存储引擎有更高的限制。MYSQL中索引的存储类型有两种：BTREE和HASH，具体和表的存储引擎相关； MYISAM和InnoDB存储引擎
  • 我的架构经验系列文章索引 agevs 架构
    下面是一些个人架构上的总结，本来想只在公司内部进行共享的，因此内容写的口语化一点，也没什么图示，所有内容没有查任何资料是脑子里面的东西吐出来的因此可能会不准确不全，希望抛砖引玉，大家互相讨论。 要注意，我这些文章是一个总体的架构经验不针对具体的语言和平台，因此也不一定是适用所有的语言和平台的。 （内容是前几天写的，现附上索引）   前端架构 http://www.
  • Android so lib库远程http下载和动态注册 aijuans andorid
    一、背景      在开发Android应用程序的实现，有时候需要引入第三方so lib库，但第三方so库比较大，例如开源第三方播放组件ffmpeg库, 如果直接打包的apk包里面, 整个应用程序会大很多.经过查阅资料和实验，发现通过远程下载so文件，然后再动态注册so文件时可行的。主要需要解决下载so文件存放位置以及文件读写权限问题。   二、主要
  • linux中svn配置出错 conf/svnserve.conf:12: Option expected 解决方法 baalwolf option
    在客户端访问subversion版本库时出现这个错误： svnserve.conf:12: Option expected 为什么会出现这个错误呢，就是因为subversion读取配置文件svnserve.conf时，无法识别有前置空格的配置文件，如### This file controls the configuration of the svnserve daemon, if you##
  • MongoDB的连接池和连接管理 BigCat2013 mongodb
    在关系型数据库中，我们总是需要关闭使用的数据库连接，不然大量的创建连接会导致资源的浪费甚至于数据库宕机。这篇文章主要想解释一下mongoDB的连接池以及连接管理机制，如果正对此有疑惑的朋友可以看一下。 通常我们习惯于new 一个connection并且通常在finally语句中调用connection的close()方法将其关闭。正巧，mongoDB中当我们new一个Mongo的时候，会发现它也
  • AngularJS使用Socket.IO bijian1013 JavaScriptAngularJSSocket.IO
            目前，web应用普遍被要求是实时web应用，即服务端的数据更新之后，应用能立即更新。以前使用的技术（例如polling）存在一些局限性，而且有时我们需要在客户端打开一个socket，然后进行通信。         Socket.IO(http://socket.io/)是一个非常优秀的库，它可以帮你实
  • [Maven学习笔记四]Maven依赖特性 bit1129 maven
    三个模块 为了说明问题，以用户登陆小web应用为例。通常一个web应用分为三个模块，模型和数据持久化层user-core, 业务逻辑层user-service以及web展现层user-web， user-service依赖于user-core user-web依赖于user-core和user-service   依赖作用范围  Maven的dependency定义
  • 【Akka一】Akka入门 bit1129 akka
    什么是Akka Message-Driven Runtime is the Foundation to Reactive Applications In Akka, your business logic is driven through message-based communication patterns that are independent of physical locatio
  • zabbix_api之perl语言写法 ronin47 zabbix_api之perl
    zabbix_api网上比较多的写法是python或curl。上次我用java－－http://bossr.iteye.com/blog/2195679，这次用perl。for example: #!/usr/bin/perl use 5.010 ; use strict ; use warnings ; use JSON :: RPC :: Client ; use
  • 比优衣库跟牛掰的视频流出了，兄弟连Linux运维工程师课堂实录，更加刺激，更加实在！ brotherlamp linux运维工程师linux运维工程师教程linux运维工程师视频linux运维工程师资料linux运维工程师自学
    比优衣库跟牛掰的视频流出了，兄弟连Linux运维工程师课堂实录，更加刺激，更加实在！   ----------------------------------------------------- 兄弟连Linux运维工程师课堂实录-计算机基础-1-课程体系介绍1 链接：http://pan.baidu.com/s/1i3GQtGL 密码：bl65   兄弟连Lin
  • bitmap求哈密顿距离-给定N（1<=N<=100000）个五维的点A(x1,x2,x3,x4,x5)，求两个点X(x1,x2,x3,x4,x5)和Y( bylijinnan java
    import java.util.Random; /** * 题目： * 给定N（1<=N<=100000）个五维的点A(x1,x2,x3,x4,x5)，求两个点X(x1,x2,x3,x4,x5)和Y(y1,y2,y3,y4,y5)， * 使得他们的哈密顿距离（d=|x1-y1| + |x2-y2| + |x3-y3| + |x4-y4| + |x5-y5|）最大
  • map的三种遍历方法 chicony map
    package com.test; import java.util.Collection; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Set; public class TestMap { public static v
  • Linux安装mysql的一些坑 chenchao051 linux
    1、mysql不建议在root用户下运行   2、出现服务启动不了，111错误，注意要用chown来赋予权限， 我在root用户下装的mysql，我就把usr/share/mysql/mysql.server复制到/etc/init.d/mysqld, (同时把my-huge.cnf复制/etc/my.cnf)  chown -R cc /etc/init.d/mysql
  • Sublime Text 3 配置 daizj 配置Sublime Text
    Sublime Text 3 配置解释(默认){// 设置主题文件“color_scheme”: “Packages/Color Scheme – Default/Monokai.tmTheme”,// 设置字体和大小“font_face”: “Consolas”,“font_size”: 12,// 字体选项：no_bold不显示粗体字，no_italic不显示斜体字，no_antialias和
  • MySQL server has gone away 问题的解决方法 dcj3sjt126com SQL Server
    MySQL server has gone away 问题解决方法，需要的朋友可以参考下。 应用程序（比如PHP）长时间的执行批量的MYSQL语句。执行一个SQL，但SQL语句过大或者语句中含有BLOB或者longblob字段。比如，图片数据的处理。都容易引起MySQL server has gone away。 今天遇到类似的情景，MySQL只是冷冷的说：MySQL server h
  • javascript/dom:固定居中效果 dcj3sjt126com JavaScript
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&
  • 使用 Spring 2.5 注释驱动的 IoC 功能 e200702084 springbean配置管理IOCOffice
    使用 Spring 2.5 注释驱动的 IoC 功能 developerWorks 文档选项 将打印机的版面设置成横向打印模式 打印本页 将此页作为电子邮件发送 将此页作为电子邮件发送 级别： 初级 陈 雄华 ([email protected]), 技术总监, 宝宝淘网络科技有限公司 2008 年 2 月 28 日  &nb
  • MongoDB常用操作命令 geeksun mongodb
    1.   基本操作 db.AddUser(username,password)               添加用户 db.auth(usrename,password)      设置数据库连接验证 db.cloneDataBase(fromhost)    
  • php写守护进程（Daemon） hongtoushizi PHP
    转载自： http://blog.csdn.net/tengzhaorong/article/details/9764655   守护进程（Daemon）是运行在后台的一种特殊进程。它独立于控制终端并且周期性地执行某种任务或等待处理某些发生的事件。守护进程是一种很有用的进程。php也可以实现守护进程的功能。   1、基本概念   &nbs
  • spring整合mybatis,关于注入Dao对象出错问题 jonsvien DAOspringbeanmybatisprototype
    今天在公司测试功能时发现一问题： 先进行代码说明： 1，controller配置了Scope="prototype"（表明每一次请求都是原子型）    @resource/@autowired service对象都可以（两种注解都可以）。 2，service 配置了Scope="prototype"（表明每一次请求都是原子型）
  • 对象关系行为模式之标识映射 home198979 PHP架构企业应用对象关系标识映射
    HELLO!架构   一、概念 identity Map:通过在映射中保存每个已经加载的对象，确保每个对象只加载一次，当要访问对象的时候，通过映射来查找它们。其实在数据源架构模式之数据映射器代码中有提及到标识映射，Mapper类的getFromMap方法就是实现标识映射的实现。     二、为什么要使用标识映射？ 在数据源架构模式之数据映射器中 //c
  • Linux下hosts文件详解 pda158 linux
    　1、主机名： 　　无论在局域网还是INTERNET上，每台主机都有一个IP地址，是为了区分此台主机和彼台主机，也就是说IP地址就是主机的门牌号。 　　公网：IP地址不方便记忆，所以又有了域名。域名只是在公网（INtERNET)中存在，每个域名都对应一个IP地址，但一个IP地址可有对应多个域名。 　　局域网：每台机器都有一个主机名，用于主机与主机之间的便于区分，就可以为每台机器设置主机
  • nginx配置文件粗解 spjich javanginx
    #运行用户#user  nobody;#启动进程,通常设置成和cpu的数量相等worker_processes  2;#全局错误日志及PID文件#error_log  logs/error.log;#error_log  logs/error.log  notice;#error_log  logs/error.log  inf
  • 数学函数 w54653520 java
    public  class  S {        // 传入两个整数，进行比较，返回两个数中的最大值的方法。      public  int  get( int  num1, int  nu