CanYouSpeakChinese
CanYouSpeakChinese

给你156个爬虫资源，你还怕入不了门？不存在的，大兄弟！

 

给你156个爬虫资源，你还怕入不了门？不存在的，大兄弟！_第1张图片

 

  • 异步treq - 基于twisted、与requests类似的APIaiohttp - asyncio的HTTP客户端/服务器 (PEP-3156)

网络爬虫框架

  • 全能型爬虫grab - 网络爬虫框架(基于pycurl/multicurl)scrapy - 网络爬虫框架(基于twisted)pyspider - 一个强力的爬虫系统cola - 一个分布式爬虫框架

其他portia - 基于Scrapy的可视化爬虫restkit - Python的HTTP资源库。允许影虎简单的访问HTTP资源并用来创建项目demiurge - 基于PyQuery的微型爬虫框架

给你156个爬虫资源，你还怕入不了门？不存在的，大兄弟！_第2张图片

 

文本处理

解析及操作文本的库

  • 通用difflib - 差异化计算工具(Python标准库)Levenshtein - 快速计算编辑距离及字符串相似度fuzzywuzzy - 模糊字符串比匹配esmre - 正则表达式加速器.ftfy - 将Unicode文本自动整理减少碎片化
  • 转换unidecode - Unicode转化为ASCII文本

给你156个爬虫资源，你还怕入不了门？不存在的，大兄弟！_第3张图片

 

特殊格式处理

处理特编辑特殊字符格式的库

  • 通用tablib - 处理XLS, CSV, JSON, YAML等表格数据的库textract - 从任何文档中提取文本，支持Word, PowerPoint, PDF等messytables - 杂乱的表格数据解析rows - 支持多种格式的通用且美观的表格数据处理器(现有CSV, HTML, XLS, TXT -- 即将支持更多)
  • Officepython-docx - 阅读，查询和修改Microsoft Word 2007/2008 docx文件xlwt / xlrd - 从Excel读取及写入数据和格式化信息XlsxWriter - 用于穿件Excel .xlsx文件的Python模块xlwings - 一个BSD许可的库，是Excel与Python互相调用更加简单openpyxl - 可读取、编辑Excel 2010xlsx/xlsm/xltx/xltm文件的库Marmir - 提取Python数据结构并将其转化为表格的库

给你156个爬虫资源，你还怕入不了门？不存在的，大兄弟！_第4张图片

 

给你156个爬虫资源，你还怕入不了门？不存在的，大兄弟！_第5张图片

 

给你156个爬虫资源，你还怕入不了门？不存在的，大兄弟！_第6张图片

 

多进程并发

  • threading - Python标准库的多线程运行。因为python GIL限制，对于I/O密集型任务很有效，对于CPU绑定的任务没用multiprocessing - 多进程标准库celery - 基于分布式消息传递的异步任务队列/作业队列concurrent-futures - concurrent.futures模块提供用于异步执行callable的高级接口

异步

异步网络编程库

  • asyncio - 异步I/O，时间循环，协同程序和任务(Python 3.4以上版本的Python标准库)Twisted - 基于事件驱动的网络引擎框架Tornado - 一个Web框架及异步网络库pulsar - Python事件驱动的并发框架diesel - Python的基于Greenlet的I/O框架gevent - 一个基于协同程序的Python网络库，使用greenleteventlet - 有WSGI支持的异步框架Tomorrow - 异步代码的魔法

队列

  • celery - 基于分布式消息传递的异步任务队列/作业队列huey - 小型多线程任务队列mrq - Mr. Queue - 使用redis & Gevent 的Python分布式工作任务队列RQ - 基于Redis的轻量级任务队列管理器simpleq - 一个简单的，可无限扩展，基于Amazon SQS的队列python-gearman - Gearman的Python API

云计算

  • picloud - 在云端执行Pythondominoup.com - 在云端执行R, Python及matlab代码

电子邮件

电子邮件处理库

  • flanker - 电子邮件及MIME处理库Talon - Mailgun库用于提取消息的报价和签名

URL和网络地址操作

URL和网络地址操作库

  • URLfurl - 一个小的Python库，使得操纵URL简单化purl - 一个简单的不可改变的URL以及一个干净的用于调试和操作的APIurllib.parse - 用于打破统一资源定位器（URL）的字符串在组件（寻址方案，网络位置，路径等）之间的隔断，为了结合组件到一个URL字符串，并将“相对URL”转化为一个绝对URL，称之为“基本URL”（标准库）tldextract - 使用公共后缀列表从URL的注册域和子域中准确分离TLD网络地址netaddr - 用于显示和操纵网络地址的Python库

网页内容提取

网页内容提取库

  • HTML页面的文本和元数据newspaper - 用Python进行新闻提取、文章提取和内容策展html2text - 将HTML转为Markdown格式文本python-goose - HTML内容/文章提取器lassie - 人性化的网页内容检索工具micawber - 一个从网址中提取丰富内容的小型库sumy -一个自动汇总文本文件和HTML网页的模块Haul - 一个可扩展的图像爬虫python-readability - arc90 readability工具的快速Python接口scrapely - 从HTML网页中提取结构化数据的库。给出了一些Web页面和数据提取的示例，scrapely为所有类似的网页构建一个分析器libextract - 从网站提取数据
  • 视频youtube-dl - 一个从YouTube下载视频的小型命令行工具you-get - Python3写成的YouTube/Youku/Niconico视频下载工具
  • WikiWikiTeam - 下载并保存wkiks的工具

WebSocket

用于WebSocket的库

  • Crossbar - 开源的应用消息传递路由器（Python实现的用于Autobahn的WebSocket和WAMP）AutobahnPython - 提供了WebSocket协议和WAMP协议的Python实现并且开源WebSocket-for-Python - Python 2和3以及PyPy的WebSocket客户端和服务器库

DNS解析

  • dnsyo - 在全球超过1500个的DNS服务器上检查你的DNSpycares - ic-ares的接口。c-ares是进行DNS请求和异步名称决议的C语言库

计算机视觉

  • OpenCV - 开源计算机视觉库SimpleCV - 用于照相机、图像处理、特征提取、格式转换的简介，可读性强的接口（基于OpenCV）mahotas - 快速计算机图像处理算法（完全使用 C++ 实现），完全基于 numpy 的数组作为它的数据类型

代理服务器

  • s - 一个快速隧道代理，可帮你穿透防火墙（支持TCP和UDP，TFO，多用户和平滑重启，目的IP黑名单）tproxy - tproxy是一个简单的TCP路由代理（第7层），基于Gevent，用Python进行配置

杂项

  • user_agent - 此模块用于生成随机，有效的Web导航器的配置和用户代理HTTP header

其他

  • awesome-pythonpycrumbspython-github-projectspython_referencepythonidae

你可能感兴趣的:(python,爬虫)

  • PHP爬虫：获取直播间弹幕数据实战指南 Jason-河山 PHPphp爬虫开发语言
    在数字化时代，直播间弹幕作为观众与主播互动的重要方式，其数据的获取与分析对于理解观众行为、优化直播内容具有重要意义。然而，由于技术限制和法律合规性要求，直接获取直播间弹幕数据并非易事。本文将介绍如何使用PHP爬虫技术，合法合规地获取直播间弹幕API返回值，并进行实战分析。1.环境准备与法律合规性在开始之前，确保您的开发环境中已安装PHP和必要的cURL扩展。同时，必须确保您的爬虫行为遵守相关法律法
  • 【python】将word文档内容转换为excel表格 师兄师兄怎么办 pythonwordexcelpython
    在日常工作中，我们经常需要将Word文档中的内容提取并转换为Excel表格，以便进行数据分析和处理。本文将介绍如何使用Python编写一个简单的程序，将Word文档中的内容转换为Excel表格。一.实例使用以下word文档作为例子：工具界面如下：第一个弹窗选择对应的文档后选择打开：第二个弹窗选择保存路径以及excel表格的名字：生成后的效果如下：二.环境准备我们将使用tkinter库创建一个图形用
  • Python中LLM的稀疏Transformer架构：Longformer与BigBird 二进制独立开发 非纯粹GenAIGenAI与Pythonpythontransformer架构开发语言分布式人工智能自然语言处理
    文章目录1.Transformer架构的挑战2.稀疏Transformer架构的提出2.1Longformer2.1.1局部注意力2.1.2全局注意力2.1.3实现2.2BigBird2.2.1随机注意力2.2.2局部注意力2.2.3全局注意力2.2.4实现3.稀疏Transformer架构的优势4.稀疏Transformer架构的挑战5.未来发展方向5.1更高效的稀疏注意力机制5.2自适应稀疏注
  • 【Pydantic】Pydantic：新的Python 数据验证库 无糖气泡WU Pythonpython
    Python数据验证：PydanticPydantic简介Pydantic的主要特性Pydantic安装Pydantic使用Pydantic基本操作Field对象数据转换模型类转换为字典模型类转换为JSONPydantic简介Pydantic是一个在Python中用于数据验证和解析的第三方库。它提供了一种简单且直观的方式来定义数据模型，并使用这些模型对数据进行验证和转换。Pydantic的主要特性
  • 一个财务做的python代码--PDF发票文件信息提取 宾不可 pdfpython职场和发展
    一、引言（我为什么做）随着国家不断推行数字发票，现在工作中越来越多的电子发票被收取和开具。这给财务人员高效登记大量发票信息提供了充足的环境。日常中，手动从每张发票中提取关键信息并录入Excel表格不仅耗时费力，还容易出错。本文提出了一种基于Python的自动化解决方案，该方案利用pdfplumber库从PDF格式的电子发票中提取文本信息，并结合正则表达式进行信息匹配和清洗，最后将整理好的数据自动写
  • Pydantic：强大的Python 数据验证库 霍格沃兹测试开发学社 Python语法基础python开发语言单元测试
    PydanticPydantic是一个在Python中用于数据验证和解析的第三方库。它提供了一种简单且直观的方式来定义数据模型，并使用这些模型对数据进行验证和转换。Pydantic的一些主要特性：类型注解：Pydantic使用类型注解来定义模型的字段类型。你可以使用Python内置的类型、自定义类型或者其他Pydantic提供的验证类型。数据验证：Pydantic自动根据模型定义进行数据验证。它会
  • python与c的md5运算速度对比 在学02 python开发语言c语言hash密码学性能优化
    计算0-50000000（5千万）的u64数字的md5值的第一个字节为0的数字的个数。pythonfromhashlibimportmd5importtimet1=time.time()n=0foriinrange(50000000):#print(md5(i.to_bytes(16)).hexdigest())ifmd5(i.to_bytes(8,byteorder='little')).dig
  • 探索Python数组工具类 ArrayUtils：功能强大的数组操作助手 FinkGO小码 Pythonpython开发语言程序人生numpypycharm课程设计经验分享
    引言在Python编程的世界里，数组（通常以列表list形式呈现）是一种极为常用的数据结构。无论是数据处理、算法实现还是日常的编程任务，对数组进行高效且便捷的操作都是必不可少的。然而，Python内置的数组操作方法虽然丰富，但在实际开发中，我们可能需要将一些常用的操作封装起来，以提高代码的复用性和可维护性。今天，我们就来详细介绍一个自定义的Python数组工具类ArrayUtils，它将众多实用的
  • Python学习（二）----turtle库的基本功能 Tiny1420 Python学习python
    importturtle#设置画布大小turtle.screensize(canvwidth=None,canvheight=None,bg=None)#参数分别为画布的宽(单位像素),高,背景颜色。turtle.setup(width=0.75,height=0.75,startx=None,starty=None)'''width,height:输入宽和高为整数时,表示像素;为小数时,表示占据
  • python 登录接口_python-oauth2：Python的OAuth登录接口 weixin_39812065 python登录接口
    新浪微博Python客户端接口OAuth2!/usr/bin/envpython--coding:utf-8--version=‘1.04’author=‘LiaoXuefeng([email protected])’”’PythonclientSDKforsinaweiboAPIusingOAuth2.”’try:importjsonexceptImportErr使用Python实现OAu
  • python 登录接口_（转载）Python 的 OAuth 登录接口 python-oauth2 weixin_39923110 python登录接口
    前言python-oauth2是Python语言的OAuth2的实现，包括客户端和服务器端。该项目经过完整的测试。它拥有一下特点：100%单元测试覆盖。完全去掉了DataStore对象。所有的类名不再带有OAuth前缀。Request类生产字典对象。不再支持Python2.3。Client类是在httplib2基础上进行的扩展。文档中的示例全用的是Twitter，包括以下内容：基本的Twitter
  • FastAPI开发与运维最佳实践 ivwdcwso 开发运维fastapi运维数据库开发python
    FastAPI是一个现代、快速（高性能）的Web框架,用于构建API,基于Python3.6+标准。它不仅易于使用,而且具有出色的性能和可扩展性。本文将探讨FastAPI的开发最佳实践,以及如何有效地部署和维护FastAPI应用。1.项目结构一个良好组织的项目结构对于长期维护至关重要。以下是一个推荐的FastAPI项目结构:myproject/│├──app/│├──__init__.py│├──
  • Python关键字终极指南：36个核心关键词详解+实战示例，带你彻底掌握 编程梦想记 python开发语言
    以下是Python中的关键字（基于Python3.11版本，共**36个**），按功能分类解释它们的核心用途和常见场景。每个关键字都会用通俗易懂的语言和代码示例说明。一、控制程序流程的关键字1.**`if`/`elif`/`else`**-**用途**：条件判断。-**示例**：```pythonage=18ifage=18andage<=60:print("成年人")```14.**`is`**
  • FastAPI：解锁高性能API开发的密钥，轻松构建现代Web服务 醉心编码 人工智能基础fastapi前端
    FastAPI：解锁高性能API开发的密钥，轻松构建现代Web服务一、核心特点二、应用场景三、技术优势四、安装与基本用法五、社区与文档FastAPI是一个基于Python的现代、快速（高性能）的Web框架，专门用于构建APIs，特别是基于Python的RESTfulAPIs。它以其高性能、易用性和可扩展性而闻名，适合开发者、数据科学家和机器学习工程师等多种岗位使用。以下是对FastAPI的详细介绍
  • 使用DeepSeek+本地知识库，尝试从0到1搭建高度定制化工作流（数据分析篇） 代码轨迹 Python数据分析人工智能deepseek
    7.3.数据监控与生成本地知识库目的：监控新生成的小红书文案，记录每一次生成的小红书文案风格。后续根据输入topic，检索与某一topic有关的文案，可以根据先前的文案风格，生成类似风格的文案。实现思路：1.要实现文件监控功能，需要使用watchdog库。watchdog是一个Python库，用于监控文件系统的变化。它提供了多种事件类型，如文件创建、修改、删除等，可以用来监控文件的变化。启动一个线
  • Python-OAuth2 教程 房耿园Hartley
    Python-OAuth2教程项目地址:https://gitcode.com/gh_mirrors/pyt/python-oauth21.项目目录结构及介绍在python-oauth2项目中，目录结构通常包括以下几个部分：src/:主要代码存放的地方，包含了OAuth2的核心模块和实现。tests/:测试用例，用于确保代码的功能正确性。docs/:文档目录，包含项目的README和其他相关说明。
  • Python-OAuth2：一款Python实现的OAuth 2.0认证框架 束辉煊Darian
    Python-OAuth2：一款Python实现的OAuth2.0认证框架python-oauth2[UNMAINTAINED]OAuth2.0providerwritteninpython项目地址:https://gitcode.com/gh_mirrors/pyth/python-oauth21.项目基础介绍Python-OAuth2是一个开源项目，旨在为开发者提供一个简单易用的OAuth2.
  • Python OAuth2库 邹澜鹤Gardener
    PythonOAuth2库python-oauth2Afullytested,abstractinterfacetocreatingOAuthclientsandservers.项目地址:https://gitcode.com/gh_mirrors/py/python-oauth2PythonOAuth2库是一个简单易用的库，可以让你在Python应用中轻松地实现OAuth2认证。什么是OAuth
  • Python Web 开发：利用 FastAPI 构建 OAuth2 授权与认证系统 Switch616 PythonWebpython前端fastapi数据库开发语言sql
    PythonWeb开发：利用FastAPI构建OAuth2授权与认证系统目录OAuth2协议概述与工作原理FastAPI中实现OAuth2登录的基础流程在FastAPI中集成Google登录（OAuth2）使用GitHub登录与FastAPIOAuth2集成OAuth2Token的管理与认证⚙️OAuth2授权的安全性考量与最佳实践1.OAuth2协议概述与工作原理OAuth2（开放授权2.0）是
  • Python的`turtle`库来模拟满屏烟花效果 go5463158465 pythonpython开发语言
    以下是使用Python的turtle库来模拟满屏烟花效果的代码示例，运行代码后会在一个图形窗口中呈现出不断绽放的烟花场景，希望你能喜欢哦。importturtleimportrandomimporttime#初始化屏幕screen=turtle.Screen()screen.bgcolor("black")screen.title("FireworksShow")screen.setup(widt
  • PyInstaller在Linux环境下的打包艺术 黑金IT pythonlinux运维服务器
    PyInstaller是一款强大的工具，能够将Python应用程序及其所有依赖项打包成独立的可执行文件，支持Windows、macOS和Linux等多个平台。在Linux环境下，PyInstaller打包的可执行文件具有独特的特点和优势。本文将详细介绍PyInstaller在Linux环境下的应用，包括安装、准备项目、打包过程、打包后的可执行文件、常见问题与解决方法、进阶技巧、案例分析以及总结与展
  • python编写mapreduce job教程 weixin_49526058 pythonmapreducehadoop
    在Python中实现MapReduce作业，通常可以使用mrjob库，这是一个用于编写和执行MapReduce作业的Python库。它可以运行在本地模式或Hadoop集群上。以下是一个简单的MapReduce示例，它计算文本文件中每个单词的出现次数。安装mrjob首先，你需要安装mrjob库。可以通过pip安装：pipinstallmrjobMapReduce示例：计算单词频率1.创建一个MapR
  • Python_IMAP自动收取邮件脚本 FM黎明之前 Pythonpython脚本语言
    Python自动收取邮件脚本文献:https://cloud.tencent.com/developer/section/1368355功能:收取腾讯企业邮箱邮件写入CSV文件条件:筛选固定期限与固定发件人/收件人说明:1.此脚本采用imaplib协议；不支持授权码登陆方式(163imap授权码)等,有想法的可以重构，收取邮件脚本大同小异，只不过是获取之后编码问题有点棘手，读者花费点时间精力根据不
  • IDA pro 的Python环境变量设置 weixin_30291791 python
    推荐使用IDAPRO6.1+Python2.6安装完毕Python2.6后，添加如下的环境变量：PYTHONHOME=C:\Python26PATH=%PATH%;C:\Python26LIB=%LIB%;C:\Python26\Lib转载于:https://www.cnblogs.com/micro-chen/p/4770303.html
  • 使用python imapclient访问163邮箱 锅炉房刘大爷 python2.7imapclient
    #coding=utf8"""python2.7"""importreimportosimportsysimporttimeimportjsonimportemailimportloggingfromimapclientimportIMAPClientlogging.basicConfig(level=logging.DEBUG,format='[%(asctime)s][%(levelname)
  • 【python自用函数】负数向下取整，正数向上取整 一只小白跳起来 Python常用函数python开发语言pycharm经验分享笔记numpy
    1.最终结果array=np.array([[1.2,-1.2],[2.5,-2.5]])expanded_array=expand(array)print(expanded_array)[[2.-2.][3.-3.]]2.取整知识2.1.向上取整取大于或等于给定数的最小整数importmath#示例number=4.1result=math.ceil(number)print(result)#输
  • 【python】用IMAP获取电子邮件 胡 亥 python入门与自动化操作pythonsslhttps
    大家好，我是胡亥大魔王。今天介绍python中用IMAP获取电子邮件前面讲过了SMTP是用来发送邮件的协议，于此相对应的取回发送到你电子邮件地址的电子邮件也有一个协议，即因特网消息访问协议（IMAP）。python自带了一个imaplib模块，但实际上第三方的imapclient模块更好用，本文主要介绍如何使用IMAPClient，完整的文档在https://imapclient.readthed
  • 豆瓣电影TOP250爬虫项目 诚信爱国敬业友善 爬虫爬虫python
    以下是一个基于Python的豆瓣电影TOP250爬虫项目案例，包含完整的技术原理说明、关键知识点解析和项目源代码。本案例采用面向对象编程思想，涵盖反爬机制处理、数据解析和存储等核心内容。豆瓣电影TOP250爬虫项目一、项目需求分析目标网站：https://movie.douban.com/top250爬取内容：电影名称导演和主演信息上映年份制片国家电影类型评分评价人数短评金句技术挑战：请求头验证分
  • 推荐学习图像处理的入门书：《Python图像处理实战》 天飓 学习感悟学习图像处理python
    《Python图像处理实战》是一本全面介绍Python图像处理技术的实用指南，是由人民邮电出版社于2020年12月出版。这本书的作者桑迪潘·戴伊是一位兴趣广泛的数据科学家，主要研究机器学习、深度学习、图像处理和计算机视觉。在《Python图像处理实战》一书中，作者主要介绍了如何用Python图像处理库（如PIL、python-opencv、Scipy等），机器学习库（scikit-learn）和深
  • IDA 配置python环境，可执行python脚本 ayxh0058 python操作系统
    注意事项下面几点关系到安装是否成功IDA必须是安装版的，我以前用的是免安装版的。python版本、IDA版本，IDAPyhton版本必须匹配。python、IDA、IDAPython必须都是32位的或者都是64位的。安装关键点下面这些东西必备，缺一不可：python27.dll（我安装的是python2.7,如果安装的是pyhton2.6那就是python26.dll）。python.cfg文件。
  • mongodb3.03开启认证 21jhf mongodb
    下载了最新mongodb3.03版本，当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题，现总结如下： （百度上搜到的基本都是老版本的，看到db.addUser的就是，请忽略） Windows下我做了一个bat文件，用来启动mongodb，命令行如下： mongod --dbpath db\data --port 27017 --directoryperdb --logp
  • 【Spark103】Task not serializable bit1129 Serializable
    Task not serializable是Spark开发过程最令人头疼的问题之一，这里记录下出现这个问题的两个实例，一个是自己遇到的，另一个是stackoverflow上看到。等有时间了再仔细探究出现Task not serialiazable的各种原因以及出现问题后如何快速定位问题的所在，至少目前阶段碰到此类问题，没有什么章法 1.   package spark.exampl
  • 你所熟知的 LRU(最近最少使用) dalan_123 java
    关于LRU这个名词在很多地方或听说，或使用，接下来看下lru缓存回收的实现 1、大体的想法     a、查询出最近最晚使用的项     b、给最近的使用的项做标记 通过使用链表就可以完成这两个操作，关于最近最少使用的项只需要返回链表的尾部；标记最近使用的项，只需要将该项移除并放置到头部，那么难点就出现 你如何能够快速在链表定位对应的该项？ 这时候多
  • Javascript 跨域 周凡杨 JavaScriptjsonp跨域cross-domain
                                       
  • linux下安装apache服务器 g21121 apache
    安装apache 下载windows版本apache，下载地址：http://httpd.apache.org/download.cgi   1.windows下安装apache Windows下安装apache比较简单，注意选择路径和端口即可，这里就不再赘述了。 2.linux下安装apache： 下载之后上传到linux的相关目录，这里指定为/home/apach
  • FineReport的JS编辑框和URL地址栏语法简介 老A不折腾 finereportweb报表报表软件语法总结
      JS编辑框： 1.FineReport的js。 作为一款BS产品，browser端的JavaScript是必不可少的。 FineReport中的js是已经调用了finereport.js的。 大家知道，预览报表时，报表servlet会将cpt模板转为html，在这个html的head头部中会引入FineReport的js，这个finereport.js中包含了许多内置的fun
  • 根据STATUS信息对MySQL进行优化 墙头上一根草 status
    mysql  查看当前正在执行的操作，即正在执行的sql语句的方法为:      show processlist 命令   mysql> show global status;可以列出MySQL服务器运行各种状态值，我个人较喜欢的用法是show status like '查询值%';一、慢查询mysql> show variab
  • 我的spring学习笔记7-Spring的Bean配置文件给Bean定义别名 aijuans Spring 3
    本文介绍如何给Spring的Bean配置文件的Bean定义别名？ 原始的 <bean id="business" class="onlyfun.caterpillar.device.Business"> <property name="writer"> <ref b
  • 高性能mysql 之 性能剖析 annan211 性能mysqlmysql 性能剖析剖析
    1 定义性能优化 mysql服务器性能，此处定义为 响应时间。 在解释性能优化之前，先来消除一个误解，很多人认为，性能优化就是降低cpu的利用率或者减少对资源的使用。 这是一个陷阱。 资源时用来消耗并用来工作的，所以有时候消耗更多的资源能够加快查询速度，保持cpu忙绿，这是必要的。很多时候发现 编译进了新版本的InnoDB之后，cpu利用率上升的很厉害，这并不
  • 主外键和索引唯一性约束 百合不是茶 索引唯一性约束主外键约束联机删除
    目标;第一步;创建两张表 用户表和文章表         第二步;发表文章       1,建表; ---用户表 BlogUsers --userID唯一的 --userName --pwd --sex create
  • 线程的调度 bijian1013 java多线程thread线程的调度java多线程
    1.       Java提供一个线程调度程序来监控程序中启动后进入可运行状态的所有线程。线程调度程序按照线程的优先级决定应调度哪些线程来执行。   2.       多数线程的调度是抢占式的（即我想中断程序运行就中断，不需要和将被中断的程序协商） a) 
  • 查看日志常用命令 bijian1013 linux命令unix
    一.日志查找方法，可以用通配符查某台主机上的所有服务器grep "关键字" /wls/applogs/custom-*/error.log   二.查看日志常用命令1.grep '关键字' error.log：在error.log中搜索'关键字'2.grep -C10 '关键字' error.log：显示关键字前后10行记录3.grep '关键字' error.l
  • 【持久化框架MyBatis3一】MyBatis版HelloWorld bit1129 helloworld
    MyBatis这个系列的文章，主要参考《Java Persistence with MyBatis 3》。   样例数据 本文以MySQL数据库为例，建立一个STUDENTS表，插入两条数据，然后进行单表的增删改查     CREATE TABLE STUDENTS ( stud_id int(11) NOT NULL AUTO_INCREMENT,
  • 【Hadoop十五】Hadoop Counter bit1129 hadoop
       1. 只有Map任务的Map Reduce Job File System Counters FILE: Number of bytes read=3629530 FILE: Number of bytes written=98312 FILE: Number of read operations=0 FILE: Number of lar
  • 解决Tomcat数据连接池无法释放 ronin47 tomcat 连接池　优化
    近段时间，公司的检测中心报表系统(SMC)的开发人员时不时找到我，说用户老是出现无法登录的情况。前些日子因为手头上 有Jboss集群的测试工作，发现用户不能登录时，都是在Tomcat中将这个项目Reload一下就好了，不过只是治标而已，因为大概几个小时之后又会 再次出现无法登录的情况。 今天上午，开发人员小毛又找到我，要我协助将这个问题根治一下，拖太久用户难保不投诉。 简单分析了一
  • java-75-二叉树两结点的最低共同父结点 bylijinnan java
    import java.util.LinkedList; import java.util.List; import ljn.help.*; public class BTreeLowestParentOfTwoNodes { public static void main(String[] args) { /* * node data is stored in
  • 行业垂直搜索引擎网页抓取项目 carlwu LuceneNutchHeritrixSolr
    公司有一个搜索引擎项目，希望各路高人有空来帮忙指导，谢谢！ 这是详细需求： （1） 通过提供的网站地址(大概100-200个网站)，网页抓取程序能不断抓取网页和其它类型的文件（如Excel、PDF、Word、ppt及zip类型），并且程序能够根据事先提供的规则，过滤掉不相干的下载内容。 （2） 程序能够搜索这些抓取的内容，并能对这些抓取文件按照油田名进行分类，然后放到服务器不同的目录中。
  • [通讯与服务]在总带宽资源没有大幅增加之前,不适宜大幅度降低资费 comsci 资源
          降低通讯服务资费，就意味着有更多的用户进入，就意味着通讯服务提供商要接待和服务更多的用户，在总体运维成本没有由于技术升级而大幅下降的情况下，这种降低资费的行为将导致每个用户的平均带宽不断下降，而享受到的服务质量也在下降，这对用户和服务商都是不利的。。。。。。。。     &nbs
  • Java时区转换及时间格式 Cwind java
    本文介绍Java API 中 Date, Calendar, TimeZone和DateFormat的使用，以及不同时区时间相互转化的方法和原理。   问题描述： 向处于不同时区的服务器发请求时需要考虑时区转换的问题。譬如，服务器位于东八区（北京时间，GMT+8:00），而身处东四区的用户想要查询当天的销售记录。则需把东四区的“今天”这个时间范围转换为服务器所在时区的时间范围。
  • readonly,只读，不可用 dashuaifu jsjspdisablereadOnlyreadOnly
    readOnly 和 readonly 不同，在做js开发时一定要注意函数大小写和jsp黄线的警告！！！我就经历过这么一件事： 使用readOnly在某些浏览器或同一浏览器不同版本有的可以实现“只读”功能，有的就不行，而且函数readOnly有黄线警告！！！就这样被折磨了不短时间！！！（期间使用过disable函数，但是发现disable函数之后后台接收不到前台的的数据！！！）  
  • LABjs、RequireJS、SeaJS 介绍 dcj3sjt126com jsWeb
    LABjs 的核心是 LAB（Loading and Blocking）：Loading 指异步并行加载，Blocking 是指同步等待执行。LABjs 通过优雅的语法（script 和 wait）实现了这两大特性，核心价值是性能优化。LABjs 是一个文件加载器。RequireJS 和 SeaJS 则是模块加载器，倡导的是一种模块化开发理念，核心价值是让 JavaScript 的模块化开发变得更
  • [应用结构]入口脚本 dcj3sjt126com PHPyii2
    入口脚本 入口脚本是应用启动流程中的第一环，一个应用（不管是网页应用还是控制台应用）只有一个入口脚本。终端用户的请求通过入口脚本实例化应用并将将请求转发到应用。 Web 应用的入口脚本必须放在终端用户能够访问的目录下，通常命名为 index.php，也可以使用 Web 服务器能定位到的其他名称。 控制台应用的入口脚本一般在应用根目录下命名为 yii（后缀为.php），该文
  • haoop shell命令 eksliang hadoophadoop shell
    cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text
  • MultiStateView不同的状态下显示不同的界面 gundumw100 android
    只要将指定的view放在该控件里面，可以该view在不同的状态下显示不同的界面，这对ListView很有用，比如加载界面，空白界面，错误界面。而且这些见面由你指定布局，非常灵活。 PS：ListView虽然可以设置一个EmptyView，但使用起来不方便，不灵活，有点累赘。 <com.kennyc.view.MultiStateView xmlns:android=&qu
  • jQuery实现页面内锚点平滑跳转 ini JavaScripthtmljqueryhtml5css
    平时我们做导航滚动到内容都是通过锚点来做，刷的一下就直接跳到内容了，没有一丝的滚动效果，而且 url 链接最后会有“小尾巴”，就像#keleyi，今天我就介绍一款 jquery 做的滚动的特效，既可以设置滚动速度，又可以在 url 链接上没有“小尾巴”。   效果体验：http://keleyi.com/keleyi/phtml/jqtexiao/37.htmHTML文件代码： &
  • kafka offset迁移 kane_xie kafka
    在早前的kafka版本中（0.8.0），offset是被存储在zookeeper中的。   到当前版本（0.8.2）为止，kafka同时支持offset存储在zookeeper和offset manager（broker）中。   从官方的说明来看，未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话，可以考虑在合适
  • android > 搭建 cordova 环境 mft8899 android
      1 , 安装 node.js        http://nodejs.org      node -v   查看版本   2, 安装 npm   可以先从  https://github.com/isaacs/npm/tags  下载 源码 解压到
  • java封装的比较器，比较是否全相同，获取不同字段名字 qifeifei
     非常实用的java比较器，贴上代码： import java.util.HashSet; import java.util.List; import java.util.Set; import net.sf.json.JSONArray; import net.sf.json.JSONObject; import net.sf.json.JsonConfig; i
  • 记录一些函数用法 .Aky. 位运算PHP数据库函数IP
    高手们照旧忽略。 想弄个全天朝IP段数据库，找了个今天最新更新的国内所有运营商IP段，copy到文件，用文件函数，字符串函数把玩下。分割出startIp和endIp这样格式写入.txt文件，直接用phpmyadmin导入.csv文件的形式导入。（生命在于折腾，也许你们觉得我傻X，直接下载人家弄好的导入不就可以，做自己的菜鸟，让别人去说吧） 当然用到了ip2long()函数把字符串转为整型数
  • sublime text 3 rust wudixiaotie Sublime Text
    1.sublime text 3 => install package => Rust 2.cd ~/.config/sublime-text-3/Packages 3.mkdir rust 4.git clone https://github.com/sp0/rust-style 5.cd rust-style 6.cargo build --release 7.ctrl
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他