爱做梦的鱼
爱做梦的鱼

抓取网页内容

 使用urllib2抓取网页内容：

import urllib2
from HTMLParser import HTMLParser
request = urllib2.Request('http://www.baidu.com')
response = urllib2.urlopen(request).read()
print response

 

使用HTMLParser处理网页内容：

from HTMLParser import HTMLParser
class hp(HTMLParser):  
    a_text = False  
    def handle_decl(self,decl):
        #print decl
        pass

    def handle_comment(self,comment):
        #print comment
        pass

    #抓取所有的超链接http://开头的
    def handle_starttag(self,tag,attrs):  
        if tag == 'a':  
            self.a_text = True  
            #print tag,attrs
            for h,v in attrs:
                if h == 'href' and len(v) >6:
                    #pass
                    pt = r'http://\S+'
                    cp = re.compile(pt)
                    vr = cp.match(v)
                    if vr:
                        print vr.group()     

    def handle_endtag(self,tag):  
        if tag == 'a':  
            self.a_text = False  

    def handle_data(self,data):  
        if self.a_text:  
            #print (data)
            pass  

    def handle_startendtag(self,tag,attrs):
        if tag == 'link':
            print attrs
            for h,v in attrs:
                if h == 'href':
                    #print v
                    pass

yk = hp()
yk.feed(con)
yk.close()

 

 

 

　　HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以handler_开头的函数即可。这几个函数包括：

handle_startendtag  处理开始标签和结束标签
handle_starttag     处理开始标签，比如<xx>
handle_endtag       处理结束标签，比如</xx>
handle_charref      处理特殊字符串，就是以&#开头的，一般是内码表示的字符
handle_entityref    处理一些特殊字符，以&开头的，比如 &nbsp;
handle_data         处理数据，就是<xx>data</xx>中间的那些数据
handle_comment      处理注释
handle_decl         处理<!开头的，比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
handle_pi           处理形如<?instruction>的东西

 

你可能感兴趣的:(抓取网页内容)

  • HtmlEx：HTML高级开发与实战指南 浮华ya
    本文还有配套的精品资源，点击获取简介：HTML是创建网页的基础，而"HtmlEx"项目旨在提升开发者的HTML技能。内容包括HTML5新特性，CSS和JavaScript的深入集成，表单元素的使用和验证，多媒体支持，Web组件，SEO优化，无障碍性实践，HTML模板语言使用，以及与后端框架的集成。通过实践讲解，让开发者在网页开发中更加得心应手。1.HTML基本结构与元素1.1HTML文档结构解析H
  • 研究生养成计划5月1日
    学习：《机器人操作系统》作者：刘相权，张万杰第一章，第二章笔记ROS虽然被称为操作系统，但是真正底层的任务调度，编译，寻址等任务还是由Linux操作系统完成——ROS是一个运行在Linux上的次级操作系统。双系统建议空间在100G以上，分区如下：如果有条件/:这个分区可以设置的大一些截图：shift+prtsc+Fn截取某个区域的图片内容/微信截图Alt+a命令行使用（1）调出终端程序，命令行上下
  • Python 的内置函数 open IMPYLH python笔记
    Python内建函数列表>Python的内置函数openPython的内置函数open()是用于打开文件的重要函数，它提供了与文件系统交互的基本接口。该函数返回一个文件对象（fileobject），可用于读取、写入或追加文件内容。函数签名open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=Tr
  • 独立开发者如何利用开源项目建立个人品牌并变现 AI天才研究院 ChatGPT计算AI人工智能与大数据开源ai
    独立开发者如何利用开源项目建立个人品牌并变现关键词：独立开发者、开源项目、个人品牌、技术变现、社区运营摘要：本文从独立开发者的视角出发，结合真实案例与实战方法论，系统讲解如何通过开源项目打造个人技术品牌，并探索可持续的变现路径。内容涵盖开源项目的选题逻辑、社区运营技巧、品牌传播策略，以及赞助、付费服务等具体变现模式，帮助开发者从“代码生产者”升级为“技术品牌主理人”。背景介绍目的和范围在技术圈，“
  • 爬虫基础-urllib库的使用 a little peanut Python3网络爬虫python爬虫开发语言
    注：本文章为学习过程中对知识点的记录，供自己复习使用，也给大家做个参考，如有错误，麻烦指出，大家共同探讨，互相进步。借鉴出处：该文章的路线和主要内容：崔庆才（第2版）python3网络爬虫开发实战bytes类型：https://blog.csdn.net/apple_50618492/article/details/114677967python中文官网：https://docs.python.o
  • 讯飞语音--唤醒Demo 程序小圆_ Android讯飞语音唤醒
    写的第一篇博客,因为最近姐姐说起了一个段子,一男子在地铁站手机找不到了,但是带了蓝牙耳机,耳机还有内容,男子想手机一定还在附近,随即大喊一句,悟空你在哪儿,手机循环回答,我在这.....这时,拿手机那哥们回了男子一个尴尬而不失礼貌的微笑,哈哈所以我想起讯飞语音,就试着写了一下语音唤醒的Demo,也借鉴了很多前辈的博客,就不一一列举了,各位不喜勿喷接下来进入正题,首先在讯飞官网下载对应的SDK,下载
  • 一款wordperss AI免费插件自动内容生成+前端AI交互+文章批量采集 Linkreate 前端人工智能wordpresswordpressAI插件wordpress免费插件wordpress自动发文自动发文源码
    一款LinkreatewordperssAI自动内容生成+前端AI会话窗口交互+文章批量采集免费插件1.SEO优化文章生成关键词驱动的内容生成：用户可以输入关键词或长尾关键词，插件会根据这些关键词生成高质量的SEO优化文章。文章结构清晰，语言自然流畅，符合SEO标准，能够有效提升网站内容的搜索引擎排名。自定义文章长度和要求：用户可以根据需要指定文章的长度（字数）以及对文章的额外要求，例如内容风格、
  • 【功能测试02-测试计划】 子善. 功能测试功能测试
    测试计划主要是用来明确方向，指导测试过程。一般包含以下核心内容：【测试目的】：明确本次测试目的，明确各个模块要做的测工作和实现的功能【测试范围】：在当前敏捷开发模式下，在每个迭代的计划环节，规定测试范围能提高效率。测试的时间和资源都是有限的，所以必须明确“测什么”和“不测什么”。【测试策略】：我们后面开展测试的思路，明确“先测什么，后测什么”和“如何来测”，需要说明采用什么测试类型和测试方法，测试
  • 如何在宝塔面板中配置SSL证书？ 奔跑吧邓邓子 高效运维ssl服务器网络协议
    提示：“奔跑吧邓邓子”的高效运维专栏聚焦于各类运维场景中的实际操作与问题解决。内容涵盖服务器硬件（如IBMSystem3650M5）、云服务平台（如腾讯云、华为云）、服务器软件（如Nginx、Apache、GitLab、Redis、Elasticsearch、Kubernetes、Docker等）、开发工具（如Git、HBuilder）以及网络安全（如挖矿病毒排查、SSL证书配置）等多个方面。无论
  • 【Go】入门Go应该怎么学 CodeWithMe Gogolang开发语言后端
    Go语言学习路线图一、为什么学Go？简洁、直观，容易上手，语法像C又比C简洁天然支持并发（goroutine+channel）编译速度快、跨平台强、部署简单（一个二进制）在云原生（K8s）、微服务、工具链开发领域非常受欢迎拥有丰富的标准库与成熟的社区二、学习阶段与资源第一阶段：Go基础语法&核心概念内容：变量、常量、类型流程控制（if、for、switch）数组、切片、map、字符串函数、返回值、
  • 面向大语言模型幻觉的关键数据集：系统性综述与分类法 致Great 语言模型人工智能自然语言处理
    面向大语言模型幻觉的关键数据集：系统性综述与分类法摘要大语言模型（LargeLanguageModels,LLMs）在自然语言处理的多个领域取得了革命性进展，但其固有的“幻觉”问题——即生成看似合理但与事实不符或与上下文无关的内容——严重制约了其在关键应用中的可靠性与安全性。为了系统性地评估、理解并缓解LLM的幻觉现象，学术界和工业界开发了大量多样化的数据集与基准。本文对大模型幻觉领域的关键数据集
  • 软件测试分类 @旺仔牛奶 功能测试
    目录一、按测试技术划分1、白盒测试2、黑盒测试3、灰盒测试二、按测试阶段划分1、单元测试2、集成测试3、系统测试4、验收测试（正式验收测试、Apha测试、Beta测试）三、按被测试对象是否运行划分1、动态测试2、静态测试四、按不同的测试手段划分1、手工测试2、自动化测试五、按软件质量特性内容划分1、功能测试（界面测试）2、可靠性测试3、易用性测试4、性能测试（负载测试、压力测试、并发测试、稳定性测
  • 【锂电池SOC估计】 Matlab基于BP神经网络的锂电池SOC估计 天天Matlab代码科研顾问 matlab神经网络开发语言
    ✅作者简介：热爱数据处理、数学建模、算法创新的Matlab仿真开发者。更多Matlab代码及仿真咨询内容点击：Matlab科研工作室个人信条：格物致知。内容介绍摘要:电池荷电状态(StateofCharge,SOC)的精确估计对于电动汽车、储能系统等应用至关重要。传统的SOC估计方法存在精度受限、算法复杂等问题。本文提出了一种基于反向传播(BackPropagation,BP)神经网络的锂电池SO
  • Unity引擎开发：VR渲染技术_（19）.VR项目实例开发 chenlz2007 虚拟现实游戏2unityvrlucene游戏引擎json全文检索
    VR项目实例开发在本节中，我们将通过一个具体的虚拟现实项目实例，详细介绍如何在Unity引擎中实现VR渲染技术。我们将从项目的基本设置开始，逐步讲解如何创建VR场景、配置相机、添加交互元素、优化性能等方面的内容。通过本节的学习，您将能够掌握在Unity中开发VR项目的基本流程和技术要点。1.项目基本设置1.1创建新的VR项目首先，打开UnityHub并创建一个新的项目。选择“3D”模板，然后在项目
  • 分类预测 | MATLAB实现BP神经网络多特征分类预测 matlab科研社 分类matlab神经网络
    ✅作者简介：热爱数据处理、数学建模、仿真设计、论文复现、算法创新的Matlab仿真开发者。更多Matlab代码及仿真咨询内容点击主页：Matlab科研工作室个人信条：格物致知，期刊达人。内容介绍近年来，随着大数据时代的到来以及计算能力的显著提升，人工智能技术得到了飞速发展。在众多人工智能算法中，反向传播神经网络（BackPropagationNeuralNetwork,BP神经网络）凭借其强大的非
  • AI测试方法 二狗子82 ai功能测试测试用例AIGC
    1.创建高质量的测试数据集为了验证标签的准确性，需要构建一个丰富的测试数据集。该数据集应包括多种场景和风格的输入文本：正常对话、非正式对话、含有拼写错误或语法问题的文本等。包括模棱两可或复杂情境的文本，看看模型是否能正确分类。确保数据集中有足够的标签种类分布，这样可以测试模型是否能应对不同类别的文本内容。2.多轮对话的上下文跟踪对于涉及多轮对话或长文本的情况，模型需要正确理解整个对话的上下文。例如
  • 非结构化文档的自动化敏感标识方法技术解析 KKKlucifer 自动化运维
    在数字化时代，企业与组织面临的数据形态正发生深刻变革。据统计，非结构化数据占企业数据总量的80%以上，涵盖文本、邮件、PDF、日志、社交媒体内容等多种形式。这些数据中往往蕴含着大量敏感信息，如个人身份信息、商业机密、医疗记录等，一旦泄露将造成严重的安全风险。然而，非结构化文档缺乏统一的数据模型和格式规范，传统基于结构化数据的敏感信息识别方法难以直接应用，面临着三大核心挑战：语义理解复杂性：自然语言
  • 鸿蒙OpenHarmony【slot插槽】自定义组件 我爱一条柴ya 鸿蒙开发日记harmonyos鸿蒙鸿蒙系统开发语言
    默认插槽自定义组件中通过slot标签来承载父组件中定义的内容，使用slot标签可以更加灵活的控制自定义组件的内容元素，使用方式如下：下面使用父组件定义的内容引用该自定义组件方式如下：父组件中定义的内容具名插槽当自定义组件中需要使用多个插槽时，可通过对插槽命名的方式进行区分，当填充插槽内容时，通过声明插槽名称，将内容加到对应的插槽中。下面使用父组件定义的内容引用该自定义组件方式如下：插入第二个插槽中
  • CMSIS应用于研究指南图文教程 硬小二 《ST32从入门到就业》单片机stm32armKeil
    欢迎点击浏览更多高清视频演示0，概述本文旨在帮助大家理解什么是CMSIS标准和CMSIS标准的基本内容，并为大家深入研究CMSIS提供途径。目录0，概述1，什么是CMSIS标准2，CMSIS文件获取方法3，总结1，什么是CMSIS标准CMSIS英文全程为：CortexMicrocontrollerSoftwareInterfaceStandard可翻译为“微控制器表层软件接口标准”。由于ARM是制
  • HIGRESS插件开发实战：构建自定义网关功能 CarlowZJ Higress
    摘要本文深入探讨HIGRESS插件开发，包括插件架构、开发流程、实战案例等内容。通过详细的代码示例和最佳实践，帮助开发者掌握插件开发技能，实现自定义网关功能。目录插件开发概述开发环境搭建插件架构设计开发流程详解实战案例调试与测试性能优化最佳实践总结与展望1.插件开发概述1.1插件架构插件系统插件加载器插件管理器插件执行器插件生命周期动态加载配置加载插件注册插件发现请求处理响应处理初始化启动停止1.
  • Python实现对WPS协作群进行群消息自动推送 写python的鑫哥 Python课堂wps协作群消息自动推送Python
    前言本文是该专栏的第59篇，后面会持续分享python的各种干货知识，值得关注。相信有些同学在工作或者项目中，都会使用到“WPS协作”作为办公聊天软件。如果说，有些项目的监控预警正好需要你同步到WPS协作群，这个时候需要怎么去做呢？而本文，笔者将基于WPS协作，通过Python来实现对项目中的监控预警，进行群消息的自动推送。废话不多说，具体的细节部分以及完整实现思路，跟着笔者直接往下看正文详细内容
  • LeetCode算法解析：全面掌握编程挑战与面试技能 黄浴
    本文还有配套的精品资源，点击获取简介：LeetCode作为一个在线编程平台，提供了丰富的算法问题，帮助程序员提升编程技能和面试准备。内容覆盖了多种计算机科学领域，包括数据结构和算法，以及各类编程难题。解决这些问题有助于深化对编程语言、数据结构和算法的理解，并提高系统设计和软件开发能力。本解析可能会包含一个名为“leetcode-master”的开源项目，该项目包含了不同编程语言的LeetCode问
  • 2025年最值得关注的十大OCR模型，技术进化与应用突破全面解析！ 蜗牛沐雨 ocr自动化
    光学字符识别（OCR）技术已经完成了从“慢、误差高、功能单一”的旧时代，向“快速、精准、多场景全覆盖”的新纪元转变。今天，OCR不再是简单的图像转文本工具，而是支撑智能办公、文档自动化、跨语言内容处理以及视觉理解的核心技术。尤其在2025年，技术格局发生了显著变化：模型更轻量，支持更复杂的文本结构识别，具备强大的多语言和多模态处理能力，能应对实时场景识别甚至复杂的工业图像分析。本文整合了GitHu
  • 【Numpy总结】第四节：Numpy的切片索引与高级索引 这么神奇 python基础教程numpynumpypython数据分析
    文章目录一、Numpy的切片索引1.1使用slice内置函数（不常用）1.2使用[]切片(常用，***非常重要***)1.2.1**针对一维数组**：1.2.2**针对二维数组**，与一维数组类似，可以用`冒号：`代替所有二、Numpy的高级索引2.1布尔索引(常用，***非常重要***)2.2花式索引一、Numpy的切片索引1.1使用slice内置函数（不常用）ndarray对象的内容可以通过切
  • C#教程（2）———— 各式各样的数据类型 值类型篇 大朋Sir C#教程c#
    C#教程（2）————各式各样的数据类型前言1数据类型概述2值类型2.1数值类型2.1.1整数类型2.2浮点数类型2.3字符类型2.4布尔类型2.5其它值类型2.6sizeof关键字总结前言在上一篇文章中，我们简单介绍了C#语言的历史，并通过一个简单的打印“HelloWorld”的程序，一起了解了C#程序的基本结构，那么在今天，我们将进一步学习更多的内容。我们的现实生活中总是存在着各式各样的数据，
  • Python 图片爬虫实战：从代码解析到应用技巧 维他奶糖61 python爬虫开发语言
    在数字时代，图片资源丰富多样，通过爬虫技术批量获取心仪的图片成为不少人的需求。本文将以爬取彼岸桌面壁纸网4K美女壁纸为例，深入解析Python图片爬虫代码，分享实用技巧，带你轻松掌握图片爬虫技术。一、爬虫实现思路爬虫的核心是模拟浏览器访问网页，解析页面内容，提取所需信息。本次爬虫的流程如下：构建目标网页URL列表，循环访问各页面；发送HTTP请求获取页面内容，解析HTML文档；定位图片元素，提取图
  • 《Python 实现 B 站视频信息爬虫：从批量获取到 CSV 保存》 维他奶糖61 python音视频爬虫
    B站视频信息爬虫实战：用Python批量获取B站视频数据引言在数据分析和内容研究场景中，获取B站视频的标题、播放量、作者等信息是常见需求。本文将介绍如何使用Python编写一个B站视频爬虫，通过DrissionPage库实现自动化数据采集，并保存为CSV格式。相比传统Selenium，DrissionPage的API更简洁，适合快速开发爬虫脚本。技术栈与环境准备核心库：DrissionPage：基
  • FineWeb数据集 frostmelody 人工智能
    FineWeb数据集根据您提供的文档链接，我将对FineWeb数据集进行全面解析。FineWeb是HuggingFace在2024年发布的一项革命性开源AI训练数据集，它通过提供高质量、大规模的数据，打破了AI训练数据的垄断局面。以下解析基于文档内容，分为几个核心部分：FineWeb的定义与规模、其重要性、主要突破点，以及制作过程的全貌。我会在相关部分嵌入文档中的图片，以增强理解。所有图片均来自文
  • Node.js 中的 JWT 认证：从生成到验证的完整指南 盛夏绽放 node.js有问必答后端
    文章目录Node.js中的JWT认证：从生成到验证的完整指南一、JWT是什么？为什么需要它？传统session与JWT对比二、JWT的结构解析三、Node.js中实现JWT1.安装jsonwebtoken包2.生成JWT3.验证JWT4.错误处理大全四、高级应用场景1.刷新令牌机制2.在不同路由中的验证中间件五、安全最佳实践六、常见问题解答七、完整示例代码结语主要内容包括：使用jsonwebtok
  • 通过本地LLM搭建本地RAG TBM矩阵 #AI体系学习人工智能
    整体思路通过ollama下载并搭建本地大预言模型LLM。通过ollama搭建embedding模型。通过langchain文件加载器加载本地内容文件（PDF文件）。通过langchain调用embedding模型进行向量存储和RAG检索。通过langchainprompts实现提示词工程。通过langchain调用LLM模型实现RAG生成，完成对本地文件的分析。准备环境服务器：CentOSLinu
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他