u014373031
u014373031

Python 爬虫的实践运用(1)--爬取百度百科的词条

参考地址:
Python开发简单爬虫
简介:
一共分为5个部分:

  1. spider_main #主程序
  2. UrlManager #url管理
  3. HtmlDownloader #网页下载器
  4. HtmlParser #网页解析器
  5. HtmlOutputer #解析结果输出

具体代码:
spider_main 

#coding utf8

from BaiduBaike import html_download, html_parser, html_outputer, url_Manager

class SpiderMain(object):
    def __init__(self):
        self.urls = url_Manager.UrlManager()
        self.downloader = html_download.HtmlDownloader()
        self.parser = html_parser.HtmlParser()
        self.outputer = html_outputer.HtmlOutputer() 

    def craw(self, root_url):
        count = 1
        self.urls.add_new_url(root_url)
        while self.urls.has_new_url():
            try:
                new_url = self.urls.get_new_url()
                print 'craw %d : %s'% (count,new_url)
                html_cont = self.downloader.download(new_url)
                new_urls ,new_data = self.parser.parse(new_url,html_cont)
                self.urls.add_new_urls(new_urls)
                self.outputer.collect_data(new_data)

                if count == 100:
                    break

                count = count + 1
            except:
                print 'craw failed'            

        self.outputer.output_html()

if __name__ == '__main__':
    root_url = 'http://baike.baidu.com/view/21087\.htm'
    obj_spider = SpiderMain()
    obj_spider.craw(root_url)

UrlManager 

#coding utf8

class UrlManager(object):

    def __init__(self):
        self.new_urls = set()
        self.old_urls = set()

    def add_new_url(self,url):
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)

    def add_new_urls(self,urls):
        if urls is None or len(urls) == 0:
            return
        for url in urls:
            self.add_new_url(url)

    def has_new_url(self):
        return len(self.new_urls) != 0

    def get_new_url(self):
        new_url = self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url

HtmlDownloader:

#coding utf8

import urllib2

class HtmlDownloader(object):
      def download(self, url):
        if url is None:
            return None

        response = urllib2.urlopen(url)

        if response.getcode() != 200:
            return None

        return response.read()

HtmlParser:

#coding utf8
from bs4 import BeautifulSoup
import re
import urlparse
from test.inspect_fodder import Tit

class HtmlParser(object):

    def _get_new_urls(self, page_url, soup):
        new_urls = set()
        #21087
        links = soup.find_all('a', href=re.compile(r'/view/\d+\.htm'))
        for link in links:
            new_url = link['href']
            new_full_url = urlparse.urljoin(page_url, new_url)
            new_urls.add(new_full_url)
        return new_urls 

    def _get_new_data(self, page_url, soup):
        res_data = {}

        res_data['url'] = page_url

        title_node = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1')
        res_data['title'] = title_node.get_text()

        summary_node = soup.find('div', class_='lemma-summary')
        res_data['summary'] =  summary_node.get_text()

        return res_data

    def parse(self, page_url, html_cont):
        if page_url is None or html_cont is None:
            return

        soup = BeautifulSoup(html_cont, 'html.parser',from_encoding='utf-8')
        new_urls = self._get_new_urls(page_url,soup)
        new_data = self._get_new_data(page_url,soup)
        return new_urls, new_data

HtmlOutputer :

#coding utf8

class HtmlOutputer(object):
    def __init__(self):
        self.datas = []

    def collect_data(self, data):
        if data is None:
            return
        self.datas.append(data)

    def output_html(self):
        fout = open('output.html','w')

        fout.write('<html>')
        fout.write('<meta charset="utf-8">')
        fout.write('<body>')
        fout.write('<table>')   
        for data in self.datas:
            fout.write('<tr>')
            fout.write('<td>%s</td>' % data['url'])
            fout.write('<td>%s</td>' % data['title'].encode('utf-8'))
            fout.write('<td>%s</td>' % data['summary'].encode('utf-8'))
            fout.write('</tr>')

        fout.write('</table>')
        fout.write('</body>')
        fout.write('</html>')

结果展示:
Python 爬虫的实践运用(1)--爬取百度百科的词条_第1张图片

你可能感兴趣的:(python,爬虫)

  • 基于pytorch的卷积神经网络量化实现 踟蹰横渡口,彳亍上滩舟。 pytorch量化感知训练稀疏训练模型剪枝学习教程深度学习神经网络机器学习pytorch
    #卷积神经网络量化1，神经网络和卷积神经网络模型量化方法，主要包括线性量化和聚类量化两种方法。2，可指定模型进行定点话，并输出量化后参数统计和finetune，可设置任意bit量化。3，支持MLP,Lenet,Alexnet,VGG,GoogleNet系列,Resnet系列，MobileNet系列的量化。下载地址：下载地址#部分代码--线性量化#!/usr/bin/envpython#coding
  • 2025最新版：用Python快速上手人工智能与机器学习 请为小H留灯 人工智能python机器学习
    一、前言1.1AI与机器学习的崛起1.2Python的独特优势二、迈入机器学习世界2.1机器学习概述2.1.1机器学习的分类与应用领域2.2监督学习2.2.1线性回归与决策树2.2.2支持向量机与随机森林2.3无监督学习2.3.1聚类与降维2.3.2自组织映射与关联规则2.4模型评估与调优：2.4.1交叉验证与超参数调优的常见技巧三、深度学习揭秘3.1深度学习基础3.1.1深度学习的关键概念与应用
  • 逆向爬虫-筑基篇-第一层-陆-字典-004 蓝花楹下 逆向爬虫爬虫开发语言python
    第一层python筑基字典键之遍历夫治国如驭键，循名责实，不可偏废。`keys()`之法，犹商君之"名分定而物不争"，可遍历键名而不涉其值。观此例：favorite_languages={  "jen":"python", #名jen者，执python之器  "sarah":"c",  #名sarah者，持c之兵  "edward":"rust",#名edward者，操rust之术  "phil"
  • （头歌作业—python）3.2 个人所得税计算器(project) 摸鱼码 python开发语言
    第1关：个人所得税计算器任务描述本关任务：编写一个个人所得税计算器的小程序。相关知识个人所得税缴纳标准2018年10月1日以前，个税免征额为3500元/月，调整后，个税免征额为5000元/月，7级超额累进个人所得税税率表如下：全月应纳税所得额（含税级距）税率(%)速算扣除数不超过3,000元30超过3,000元至12,000元的部分10210超过12,000元至25,000元的部分201,410超
  • 深入解析Python爬虫：抓取直播平台数据，包括观众数、弹幕等信息 Python爬虫项目 2025年爬虫实战项目python爬虫开发语言java大数据
    引言随着直播行业的快速发展，直播平台成为了许多人分享与互动的地方。直播平台上不仅有精彩的内容，还有实时的观众互动、弹幕交流等重要数据。这些数据对于分析直播趋势、用户行为以及提升直播内容质量有着重要的价值。因此，如何通过Python爬虫抓取直播平台上的直播数据，尤其是观众数、弹幕内容等，成为了数据分析和机器学习中非常有趣且实用的任务。在本文中，我们将介绍如何使用Python构建一个高效的爬虫，抓取直
  • 基于python爬虫：requests+BeautifulSoup+MySQL/MongoDB（或：CSV、JSON等格式的文件）+... Test-Sunny python爬虫beautifulsoup
    爬虫技术（基于python介绍）-应用场景数据抓取、数据挖掘、搜索引擎优化http协议通过HTTP请求来获取网页数据-编程语言pythonpython库数据请求与解析requests、BeautifulSoup、Scrapy等requests（Python）：用于发送HTTP请求。BeautifulSoup：用于解析HTML和XML文档-数据存储数据库（如MySQL、MongoDB）：用于存储抓取
  • Python爬虫：开启数据抓取的奇幻之旅（一） 小周不想卷 python
    目录一、爬虫初印象：揭开神秘面纱二、工欲善其事：前期准备（一）Python环境搭建1.下载Python安装包：2.运行安装程序：3.配置环境变量（若自动添加失败）：（二）开发工具推荐1.PyCharm：2.JupyterNotebook：（三）必备库安装1.requests库：2.BeautifulSoup4库：3.Scrapy框架：4.Selenium库：三、爬虫原理剖析：探寻内在机制（一）发起
  • python切换安装源为国内源的方法 yy5560 pythonpython机器学习
    嫌pythonr的pip安装实在太慢了，下面直接更换为国内源，速度会飞起来。具体方法为：第一步，根据当前用户创建pip.ini文件，如果没有，则新建pip.ini即可，不论python安装在哪个目录，只要新建这个即可。win系统C盘C:\Users\Administrator.PC文件夹下直接创建文件夹pip再创建pip.ini文件第二步，pip.ini文件写入保存即可，这里是阿里云[global
  • python更换国内镜像源三种实用方法 乒乓球爱好AI python开发语言pip
    方法1：（永久更改）在python的命令提示符中运行以下语句，该条语句将pip的下载源永久更改为某个镜像站，这里以清华大学开源镜像站为例：pipconfigsetglobal.index-urlhttps://pypi.tuna.tsinghua.edu.cn/simple/方法2：（永久更改）windows环境下，在用户目录中创建一个文件夹，该文件夹的命名为pip；在该pip文件夹中新建一个文件
  • Python更改为国内源 ZHOUZAIHUI Python
    常见的国内源：清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/simple/中国科技大学https://pypi.mirrors.ustc.edu.cn/simple/豆瓣：http://pypi.douban.com/simple/在Linux系统中，修改~/.pip/pip.conf文件
  • 洛谷 深基 第1部分 语言入门 第2章 顺序结构程序设计 dllglvzhenfeng 【入门2】分支结构计算机考研机试洛谷算法计算机考研CSP-J人工智能信奥
    P5703【深基2.例5】苹果采购【深基2.例5】苹果采购-洛谷P5703【深基2.例5】苹果采购（python3实现）P5703【深基2.例5】苹果采购（python3实现）_青少年趣味编程-CSDN博客P5703【深基2.例5】苹果采购（python3实现）--2022.01.29P5703【深基2.例5】苹果采购（python3实现）--2022.01.29_青少年趣味编程-CSDN博客P5
  • LangChain入门：用Python构建大语言模型应用的完整指南 Python程序员罗宾 langchainpython语言模型自然语言处理人工智能开源架构
    在两年的人工智能的浪潮中，大语言模型（如GPT）正逐渐改变我们与技术互动的方式。然而，如何将这些强大的模型应用到实际场景中，仍然是一个挑战。这就是LangChain的用武之地。LangChain是一个用Python构建的框架，旨在帮助开发者轻松集成和扩展大语言模型，构建智能应用。今天，我们将一起探索LangChain的核心功能，并学习如何使用它来构建自己的大语言模型应用。前排提示，文末有大模型AG
  • 洛谷题单1-P5706 【深基2.例8】再分肥宅水-python-流程图重构 独好紫罗兰 LuoGu-pythonpython开发语言算法
    题目描述现在有ttt毫升肥宅快乐水，要均分给nnn名同学。每名同学需要222个杯子。现在想知道每名同学可以获得多少毫升饮料（严格精确到小数点后333位），以及一共需要多少个杯子。输入格式输入一个实数ttt和一个正整数nnn，使用空格隔开。输出格式输出两行。第一行输出一个三位小数，表示可以获得多少毫升饮料。第二行输出一个正整数，表示一共需要多少个杯子。输入输出样例输入500.03输出166.6676
  • 洛谷题单1-P5705 【深基2.例7】数字反转-python-流程图重构 独好紫罗兰 LuoGu-pythonpython算法开发语言
    题目描述输入一个不小于100100100且小于100010001000，同时包括小数点后一位的一个浮点数，例如123.4123.4123.4，要求把这个数字翻转过来，变成4.3214.3214.321并输出。输入格式一行一个浮点数输出格式一行一个浮点数输入输出样例输入123.4输出4.321方式-字符串反转代码classSolution:@staticmethoddefoi_input():"""
  • python爬虫与pyecharts数据可视化 不想被人懂的x python爬虫信息可视化
    一、爬虫介绍1、爬虫定义网络爬虫:又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取网络信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。通俗理解:简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来.就像一只虫子在一幢楼里不知疲倦地爬来爬去.百度:其实就是利用了这种爬虫技术,每天放出无数爬
  • Python实现MySQL数据库对象的血缘分析 weixin_30777913 数据库pythonmysql开发语言
    Python控制台的程序，实现遍历MySQL中所有的SQL对象（表、视图、用户定义函数、存储过程和触发器等），并取得它们之间之前的依赖性关系，并列出三张表，第一张表的第一列是所有的SQL对象名称，第二列是它的数据的生成路径，路径中的相邻SQL对象之间用“->”隔开，如果有多条路径，就存储多条记录，第二张表是根据依赖性生成所有表的列表，依懒性从上到下依次递增，第三张表是根据依赖性生成所有第二张表中表
  • [推荐了解]各类游戏引擎入门选择说明 CodeCaptain CocosCreator经验分享游戏
    开发一款属于自己的游戏其实是很多人的梦想，但市面上如此多的引擎如何选择却是很多人入门前的难题。因此，简单做了关于Godot、CocosCreator、Unity以及其他几类游戏引擎的学习曲线、未来发展趋势等信息的总结，以供参考。1.Godot•学习曲线：•初学者友好：Godot的学习曲线较为平缓，适合初学者和中级开发者。它使用GDScript作为主要的脚本语言，与Python语法相似，易于上手。•
  • Match-Case，Python中if-elif-else的最大竞争对手 橙色小博 python的学习之旅python数据库开发语言
    目录1.前言2.if-elif-else？switch-case？match-case！3.MatchCase基础语法4.MatchCase模式匹配的高级特性4.1字面量模式：精确匹配特定值4.2变量模式：捕获值并赋值给变量4.3序列模式：匹配序列中的元素4.4映射模式：匹配字典中的键值对4.5类模式：匹配对象的属性5.MatchCase的实际应用5.1简化命令（两个例子）1）处理用户输入2）处理
  • 开发环境详解：那么多教搭建环境的文章视频，你有没有想过编程为什么要搭建环境？搭建环境一套操作下来究竟干了什么？ 北子ALF Pythonpytorchtensorflowpythonc语言c++青少年编程开发语言
    1.初识"环境"概念1.狭义理解：一个环境就是一个解释器或编译器搭建环境这件事，可能大部分人开始学python时才会注意到，而之前学C或C++的时候不太理会这回事，这是由于python语言的新颖性和特殊性，使得“环境”似乎更被强调了，具体我们后面细说。大部分学校计算机专业会从C开始，为的就是能对编程概念如编译、解释、调试、IDE这些基本概念以及程序从人写代码到机器执行的过程有个大体的认识，便于后面
  • linux里安装pip和conda Monee.. 做项目全流程的完整踩坑史linuxpipconda
    安装pip1.更新包管理器：打开终端并输入以下命令来更新包管理器：sudoaptupdate2.安装pip：对于Python3，使用以下命令安装pip：sudoaptinstallpython3-pip安装完成后，你可以通过以下命令验证安装：pip3--version安装CondaConda通常通过Anaconda或Miniconda来安装。Miniconda是一个较小的安装包，适合只需要Cond
  • Python3特殊变量及用法详解 晚枫~ python开发语言
    Python中有许多特殊变量和方法，它们通常以双下划线开头和结尾。这些特殊变量和方法在Python中有特定的用途，通常用于实现类的某些行为，支持运算符重载，以及提供有关对象的元信息。以下是一些常见的特殊变量和方法：特殊变量__name__:指示模块的名称。当模块被直接运行时，__name__的值为"__main__"。如果模块被导入，则__name__的值为模块的名称。_name_的用法：1、当模
  • Python中try except else finally语句用于捕捉和处理异常（错误） 上趣工作室 pythonpython开发语言
    在Python中，try语句用于捕捉和处理异常（错误）。try块中放置可能会引发异常的代码，同时可以用except块捕获并处理这些异常。下面是一些常见的try语句的写法和示例。基本结构try:#可能引发异常的代码result=10/0#这将引发一个ZeroDivisionErrorexceptZeroDivisionError:#处理特定的异常类型print("错误:不能除以零")exceptEx
  • 关于Python和Matlab之间通信相关问题 做完课题就打工 matlabpython开发语言
    在进行通信之前需要进行相关准备工作：查询自己电脑的ip地址，调出电脑的终端输入ipconfig，IPV4地址就是自己电脑的ip端口号用默认的就行，保持服务器端和客户端一致即可本次通信只用于一台电脑上的python和matlab，两台电脑之间通信可以用一根网线,改变电脑ip地址的方法,将两台电脑ping通(终端输入ping+ip查询是否可以进行数据连接)，然后就可以通信（后续实验以后在分享）进行通信
  • 202209青少年软件编程（Python） 等级考试试卷（一级） MarcoPage Python考级真题解析python数据库开发语言
    第1题【单选题】表达式len(“学史明理增信，读史终生受益”)>len("readinghistorywillbenefityou")的结果是？（）A:0B:TrueC:FalseD:1正确答案:C试题解析:第2题【单选题】在turtle画图中，常常使用turtle.color(color1,color2)指令进行画笔颜色和填充颜色的设置，下列关于该指令使用正确的是？（）A:turtle.colo
  • [MRCTF2020]pyFlag(详解附送多个python脚本) 迟来的幸运 python开发语言
    Hex：FFD95B5365637265742046696C65205061727420313A5DASCII：ÿÙ[SecretFilePart1:]发现Setsuna.jpg尾部有多余的一部分有左侧窗口pk头，前有一段ÿÙ[SecretFilePart1:]，提示是第一部分Hex：FFD95B5365637265742046696C65205061727420323A5DASCII：ÿÙ[Se
  • Linux Shell脚本自动化编程实战【1.3 bash中调用python expect】 wallacegen bashlinux自动化
    在bash中调用python#!/usr/bin/bashping-c1114.114.114.114>/dev/null&&echo"success"/usr/bin/python<<-EOFprint("helloworld")EOFecho"hellobash"1.将python代码交给python解释器来执行2.EOF只是一个标记，换成<
  • python下载m3u8格式视频 fengchengwu2012 devopspython开发语言m3u8
    一、安装m3u8库pipinstallrequestspipinstallrequestsm3u8二、编码实现importosimportreimportrequestsimportsubprocess#下载ts文件defdown_ts_file(base_url,m3u8_url,download_dir):#从m3u8文件中获取所有ts的分片名称信息response=requests.get(
  • python制作简单小游戏代码 gpt886 pygamepython开发语言人工智能
    这篇文章主要介绍了python制作简单小游戏代码，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获，下面让小编带着大家一起了解一下。本篇文章给大家谈谈如何用python编写一个简单的小游戏，以及如何用Python做小游戏让别人玩，希望对各位有所帮助，不要忘了收藏本站喔。1、小恐龙玩法：上下控制起跳躲避importcfgimportsysimportrandomimportp
  • python安装方法 郭仙玲 笔记
    python安装方法1.搜索“Python”进入官网，然后选中“Download”。2.进入“Download”页面，可以看到“DownloadPythonx.x.x”，单击就可以下载这个版本的Python安装包。3.双击我们下载的安装包。首先一定要勾选如图红色的地方，方便添加path路径。4.如图所示红色方框，是Python默认安装的选项。5.如果想要自定义安装，可以选择下面的选项。6.接着勾选
  • Redis in Python-----redis module sys_song Pythonredis
    Redis学习Redis是一种Key-value数据库，支持多种语言，当然，包括Python，python中包含redismodule。1）首先，我们安装redis，下载redis源代码：http://pypi.python.org/pypi?%3Aaction=search&term=redis&submit=search源码下载完成后，执行pythonsetup.pyinstall命令，完成安
  • 枚举的构造函数中抛出异常会怎样 bylijinnan javaenum单例
    首先从使用enum实现单例说起。 为什么要用enum来实现单例？ 这篇文章（ http://javarevisited.blogspot.sg/2012/07/why-enum-singleton-are-better-in-java.html）阐述了三个理由： 1.enum单例简单、容易，只需几行代码： public enum Singleton { INSTANCE;
  • CMake 教程 aigo C++
    转自：http://xiang.lf.blog.163.com/blog/static/127733322201481114456136/   CMake是一个跨平台的程序构建工具，比如起自己编写Makefile方便很多。 介绍：http://baike.baidu.com/view/1126160.htm 本文件不介绍CMake的基本语法，下面是篇不错的入门教程： http:
  • cvc-complex-type.2.3: Element 'beans' cannot have character Cb123456 springWebgis
      cvc-complex-type.2.3: Element 'beans' cannot have character     Line 33 in XML document from ServletContext resource [/WEB-INF/backend-servlet.xml] is i
  • jquery实例:随页面滚动条滚动而自动加载内容 120153216 jquery
    <script language="javascript"> $(function (){ var i = 4;$(window).bind("scroll", function (event){ //滚动条到网页头部的 高度，兼容ie,ff,chrome var top = document.documentElement.s
  • 将数据库中的数据转换成dbs文件 何必如此 sqldbs
    旗正规则引擎通过数据库配置器（DataBuilder）来管理数据库，无论是Oracle，还是其他主流的数据都支持，操作方式是一样的。旗正规则引擎的数据库配置器是用于编辑数据库结构信息以及管理数据库表数据，并且可以执行SQL 语句，主要功能如下。 1)数据库生成表结构信息：         主要生成数据库配置文件(.conf文
  • 在IBATIS中配置SQL语句的IN方式 357029540 ibatis
    在使用IBATIS进行SQL语句配置查询时，我们一定会遇到通过IN查询的地方，在使用IN查询时我们可以有两种方式进行配置参数：String和List。具体使用方式如下： 1.String:定义一个String的参数userIds，把这个参数传入IBATIS的sql配置文件，sql语句就可以这样写： <select id="getForms" param
  • Spring3 MVC 笔记（一） 7454103 springmvcbeanRESTJSF
             自从 MVC 这个概念提出来之后 struts1.X  struts2.X   jsf 。。。。。 这个view 层的技术一个接一个！ 都用过！不敢说哪个绝对的强悍！ 要看业务，和整体的设计！      最近公司要求开发个新系统！
  • Timer与Spring Quartz 定时执行程序 darkranger springbean工作quartz
    有时候需要定时触发某一项任务。其实在jdk1.3，java sdk就通过java.util.Timer提供相应的功能。一个简单的例子说明如何使用，很简单： 1、第一步，我们需要建立一项任务，我们的任务需要继承java.util.TimerTask package com.test; import java.text.SimpleDateFormat; import java.util.Date;
  • 大端小端转换，le32_to_cpu 和cpu_to_le32 aijuans C语言相关
    大端小端转换，le32_to_cpu 和cpu_to_le32  字节序 http://oss.org.cn/kernel-book/ldd3/ch11s04.html         小心不要假设字节序. PC 存储多字节值是低字节为先(小端为先, 因此是小端), 一些高级的平台以另一种方式(大端)
  • Nginx负载均衡配置实例详解 avords
    [导读] 负载均衡是我们大流量网站要做的一个东西，下面我来给大家介绍在Nginx服务器上进行负载均衡配置方法，希望对有需要的同学有所帮助哦。负载均衡先来简单了解一下什么是负载均衡，单从字面上的意思来理解就可以解 负载均衡是我们大流量网站要做的一个东西，下面我来给大家介绍在Nginx服务器上进行负载均衡配置方法，希望对有需要的同学有所帮助哦。 负载均衡 先来简单了解一下什么是负载均衡
  • 乱说的 houxinyou 框架敏捷开发软件测试
    从很久以前，大家就研究框架，开发方法，软件工程，好多！反正我是搞不明白！ 这两天看好多人研究敏捷模型，瀑布模型！也没太搞明白. 不过感觉和程序开发语言差不多， 瀑布就是顺序，敏捷就是循环. 瀑布就是需求、分析、设计、编码、测试一步一步走下来。而敏捷就是按摸块或者说迭代做个循环，第个循环中也一样是需求、分析、设计、编码、测试一步一步走下来。 也可以把软件开发理
  • 欣赏的价值——一个小故事 bijian1013 有效辅导欣赏欣赏的价值
    　　第一次参加家长会，幼儿园的老师说："您的儿子有多动症，在板凳上连三分钟都坐不了，你最好带他去医院看一看。"　　回家的路上，儿子问她老师都说了些什么，她鼻子一酸，差点流下泪来。因为全班30位小朋友，惟有他表现最差；惟有对他，老师表现出不屑，然而她还在告诉她的儿子："老师表扬你了，说宝宝原来在板凳上坐不了一分钟，现在能坐三分钟。其他妈妈都非常羡慕妈妈，因为全班只有宝宝
  • 包冲突问题的解决方法 bingyingao eclipsemavenexclusions包冲突
    包冲突是开发过程中很常见的问题： 其表现有： 1.明明在eclipse中能够索引到某个类，运行时却报出找不到类。 2.明明在eclipse中能够索引到某个类的方法，运行时却报出找不到方法。 3.类及方法都有，以正确编译成了.class文件，在本机跑的好好的，发到测试或者正式环境就 抛如下异常： java.lang.NoClassDefFoundError: Could not in
  • 【Spark七十五】Spark Streaming整合Flume-NG三之接入log4j bit1129 Stream
    先来一段废话： 实际工作中，业务系统的日志基本上是使用Log4j写入到日志文件中的，问题的关键之处在于业务日志的格式混乱，这给对日志文件中的日志进行统计分析带来了极大的困难，或者说，基本上无法进行分析，每个人写日志的习惯不同，导致日志行的格式五花八门，最后只能通过grep来查找特定的关键词缩小范围，但是在集群环境下，每个机器去grep一遍，分析一遍，这个效率如何可想之二，大好光阴都浪费在这上面了
  • sudoku solver in Haskell bookjovi sudokuhaskell
    这几天没太多的事做，想着用函数式语言来写点实用的程序，像fib和prime之类的就不想提了（就一行代码的事），写什么程序呢？在网上闲逛时发现sudoku游戏，sudoku十几年前就知道了，学生生涯时也想过用C/Java来实现个智能求解，但到最后往往没写成，主要是用C/Java写的话会很麻烦。   现在写程序，本人总是有一种思维惯性，总是想把程序写的更紧凑，更精致，代码行数最少，所以现
  • java apache ftpClient bro_feng java
    最近使用apache的ftpclient插件实现ftp下载，遇见几个问题，做如下总结。 1. 上传阻塞，一连串的上传，其中一个就阻塞了，或是用storeFile上传时返回false。查了点资料，说是FTP有主动模式和被动模式。将传出模式修改为被动模式ftp.enterLocalPassiveMode();然后就好了。 看了网上相关介绍，对主动模式和被动模式区别还是比较的模糊，不太了解被动模
  • 读《研磨设计模式》-代码笔记-工厂方法模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 工厂方法模式：使一个类的实例化延迟到子类 * 某次，我在工作不知不觉中就用到了工厂方法模式（称为模板方法模式更恰当。2012-10-29）： * 有很多不同的产品，它
  • 面试记录语 chenyu19891124 招聘
    或许真的在一个平台上成长成什么样，都必须靠自己去努力。有了好的平台让自己展示，就该好好努力。今天是自己单独一次去面试别人，感觉有点小紧张，说话有点打结。在面试完后写面试情况表，下笔真的好难，尤其是要对面试人的情况说明真的好难。 今天面试的是自己同事的同事，现在的这个同事要离职了，介绍了我现在这位同事以前的同事来面试。今天这位求职者面试的是配置管理，期初看了简历觉得应该很适合做配置管理，但是今天面
  • Fire Workflow 1.0正式版终于发布了 comsci 工作workflowGoogle
    Fire Workflow 是国内另外一款开源工作流，作者是著名的非也同志，哈哈.... 官方网站是 http://www.fireflow.org 经过大家努力,Fire Workflow 1.0正式版终于发布了 正式版主要变化: 1、增加IWorkItem.jumpToEx(...)方法，取消了当前环节和目标环节必须在同一条执行线的限制，使得自由流更加自由 2、增加IT
  • Python向脚本传参 daizj python脚本传参
    如果想对python脚本传参数，python中对应的argc, argv(c语言的命令行参数)是什么呢？ 需要模块：sys 参数个数：len(sys.argv) 脚本名：    sys.argv[0] 参数1：     sys.argv[1] 参数2：     sys.argv[
  • 管理用户分组的命令gpasswd dongwei_6688 passwd
    NAME： gpasswd - administer the /etc/group file SYNOPSIS： gpasswd group gpasswd -a user group gpasswd -d user group gpasswd -R group gpasswd -r group gpasswd [-A user,...] [-M user,...] g
  • 郝斌老师数据结构课程笔记 dcj3sjt126com 数据结构与算法
    <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
  • yii2 cgridview加上选择框进行操作 dcj3sjt126com GridView
    页面代码 <?=Html::beginForm(['controller/bulk'],'post');?> <?=Html::dropDownList('action','',[''=>'Mark selected as: ','c'=>'Confirmed','nc'=>'No Confirmed'],['class'=>'dropdown',])
  • linux mysql fypop linux
    enquiry mysql version in centos linux yum list installed | grep mysql yum -y remove mysql-libs.x86_64 enquiry mysql version in yum repositoryyum list | grep mysql oryum -y list mysql* install mysq
  • Scramble String hcx2013 String
    Given a string s1, we may represent it as a binary tree by partitioning it to two non-empty substrings recursively. Below is one possible representation of s1 = "great":
  • 跟我学Shiro目录贴 jinnianshilongnian 跟我学shiro
    历经三个月左右时间，《跟我学Shiro》系列教程已经完结，暂时没有需要补充的内容，因此生成PDF版供大家下载。最近项目比较紧，没有时间解答一些疑问，暂时无法回复一些问题，很抱歉，不过可以加群（334194438/348194195）一起讨论问题。     ----广告-----------------------------------------------------
  • nginx日志切割并使用flume-ng收集日志 liyonghui160com
         nginx的日志文件没有rotate功能。如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件。第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linux是靠文件描述符而不是文件名定位文件。第二步向nginx主
  • Oracle死锁解决方法 pda158 oracle
    　select p.spid,c.object_name,b.session_id,b.oracle_username,b.os_user_name from v$process p,v$session a, v$locked_object b,all_objects c where p.addr=a.paddr and a.process=b.process and c.object_id=b.
  • java之List排序 shiguanghui list排序
       在Java Collection Framework中定义的List实现有Vector，ArrayList和LinkedList。这些集合提供了对对象组的索引访问。他们提供了元素的添加与删除支持。然而，它们并没有内置的元素排序支持。 　　你能够使用java.util.Collections类中的sort()方法对List元素进行排序。你既可以给方法传递
  • servlet单例多线程 utopialxw 单例多线程servlet
    转自http://www.cnblogs.com/yjhrem/articles/3160864.html 和   http://blog.chinaunix.net/uid-7374279-id-3687149.html Servlet 单例多线程 Servlet如何处理多个请求访问？Servlet容器默认是采用单实例多线程的方式处理多个请求的：1.当web服务器启动的
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他