吃着东西不想停

Python爬虫实战：爬取淘女郎照片

本篇目标

抓取淘宝MM的姓名，头像，年龄
抓取每一个MM的资料简介以及写真图片
把每一个MM的写真图片按照文件夹保存到本地
熟悉文件保存的过程

PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取

1.URL的格式

在这里我们用到的URL是 http://mm.taobao.com/json/request_top_list.htm?page=1，问号前面是基地址，后面的参数page是代表第几页，可以随意更换地址。点击开之后，会发现有一些淘宝MM的简介，并附有超链接链接到个人详情页面。

我们需要抓取本页面的头像地址，MM姓名，MM年龄，MM居住地，以及MM的个人详情页面地址。

2.抓取简要信息

相信大家经过上几次的实战，对抓取和提取页面的地址已经非常熟悉了，这里没有什么难度了，我们首先抓取本页面的MM详情页面地址，姓名，年龄等等的信息打印出来，直接贴代码如下

import urllib
import urllib2
import re

class Spider:

    def __init__(self):
        self.siteURL = 'http://mm.taobao.com/json/request_top_list.htm'

    def getPage(self,pageIndex):
        url = self.siteURL + "?page=" + str(pageIndex)
        print url
        request = urllib2.Request(url)
        response = urllib2.urlopen(request)
        return response.read().decode('gbk')

    def getContents(self,pageIndex):
        page = self.getPage(pageIndex)
        pattern = re.compile('.*?(.*?).*?(.*?)',re.S)
        items = re.findall(pattern,page)
        for item in items:
            print item[0],item[1],item[2],item[3],item[4]

spider = Spider()
spider.getContents(1)

运行结果如下

3.文件写入简介

在这里，我们有写入图片和写入文本两种方式

1）写入图片

#传入图片地址，文件名，保存单张图片
def saveImg(self,imageURL,fileName):
     u = urllib.urlopen(imageURL)
     data = u.read()
     f = open(fileName, 'wb')
     f.write(data)
     f.close()

2）写入文本

def saveBrief(self,content,name):
    fileName = name + "/" + name + ".txt"
    f = open(fileName,"w+")
    print u"正在偷偷保存她的个人信息为",fileName
    f.write(content.encode('utf-8'))

3）创建新目录

#创建新目录
def mkdir(self,path):
    path = path.strip()
    # 判断路径是否存在
    # 存在     True
    # 不存在   False
    isExists=os.path.exists(path)
    # 判断结果
    if not isExists:
        # 如果不存在则创建目录
        # 创建目录操作函数
        os.makedirs(path)
        return True
    else:
        # 如果目录存在则不创建，并提示目录已存在
        return False

4.代码完善

主要的知识点已经在前面都涉及到了，如果大家前面的章节都已经看了，完成这个爬虫不在话下，具体的详情在此不再赘述，直接帖代码啦。

spider.py

import urllib
import urllib2
import re
import tool
import os

#抓取MM
class Spider:

    #页面初始化
    def __init__(self):
        self.siteURL = 'http://mm.taobao.com/json/request_top_list.htm'
        self.tool = tool.Tool()

    #获取索引页面的内容
    def getPage(self,pageIndex):
        url = self.siteURL + "?page=" + str(pageIndex)
        request = urllib2.Request(url)
        response = urllib2.urlopen(request)
        return response.read().decode('gbk')

    #获取索引界面所有MM的信息，list格式
    def getContents(self,pageIndex):
        page = self.getPage(pageIndex)
        pattern = re.compile('.*?(.*?).*?(.*?)',re.S)
        items = re.findall(pattern,page)
        contents = []
        for item in items:
            contents.append([item[0],item[1],item[2],item[3],item[4]])
        return contents

    #获取MM个人详情页面
    def getDetailPage(self,infoURL):
        response = urllib2.urlopen(infoURL)
        return response.read().decode('gbk')

    #获取个人文字简介
    def getBrief(self,page):
        pattern = re.compile('(.*?)

你可能感兴趣的:(Python爬虫实战：爬取淘女郎照片)

工作室线下培训余清华乐平一小
今天上午八点左右，在乐平市第十一小学进行了＂名师工作室线下培训会＂。会议主要由蒋铭国老师和杨晓玲校长组织起来的活动。会议一共有四个阶段：第一阶段互相认识大家坐在一起自我介绍，许多老师介绍的非常好，我比较腼腆简单地说了学校和名字。杨校长说我讲的太快了连照片都来不及拍呢！第二阶段拍照留念杨校长找来了专业的摄影师给大家拍团队照、小组照及个人照，作为工作室里的图片资料。在这个阶段里，大家进一步互相认识有说
打车优惠券领取公众号？滴滴出行优惠券领取方式氧惠评测
滴滴出行优惠券的领取方式多种多样，以下是几种常见的领取途径：月入十万必看！都在挣钱！推荐几个月入几千到几万的靠谱副业项目！（公众号：善士思维笔记）氧惠APP是与以往完全不同的抖客+淘客app！2024全新模式，我的直推也会放到你下面。主打：带货高补贴，深受各位带货团队长喜爱（训练营导师每天出单带货几万单）。注册即可享受高补贴+0撸+捡漏等带货新体验。送万元推广大礼包，教你如何1年做到百万团队。金珊
十年错付江屿乔雪全文免费小说_完结小说推荐十年错付(江屿乔雪) 多多文馆
《十年错付》主角：江屿乔雪简介：七夕当天，老公的女助理乔雪在社交软件更新了一条动态。【节日出差，酒店爆满，被迫和帅气总裁挤一间房！】照片中，她在奢华的酒店房间对镜自拍。她身后的男人只露出一个裹着浴巾的模糊背影，宽肩窄背，肌肉紧实。有人评论：性张力拉满。乔雪回了一个狗头表情，说：嘻嘻，睡到不亏。我点赞了她的回复。几分钟后，乔雪给我打电话，哭哭啼啼地说她只是整活，没别的意思。江屿接过手机，毫不留情地嘲
返利APP佣金比拼：氧惠与粉象生活，谁更胜一筹？氧惠好项目
返利APP佣金对比：氧惠与粉象生活，谁更胜一筹？**尽享优惠，就选氧惠APP——购物、观影、点餐全覆盖！氧惠，一个颠覆传统的优惠平台，将抖客与淘客完美结合，为您带来2024年全新的优惠体验！在这里，您的直接推荐将自动归入您的团队，享受1:1的超级补贴政策——您的朋友自购多少，您就能获得相应的推广奖励，如此强大的激励机制，绝对让您惊喜连连！我们诚挚邀请各位团队长前来体验，共同见证氧惠的非凡魅力。同时
快手打字神器，手机赚钱新模式，一单一结，让你月入过万！氧惠爱高省
在如今这个信息爆炸的时代，手机已经成为了我们生活中不可或缺的一部分。不仅如此，手机还为我们提供了一种全新的赚钱方式——手机打字赚钱。这样的工作模式吸引了许多人，尤其是学生和家庭主妇等有时间限制的人群。本文将为您揭秘手机打字赚钱一单一结的真实情况，带您了解这个热门的行业。大家好，我是氧惠联合创始人七言导师，给大家推荐一款省钱更加赚钱的app——氧惠。氧惠是与以往完全不同的抖客+淘客app！2023全
京东内部优惠券怎么领？京东怎么找内部优惠券？氧惠评测
京东内部优惠券的领取方式多样，以下是一些主要途径和具体步骤：月入十万必看！都在挣钱！推荐几个月入几千到几万的靠谱副业项目！（公众号：善士思维笔记）氧惠APP是与以往完全不同的抖客+淘客app！2024全新模式，我的直推也会放到你下面。主打：带货高补贴，深受各位带货团队长喜爱（训练营导师每天出单带货几万单）。注册即可享受高补贴+0撸+捡漏等带货新体验。送万元推广大礼包，教你如何1年做到百万团队。金珊
利用 Python 爬取小红书热门笔记并进行标签关键词分析程序员威哥最新爬虫实战项目 python 笔记开发语言
一、背景与目标小红书（RED）作为中国最活跃的内容社区之一，拥有大量关于美妆、穿搭、美食、旅游等领域的用户生成内容（UGC）。对于产品、品牌方或研究人员来说，提取热门笔记的标签关键词，可以有效捕捉用户关注点、消费趋势及内容热词。本项目目标：使用Python爬取小红书某个话题下的热门笔记；分析每篇笔记中的标题、正文、标签等字段；利用NLP技术提取高频关键词；对关键词进行可视化与聚类分析。二、技术难点
【全集小说】=《婚礼当天，我将女友还给她的竹马》=全文在线阅读许瑶江澄成哲一米文库
【全集小说】=《婚礼当天，我将女友还给她的竹马》=全文在线阅读许瑶江澄成哲书名：《婚礼当天，我将女友还给她的竹马》主角：许瑶江澄成哲简介：我和许瑶恋爱八年。在婚期前三天，却发现她电脑里存了上万张同一个男生的照片。我偷偷订下婚礼当天出国的机票。静静看着她若无其事地表演。婚礼当天新郎逃婚，她却疯了。————我和许瑶恋爱八年。在婚期前三天，却发现她电脑里存了上万张同一个男生的照片。我偷偷订下婚礼当天出国
四十行Python代码，带你爬取热门音乐评论，制作评论词云图！
请求页面数据driver.get(‘https://music.163.com/#/song?id=569213220’)#selenium无法直接获取到嵌套页面里面的数据switch_to.frame()切换到嵌套网页driver.switch_to.frame(0)让浏览器加载的时候,等待渲染页面driver.implicitly_wait(10)driver.page_source获取请求页
《丈夫的学妹为我接生，害我儿子胎死腹中》(顾雅曲筱筱)全本免费在线阅读~突然翻到老公口袋里的小票，28.9买了两包卫生巾紧接着就发现他的学妹在朋友圈晒出一张同款卫生巾照片配文：谢谢学长在我无助的... 完整版看小说
《丈夫的学妹为我接生，害我儿子胎死腹中》(顾雅曲筱筱)全本免费在线阅读~突然翻到老公口袋里的小票，28.9买了两包卫生巾紧接着就发现他的学妹在朋友圈晒出一张同款卫生巾照片配文：谢谢学长在我无助的时候给了我所有的体面主角配角：顾雅曲筱筱简介：4周云晟能有今天的成就，全靠我家背地里的资助顾及他的自尊，我从没有和他提起过当初怀孕是偶然，周云晟并不想这么早要孩子所以整个孕期他都没有关心过我和肚里的胎儿我只
已完结小说推荐昨日迷途(夏崇光贺诗妍)_昨日迷途(夏崇光贺诗妍)完整版免费阅读大叔书楼
《昨日迷途》主角：夏崇光贺诗妍简介：结婚六周年纪念日，老婆说要为我准备个惊喜。我在山顶苦等三个多小时，直到大雨滂沱都没能等到她的出现。老婆的小竹马却发了一条定位在半山酒店的动态。“小别胜新婚。”照片里，两人躺在撒满玫瑰花瓣的床上十指相扣。女人的无名指上空空如也。半裸的酥胸上，却有几道红红的抓痕和浅浅的牙印。我一阵恶心，在底下评论道：“被狗咬了，记得打破伤风。”关注微信公众号【无极推文】去回复个书号
相机驱动：从按下快门到照片成型的全揭秘你一身傲骨怎能输 Android操作系统数码相机
文章摘要本文用照相馆拍照的比喻形象展示了摄像机驱动的工作流程：用户(App)提出拍照请求，CameraService（前台）接收并转达给HAL层（摄影师），HAL配置参数后交由内核驱动（助手）操作硬件（相机）采集数据。数据经过驱动→HAL→Service→App逐层传回。整个流程分层协作，涵盖应用请求、框架调度、硬件抽象、驱动操作和硬件采集五个关键环节，生动诠释了从用户指令到图像获取的完整链路。一
十大赚钱最快的app(分享3个挣钱快还靠谱的手机赚钱app) 氧券超好用
揭秘十大赚钱最快的App：哪些真正靠谱？随着移动互联网的普及，手机应用已经成为人们生活中不可或缺的一部分。而其中，能够帮助用户赚钱的App也越来越多。今天，我们就来揭秘三大真正靠谱的手机赚钱App，让你轻松赚取零花钱。一、拍拍赚拍拍赚是一款以拍照赚钱为主的App。用户可以通过拍摄商品照片，进行商品识别和分类，为商家提供数据支持。任务简单易做，完成一个任务可以获得1-5元的奖励。而且，拍拍赚的任务数
佣金高的返利APP有哪些?高省和淘粉吧哪个app返利高？高省APP
高省app的返利更高。高省app以其高额的佣金比例和丰富的商家种类脱颖而出，与淘宝、京东、拼多多等主流电商平台深度合作，提供高额的返利优惠。用户反馈显示，高省app的佣金比例普遍高于市场平均水平，甚至在某些特定活动期间能达到极高水平。。此外，高省app还提供多种支付方式，如支付宝、微信等，方便。用户操作；支持分享商品链接赚取额外佣金；拥有大量的优惠券和限时折扣信息。这些特点使得高省app成为自用省
格莱诺日记|2021-05-17 格莱在创作
微信图片_20210517233343.png清晨树下by格莱诺颜色对于照片来说就像是人靠衣装马靠鞍，影响实在太大。所以专心致志学习色彩的运用，当务之急。上午去打新冠疫苗，许多人按集团一起排队注射，很长的队伍，想起国外的现状，这个时候我们朴素的爱国主义就会由内而外散发出来了呢。持续跟进罗翔说刑法，嗯，其实他的视频岂止是说刑法啊，上千万人的粉丝可不是因为大家爱上刑法课，而多数人被他的个人魅力所吸引，
机器学习初学者理论初解 Mikhail_G 机器学习人工智能
大家好!为什么手机相册能自动识别人脸？为什么购物网站总能推荐你喜欢的商品？这些“智能”背后，都藏着一位隐形高手——机器学习（MachineLearning）。一、什么是机器学习？简单说，机器学习是教计算机从数据中自己找规律的技术。就像教孩子认猫：不是直接告诉他“猫有尖耳朵和胡须”，而是给他看100张猫狗照片，让他自己总结出猫的特征。传统程序vs机器学习传统程序：输入规则+数据→输出结果（例：按“温
凡事发生必有利于我！罗菊
大家好，我是菊子，今天给大家分享一本我特别喜欢的书，就是稻盛和夫先生的《活法》。最近一周实在是发生了太多、太多的事情，确实把我轰炸的喘不过气，没有一点间隙，甚至无法发自内心微笑！欠我43万的这个人，我有欠条，可是从上周开始，我已经几乎完全无法联系到他！如果你还活着、这样做的你，能够安然入睡吗？每每看到你身为一名父亲，用你的女儿照片作为的头像，起诉你的开始、我还心有内疚，怕影响孩子的前途！我们同为父
怎么理财每天挣300元?分享5种靠谱方法氧惠好物
有网友求助：老师，您好，向您求助。我是刚毕业的大学生，去年年底辞职，原本想着过完年去找份工作，谁知道爆发疫情，只能被迫呆在家里。好不容易熬到三四月份出来找工作，投了了好多简历，都石沉大海。我在网上看到，好多中小企业，裁员大裁员，降薪的降薪。我在想，即便我找份工作，估计也很难满意。老师，我想请教您，有什么方式，可以日赚300元？氧惠（全网优惠上氧惠）——是与以往完全不同的抖客+淘客app！2022全
在上海如何快速赚钱?人在上海怎么才能赚到大钱氧惠佣金真的高
上海是我们国家的金融中心，很多人都喜欢到上海去发展，因为大家都觉得上海挣钱容易，那么上海挣钱快的路子都有哪些？这几个生意你应该知道。先给大家介绍一个我一直在做的APP，无需押金下载氧惠APP填写邀请码123456即可首先来推荐做淘客赚钱，经过十多年的发展淘客市场非常大，网购用户都是你的目标群体，在氧惠APP创业，大家只要坚持分享就有钱赚。分享出去只要这个人网购，你就有钱赚，虽然前几个月很难，但是坚
python如何抓取网页里面的文字_如何利用python抓取网页文字、图片内容？ weixin_39917437
想必新老python学习者，对爬虫这一概念并不陌生，在如今大数据时代，很多场景都需要利用爬虫去爬取数据，而这刚好时python领域，如何实现？怎么做？一起来看下吧~获取图片：1、当我们浏览这个网站时，会发现，每一个页面的URL都是以网站的域名+page+页数组成，这样我们就可以逐一的访问该网站的网页了。2、当我们看图片列表时中，把鼠标放到图片，右击检查，我们发现，图片的内容由ul包裹的li组成，箭
【2025/07/21】GitHub 今日热门项目 Albert_Lsk Github推荐 github 开源协议人工智能开源
GitHub今日热门项目每日精选优质开源项目|发现优质开源项目，跟上技术发展趋势报告概览统计项数值说明报告日期2025-07-21(周一)GitHubTrending每日快照数据时间21:47:04实时爬取生成项目总数19个精选热门开源项目⭐总星数715.9K社区认可度指标今日热度+9.3K24小时新增关注数据洞察核心指标项目总览19个精选项目⭐社区认可715.9K总星标数今日热度9.3K新增关注
豆瓣电影信息爬虫【2024年6月】教程，赋完整代码桃宝护卫队爬虫 python
豆瓣电影信息爬虫【2024年6月】教程，赋完整代码在本教程中，我们将使用以下技术栈来构建一个爬虫，用于爬取豆瓣电影列表页面的信息：完整代码放到最后；完整代码放到最后；完整代码放到最后；重要的事情说三遍。1.技术栈介绍在本教程中，我们将使用以下技术栈来构建一个爬虫，用于爬取豆瓣电影列表页面的信息：Python:一种广泛使用的高级编程语言，因其简洁的语法和强大的库支持而受到开发者的喜爱。Request
老婆生日当天，我收到她的私房照楚汐刘皓。今晚是老婆的生日，我精心为她准备了礼物。可快要下班的时候，有人匿名给我发了一张女人照片。任何男人看到了都会热血喷涨。可我却浑身冰冷，心在滴血。因为... 小说推书
老婆生日当天，我收到她的私房照楚汐刘皓。今晚是老婆的生日，我精心为她准备了礼物。可快要下班的时候，有人匿名给我发了一张女人照片。任何男人看到了都会热血喷涨。可我却浑身冰冷，心在滴血。因为，那是我老婆。小说主角：楚汐刘皓简介：今晚是老婆的生日，我精心为她准备了礼物。可快要下班的时候，有人匿名给我发了一张女人照片。任何男人看到了都会热血喷涨。可我却浑身冰冷，心在滴血。因为，那是我老婆。----阅读全文
网站藏着的「机器人红绿灯」：5 分钟看懂 Robots 协议 incidite 机器人
你有没有想过：当搜索引擎爬取网站时，是谁在指挥它们“该去哪、不该去哪”？答案就藏在一个名叫Robots协议的简单规则里。这个看似神秘的技术，其实就像网站门口的“交通信号灯”，用几句明文代码就能规范爬虫的行为。今天，我们用5分钟揭开它的面纱，新手也能轻松掌握。什么是Robots协议？简单说，Robots协议是网站给搜索引擎爬虫看的“说明书”。它通过一个名为robots.txt的文本文件，告诉爬虫哪些
天猫淘宝返利app有哪些?高省和淘粉吧哪个app返利高？一起高省
高省app的返利更高。高省app以其高额的佣金比例和丰富的商家种类脱颖而出，与淘宝、京东、拼多多等主流电商平台深度合作，提供高额的返利优惠。用户反馈显示，高省app的佣金比例普遍高于市场平均水平，甚至在某些特定活动期间能达到极高水平。。此外，高省app还提供多种支付方式，如支付宝、微信等，方便。用户操作；支持分享商品链接赚取额外佣金；拥有大量的优惠券和限时折扣信息。这些特点使得高省app成为自用省
【百合GL】《古语有云》第七十七章文物（下）乄渊鹰
严如茗来到隔壁审讯室，看他们还耗着，将古泽瑄的话传达给陶子。终于可以突破他，陶子打起精神，问：“廖伟，廖局认识吧。”看他终于露出一丝慌张，继续说：“他已经被捕了，就在隔壁审讯室，他知道的全都说了。”看他狐凝的看着自己：“不信？”打开手机里的照片，给他看：“这是他被捕的照片，你还是不信，可以带你去隔壁看看。”黄岔看着照片，确认是他，彻底慌了，看来是逃脱不了了，老实交代着：“三年前，罗综找到我，让我帮
抖音外卖怎么点餐?抖音外卖与美团外卖有区别吗? 氧惠爱高省
抖音的功能越来越完善了，大家使用抖音不仅能够帮助商家推广引流，还能完成基本的娱乐功能，外卖就是其中一种，那抖音外卖怎么点餐?接下来我们就来给大家讲解一下这方面的内容。购物、汽车加油、看电影、点外卖、用氧惠APP！更优惠！既能加油又能返利~氧惠（全网优惠上氧惠）——是与以往完全不同的抖客+淘客app！2023全新模式，我的直推也会放到你下面，送1:1超级补贴(邀请好友自购多少，你就推广得多少，非常厉
揭秘火爆月入2万+项目，社交电商每日一淘是不是传销？赵先生186
揭秘火爆月入2万+项目，社交电商每日一淘是不是传销？今年下半年是不平凡的半年，很多互联网大咖都在做社交电商每日一淘，为什么要做每日一淘呢？很简单，我总结了一下，如果你是富二代，那就不用讲了。但是，如果你是一下几种情况你绝对可以关注一下。1、如果你是上班族，对自己目前的收入状况不满意，想兼职…2、如果你是大学生想创业，却不知道做什么项目，怕欺骗…3、如果你做微商，压货成本高，风险大…4、如果你是宝妈
淘宝购物有返利的app？淘宝返利app哪个佣金高日常购物小技巧
今天有朋友问莉莉：淘宝购物有返利的app？淘宝返利app哪个佣金高目前市面上出现越来越多的淘客返利APP，比如花桃、粉象生活、花生日记、好省、高佣联盟、美逛、芬香、蜜源、果冻宝盒、悦拜等等。据不完全统计，可能已经多达上千家了。那面对众多的返利软件，作为用户，我们该如何选择呢？其实返利APP的主要功能就是查券和返利，而券可以说每个平台也都是一样的，如果有那都有，如果没有，那么都没有。所不同的就是返利
【技术工具】python人员照片简介批量对照（千人级） Allen_Lyb 医疗高效编程研发 python 开发语言自然语言处理健康医疗语言模型
要实现根据照片上的工号批量添加人员姓名和工号到照片上，可以按照以下步骤操作（使用Python+PIL/Pillow+OpenCV+pytesseract）：解决方案步骤准备数据创建人员信息表（CSV格式）：姓名,工号确保所有照片文件名包含工号（如工号.jpg），或照片中有清晰可见的工号文本安装依赖库pipinstallpillowopencv-pythonpandaspytesseract#额外安
分享100个最新免费的高匿HTTP代理IP mcj8089 代理IP 代理服务器匿名代理免费代理IP 最新代理IP
推荐两个代理IP网站： 1. 全网代理IP：http://proxy.goubanjia.com/ 2. 敲代码免费IP：http://ip.qiaodm.com/ 120.198.243.130:80,中国/广东省 58.251.78.71:8088,中国/广东省 183.207.228.22:83,中国/
mysql高级特性之数据分区 annan211 java 数据结构 mongodb 分区 mysql
mysql高级特性 1 以存储引擎的角度分析，分区表和物理表没有区别。是按照一定的规则将数据分别存储的逻辑设计。器底层是由多个物理字表组成。 2 分区的原理分区表由多个相关的底层表实现，这些底层表也是由句柄对象表示，所以我们可以直接访问各个分区。存储引擎管理分区的各个底层表和管理普通表一样(所有底层表都必须使用相同的存储引擎)，分区表的索引只是
JS采用正则表达式简单获取URL地址栏参数 chiangfai js 地址栏参数获取
GetUrlParam:function GetUrlParam(param){ var reg = new RegExp("(^|&)"+ param +"=([^&]*)(&|$)"); var r = window.location.search.substr(1).match(reg); if(r!=null
怎样将数据表拷贝到powerdesigner (本地数据库表) Array_06 powerDesigner
================================================== 1、打开PowerDesigner12，在菜单中按照如下方式进行操作 file->Reverse Engineer->DataBase 点击后，弹出 New Physical Data Model 的对话框 2、在General选项卡中 Model name:模板名字，自
logbackのhelloworld 飞翔的马甲日志 logback
一、概述 1.日志是啥？当我是个逗比的时候我是这么理解的：log.debug()代替了system.out.print(); 当我项目工作时，以为是一堆得.log文件。这两天项目发布新版本，比较轻松，决定好好地研究下日志以及logback。传送门1：日志的作用与方法： http://www.infoq.com/cn/articles/why-and-how-log 上面的作
新浪微博爬虫模拟登陆随意而生新浪微博
转载自：http://hi.baidu.com/erliang20088/item/251db4b040b8ce58ba0e1235 近来由于毕设需要，重新修改了新浪微博爬虫废了不少劲，希望下边的总结能够帮助后来的同学们。现行版的模拟登陆与以前相比，最大的改动在于cookie获取时候的模拟url的请求
synchronized 香水浓 java thread
Java语言的关键字，可用来给对象和方法或者代码块加锁，当它锁定一个方法或者一个代码块的时候，同一时刻最多只有一个线程执行这段代码。当两个并发线程访问同一个对象object中的这个加锁同步代码块时，一个时间内只能有一个线程得到执行。另一个线程必须等待当前线程执行完这个代码块以后才能执行该代码块。然而，当一个线程访问object的一个加锁代码块时，另一个线程仍然
maven 简单实用教程 AdyZhang maven
1. Maven介绍 1.1. 简介 java编写的用于构建系统的自动化工具。目前版本是2.0.9，注意maven2和maven1有很大区别，阅读第三方文档时需要区分版本。 1.2. Maven资源见官方网站；The 5 minute test，官方简易入门文档；Getting Started Tutorial，官方入门文档；Build Coo
Android 通过 intent传值获得null aijuans android
我在通过intent 获得传递兑现过的时候报错，空指针,我是getMap方法进行传值，代码如下 1 2 3 4 5 6 7 8 9 public void getMap(View view){ Intent i =
apache 做代理报如下错误：The proxy server received an invalid response from an upstream baalwolf response
网站配置是apache＋tomcat,tomcat没有报错，apache报错是： The proxy server received an invalid response from an upstream server. The proxy server could not handle the request GET /. Reason: Error reading fr
Tomcat6 内存和线程配置 BigBird2012 tomcat6
1、修改启动时内存参数、并指定JVM时区（在windows server 2008 下时间少了8个小时）在Tomcat上运行j2ee项目代码时，经常会出现内存溢出的情况，解决办法是在系统参数中增加系统参数： window下，在catalina.bat最前面 set JAVA_OPTS=-XX:PermSize=64M -XX:MaxPermSize=128m -Xms5
Karam与TDD bijian1013 Karam TDD
一.TDD 测试驱动开发（Test-Driven Development,TDD）是一种敏捷（AGILE）开发方法论，它把开发流程倒转了过来，在进行代码实现之前，首先保证编写测试用例，从而用测试来驱动开发（而不是把测试作为一项验证工具来使用）。 TDD的原则很简单： a.只有当某个
[Zookeeper学习笔记之七]Zookeeper源代码分析之Zookeeper.States bit1129 zookeeper
public enum States { CONNECTING, //Zookeeper服务器不可用，客户端处于尝试链接状态 ASSOCIATING, //？？？ CONNECTED, //链接建立，可以与Zookeeper服务器正常通信 CONNECTEDREADONLY, //处于只读状态的链接状态，只读模式可以在
【Scala十四】Scala核心八：闭包 bit1129 scala
Free variable A free variable of an expression is a variable that’s used inside the expression but not defined inside the expression. For instance, in the function literal expression (x: Int) => (x
android发送json并解析返回json ronin47 android
package com.http.test; import org.apache.http.HttpResponse; import org.apache.http.HttpStatus; import org.apache.http.client.HttpClient; import org.apache.http.client.methods.HttpGet; import
一份IT实习生的总结 brotherlamp PHP php资料 php教程 php培训 php视频
今天突然发现在不知不觉中自己已经实习了 3 个月了，现在可能不算是真正意义上的实习吧，因为现在自己才大三，在这边撸代码的同时还要考虑到学校的功课跟期末考试。让我震惊的是，我完全想不到在这 3 个月里我到底学到了什么，这是一件多么悲催的事情啊。同时我对我应该 get 到什么新技能也很迷茫。所以今晚还是总结下把，让自己在接下来的实习生活有更加明确的方向。最后感谢工作室给我们几个人这个机会让我们提前出来
据说是2012年10月人人网校招的一道笔试题-给出一个重物重量为X,另外提供的小砝码重量分别为1，3，9。。。3^N。将重物放到天平左侧，问在两边如何添加砝码 bylijinnan java
public class ScalesBalance { /** * 题目： * 给出一个重物重量为X,另外提供的小砝码重量分别为1，3，9。。。3^N。（假设N无限大，但一种重量的砝码只有一个） * 将重物放到天平左侧，问在两边如何添加砝码使两边平衡 * * 分析： * 三进制 * 我们约定括号表示里面的数是三进制，例如 47=(1202
dom4j最常用最简单的方法 chiangfai dom4j
要使用dom4j读写XML文档,需要先下载dom4j包,dom4j官方网站在 http://www.dom4j.org/目前最新dom4j包下载地址:http://nchc.dl.sourceforge.net/sourceforge/dom4j/dom4j-1.6.1.zip 解开后有两个包,仅操作XML文档的话把dom4j-1.6.1.jar加入工程就可以了,如果需要使用XPath的话还需要
简单HBase笔记 chenchao051 hbase
一、Client-side write buffer 客户端缓存请求描述：可以缓存客户端的请求，以此来减少RPC的次数，但是缓存只是被存在一个ArrayList中，所以多线程访问时不安全的。可以使用getWriteBuffer()方法来取得客户端缓存中的数据。默认关闭。二、Scan的Caching 描述： next( )方法请求一行就要使用一次RPC,即使
mysqldump导出时出现when doing LOCK TABLES daizj mysql mysqdump 导数据
　　执行　mysqldump -uxxx -pxxx -hxxx -Pxxxx database tablename > tablename.sql　导出表时，会报 mysqldump: Got error: 1044: Access denied for user 'xxx'@'xxx' to database 'xxx' when doing LOCK TABLES 解决
CSS渲染原理 dcj3sjt126com Web
从事Web前端开发的人都与CSS打交道很多，有的人也许不知道css是怎么去工作的，写出来的css浏览器是怎么样去解析的呢？当这个成为我们提高css水平的一个瓶颈时，是否应该多了解一下呢？一、浏览器的发展与CSS
《阿甘正传》台词 dcj3sjt126com
Part Ⅰ: 《阿甘正传》Forrest Gump经典中英文对白 Forrest: Hello! My names Forrest. Forrest Gump. You wanna Chocolate? I could eat about a million and a half othese. My momma always said life was like a box ochocol
Java处理JSON dyy_gusi json
Json在数据传输中很好用，原因是JSON 比 XML 更小、更快，更易解析。在Java程序中，如何使用处理JSON，现在有很多工具可以处理，比较流行常用的是google的gson和alibaba的fastjson，具体使用如下： 1、读取json然后处理 class ReadJSON { public static void main(String[] args)
win7下nginx和php的配置 geeksun nginx
1. 安装包准备 nginx : 从nginx.org下载nginx-1.8.0.zip php：从php.net下载php-5.6.10-Win32-VC11-x64.zip， php是免安装文件。 RunHiddenConsole: 用于隐藏命令行窗口 2. 配置 # java用8080端口做应用服务器，nginx反向代理到这个端口即可 p
基于2.8版本redis配置文件中文解释 hongtoushizi redis
转载自： http://wangwei007.blog.51cto.com/68019/1548167 在Redis中直接启动redis-server服务时, 采用的是默认的配置文件。采用redis-server xxx.conf 这样的方式可以按照指定的配置文件来运行Redis服务。下面是Redis2.8.9的配置文
第五章常用Lua开发库3-模板渲染 jinnianshilongnian nginx lua
动态web网页开发是Web开发中一个常见的场景，比如像京东商品详情页，其页面逻辑是非常复杂的，需要使用模板技术来实现。而Lua中也有许多模板引擎，如目前我在使用的lua-resty-template，可以渲染很复杂的页面，借助LuaJIT其性能也是可以接受的。如果学习过JavaEE中的servlet和JSP的话，应该知道JSP模板最终会被翻译成Servlet来执行；而lua-r
JZSearch大数据搜索引擎颠覆者 JavaScript
系统简介：大数据的特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。大数据搜索引
10招让你成为杰出的Java程序员 pda158 java 编程框架
如果你是一个热衷于技术的 Java 程序员，那么下面的 10 个要点可以让你在众多 Java 开发人员中脱颖而出。　　 1. 拥有扎实的基础和深刻理解 OO 原则　　对于 Java 程序员，深刻理解 Object Oriented Programming（面向对象编程）这一概念是必须的。没有 OOPS 的坚实基础，就领会不了像 Java 这些面向对象编程语言
tomcat之oracle连接池配置小网客 oracle
tomcat版本7.0 配置oracle连接池方式：修改tomcat的server.xml配置文件： <GlobalNamingResources> <Resource name="utermdatasource" auth="Container" type="javax.sql.DataSou
Oracle 分页算法汇总 vipbooks oracle sql 算法 .net
这是我找到的一些关于Oracle分页的算法，大家那里还有没有其他好的算法没？我们大家一起分享一下！ -- Oracle 分页算法一 select * from ( select page.*,rownum rn from (select * from help) page -- 20 = (currentPag

按字母分类： A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 其他