爱做饭的老谢
爱做饭的老谢

聚沙成塔--爬虫系列（七）（妹子，快到碗里来）

聚沙成塔--爬虫系列（七）（妹子，快到碗里来）_第1张图片

版权声明:本文为作者原创文章，可以随意转载，但必须在明确位置标明出处！！！

前面章节的代码可以看出，我们并没有把「好笑数」，「图像的url地址」取到，从糗百主页我们可以看到有些用户发表的段子里包含了图片，那我们怎么取到这些图片呢，本篇老谢将教会大家如何把网络上的图片取到本地，这个技能你们一定要get到。get到了以后再看到漂亮妹子的图片再也不用右键将图片保存在本地了，哈哈哈...；此种神功，我练定了。

聚沙成塔--爬虫系列（七）（妹子，快到碗里来）_第2张图片
东方不败-林青霞

练此神功口诀

通过糗事百科主页我们可以看出有些用户发表的段子带了图片，有些又没有图片只有文本内容，前面文章的代码我们只能取出每个用户的文本内容并不能取到图片内容，那么要怎么才能取到图片内容呢？

  • 口诀一：观察！观察！观察！
    重要的事说三遍，做爬虫最精髓的地方就是观察，外加一点猜测，观察什么呢，观察带图片发表的用户和只有文本用户在html源码中的区别，怎么在源码中快速找到它们的区别呢，当然是用F12开发者工具了，如果你是初学者请一定要看前面章节的内容。
  • 口诀二： 过滤，筛选
    观察过后，使用正则表达式过滤，筛选是个永恒的主题，当然后面我们还会讲到Beautify soup、xpath、lxml等第三方库，第三方库有它的优势，也有它的劣势，就拿Beautify Soup来说，如果我们访问的页面不标准或者不完整，那么你或许拿不到你想要的结果。这种第三方库解决不了的问题就只能用最原始的正则表达式了，所以学好正则表达式是你不得不具备的技能。

观察

通过F12开发者工具我们看看带图片的和不带图片的有什么区别，当我们通过快速定位是可以看到有图片的包含在一个

...
中，这个时候我们不要马上就取编写正则表达式，我们还得去看看没有图片的有没有包含这对元素，如果有那么我们编写代码的逻辑就会和没有的不一样了，通过观察我们发现不带图片的并没有包含
...
这对元素，如下图：

聚沙成塔--爬虫系列（七）（妹子，快到碗里来）_第3张图片
带图片和不带图片的差异

过滤

差异找到了剩下的就是过滤了，如何过滤呢，这里就需要我们稍稍东东脑子了，想想有的用户发表是带了图片的有的用户发表是没有带图片的，如果这个时候我们还像前面文章那样把正则表达式写在

pattern = re.compile(r'(.*?).*?
(.*?)
.*?
.*?src="(.*?)".*？(.*?)', re.S)

这个表达式里，那么我们肯定得不到我们想要的结果，想想是为什么，因为如果某个用户没有发表图片，那么我们使用这个表达式肯定连该用户发表的文本信息也拿不到了。所以我们必须的把匹配图片的正则表达式和之前的正则表达式分开来写

pattern = re.compile(r'(.*?).*?
(.*?)
.*?(.*?)', re.S)
picture = re.compile(r'
.*?src="(.*?)"', re.S)

编码实现

from urllib import request
from urllib import error
import re
import os
url = 'https://www.qiushibaike.com'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
headers = {'User-Agent': user_agent}


def read_html(url, headers, codec):
    '''[read_html]
    [读取html页面内容]
    Arguments:
        url {[string]} -- [url地址]
        headers {[dict]} -- [用户代理，这里是一个字典类型]
        codec {[string]} -- [编码方式]    
    Returns:
        [string] -- [页面内容]
    '''
    # 构建一个请求对象
    try:
        req = request.Request(url, headers=headers)
        # 打开一个请求
        response = request.urlopen(req)
        # 读取服务器返回的页面数据内容
        content = response.read().decode(codec)
        return content
    except error.URLError as e:
        print(e.reason)
        return None
def match_element(content, pattern):
    '''[match_element]
    
    [匹配元素]
    
    Arguments:
        content {[string]} -- [文本内容]
        pattern {[object]} -- [匹配模式]

    Returns:
        [list] -- [匹配到的元素]
    '''
    # 匹配所有用户信息
    
    userinfos = re.findall(pattern, content)
    
    return userinfos

content = read_html(url, headers, 'utf-8')
pattern = re.compile(r'
', re.S)
if content:
    userinfos = match_element(content, pattern)

    if userinfos:
        pattern = re.compile(r'(.*?).*?
(.*?)
.*?(.*?)', re.S)
        picture = re.compile(r'
.*?src="(.*?)"', re.S)
        for userinfo in userinfos:
            item = match_element(userinfo, pattern)
            pictures = match_element(userinfo, picture)
            try:
                if item:
                    userid, name, content, num = item[0]
                    # 去掉换行符，，
符号
                    userid = re.sub(r'\n|||
', '', userid)
                    name = re.sub(r'\n|||
', '', name)
                    content = re.sub(r'\n|||
', '', content)
                    
                    if pictures:
                        path = './users/'
                        if not os.path.exists(path):
                            os.makedirs(path)

                        request.urlretrieve('http:' + pictures[0], path + os.path.basename(pictures[0]))
                    
                        print((userid, name, content, num, pictures[0]))
                    else:
                        print((userid, name, content, num ))
            except Exception as e:
                print(e)

执行结果

('/users/20735073/', '优雅文艺范', '我小徒弟问我:“师傅，你多大了？”“22啊，问这个干嘛”“那你结婚了吗”“没有啊”“你怎么还不结婚啊？现在像你这么大的二胎都会走路了”“那你多大了？”“22啊”“那你孩子呢？”“在家我婆婆带着呢，怎么了？”“。。。没事，我就问问”', '683')
('/users/30716689/', '苍老师首席女配音', '闺蜜怀孕中，抱怨老公回家就躲在客厅打游戏，经常闹别扭。一次偶然的机会，她遇到大师，大师说她家风水有问题，要改变房间格局。闺蜜听大师的安排，果然，老公回家就往卧室钻，不玩手机也不吵闹了。我好奇的问闺蜜，大师真那么灵验，你怎么改房间格局的？闺蜜笑笑，也没有什么，只是把客厅的路由器改在卧室窗台。', '988')
('/users/33065062/', '耶稣安拉宁有种乎', '初中时候，班里有个很漂亮女孩，属于班花那种，有次下课我往她脸上亲了一口就跑，其实我一点都不喜欢她，她男友是学校外面那种小混混，我就喜欢那种被追着打一个星期的感觉，死亡如风，常伴吾身。', '411')
('/users/28491276/', '不知取什么名903…', '组织淫才给我答案', '227', '//pic.qiushibaike.com/system/pictures/11966/119663321/medium/app119663321.jpg')
('/users/26635010/', '本少丶霸道', '这个OK么', '15', '//pic.qiushibaike.com/system/pictures/10590/105905488/medium/app105905488.jpg')
('/users/10144082/', '°小姐姐', '闺蜜看上了一支TF(汤姆福特)的口红，我们俩正在讨论，老公凑过来问:聊什么呢？我:口红，说了你也不懂。老公看到我手机上的图片激动的说:这个我知道我知道。TFboys，他们还卖口红啊。-_-||。。。。。', '1653')
('/users/5623502/', '＂别扭丶！', '最近几天把衣柜翻了个底朝天都没找到我想穿的那件秋衣，问老公吧，逗逗他。“我那秋衣我怎么也找不到了，你是不是偷偷给谁了？”“你还找我要？还我给谁？你不定丢谁家了呢？”我擦，好想问候他祖宗十八代！', '4460')
('/users/30031169/', '空霖', '今天中午做了个终生难忘的梦梦见自己被关在监狱里 但我一直想不起做错了什么 梦里还记得进过两次监狱 后来有人说我在KTV喝醉了 听见有人唱歌说我 然后我就把他打了 吓得我醒了 还在想自己有没有进过监狱', '107')
('/users/31854592/', '流云徐徐', '陪4岁萝莉小侄女去超市买东西，小姑娘见到吃的东西就走不动路了，睁着大眼睛可怜兮兮地看着我让买零食。我就逗她：“点点，叔叔没钱，买不起。”随即大眼睛一阵暗淡，突然又亮起来！只见她跑到导购阿姨那边跟人聊天，五分钟以后欢快地带着阿姨过来。阿姨说：“小姑娘夸了你半天，想把你卖了换零食。”我：……。买买买，小吃货从小就惹不起！', '376')
聚沙成塔--爬虫系列（七）（妹子，快到碗里来）_第4张图片
爬取下来的图片

从上图可以看到我们已经把图片下载到本地磁盘了。

代码解析

本次代码新增了一个正则表达式，一个目录创建，一个从通过url地址下载的函数

  • picture = re.compile(r'
    .?src="(.?)"', re.S)：
    该表达式的作用是匹配到图片的url地址
  • makedirs：该函数是创建目录，于我们在linux系统中执行mkdir -p path1/path2/path3的功能是一样的，它可以层级递归的去创建目录，不需要我们手动每一级每一级的去创建目录， 看到这里是不是比windows创建目录方便多了。
  • urlretrieve：该函数是下载一个网络对象到本地文件，该函数返回一个元组，（local_filename, headers），函数定义如下：
    urllib.request.urlretrieve(url, filename=None, reporthook=None,data=None)
    url就是我们要从网络中下载的文件地址，filename是下载后存放在本地的文件名
  • os.path.basename(pictures[0])：该函数的作用是返回文件名，什么意思呢，pictures[0]取到是//pic.qiushibaike.com/system/pictures/11966/119663395/medium/app119663395.jpg地址，通过这个函数处理后我们得到将是app119663395.jpg

note: 作为初学者，学习一种语言就是要不断的敲代码，只有通过敲代码才能发现问题，然后修正问题，最后才能把别人的东西变成自己的，不然别人的永远都是别人的，一定要实践，切记！切记！

欢迎关注我:「爱做饭的老谢」，老谢一直在努力...

你可能感兴趣的:(聚沙成塔--爬虫系列（七）（妹子，快到碗里来）)

  • 芦花鞋一四 许叶晗
    又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
  • 瑶池防线 谜影梦蝶
    冥华虽然逃过了影梦的军队，但他是一个忠臣，他选择上报战况。败给影梦后成逃兵，高层亡尔还活着，七重天失守......随便一条，即可处死冥华。冥华自然是知道以仙界高层的习性此信一发自己必死无疑，但他还选择上报实情，因为责任。同样此信送到仙宫后，知道此事的人，大多数人都认定冥华要完了，所以上到仙界高层，下到扫大街的，包括冥华自己，全都准备好迎接冥华之死。如果仙界现在还属于两方之争的话，冥华必死无疑。然而
  • 放下是一段成长的修行 小莳玥
    人来到这个世界上，只有两件事：生和死。一件事已经做完了，另一件你还急什么呢?是人，都有七情六欲。是心，都有喜怒哀乐，这些再正常不过了。别总抱怨自己活得累，过得辛苦。永远记住：舒坦是留给死人的。苦，才是生活；累，才是工作；变，才是命运；忍，才是历练；容，才是智慧；静，才是修养；舍，才会得到；做，才会拥有。人生，活得太清楚，才是最大的不明白。有些事，看得很清，却说不清；有些人，了解很深，却猜不透；有些
  • 如果做到轻松在股市赚钱？只要坚持这三个原则。 履霜之人
    大A股里向来就有七亏二平一赚的说法，能赚钱的都是少数人。否则股市就成了慈善机构，人人都有钱赚，谁还要上班？所以说亏钱是正常的，或者说是应该的。那么那些赚钱的人又是如何做到的呢？普通人能不能找到捷径去分一杯羹呢？方法是有的，但要做到需要你有极高的自律。第一，控制仓位，散户最大的问题是追涨杀跌，只要涨起来，就把钱往股票上砸，然后被套，隔天跌的受不了，又一刀切，全部割肉。来来回回间，遍体鳞伤。所以散户首
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计 网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
  • 2019-3-23晨间日记 红红火火小耳朵
    今天是什么日子起床：7点40就寝：23点半天气：有太阳，不过一会儿出来一会儿进去特别清爽的凉意，还蛮舒服的心情：小激动要给女朋友过生日啦纪念日：田田女士过生日任务清单昨日完成的任务，最重要的三件事：1.英语一对一2.运动计划3.认真护肤习惯养成：调整状态周目标·完成进度英语七天打卡（5/7）轻课阅读（87/180）音标课（25/30）读书（福尔摩斯一章）学习·信息·阅读#英语课#Cookingte
  • 2021-07-31 比峰
    七月的最后一天，过了今天，就是八月，心脏在颤抖……昨天两点半才睡，一直在以两倍的语速的听之前的课程，虽然隔得时间不长，但是很多知识点已经忘了差不多了，为了让自己能够掌握的稍微全面一点，还是磨刀不误砍柴工的比较好。正因为晚上睡得晚，今天一上午的状态都不好，也可能因为上午都是待在家里，所以多数时间自己是在补觉。既然太累，那就睡觉吧，总比浪费时间的好。下午到咖啡馆做题，一道差错更正一下子让自己的实力暴露
  • 摘选《靠谱》 海伦美少女
    作家池莉说：“靠谱，说起来简单，落下去复杂；听起来像感觉，做起来是原则。”靠谱的人，为人正直有原则，做事稳重重诺言。在他们眼里，人品比钱财重要，良心比利益可贵。和他们深交，不用防备，无需猜疑，相处最是舒心。魏晋名士嵇康和山涛，同为竹林七贤，两人私交甚笃。后来，山涛出仕为司马氏效力，嵇康则隐居山林。山涛几次举荐嵇康入朝为官，都被嵇康拒绝，最后甚至写下了绝交书。世人都认为两人恩断义绝，可两年后，嵇康遭
  • 上班的路 毛毛虫小姑娘
    七点半起床，拉开窗帘，天公不作美今儿是个阴雨天，天灰蒙蒙的，毛毛雨细细密密洒落下来。脑海里的两个小人开始斗争了，一个说：“毛毛雨啦，穿着风衣打着伞穿行在雨中，是一道亮丽的风景，说不定能遇见帅哥呢！”一个说：“不要不要，走到公司衣服鞋子都潮呼呼的，趴在身上很不舒服，外面湿气这么重，对身体不好！”我思索片刻，慢吞吞为自己冲了杯五谷粉，悠哉悠哉喝完去坐班车了。
  • 【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linuxlinux运维服务器
    归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
  • 可以赚钱的app，你们都在用哪些？ 配音新手圈
    1.七猫免费小说2.有柿3.番茄小说兼职副业推荐公众号，配音新手圈，声优配音圈，新配音兼职圈，配音就业圈，鼎音副业，有声新手圈，每天更新各种远程工作与在线兼职，职位包括：写手、程序开发、剪辑、设计、翻译、配音、无门槛、插画、翻译、等等。。。每日更新兼职。4.速读免费小说5.得间免费小说6.快手7.快手极速8.抖音火山版（可提0.2，可能我懒赚的慢，但真不推荐）9.拼多多10.淘宝11.点淘12.美
  • 好习惯和坏习惯 炫舞阳光
    好习惯和坏习惯文/炫舞阳光生活中有很多细节，可以体现出一个人的习惯。好的习惯让人保持清晰的头脑，坏的习惯常常让人丢东忘西，头脑混沌。生活中，我喜欢整理东西。厨房里，锅碗瓢盆各样东西我习惯各就其位。案板、勺子、铲子和刀具我习惯性的挂起来。大大小小的碗和盘子，我习惯性的立在收纳柜里。每次轮到我在家做饭时，我习惯于一边使用，一边收拾和擦拭归位。做好饭时，台面干干净净。我想把这种习惯影响和传递给家人。然而
  • 七月你好 茗蕙原创
    告别了说变天就变的六月正值七月酷暑之时没有嬉戏的鱼水之乐站在窗边抬头望着蔚蓝天空万里无云万里天七月你好在月末的几天里在家期盼出门时的喜悦别样的天气别样的心情七月你好让大地经受着煎熬让空气中充呲着滚滚热浪去抵御往年严冬带来的湿气七月你好你的到来如逢甘露愿你带来的温暖去除病菌让人们重新看到生活的希望向往南山一角
  • 这段婚姻还有必要持继续下去吗？ 2020从这里开始
    今夜辗转难眠，脑海一直在思考以后的路怎么走，是继续，还是结束？“七年之痒”对我的婚姻也真的是如期而至。七年前的前天领的结婚证，七年后的今晚我们却在沟通如何修补我们的婚姻，当初结婚与他于我都是因为大龄青年，在家里父母催促下，当时双方相处也觉得合适。在认识恋爱半年后便匆匆结婚，因为我彼此性格都属于不善表达，也不喜好争吵，因此日常生活琐事的不满基本都几语带过，原以为平淡生活都是这么过的。未曾想这些怨愤都
  • 数幸福D10 3c807316efec
    王多妈妈幸福能力提升计划依靠皇上托举皇上做一个五半三平的小女人一：感知到的幸福和快乐1：点赞皇上①下班前皇上问我晚上吃饭准备怎么弄，我们买点菜回家做饭吧皇上问我想吃什么，我说多可以，皇上很用心的准备晚饭，一回到家皇上先回家做饭，我说后备箱还有我的行李，皇上说等一下我再下来拿好吗？语气特别好，眼神多是商量的，皇上现在总是有意识的考虑我的感受②吃完饭我们准备一起接女儿放学，皇上说碗他洗，我想着一起收拾
  • 离奇的投毒案（七） 蜗居山人
    （接上文）庭审很快开始了，李妹坐在旁听席的第一排，她想看看丈夫到底是不是害死儿女的凶手。公诉人宣读起诉书后，审判长询问张春对起诉书指控的犯罪事实是否承认，张春矢口否认，当庭翻供。李妹心中一阵得意：“我早就判断丈夫不是凶手！刑警队弄错了，这下看武队长如何收场！这可是公开审理。”审判长问：“你怎么在公安机关承认犯罪事实呢？”“他们刑讯逼供，没有办法我只能承认。”李妹心里嘟囔：“俺丈夫爱我和孩子胜过爱他
  • 《相面天师》第二百七十章 血书 先峰老师
    跟着儿子进到房间后，李云峰不满的说道：“宋老年龄都那么大了，我说你小子就不会好好和别人说话？”就是不冲着老爷子的财富地位，那年龄也值得年轻人尊重的啊，知道李尚鸿秉性的人不会说什么，但不知道的还以为老李家没家教呢。“爸，想让人尊敬，可不是件容易的事，那老头创业之初，手上没少沾血，我凭什么尊重他啊？”李尚鸿撇了撇嘴，他虽然不知道宋世豪的发家史，但是从宋世豪早年的面相中能看得出来，这老头也不是个善茬。只
  • 计算机网络八股总结 Petrichorzncu 八股总结计算机网络笔记
    这里写目录标题网络模型划分（五层和七层）及每一层的功能五层网络模型七层网络模型（OSI模型）==三次握手和四次挥手具体过程及原因==三次握手四次挥手TCP/IP协议组成==UDP协议与TCP/IP协议的区别==Http协议相关知识网络地址，子网掩码等相关计算网络模型划分（五层和七层）及每一层的功能五层网络模型应用层：负责处理网络应用程序，如电子邮件、文件传输和网页浏览。主要协议包括HTTP、FTP
  • JAVA学习笔记之23种设计模式学习 victorfreedom Java技术设计模式androidjava常用设计模式
    博主最近买了《设计模式》这本书来学习，无奈这本书是以C++语言为基础进行说明，整个学习流程下来效率不是很高，虽然有的设计模式通俗易懂，但感觉还是没有充分的掌握了所有的设计模式。于是博主百度了一番，发现有大神写过了这方面的问题，于是博主迅速拿来学习。一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器
  • 寓美于心 琴韵无声
    今天是“语文湿地2021网络年会”第一天。年会早上七点在尹东老师和王君老师的激情开幕致辞中开始。一天下来听了八节课，真是“八仙过海，各显神通。”精彩纷呈。愚笨如我，真的是找不出一个恰切的词来形容她们的美妙绝伦。今天一口气吃下了饕餮盛宴，留待日后慢慢反刍吧。今天的压轴大戏是王君老师的《若爱，深深爱；若写，深情写》——跟《土地的誓言》学意象铺排”艺术。又加上是最后一节听的，印象最为深刻。凭着印象先略记
  • 幸福需要发现的眼睛 Thinking_f826
    早上去上班，快到单位门口远远地发现同事和媳妇手牵手一起走来，看到他们满满的幸福要溢出的样子，好生羡慕。我发现身边总有一些感觉很幸福的朋友，一点点事情，有时在我看来就是故意的大惊小怪，特别是那夸张的语气和表情，真令人受不了。比如说——我认为一个不咋好笑的事情，她们能笑上好久；我觉得生活好苦好累，而她们却能从一点点事情，哪怕是一顿饭中寻找到乐趣；我理解的平淡，她们认为很无趣；我理解的喧嚣和夸张，她们认
  • 苦与甜 天天天很蓝lwy
    佛说有人生有七苦：生、老、病、死，怨憎会、爱别离、求不得。没有人会追求苦难，因为我不是佛。我做不到，像佛一样割肉喂鹰。做不到，他一样去经历六道轮回。我发现，我能够做到和改变的就是面对苦难的心境。希望有一天，面对所谓的苦，我能够甘之如饴。希望有一天，我能够成为积极主动有选择的人。不因外物改变自己的心境。少说一些，不得不，必须。多说一些，我能够，我希望，我可以。图片发自App
  • 2022-05-22光印随思60学习要与现实打通 无名之米8
    20220522光印随思60学习要与现实打通今天在匆忙中完成了新网师课程的第七次预习作业。每次完成预习作业的过程都是一次艰难的学习，先要学习相关的文本和文件，了解作业需要的理论知识，之后需要把理论知识运用于实际工作和生活中。这也是学习的真正价值所在。在很多时候，会有这样的感觉，读了很多书为什么没有啥长进？现在回想应该就是，当只有阅读和感受，没有把阅读心得转化为文字，没有把阅读的知识运用到实际的场景
  • 死心眼的家长 Z青青
    今天礼拜一是儿子打篮球的时间，放学回家高高兴兴的把饭吃完了，准备上篮球课，走到门口小卖铺，放学回来时候，孩子想买零食，我同意了说好3元标准，嗯，到了小卖铺他想吃南瓜酥（很上火），我说孩子你嗓子不舒服着的这个不能吃吧，又要可乐我摇头，他又去选，我提醒他快到时间了，生气了不买了，一路上哭我生气把车子停下来，打算好好说说，一停不要紧不去上课了，说他不喜欢篮球，都是我逼他报的。我:孩子我让你考虑了几个月，
  • 言为爱之声 胡国霞青少年超效注意力
    图片发自App焦点工作坊1期连续分享491天胡国霞20190302周六雨《言为爱声》今晚是我们七彩阳光心理咨询中心2019年的第一次公益课，由卷霞来主持，高朋满座，有老朋友，也有新朋友。李老师从身份谈起，平时父母都会给孩子一个什么样的身份，是积极的，还是消极的。我回想一下自己，我是一个追求完美的人，每看到某人身上有一项超人的技能，我都会想儿子要学会了该多好，能文能武、能弹会唱、能写能画，该多好。要
  • 还没习惯一个人吗 柚子or风筝
    昨晚梦到你了，我未来的男朋友。一直对室友说，还不想谈恋爱，一个人挺好。那是因为我只有一个人。告诉自己，我可以一个人吃饭，一个人去图书馆，一个人坐公交，一个人搭地铁，一个人去教室，一个人去兼职，一个人……为什么要两个人呢？其实我比任何人都清楚，我不可以一个人看电影，不可以一个人骑单车，不可以一个人逛操场，不可以一个人逛街，不可以一个人出去玩……一个人吃饭只会去面馆点一碗面，不习惯拼桌，不然宁愿不吃。
  • python爬取微信小程序数据,python爬取小程序数据 2301_81900439 前端
    大家好，小编来为大家解答以下问题，python爬取微信小程序数据，python爬取小程序数据，现在让我们一起来看看吧！Python爬虫系列之微信小程序实战基于Scrapy爬虫框架实现对微信小程序数据的爬取首先，你得需要安装抓包工具，这里推荐使用Charles，至于怎么使用后期有时间我会出一个事例最重要的步骤之一就是分析接口，理清楚每一个接口功能，然后连接起来形成接口串思路,再通过Spider的回调
  • 白龙落凡 鬼少箫笛工作室
    七星猫、穿山甲和血蝙蝠在魔君的法力护持下，痊愈地很快，十几日的时间，功力就恢复了七八成，穿山甲和血蝙蝠与龚菊珍大战，两人又惊又惧，知晓对方法力在己之上，已经不敢对她有任何不敬之言，几人朝会上却是相安无事，七星猫因不外传的至宝“七星连冰珠”被近身侍女芳菲偷去，心头愤懑，派出人手入阳间追杀，却无意巧遇善恶二使，二使将上龙元剑交给了杀手，并求其带话到魔都，希望能救白发少年一命。杀手知晓其中厉害，连夜返回
  • 不凡的七月 让自己的心归零
    2019的七月，对于别人没什么，可对我来说，铭记在心，工作30多年的我，由于身体的原因结束我的工作生涯，退休后由于领导的契重，在公司又继续工作了三年，离职提前一个月就和领导打好招呼，我的工作是承上启下的周转站很重要，工作的严谨性和对工作态度，领导很欣赏，这一个月我尽我所能把工作做好，下个人接手好顺利进行，临别时领导又请我吃的饭，我很感动，算是给我的工作生涯画上了完美的句号。我们公司是做宠物服饰出口
  • 七律 卖书 张成昱
    谁把新筹换旧筹，洛阳心事总难休。纸因字贵凭诗赋，父为儿忙拟马牛。怕入秦坑先入秤，耻尝周粟又尝秋。千金一笑偷相换，万里何妨半卷羞。
  • 解读Servlet原理篇二---GenericServlet与HttpServlet 周凡杨 javaHttpServlet源理GenericService源码
    在上一篇《解读Servlet原理篇一》中提到，要实现javax.servlet.Servlet接口（即写自己的Servlet应用），你可以写一个继承自javax.servlet.GenericServletr的generic Servlet ，也可以写一个继承自java.servlet.http.HttpServlet的HTTP Servlet（这就是为什么我们自定义的Servlet通常是exte
  • MySQL性能优化 bijian1013 数据库mysql
            性能优化是通过某些有效的方法来提高MySQL的运行速度，减少占用的磁盘空间。性能优化包含很多方面，例如优化查询速度，优化更新速度和优化MySQL服务器等。本文介绍方法的主要有：         a.优化查询         b.优化数据库结构  
  • ThreadPool定时重试 dai_lm javaThreadPoolthreadtimertimertask
    项目需要当某事件触发时，执行http请求任务，失败时需要有重试机制，并根据失败次数的增加，重试间隔也相应增加，任务可能并发。 由于是耗时任务，首先考虑的就是用线程来实现，并且为了节约资源，因而选择线程池。 为了解决不定间隔的重试，选择Timer和TimerTask来完成 package threadpool; public class ThreadPoolTest {
  • Oracle 查看数据库的连接情况 周凡杨 sqloracle 连接
    首先要说的是，不同版本数据库提供的系统表会有不同，你可以根据数据字典查看该版本数据库所提供的表。 select * from dict where table_name like '%SESSION%'; 就可以查出一些表，然后根据这些表就可以获得会话信息 select sid,serial#,status,username,schemaname,osuser,terminal,ma
  • 类的继承 朱辉辉33 java
    类的继承可以提高代码的重用行，减少冗余代码；还能提高代码的扩展性。Java继承的关键字是extends 格式:public class 类名（子类）extends 类名（父类）{ } 子类可以继承到父类所有的属性和普通方法，但不能继承构造方法。且子类可以直接使用父类的public和 protected属性，但要使用private属性仍需通过调用。 子类的方法可以重写，但必须和父类的返回值类
  • android 悬浮窗特效 肆无忌惮_ android
    最近在开发项目的时候需要做一个悬浮层的动画，类似于支付宝掉钱动画。但是区别在于，需求是浮出一个窗口，之后边缩放边位移至屏幕右下角标签处。效果图如下：   一开始考虑用自定义View来做。后来发现开线程让其移动很卡，ListView+动画也没法精确定位到目标点。   后来想利用Dialog的dismiss动画来完成。   自定义一个Dialog后，在styl
  • hadoop伪分布式搭建 林鹤霄 hadoop
    要修改4个文件    1: vim hadoop-env.sh  第九行    2: vim core-site.xml            <configuration>     &n
  • gdb调试命令 aigo gdb
    原文：http://blog.csdn.net/hanchaoman/article/details/5517362   一、GDB常用命令简介   r run 运行.程序还没有运行前使用 c             cuntinue 
  • Socket编程的HelloWorld实例 alleni123 socket
    public class Client { public static void main(String[] args) { Client c=new Client(); c.receiveMessage(); } public void receiveMessage(){ Socket s=null; BufferedRea
  • 线程同步和异步 百合不是茶 线程同步异步
    多线程和同步 : 如进程、线程同步，可理解为进程或线程A和B一块配合，A执行到一定程度时要依靠B的某个结果，于是停下来，示意B运行；B依言执行，再将结果给A；A再继续操作。 所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回，同时其它线程也不能调用这个方法   多线程和异步:多线程可以做不同的事情,涉及到线程通知     &
  • JSP中文乱码分析 bijian1013 javajsp中文乱码
            在JSP的开发过程中，经常出现中文乱码的问题。         首先了解一下Java中文问题的由来：         Java的内核和class文件是基于unicode的，这使Java程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。原因主要有两方面，
  • js实现页面跳转重定向的几种方式 bijian1013 JavaScript重定向
            js实现页面跳转重定向有如下几种方式： 一.window.location.href <script language="javascript"type="text/javascript"> window.location.href="http://www.baidu.c
  • 【Struts2三】Struts2 Action转发类型 bit1129 struts2
     在【Struts2一】 Struts Hello World http://bit1129.iteye.com/blog/2109365中配置了一个简单的Action，配置如下   <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configurat
  • 【HBase十一】Java API操作HBase bit1129 hbase
    Admin类的主要方法注释：   1. 创建表 /** * Creates a new table. Synchronous operation. * * @param desc table descriptor for table * @throws IllegalArgumentException if the table name is res
  • nginx gzip ronin47 nginx gzip
    Nginx GZip 压缩 Nginx GZip 模块文档详见：http://wiki.nginx.org/HttpGzipModule 常用配置片段如下： gzip on; gzip_comp_level 2; # 压缩比例，比例越大，压缩时间越长。默认是1 gzip_types text/css text/javascript; # 哪些文件可以被压缩 gzip_disable &q
  • java-7.微软亚院之编程判断俩个链表是否相交 给出俩个单向链表的头指针，比如 h1 ， h2 ，判断这俩个链表是否相交 bylijinnan java
    public class LinkListTest { /** * we deal with two main missions: * * A. * 1.we create two joined-List(both have no loop) * 2.whether list1 and list2 join * 3.print the join
  • Spring源码学习-JdbcTemplate batchUpdate批量操作 bylijinnan javaspring
    Spring JdbcTemplate的batch操作最后还是利用了JDBC提供的方法，Spring只是做了一下改造和封装 JDBC的batch操作： String sql = "INSERT INTO CUSTOMER " + "(CUST_ID, NAME, AGE) VALUES (?, ?, ?)";
  • [JWFD开源工作流]大规模拓扑矩阵存储结构最新进展 comsci 工作流
        生成和创建类已经完成,构造一个100万个元素的矩阵模型,存储空间只有11M大,请大家参考我在博客园上面的文档"构造下一代工作流存储结构的尝试",更加相信的设计和代码将陆续推出.........     竞争对手的能力也很强.......,我相信..你们一定能够先于我们推出大规模拓扑扫描和分析系统的....
  • base64编码和url编码 cuityang base64url
    import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.io.StringWriter; import java.io.UnsupportedEncodingException;
  • web应用集群Session保持 dalan_123 session
    关于使用 memcached 或redis 存储 session ，以及使用 terracotta 服务器共享。建议使用 redis，不仅仅因为它可以将缓存的内容持久化，还因为它支持的单个对象比较大，而且数据类型丰富，不只是缓存 session，还可以做其他用途，一举几得啊。1、使用 filter 方法存储这种方法比较推荐，因为它的服务器使用范围比较多，不仅限于tomcat ，而且实现的原理比较简
  • Yii 框架里数据库操作详解-[增加、查询、更新、删除的方法 'AR模式'] dcj3sjt126com 数据库
        public function getMinLimit () {        $sql = "...";        $result = yii::app()->db->createCo
  • solr StatsComponent（聚合统计） eksliang solr聚合查询solr stats
    StatsComponent 转载请出自出处：http://eksliang.iteye.com/blog/2169134 http://eksliang.iteye.com/ 一、概述        Solr可以利用StatsComponent 实现数据库的聚合统计查询，也就是min、max、avg、count、sum的功能   二、参数
  • 百度一道面试题 greemranqq 位运算百度面试寻找奇数算法bitmap 算法
    那天看朋友提了一个百度面试的题目：怎么找出{1,1,2,3,3,4,4,4,5,5,5,5}  找出出现次数为奇数的数字.   我这里复制的是原话，当然顺序是不一定的，很多拿到题目第一反应就是用map,当然可以解决，但是效率不高。   还有人觉得应该用算法xxx,我是没想到用啥算法好...！   还有觉得应该先排序...   还有觉
  • Spring之在开发中使用SpringJDBC ihuning spring
      在实际开发中使用SpringJDBC有两种方式：   1. 在Dao中添加属性JdbcTemplate并用Spring注入；     JdbcTemplate类被设计成为线程安全的，所以可以在IOC 容器中声明它的单个实例，并将这个实例注入到所有的 DAO 实例中。JdbcTemplate也利用了Java 1.5 的特定(自动装箱，泛型，可变长度
  • JSON API 1.0 核心开发者自述 | 你所不知道的那些技术细节 justjavac json
    2013年5月，Yehuda Katz 完成了JSON API(英文，中文) 技术规范的初稿。事情就发生在 RailsConf 之后，在那次会议上他和 Steve Klabnik 就 JSON 雏形的技术细节相聊甚欢。在沟通单一 Rails 服务器库—— ActiveModel::Serializers 和单一 JavaScript 客户端库——&
  • 网站项目建设流程概述 macroli 工作
    一.概念 网站项目管理就是根据特定的规范、在预算范围内、按时完成的网站开发任务。 二.需求分析 项目立项 　　我们接到客户的业务咨询，经过双方不断的接洽和了解，并通过基本的可行性讨论够，初步达成制作协议，这时就需要将项目立项。较好的做法是成立一个专门的项目小组，小组成员包括：项目经理，网页设计，程序员，测试员，编辑/文档等必须人员。项目实行项目经理制。 客户的需求说明书 　　第一步是需
  • AngularJs 三目运算 表达式判断 qiaolevip 每天进步一点点学习永无止境众观千象AngularJS
    事件回顾：由于需要修改同一个模板，里面包含2个不同的内容，第一个里面使用的时间差和第二个里面名称不一样，其他过滤器，内容都大同小异。希望杜绝If这样比较傻的来判断if-show or not，继续追究其源码。 var b = "{{", a = "}}"; this.startSymbol = function(a) {
  • Spark算子：统计RDD分区中的元素及数量 superlxw1234 sparkspark算子Spark RDD分区元素
    关键字：Spark算子、Spark RDD分区、Spark RDD分区元素数量     Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block数。   可以利用RDD的mapPartitionsWithInd
  • Spring 3.2.x将于2016年12月31日停止支持 wiselyman Spring 3
                  Spring 团队公布在2016年12月31日停止对Spring Framework 3.2.x（包含tomcat 6.x）的支持。在此之前spring团队将持续发布3.2.x的维护版本。          请大家及时准备及时升级到Spring
  • fis纯前端解决方案fis-pure zccst JavaScript
    作者：zccst FIS通过插件扩展可以完美的支持模块化的前端开发方案，我们通过FIS的二次封装能力，封装了一个功能完备的纯前端模块化方案pure。 1，fis-pure的安装 $ fis install -g fis-pure $ pure -v 0.1.4 2，下载demo到本地 git clone https://github.com/hefangshi/f
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他