python 爬取内涵社区

#!/usr/bin/env python
#coding:utf-8

import requests,io,time
from bs4 import BeautifulSoup
def neihanjoke():
    headers = {
        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding':'gzip, deflate',
        'Accept-Language':'zh-CN,zh;q=0.9',
        'Cookie':'tt_webid=6536425014367225358; uuid="w:1057f146c0254dafbd487a6da58210b7"; _ga=GA1.2.64952905.1521880043; _gid=GA1.2.1818828277.1521880043; csrftoken=111d911d1b2b2a61b5cad8282ee5b16e; _gat=1',
        'Host':'neihanshequ.com',
        'Referer':'https://www.baidu.com/link?url=DP5I6qLhobaPUAJ321iP0PzTkPBvbUE0-YdK4x6H01Wuq_PuPpwErjcv4dICWag3&wd=&eqid=82195f930001ef0c000000035ab61073',
        'Upgrade-Insecure-Requests':'1',
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36',
    }
    s = requests.session()
    s.keep_alive = False
    respone = requests.get('http://neihanshequ.com/',headers=headers)
    soup = BeautifulSoup(respone.text,"html.parser")
    jokedct = {}
    for joke in soup.find_all('div',class_='detail-wrapper'):
        value =  u'发布时间：'+ joke.find_all('span')[1]['title'] +'   '+ u'段子内容:'+joke.p.string
        jokedct[joke.span.text] = value
    f = io.open('neihanjok.txt', 'a',encoding='utf-8')
    for joke in jokedct:
        joke2 = u"用户: %s   %s  \n" %(joke,jokedct[joke])
        f.write(joke2)
    f.close()
if __name__ == '__main__':
    f = open("neihanjok.txt")
    lines =  len(f.readlines())
    while lines < 52113.14:
        f = open("neihanjok.txt")
        lines = len(f.readlines())
        neihanjoke()
        time.sleep(3)

用户: 呆婷-   发布时间：2018-01-09 21:34:38000   段子内容:2.“我可以进去吗？”“不行！”“就进去一下下，保证不动，马上就出来，好吗？”“真的不行！”“你看我这多难受啊，头都进去了，就让我再进去一点呗，就一点。”“你有病啊，电梯满了你看不出来啊！”  
用户: 王浩晨吖   发布时间：2018-03-24 23:29:21000   段子内容:3月24日 我永远忘不了这一天！我和对象相处一年，天天都黏在一起，但是为了生活，为了我们的以后，我选择离开他在北京工作，我忘不了凌晨你送我时的心痛，泪流满面，到北京了，我好想你，真的好想！相信我，我会在北京好好干，好好攒钱，娶你！汪雪你要等我！我爱你！  
用户: 赤峰段友会董事长   发布时间：2018-03-25 10:11:46000   段子内容:抖音和快手，智障中的俩泰斗！段友顶起，不火还发！  
用户: osuning142568355   发布时间：2018-03-25 12:10:46000   段子内容:儿子最近一直笑，一直摇头，今天下午去南京，明天去南京儿童医院看，眼泪都哭干了，老天保佑不要有任何事情，我宁愿少活二十岁，胖一百斤，宁愿所有的病痛都让我来受，真的需要别人给我点鼓励，亲人只要一开口，我就泪奔了，忐忑不安，我也不知道自己想表达什么，乱七八糟的，进段子好多年了，给我个祝福吧。  
用户: Gudgudi   发布时间：2018-02-08 15:49:33000   段子内容:下课，我对前桌的妹子说，咱们一人讲一个坑笑话，比比谁的更冷，妹子欣然应战，于是女士优先妹子先来，妹子说: 冷笑话是这样的。可是等了半天妹子只是含情脉脉的看着我，不在再多说一句话，我有点纳闷，便催促说讲啊，妹子却说，讲完啦，冷笑话是这样的！！！我心里暗暗敬佩，于是到我了，我说: 你用一个字形容冬天，妹子说冷，我说:那是因为我在叫冷笑话啊  
用户: 南方木子李   发布时间：2018-03-24 16:11:31000   段子内容:年轻人问道禅师：“我志向高洁，出淤泥而不染，无法容纳这个污秽的世界。”禅师拿出一个袋子让年轻人把屋子里的垃圾装进去，年轻人很快就装满了，禅师又拿出一个袋子。年轻人恍然大悟：“您是说只要有足够宽广的胸怀，就能容纳这个世界？”禅师摇摇头，指着袋子说：“装，你继续装。”  
用户: 那年花开心破碎   发布时间：2018-03-24 15:58:31000   段子内容:有一天，两姐妹在睡觉 妹妹对姐姐说：姐今天蚊子好多哦～ 姐姐说：把灯关了蚊子就看不到我们了 后来妹妹真的把灯关了 忽然间一双萤火虫飞了进来 妹妹很紧张的说：姐惨了，蚊子提着灯笼来找我们了……  
用户: 身无长物戾气满怀220399124   发布时间：2018-03-25 11:33:52000   段子内容:坐地铁看到一姑娘在看我的微博，我搭讪说：“唉我也关注了这人，挺好玩的。” 　　她扫了我一眼说：“有啥用？段子手，不是穷就是丑，指不定在哪儿挤地铁呢。”  
用户: 污王舞贱   发布时间：2018-03-01 19:06:57000   段子内容:夏天的时候，跟几个哥们去游泳池游泳，到了泳池才发现没带泳裤，就在旁边的便利店买，老板问我是要便宜的还是贵的？我想都没想，就说要便宜的。老板说便宜的可能有一点脱色。我说不要紧。等我刚一下游泳池，一哥门呆呆的看着我，你什么时候做手术啦？  
用户: 含成登九品   发布时间：2018-03-25 12:06:19000   段子内容:我是小可爱  
用户: Very保护我方傻染   发布时间：2018-02-06 22:17:02000   段子内容:今天饭店里人特多，一对小情侣实在找不到地方了就拼桌坐在我对面，说实话那女的长得挺漂亮，我就多看了两眼。那个男的发现了，他很鄙夷的看了我一眼，啪嚓一下往桌子上放了一个大众的车钥匙，我往前一看，卧槽 ，辉腾！吓唬我？！我啪嚓往桌子上放了个玛莎拉蒂的车钥匙，然后啪嚓，啪嚓，啪嚓，布加迪、宾利、劳斯莱斯、卡宴、法拉利好几个车钥匙我都摔在桌子上了 。沉静了片刻，那男的死命拽着那个眼睛越来越亮的美女走了 真是的 大过年的你跟我一个修车的装什么装！？  
用户: doctor小颜   发布时间：2018-03-25 00:33:45000   段子内容:毕业后从医一年了。在我们医院遇见过很多病人，很信任我们，我们也一直在尽心尽力的救治，看到每一位病号从生死线上被拉回来然后到出院都很开心。但是看到段子里好多人都在骂医护人员，我很难理解，每天每夜都在加班，尽心尽力都在救治，为什么大家的看法对于医护人员是这样的仇视。心里很不开心，现实也许和网络真的不一样，网络可以放大人内心的丑恶，可以肆无忌惮的诋毁。算了，发发牢骚，还得继续努力，谢谢大家的信任来到医院，至少几乎还没有见到向网络那般偏执的带着有色眼睛的人儿。如果有一天，你的孩子长大了，希望不要让他从医。  
用户: 蒋教授一米高   发布时间：2018-03-24 22:51:41000   段子内容:段友们对不住哈，今天一整天都没时间发段子，现在补一波吧。。  
用户: 残林夕   发布时间：2017-12-26 21:17:38000   段子内容:今天在火车站排队买票，就快轮到我的时候，忽然一男子插队跑到了我的前面，长得五大三粗的，脖子上还有纹身。我当时就不乐意了，便拍拍他的肩膀说道：哥们你插队了！他撸起袖子对我说：怎么你有意见？我自信的一笑，想我跆拳道也练了三个月了，我会怂你？便说道：有你麻痹！于是我俩就干起来了……要不是民警及时赶到，我就要被他给打死了  
用户: 我的一个道姑朋友丨   发布时间：2018-03-24 21:49:41000   段子内容:“你感情路不顺吗？”“顺啊 一路上都没什么人”  
用户: 悲喜190271798   发布时间：2018-03-25 04:01:57000   段子内容:我和她不是什么异地恋也不是什么离了多远，我们在一起上班，我是做厨师的她是服务员，每天能看到她，和她在一起的每一天我都很珍惜，2018.3.20 我删了她，把她所有东西全部删除了，现在我在所有同事的眼里都是渣男，原来的我是老板和服务员中的暖男，就因为我和她分了手，短短这几天，所有人看我的眼神都不一样。我没做过对不起她的任何一件事，反而她却连分手都不能和我当面说，连续五天，整整五天，给我摆出一副无所谓的样子，不论我这么逗她，都是一样。刚刚我才知道，原来就在三月二十号，她有了新男朋友，或许在自己眼中觉得非常珍惜的东西，在她眼里，都是一文不值的狗屁吧。  
用户: 楼下吃翔丶   发布时间：2018-03-24 15:35:13000   段子内容:求特朗普在wwe挨打的视频，20红包奉上（只限第一位发视频者），谢谢  
用户: 匿名用户   发布时间：2018-02-08 07:48:47000   段子内容:今天上班，同事看到老板新买了一辆红色的凯迪拉克。忍不住上前夸到：老板，您的新车真好看! 老板拍拍同事的肩膀，微笑着对他说：好看吧，如果今年你再努力工作点，明年我还能再买一辆。。。。  
用户: 老叶先生   发布时间：2018-03-25 09:07:16000   段子内容:鸡，各种肉类中火性最多，每天跑得快，不回头，归属 心 这个五脏。所以老话说，吃鸡可以补心气。反过来说，心气很足的儿童，吃鸡多了就容易多动症，烦躁。所以，鸡适合虚寒的人吃，这样的人情绪上经常表现为 哀，怨，愧等。鸽子等飞禽和鸡是一样的，都入心。常见与之搭配的材料有 党参，黄芪， 红枣，枸杞 ，生姜 ，葱， 阿胶， 蘑菇等。  
用户: 大大专属小胖妞   发布时间：2018-03-25 10:22:52000   段子内容:一句话，赞我的心想事成，男的JJ变长5cm，女的全是A4腰  
用户: 天下为苏娇喘   发布时间：2018-03-25 00:06:18000   段子内容:没连wifi 看了文字段子 感觉有点看不下去了 因为看着心里特不舒服 好多人在陌生人面前吐露心声 在熟人面前装作坚强 好像我也不怎么爱发朋友圈了 玩玩段子吧 毕竟都不认识 哈哈 但至少感觉有人看的到呀 我挺好的 希望大家也好好的 晚安。  
用户: 匿名用户   发布时间：2018-03-25 01:14:18000   段子内容:大家以后要远离×××，好好生活，不要羡慕那些来钱快的，来的快去得也快，踏踏实实过好每一天，有钱没钱，人起码要活的充实。说说我自己吧，两年前我打打小麻将输两三百块都觉得好心疼，慢慢的越玩越大，越输越多，然后自己开红包群利用身边的人玩，三四个月之内是赢了一百多个，但是并没有什么卵用，钱来得快是不会珍惜的。照样玩得别的输出去，今晚又在别的群里玩红包输了7万了...想想之前自己有车有房家里一家人其乐融融，可是现在我身负一身赌债，几十个了，我家里人还不知道，我深深的后悔，悔不当初，可是没办法从来了，我在这里说不是博取你们的同情，因为×××的人都是死不足惜的。只想用自己的经历告诉大家，珍爱生命，远离×××。  
用户: 已疯未成魔   发布时间：2018-03-24 13:42:58000   段子内容:刚来到贵阳有没有段友介绍个开车的工作  
用户: 自由鱼175182954   发布时间：2018-03-25 02:56:40000   段子内容:2：54有没睡的吗？今晚失眠了，有跟我一样的吗？想找个对象适合自己的就那么难吗？好茫然到底是找个爱自己的还是自己爱的  
用户: 用户143382847   发布时间：2018-02-04 20:34:38000   段子内容:我就服段子里一天说评论送什么送什么的。人家评论了你又不送。什么点赞送什么的。都TM骗子。想我一样说到做到点赞送你我家wifi密码123456  
用户: 手机用户82229263196   发布时间：2018-03-25 12:05:12000   段子内容:说实话，中国并不大，美国省，日本村，韩国镇，俄罗斯自治区，欧洲区，非洲寺庙……就这几个地方，哎何时站立宇宙呀  
用户: 倾淑于牧   发布时间：2018-03-25 05:19:17000   段子内容:凌晨五点十九分，，你睡了吗  
用户: 老师我怀孕了   发布时间：2018-03-24 08:12:27000   段子内容:我要在工厂上班了，干他娘的，段友们呐，想你们  
用户: 牛从良   发布时间：2018-03-02 12:12:29000   段子内容:白雪公主结婚以后，身体一直不太好。王子请来医生诊断，发现她居然只剩下一个肾。王子悲伤地捧起她的脸：“亲爱的，你到底遭遇了什么？”白雪公主勉强露出一个微笑：“我在森林隐居时，有一天，一个巫婆敲开门对我说：“孩子，来个苹果吧！  
用户: 这辈子不可能打工的嘟   发布时间：2018-03-25 10:11:22000   段子内容:别看金牛座一副老实巴交的样子，他们在恋爱中也有一套疼恋人的方案。只是不善于表达，不懂得沟通的金牛座人，在意一个人时，往往会很盲目，不懂得为自己着想，当付出自己的全部之后，才发现那个人早已经不在自己的身边，这让金牛座人很受伤。  
用户: A浮华沧桑终究太多的伤858   发布时间：2018-03-24 20:48:54000   段子内容:今天我生日，路过的段友给个祝福  
用户: 冰峰丶冰峰   发布时间：2018-02-14 17:42:47000   段子内容:刚刚去超市，本来想买包烟，结果看见结账员是我前女友， 我果断放下烟，拿了一包姨妈巾骄傲地走了过去  
用户: 记住你雪   发布时间：2018-02-03 22:07:51000   段子内容:宿舍一哥们特别喜欢一个姑娘，但是他比较腼腆，有那姑娘的电话但是不敢打。就在昨天兄弟们都怂恿他表白，电话拨通鼓起勇气说了一句：我好喜欢你 我给你唱首歌好不好，说完唱了几分钟的歌，唱完顿时就哭了，我们都看蒙圈了，结果他抬起头说：其实电话早就挂了 他对空气唱完了歌。通话时长0：7秒。  
用户: 窃瓦辛格瓦   发布时间：2018-03-24 08:36:06000   段子内容:昨天去吃火锅，看到火锅店的墙上醒目的写着:羊是自己养的，菜是自己种的，油是自己榨的，提醒顾客放心食用。买单的时候，我悄悄地跟老板说:这钱是自己印的，请放心使用，然后老板追了我好几条街。  
用户: 小泥巴熊001km   发布时间：2018-03-11 18:52:37000   段子内容:朋友去店里吃冷饮，发现店里的餐勺挺好看的，于是叫来服务员：“你们的勺子挺好看，一会送我俩行不”服务员横眉冷目道：“不行，店里有规定餐具不能送人”！！朋友：“那我要是偷呢”？服务员：那我管不着。转身就走了……走了……  
用户: 内涵警务部部长   发布时间：2018-03-24 22:42:02000   段子内容:你知道吗？我在想你，一直都在想，习惯了有你的生活，没有你在，简直度日如年，时间过的好慢好慢，没有你在我身边，食无味，夜无眠。听着歌我更想你。你能快点回到我身边嘛，想你想你想你。我一直在QYF。  
用户: 鬼鬼丨丨   发布时间：2018-03-24 23:15:50000   段子内容:谁能帮帮我，段友们，夏天就快到了，我是一位狐臭患者，对于狐臭我是绞尽脑汁，怕别人闻到，其实你们闻到难受我比你们更难受，我动过微创手术，基本没效果，现在就想问问段友有懂这个的吗，最好能去除的，我想段友不止我一个人有腋臭，希望有贵人帮助，谢谢！  
用户: 我耗慌   发布时间：2018-03-25 12:14:36000   段子内容:段友们，我想请教一下大家，电瓶车车主喝了酒的，然后因为害怕和小车撞上，自己处理不当摔倒了，算哪个的责任。谢谢段友们  
用户: 喜XD   发布时间：2018-03-24 22:59:55000   段子内容:今晚看到一个女同事发微信朋友圈 很搞笑，看能不能过。女同事说: 每次我家狗看见外卖小哥就很亲切，我就问外卖小哥到底是为了什么？外卖小哥想了想 说: 可能它觉得我天天给你送饭，是你主人吧。  
用户: 佳洽-潮流鞋贸招代理   发布时间：2018-03-25 02:05:24000   段子内容:2.05分 还有没睡的吗  
用户: 㐩171385241   发布时间：2018-03-25 08:13:41000   段子内容:老婆怀孕了，去医院做B超，一个实习的小伙一脸严肃地跟我们说：“做好心理准备，可能是个怪胎，他有俩脑袋四只手四条腿！” .. 我们瞬间惊呆了，老婆当场就嚎啕大哭， 这时，医生过来，一个“风雷神掌”打在小伙子的头上，怒骂道：“那是双胞胎，你大爷的。”  
用户: 让时光说58FV9   发布时间：2018-03-25 07:51:31000   段子内容:出海两年多的的船员阿福终于回到家乡。但一回到家的他却发现多一个婴儿！阿福激动的问着妻子“是谁干的好事？是不是隔壁的阿呆？”“不是。”妻子回答“是不是我的朋友阿瓜？”“不是。”“一定是小王，我那该死的酒肉兄弟！”“烦死人了！”妻子叫道“难道我就没有自己的朋友吗？”  
用户: 路过的黑森林   发布时间：2018-02-04 21:55:13000   段子内容:谈了一段时间的妹子突然问我：“动手术和动感情有什么共同点”估计妹子考我了。哈，如此简单同一个“动”字啊！我得意地回答。万万没想到，旁边的大哥鄙视的眼彪过来：“你是不是傻？“难道不对吗？  
用户: 果实321   发布时间：2018-03-25 12:07:32000   段子内容:开心是什么，不开心又是什么，都是自己虚拟的感觉而已，空空如也  
用户: 墙交术之霉   发布时间：2018-03-10 08:08:29000   段子内容:一日和斌哥去医院看病。医生问他：你什么情况啊？”斌哥叹了口气说：不知道怎么的，经常感觉疲劳、意志消沉、记忆力减退、理解力下降、失眠多梦，头疼的很”医生看了他一眼在病历本上画了些圈圈，说：以后少玩魂斗罗。”我好奇的插嘴道：魂斗罗是什么啊？”医生看了我一眼说：他自己知道。”说完把病历本递了过来  
用户: 用户75315880724   发布时间：2018-03-25 01:03:41000   段子内容:我有个朋友网贷15万，银行贷款15万，信用卡几家银行加起来14万，他准备全部不还款了，他会怎么样，网贷应该只是催收，银行的钱会不会被抓去坐牢啊？求指点  
用户: 原谅帽恐怖总部派送员   发布时间：2018-03-13 15:52:05000   段子内容:从前，有一男孩，他随着村里郎中学医，12岁时上山采药救了一只受伤的白狐。郎中去世，白狐成精前来报恩。4年后，看着毛绒绒的小狐狸，他简直毫无抵抗力。抱着蹭了又蹭，十方欢喜。是夜，白狐幻化作一天资美人: 恩公，奴家...他一脸冷漠: 变回去。  
用户: 玫瑰余香8294   发布时间：2018-03-24 22:48:59000   段子内容:看清一个人需要时间，表里如一的人直得深交。结识君子是幸运；远离小人更荣幸。困难时拉一把的人不忘恩，伤口洒盐的小人刻骨铭心。不要从别人嘴里去了解一个人，因为你没有经历过这个人的事情。  
用户: 聽129633831   发布时间：2018-03-24 18:56:42000   段子内容:成都今天下雨，进小区的时候前面一个阿姨放了一个屁。那酸爽，混杂着湿润的空气扑鼻而来。也唤醒了我体内的洪荒之力。于是我快步走到她的前面，回敬了一个无声的致意。  
用户: 羊八两   发布时间：2018-03-25 07:35:37000   段子内容:闺蜜一大早打电话给我，说早上起床发现锁好的房门被撬开了。我问丢东西没？她说没丢。我心刚放下来，就听她支支吾吾地说就是昨晚做了个春梦……怎么办？要不要去医院？我我我我…我也不知道…  

用户: 枫叶愿望   发布时间：2018-03-24 21:31:58000   段子内容:妈的，今天去浴室遇到一个人，真TM能bb，搞得就像：老子天下第一，老子最牛逼！但却在浴室敲腿，混的也不怎么样，逗逼！