github源码分享
github源码分享

奇伢爬虫项目

项目地址：https://github.com/qiyaTech/javaCrawling

项目介绍：奇伢爬虫基于spring boot 、 WebMagic 实现 微信公众号文章、新闻、csdn、info等网站文章爬取，可以动态设置文章爬取规则、清洗规则，基本实现了爬取大部分网站的文章。

项目截图：




欢迎关注我的公众号：【菜鸟要飞】 ，面试宝典、学习路线、源码分享等等你来学

你可能感兴趣的:(奇伢爬虫项目)

  • 对于写作者最重要的两点：热情和分享 鱼和熊掌兼得
    【热情】在开头，塔奇曼提到光有热情是不够的。但是，要想长期的坚持写作，没有热情是不行的。很多人都说，这是一个对写作者很优待的时代，也有很多人前仆后继的写作。在写作这条路上的人，始终很多，一些人来了，一些人走了，但是能坚持下来的却只有那么几个。不知道什么时候开始，写作变现这个词火了起来。不管是谁，都想来分一杯羹。可是写作变现真的没有这么容易，鱼哥说过，写作的人千千万万，能变现的也不过是其中的千分之一
  • 安徽省这个湖,比西湖大8倍,称是安徽的北戴河, 合肥的后花园 旅游小号角
    旅游爱好者都知道，安徽省是一个旅游资源十分丰富的省份，且不说黄山、九华山、天柱山这三大名山，单说湖泊就不比其它省份少，今天我们一起走遍世界将为大家说说一个号称安徽北戴河，合肥后花园的湖泊，看看到底是哪个湖泊？话说，这个湖泊位于安徽省六安市舒城县境内，东距合肥50千米，大约一个小时左右的车程，它号称是合肥的后花园，安徽的北戴河。相传，湖畔石壁之上有一奇石神似观音临湖，湖中漂动众多小岛栩栩如佛子，宛若
  • 组诗·三国群英颂（周瑜、马超、贾诩、赵云） 颍川荀清
    念奴娇·怀周郎矶头万仞、若关情，仍叹当年英物！一揽长江，龙流怒，化作孙吴阵壁。浪里船城，铁锁平川，袖挽千堆雪。烈胆豪情，斗牛惊认奇杰！但看戎马余生，纵横万里，正英姿勃发。宏图霸业弹指间，惟见涛生云灭。苍天轻狂，妒意猖作，帅将难华发。难忆郎顾，青史相伴别月。古体·西凉天将军大漠狂烟起，孑然佩青锋。神威震羌月，锦袍曜汉空。终囚蜀山险，瘴疠掩长虹。天地一孤啸，匹马又西风。水调歌头·文和乱武山水应将残，清
  • 动画电影《心灵奇旅》教你怎么做人，皮克斯为全人类上了一课 韩漫小说
    皮克斯出品，必属精品。不知从什么时候，这句话成了中国影迷和动画迷对皮克斯的认可和肯定。作为八十年代的人，虽然现在已经迈入中年，但是从小就对动画片十分痴迷。从《奥特曼》到《高达》，从《黑猫警长》到《海贼王》。动画伴我成长，给了我很多快乐。接触皮克斯的动画，是《玩具总动员》，看了真的令人感动。这不仅是儿童的欢乐片，也是给八零九零后奉献的精美大作。然而这一次的《心灵奇旅》，更是让我对皮克斯刮目相看。这次
  • 高仿一个echarts饼图 街角小林2
    开头饼图，很常见的一种图表，使用任何一个图表库都能轻松的渲染出来，但是，我司的交互想法千奇百怪，布局捉摸不透，本身饼图是没啥可变的，但是配套的图例千变万化，翻遍ECharts配置文档都还原不出来，那么有两条路可以选，一是跟交互说实现不了，说服交互按图表库的布局来，但是一般交互可能会对你灵魂拷问，为什么别人都能做出来，你做不出来？所以我选第二种，自己做一个得了。用canvas实现一个饼图很简单，所以
  • 共读《绿野仙踪》有感 ——战胜自己就是勇敢的人 倚窗听雨_1ac2
    今天我和孩子们一起共读的是《绿野仙踪》——路遇胆小狮。我发现这本书每一章的开头儿，都是对环境的描写。有干燥的堪萨斯州，有美丽的芒奇金人的国度，有通往翡翠城沿途优美的风景，有黑暗的森林......而这一章，重点描述了密林深处可怕的咆哮声。他们一行四人走在堆满黄树叶和枯树枝的黄砖路上。就在这样的情况下，他们遇到了一头大狮子。大狮子挥到了稻草人，扑倒了铁皮人。这危险时刻，托托虽小，却也敢面对强敌。它跑上
  • 开始记录自己的梦 wwwtate
    最近经常做梦，而且梦的内容千奇百怪，有时候一下子就忘记了，看来下次醒来的话要立即记录。其实梦是很有意思的一个情境。都说是日有所思，才会夜有所梦。但有时候梦中的人物却是没有在自己日常出现的，这也是神奇之处。把梦记录下来，可能会丰富自己的人生。加油
  • 《随园诗话》学习笔记三百零六 飞鸿雪舞
    卷五凡诗之传者，都在灵性五、五斗米与诗【原文】丁丑，余觅一抄书人，或荐黄生，名之纪，号星岩者，人甚朴野。偶过其案头，得句云；“破庵僧卖临街瓦，独井人争向晚泉。”余大奇之，即饷米五斗。自此欣然大用力于诗。五言句云：“云开日脚直，雨落水纹圆。竹锐穿泥壁，蝇酣落酒尊。钓久知鱼性，樵多识树名。笔残芦并用，墨尽指同磨。＂七言云：＂小窗近水寒偏觉，古木遮天曙不知。旧生萍处泥犹绿，新落花时水亦香。旧甓恐闲都贮水
  • 奇慧文化华日雁：行走于另类品牌传播策划的激情人生 静雅子
    华日雁原名陈浩，新锐品牌策划界代表性人物，厦门奇慧文化传播有限公司创始人，首席导师，曾任知名上市公司总裁。华日雁最常讲的一句话就是：品牌传播要敢于天马行空，要敢于无中生有，要敢于打破规则，同时要传递积极的社会正能量。这也是华日雁给自己的品牌策划生涯制定的最基本的创意底线和道德底线。奇慧文化创始人华日雁说华日雁的发展史就是一部传奇史一点儿也不为过，从一名普通的销售人员到创立自己的公司，到把公司成功于
  • 你会喜欢台风吗？ 小白洋羊洋
    文/小白洋羊洋你记忆中的台风是怎么样的呢？近日台风“利奇马”来袭，给我们的生活带来了或多或少的影响。也为受到严重影响的地区祈福。今日的故事便和台风有关。台风情况小洋生活在福建地区，所以每年基本都或多或少受到台风天的影响。所以遇到台风对小洋这里来说就如日本人民遇到地震是一样的。但是福建地区受到像“利奇马”这样的台风是很少的哦。说起台风，人们的第一印象觉得台风就是像地震这样的严重灾害，所经受之处，无不
  • 学问之道 反者道之动也
    老子曰：“民常不畏死，奈何以死惧之？若使人常畏死，则为奇者吾得执而杀之，孰敢？”读者至此，多以为老氏好杀。夫老氏岂好杀者哉！旨意盖以戒时君、世主视民为至愚、至贱，轻尽其命，若刈草菅，使之知民情状，人人能与我为敌国，懔(1)乎常有朽索驭六马之惧。故继之曰：“常有司杀者杀。夫代司杀者杀，是代大匠斫。夫代大匠斫(2)，希有不伤其手矣。”
  • 加油，打工人！ 职场阿良
    据说格力铁娘子董大姐开始转型在阿里国际站做新外贸，看到这个消息，其实这个按照董明珠的风格一点也不觉得意外，格力的眼光一直站在世界的前沿。2020年受新冠疫情影响，很多行业受到重挫，财务资金上也是举步维艰，所以在这一年出现倒闭潮、失业潮一点都不足为奇，因为在这一年能活下来就已经非常不容易了。不过所幸的事，再难的2020终将过去，剩下最后一个月过完之后，便是全新的2021年，我们的希望之旅会重新开启，
  • 十款青少年钙片产品排行榜 学生生长发育钙片推荐 优惠券高省
    第一名：钙尔奇钙尔奇，首个进入中国的国际知名钙补充剂品牌，被众多中国医学专家和营养学专家推荐用于预防和治疗骨质疏松症，也是全球医生推荐比较多的钙制剂品牌。钙尔奇，国际知名钙补充剂品牌。来自于辉瑞中国健康药物部，前身为惠氏中国健康药物部，成立于1991年。辉瑞公司创建于1849年，是世界领先的以研发为基础的生物医学和制药公司。目前，分布于90个国家的大约80,000名辉瑞员工，致力于为全球带来更多健
  • 佳音之日更葡萄酒I Day20 特别篇 - 天堂园 Il Paradiso di Manfredi 葡萄酒一杯靈
    #佳音OneDayWine#IlParadisodiManfredi#BrunellodiMontalcino#Biodynamie#意大利#每日一酒曾任经典奇昂蒂葡萄酒协会(ConsorziodelVinoChiantiClassico)的主席,意大利CastelloDiAma”阿玛堡”庄主MarcoPallanti说过一句话﹕“Today,allwineisgood;thedifference
  • 读《白蕉論書》后感 蝶化文澜
    《白蕉论书》节选画要写生，字先写死。访师百代，心许目媒。夫摹体以定习，因性以炼才。宗师之定（二字可商—邓散木批），步趋是式。循墙沿壁，入由一家。先规楷正，后窥行草。握管无时，法脉求证。既博观而强记，要睹此以思彼。宜无惭于优孟，诚不移乎智愚。夫务学人之业者，尊先生之能事；有胜人之志者，立古人於下风。始也漫窥漫识；继也转入转难，疑山穷而水尽；卒也若梦若寐，忽柳暗以花明。盖消息既得，触悟斯敏。揽笔众奇，
  • 竹子的故事（四十二） 冰冰1208
    听竹子的话妈妈下午上了四节课，回来躺着休息会儿，就没有去太太家吃饭。爷爷奶奶帮竹子妈妈带回家一些饭菜。竹妈妈起来一看，一个小猪佩奇的大搪瓷碗装满了饭（目测应该是高三身高180+男生的饭量），还有一个搪瓷碗装满了菜。爷爷对竹妈妈说：“你尽量吃，能吃多少吃多少。吃不完就全倒掉吧，天气热。”竹子妈妈在女同胞中的饭量已经是相当不错了，饭吃了三分之二，菜吃了二分之一。一边吃一边问奶奶说：“家里还有黄瓜么？这
  • 【五律＊了赠吾兄眠石雅士】 潇寒月
    奇石源太古，逸峰修九玄。清霜雲露浸，濁世臥頑仙。返璞名真誌，原心自頂天。甘辭不為惑，瀟灑竹中眠。图片发自App
  • 秋色 可以轩主人
    ----2012年11月21日一语奇花花千色，两分秋水水清清。棋罢观花花不语，凝眸清水水盈盈。千色奇花秋零落，清清秋水冬作冰。人生世事如棋落，纵无风雨也无晴。图片发自App
  • 【正奇说:】第639期：为什么那些传授108套抗拒点的套路话术无法应用 毛正奇
    以往你是否听过一些销售培训师，传授一些回答客户疑问的话术后，一开始你感觉非常有用，关键是你有将这些内容学习过一遍吗？更关键的是你能够将其应用到你的日常销售业务中吗？答案是：几乎没有！比如：108套回答客户拒绝的话术，以及365个解答客户疑问的方法，甚至还有1088个消除客户抗拒点的套路等等。毕竟”套路“一词就属于贬义词，感觉心术不正、起心动念偏歪的感觉；同时一个课程对你是否有用，不在于其介绍的方法
  • 【爱心小岛·文海晨光】‖福清山乡奇构东关寨 黄云栖亩
    想了解一个地方的历史，一个很好的办法是去看古建筑。最能代表福清历史的古建筑，非东关寨莫属。东关寨位于福清市一都镇东山村一半山腰处，为古堡式建筑物。一都位于福清东部，当地称山岭的路口为“关”，“东关”之名据此而来。从远处观望，在密密麻麻枇杷林包围下的东关寨，依山势而建，层层递升，白墙青瓦，石基高立，显得古朴厚重，气势磅礴。走近东关寨，更感觉寨墙基座的高大，其全部由岩石砌成，高达10米以上，难怪如此气
  • 我确实想死 Feng_e946
    先复制一段话：“幼年的莱昂纳达·西奇乌利生活在一户极其贫困的家庭，由于父亲早早去世，莱昂纳达·西奇乌利的母亲曾多次改嫁。就是在这丧夫以及多次婚姻变故的情况下，原本善良的母亲也因此变得情绪异常，而这股异常的情绪最后变成暴虐和毒打被施加在年幼的莱昂纳达·西奇乌利的身体上。在此期间，她曾两次选择自杀，但最终都没有成功。1917年，23岁的莱昂纳达·西奇乌利在父母的反对声中与一位背景良好的公务员结婚。此前
  • 当下的浮躁，已超越了光纤 大风来袭
    赚钱，赚钱，赚钱，是当下最重的味道。互联网是一个创造奇迹的地方，总在不断攀登高峰者陆续出现。马云创造淘宝用了6年时间，过程满满的酸甜苦辣，几天几夜都说不完！拼多多，却用3年完成了上市之举，堪称电商之转奇！知识付费，导致很多半吊子出家的年少有为，知识原来是某宝买下来，再付费！浮躁，是当下的主题。95后已习惯于透支生活，透支未来！人均10左右的负债，网贷迫使着不断前跑的，高B的生活情调在进化着！所以，
  • 2018年13月21日日记 晓茂
    今天找三个朋友办理车险，看到了自己好多问题。第一个，保险公司不大，但费用不高。我听同事的建议说贵了，应该还能再便宜一点，我贪小便宜的心升起，就暂时放在一边，又联系一个朋友，比较熟悉，但是心里又不是很信任，但内心又想打着帮朋友忙的旗号，因为之前办的保险也是熟人，结果价格奇高，所以我就对“熟人”很是提防，结果人家言语很是诚恳，费用自己也能接受。结果呢，我自己贪心不足，又问了一家，让别人帮我算半天，价格
  • 初识《老子》第57章 孤鸿学士
    第五十七章九十二言【文】傅奕《道德经古本篇》第五十七章以政治国，以奇用兵，以无事取天下。吾奚以知天下其然哉，以此。夫天下多忌讳，而民弥。民多利器，国家滋昏。民多知慧，而袤事滋起。法令滋章，盗贼多有。故圣人云：我无为，而民自化。我好靖，而民自正。我无事，而民自富。我无欲，而民自朴。帛书《老子》甲本复原第20章以正之邦，以畸用兵，以无事取天下。吾何以知其然也哉？夫天下多忌讳，而民弥贫；民多利器，而邦家
  • 数字能量信息到底是不是骗人的？我就知道它到底是不是真的！ 李先生277
    最近有很多听过数字能量课程的朋友们问了我许多千奇百怪的问题。例如：A说道：老师说天医就代表了财，我的号码中天医那么多，怎么可能不好。B说到：尾号生气+天医就是王道。C说到：号码中吉星多点不是很好吗？数字能量俗话说得好：“半灌水响叮当”。很多人自作聪明，以为听过一堂课或者在网上倒腾了一些资料，就能自己给自己改号了，殊不知阴阳需要平衡，物极必反。我曾经就见到一个女生，也不知在哪里听了一堂课，知道天医代
  • 善于总结也是一种智慧 wangtaoboyxy
    总结是一种智慧，也是一门学问。历览前贤俊杰，凡事业有成者，往往都善于总结。秦国蜀郡太守李冰潜心钻研水文，设计建造了“独奇千古”的都江堰水利工程，总结出“深淘滩，低作堰”的治水六字诀、“遇湾截角，逢正抽心”的八字真言，泽被后世。楚霸王项羽自矜其功，直到四面楚歌时仍执迷不悟，发出“天亡我，非用兵之罪也”的喟叹；而汉高祖刘邦清醒自知，将“所以取天下”的原因归结为“三者皆人杰，吾能用之”。回溯历史，一个人
  • 来自『Li奇怪的奇』的破壳之旅——打字是如何炼成的 Li奇怪的奇
    39我第一次认识电脑，触摸到键盘，应该是在我上小学五年级的时候，那年是2000年，刚从农村出来，走进重庆这座大城市，见到了好多新鲜事物，好多高科技产品之前都是在书本上看到过，没想到上五年级的时候就可以亲眼看见并使用电脑。在六店子小学，我们学校开设了一个计算机室，每周有一堂课——计算机课，那是一堂多么向往的课程，当时学了些什么我已经忘记了，主要是见识了一下电脑长什么样子，认识了一下键盘和英文字母，当
  • 七时觉——305天（9.23）kin23行星的蓝夜，梦演绎着潜意识要表达的信息，变换着各种场景来体验其中的丰盛，用第一直觉护持着日常，只需信任 清然自然
    一觉送娃回来，楼下跺脚，哆嗦紧缩的身体，渐渐暖和松开，听着音乐，渐渐进入了状态，完事后振动着身体，听着千奇百怪的嗝，允许着各种发声，看着念起念落，随着粘液的卡出，胸口也倍感敞亮，以至于忘了时间，回去时候，小宝已哭的泣不成声，有点自责，看到，回知道了二觉午睡，大宝喊我去送她，身体沉沉的，迷迷糊糊的，如实告知不想去，大宝不依不饶，看着气聚集在胸口，脸部拧巴着吼着自己的不满，大宝更不满，看到，回，睡着了
  • 零花钱 杰浩宝贝
    在物质生活很稳定的这个年代，每个孩子每天都有一定的零花钱，也会拥有自己专属的存钱罐。孩子们早早接触了金钱的诱惑，也在学习着怎样支配金钱！他们买零食，买自己喜欢的玩具，个别孩子甚至是慢慢地存蓄集攒着自己的私房钱。我家两个崽子这个学期已经被我停掉了每天给零花钱的习惯，他们要买玩具，文具什么的，我都让他们动用自己的存钱罐去，然后把账记起来，年底报账。说来也奇了，每天给零花钱时每天他们都要买买买的，动用自
  • 【利平2022日记】第1029天三个月的奇迹 张利平专注国学教育139876
    「早起奇迹」社群——张利平第120天早起（5：00-9：00）｜正｜知｜正｜念｜正｜行｜｜早｜起｜创｜造｜奇｜迹｜「打造一个相互学习成长—砥砺前行—自利利他的生态社群」1：冥想15分钟；2：朗读感恩词，能量文；3：诵读《易经》三卦、《大学》全文、《论语》一节、《朱子治家格言》并摘抄；4：阅读20分钟；5：煮美味早餐；6：学习群能量互动。7：和孩子一起跟读经典《老子》1-5章。相信早起！创造奇迹！
  • mongodb3.03开启认证 21jhf mongodb
    下载了最新mongodb3.03版本，当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题，现总结如下： （百度上搜到的基本都是老版本的，看到db.addUser的就是，请忽略） Windows下我做了一个bat文件，用来启动mongodb，命令行如下： mongod --dbpath db\data --port 27017 --directoryperdb --logp
  • 【Spark103】Task not serializable bit1129 Serializable
    Task not serializable是Spark开发过程最令人头疼的问题之一，这里记录下出现这个问题的两个实例，一个是自己遇到的，另一个是stackoverflow上看到。等有时间了再仔细探究出现Task not serialiazable的各种原因以及出现问题后如何快速定位问题的所在，至少目前阶段碰到此类问题，没有什么章法 1.   package spark.exampl
  • 你所熟知的 LRU(最近最少使用) dalan_123 java
    关于LRU这个名词在很多地方或听说，或使用，接下来看下lru缓存回收的实现 1、大体的想法     a、查询出最近最晚使用的项     b、给最近的使用的项做标记 通过使用链表就可以完成这两个操作，关于最近最少使用的项只需要返回链表的尾部；标记最近使用的项，只需要将该项移除并放置到头部，那么难点就出现 你如何能够快速在链表定位对应的该项？ 这时候多
  • Javascript 跨域 周凡杨 JavaScriptjsonp跨域cross-domain
                                       
  • linux下安装apache服务器 g21121 apache
    安装apache 下载windows版本apache，下载地址：http://httpd.apache.org/download.cgi   1.windows下安装apache Windows下安装apache比较简单，注意选择路径和端口即可，这里就不再赘述了。 2.linux下安装apache： 下载之后上传到linux的相关目录，这里指定为/home/apach
  • FineReport的JS编辑框和URL地址栏语法简介 老A不折腾 finereportweb报表报表软件语法总结
      JS编辑框： 1.FineReport的js。 作为一款BS产品，browser端的JavaScript是必不可少的。 FineReport中的js是已经调用了finereport.js的。 大家知道，预览报表时，报表servlet会将cpt模板转为html，在这个html的head头部中会引入FineReport的js，这个finereport.js中包含了许多内置的fun
  • 根据STATUS信息对MySQL进行优化 墙头上一根草 status
    mysql  查看当前正在执行的操作，即正在执行的sql语句的方法为:      show processlist 命令   mysql> show global status;可以列出MySQL服务器运行各种状态值，我个人较喜欢的用法是show status like '查询值%';一、慢查询mysql> show variab
  • 我的spring学习笔记7-Spring的Bean配置文件给Bean定义别名 aijuans Spring 3
    本文介绍如何给Spring的Bean配置文件的Bean定义别名？ 原始的 <bean id="business" class="onlyfun.caterpillar.device.Business"> <property name="writer"> <ref b
  • 高性能mysql 之 性能剖析 annan211 性能mysqlmysql 性能剖析剖析
    1 定义性能优化 mysql服务器性能，此处定义为 响应时间。 在解释性能优化之前，先来消除一个误解，很多人认为，性能优化就是降低cpu的利用率或者减少对资源的使用。 这是一个陷阱。 资源时用来消耗并用来工作的，所以有时候消耗更多的资源能够加快查询速度，保持cpu忙绿，这是必要的。很多时候发现 编译进了新版本的InnoDB之后，cpu利用率上升的很厉害，这并不
  • 主外键和索引唯一性约束 百合不是茶 索引唯一性约束主外键约束联机删除
    目标;第一步;创建两张表 用户表和文章表         第二步;发表文章       1,建表; ---用户表 BlogUsers --userID唯一的 --userName --pwd --sex create
  • 线程的调度 bijian1013 java多线程thread线程的调度java多线程
    1.       Java提供一个线程调度程序来监控程序中启动后进入可运行状态的所有线程。线程调度程序按照线程的优先级决定应调度哪些线程来执行。   2.       多数线程的调度是抢占式的（即我想中断程序运行就中断，不需要和将被中断的程序协商） a) 
  • 查看日志常用命令 bijian1013 linux命令unix
    一.日志查找方法，可以用通配符查某台主机上的所有服务器grep "关键字" /wls/applogs/custom-*/error.log   二.查看日志常用命令1.grep '关键字' error.log：在error.log中搜索'关键字'2.grep -C10 '关键字' error.log：显示关键字前后10行记录3.grep '关键字' error.l
  • 【持久化框架MyBatis3一】MyBatis版HelloWorld bit1129 helloworld
    MyBatis这个系列的文章，主要参考《Java Persistence with MyBatis 3》。   样例数据 本文以MySQL数据库为例，建立一个STUDENTS表，插入两条数据，然后进行单表的增删改查     CREATE TABLE STUDENTS ( stud_id int(11) NOT NULL AUTO_INCREMENT,
  • 【Hadoop十五】Hadoop Counter bit1129 hadoop
       1. 只有Map任务的Map Reduce Job File System Counters FILE: Number of bytes read=3629530 FILE: Number of bytes written=98312 FILE: Number of read operations=0 FILE: Number of lar
  • 解决Tomcat数据连接池无法释放 ronin47 tomcat 连接池　优化
    近段时间，公司的检测中心报表系统(SMC)的开发人员时不时找到我，说用户老是出现无法登录的情况。前些日子因为手头上 有Jboss集群的测试工作，发现用户不能登录时，都是在Tomcat中将这个项目Reload一下就好了，不过只是治标而已，因为大概几个小时之后又会 再次出现无法登录的情况。 今天上午，开发人员小毛又找到我，要我协助将这个问题根治一下，拖太久用户难保不投诉。 简单分析了一
  • java-75-二叉树两结点的最低共同父结点 bylijinnan java
    import java.util.LinkedList; import java.util.List; import ljn.help.*; public class BTreeLowestParentOfTwoNodes { public static void main(String[] args) { /* * node data is stored in
  • 行业垂直搜索引擎网页抓取项目 carlwu LuceneNutchHeritrixSolr
    公司有一个搜索引擎项目，希望各路高人有空来帮忙指导，谢谢！ 这是详细需求： （1） 通过提供的网站地址(大概100-200个网站)，网页抓取程序能不断抓取网页和其它类型的文件（如Excel、PDF、Word、ppt及zip类型），并且程序能够根据事先提供的规则，过滤掉不相干的下载内容。 （2） 程序能够搜索这些抓取的内容，并能对这些抓取文件按照油田名进行分类，然后放到服务器不同的目录中。
  • [通讯与服务]在总带宽资源没有大幅增加之前,不适宜大幅度降低资费 comsci 资源
          降低通讯服务资费，就意味着有更多的用户进入，就意味着通讯服务提供商要接待和服务更多的用户，在总体运维成本没有由于技术升级而大幅下降的情况下，这种降低资费的行为将导致每个用户的平均带宽不断下降，而享受到的服务质量也在下降，这对用户和服务商都是不利的。。。。。。。。     &nbs
  • Java时区转换及时间格式 Cwind java
    本文介绍Java API 中 Date, Calendar, TimeZone和DateFormat的使用，以及不同时区时间相互转化的方法和原理。   问题描述： 向处于不同时区的服务器发请求时需要考虑时区转换的问题。譬如，服务器位于东八区（北京时间，GMT+8:00），而身处东四区的用户想要查询当天的销售记录。则需把东四区的“今天”这个时间范围转换为服务器所在时区的时间范围。
  • readonly,只读，不可用 dashuaifu jsjspdisablereadOnlyreadOnly
    readOnly 和 readonly 不同，在做js开发时一定要注意函数大小写和jsp黄线的警告！！！我就经历过这么一件事： 使用readOnly在某些浏览器或同一浏览器不同版本有的可以实现“只读”功能，有的就不行，而且函数readOnly有黄线警告！！！就这样被折磨了不短时间！！！（期间使用过disable函数，但是发现disable函数之后后台接收不到前台的的数据！！！）  
  • LABjs、RequireJS、SeaJS 介绍 dcj3sjt126com jsWeb
    LABjs 的核心是 LAB（Loading and Blocking）：Loading 指异步并行加载，Blocking 是指同步等待执行。LABjs 通过优雅的语法（script 和 wait）实现了这两大特性，核心价值是性能优化。LABjs 是一个文件加载器。RequireJS 和 SeaJS 则是模块加载器，倡导的是一种模块化开发理念，核心价值是让 JavaScript 的模块化开发变得更
  • [应用结构]入口脚本 dcj3sjt126com PHPyii2
    入口脚本 入口脚本是应用启动流程中的第一环，一个应用（不管是网页应用还是控制台应用）只有一个入口脚本。终端用户的请求通过入口脚本实例化应用并将将请求转发到应用。 Web 应用的入口脚本必须放在终端用户能够访问的目录下，通常命名为 index.php，也可以使用 Web 服务器能定位到的其他名称。 控制台应用的入口脚本一般在应用根目录下命名为 yii（后缀为.php），该文
  • haoop shell命令 eksliang hadoophadoop shell
    cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text
  • MultiStateView不同的状态下显示不同的界面 gundumw100 android
    只要将指定的view放在该控件里面，可以该view在不同的状态下显示不同的界面，这对ListView很有用，比如加载界面，空白界面，错误界面。而且这些见面由你指定布局，非常灵活。 PS：ListView虽然可以设置一个EmptyView，但使用起来不方便，不灵活，有点累赘。 <com.kennyc.view.MultiStateView xmlns:android=&qu
  • jQuery实现页面内锚点平滑跳转 ini JavaScripthtmljqueryhtml5css
    平时我们做导航滚动到内容都是通过锚点来做，刷的一下就直接跳到内容了，没有一丝的滚动效果，而且 url 链接最后会有“小尾巴”，就像#keleyi，今天我就介绍一款 jquery 做的滚动的特效，既可以设置滚动速度，又可以在 url 链接上没有“小尾巴”。   效果体验：http://keleyi.com/keleyi/phtml/jqtexiao/37.htmHTML文件代码： &
  • kafka offset迁移 kane_xie kafka
    在早前的kafka版本中（0.8.0），offset是被存储在zookeeper中的。   到当前版本（0.8.2）为止，kafka同时支持offset存储在zookeeper和offset manager（broker）中。   从官方的说明来看，未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话，可以考虑在合适
  • android > 搭建 cordova 环境 mft8899 android
      1 , 安装 node.js        http://nodejs.org      node -v   查看版本   2, 安装 npm   可以先从  https://github.com/isaacs/npm/tags  下载 源码 解压到
  • java封装的比较器，比较是否全相同，获取不同字段名字 qifeifei
     非常实用的java比较器，贴上代码： import java.util.HashSet; import java.util.List; import java.util.Set; import net.sf.json.JSONArray; import net.sf.json.JSONObject; import net.sf.json.JsonConfig; i
  • 记录一些函数用法 .Aky. 位运算PHP数据库函数IP
    高手们照旧忽略。 想弄个全天朝IP段数据库，找了个今天最新更新的国内所有运营商IP段，copy到文件，用文件函数，字符串函数把玩下。分割出startIp和endIp这样格式写入.txt文件，直接用phpmyadmin导入.csv文件的形式导入。（生命在于折腾，也许你们觉得我傻X，直接下载人家弄好的导入不就可以，做自己的菜鸟，让别人去说吧） 当然用到了ip2long()函数把字符串转为整型数
  • sublime text 3 rust wudixiaotie Sublime Text
    1.sublime text 3 => install package => Rust 2.cd ~/.config/sublime-text-3/Packages 3.mkdir rust 4.git clone https://github.com/sp0/rust-style 5.cd rust-style 6.cargo build --release 7.ctrl
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他