我爱丐帮帮主
我爱丐帮帮主

关于scrapy的安装以及初步入门

参考链接：https://blog.csdn.net/qq_41556318/article/details/85042006

以及小甲鱼视频

安装参考链接：https://blog.csdn.net/duanyajun987/article/details/81456203

一、安装

在ubuntu终端输入conda install scrapy（之前已经安装好anaconda）

中间提示 选择y

在终端输入 scrapy 验证是否安装成功

关于scrapy的安装以及初步入门_第1张图片

二、初步使用

使用 Scrapy抓取一个网站一共分为四个步骤：

–创建一个Scrapy项目；

–定义Item容器；

–编写爬虫；

–存储内容。

1、创建一个Scrapy项目

(base) alice@alice-X411UN:~/anaconda3$ cd /home/alice/python_homework
(base) alice@alice-X411UN:~/python_homework$ scrapy startproject tutorial


New Scrapy project 'tutorial', using template directory '/home/alice/anaconda3/lib/python3.7/site-packages/scrapy/templates/project', created in:
    /home/alice/python_homework/tutorial

You can start your first spider with:
    cd tutorial
    scrapy genspider example example.com

生成如下文件夹相关布局如下：

关于scrapy的安装以及初步入门_第2张图片

tutorial/

    scrapy.cfg

    tutorial/

        __init__.py

        items.py

        pipelines.py

        settings.py

        spiders/

            __init__.py

            ...

scrapy.cfg 是项目的配置文件（暂时不用，保持默认即可）

tutorial 子文件夹 存放的是模块的代码，也是我们要填充的代码

items.py 是项目中的容器

2、定义 Item 容器

我们的任务就是 网页：http://www.dmozdir.org/Category/?SmallPath=230 和 http://www.dmozdir.org/Category/?SmallPath=411 这是两个个导航网页，我们的目标就是爬取各个标题以及其超链接和描述。我们就根据这三部分进行建模就可以了。
只需要在items.py文件里建立相应的字段。初次打开未经修改的内容如下：

# -*- coding: utf-8 -*-
 
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
 
import scrapy
 
 
class TutorialItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pass

我们按照这个模板来定义其他的

class DmozItem(scrapy.Item):  #改个与项目对应的名字
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()   #标题
    link = scrapy.Field()   #超链接
    desc = scrapy.Field()  #描述

我们定义了title，link，desc（描述）

3、编写爬虫

（1）、我们需要在spider里面创建一个dmoz_spider.py的源文件

编写一个spider类，命名为DmozSpider，这里要求必须是继承 scray.Spider 类，首先需要有一个 name，name 这里必须是唯一的，用来确认你这只 蜘蛛 的名字dmoz。后期我们会指定是派出哪只蜘蛛工作

然后我们需要定义一个蜘蛛工作的范围。这里我们规定只能 爬取在 dmozdir.org/Category 网址里面，这样它在一个网址里面找到其他网页的链接，也不会跑过去了，它只会在这个域名里面去爬，要是没有规定这个的话，蜘蛛爬着爬着就回不来了。

以及我们从哪里开始爬取

（2）、我们接受response，然后对他进行分析处理

#dmoz_spider.py
import scrapy
 
class DmozSpider(scrapy.Spider):
        name = "dmoz"
        allowed_domains = ['dmozdir.org/Category']
        start_urls = ['http://www.dmozdir.org/Category/?SmallPath=230',
                      'http://www.dmozdir.org/Category/?SmallPath=411']
 
        def parse(self, response):
                filename = response.url.split('/')[-1][-3:]  #文件名为230和411
                with open(filename, 'wb') as f:
                        f.write(response.body)

这段代码完成了上面所说的，名字，范围已经分析，但是获取的整个网页的body

（3）、

首先你需要在CMD中进入项目的根目录（在前面我们已经进入了），输入：

scrapy shell "http://www.dmozdir.org/Category/?SmallPath=411"

回车，得到下面的内容：

#CMD窗口
C:\Users\XiangyangDai\Desktop\tutorial>scrapy shell "http://www.dmozdir.org/Category/?SmallPath=411"
2018-12-17 16:40:55 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)
2018-12-17 16:40:55 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul  5 2016, 11:41:13) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0j  20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.17134-SP0
2018-12-17 16:40:55 [scrapy.crawler] INFO: Overridden settings: {'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['tutorial.spiders'], 'LOGSTATS_INTERVAL': 0, 'BOT_NAME': 'tutorial', 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter', 'NEWSPIDER_MODULE': 'tutorial.spiders'}
2018-12-17 16:40:55 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.corestats.CoreStats']
2018-12-17 16:40:55 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2018-12-17 16:40:55 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2018-12-17 16:40:55 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2018-12-17 16:40:55 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2018-12-17 16:40:55 [scrapy.core.engine] INFO: Spider opened
2018-12-17 16:40:56 [scrapy.core.engine] DEBUG: Crawled (200)  (referer: None)
2018-12-17 16:40:56 [scrapy.core.engine] DEBUG: Crawled (200)  (referer: None)
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    
[s]   item       {}
[s]   request    
[s]   response   <200 http://www.dmozdir.org/Category/?SmallPath=411>
[s]   settings   
[s]   spider     
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser
In [1]:

此时我们得到了一个response，我们可以对他进行操作

#CMD窗口
In [1]: response.headers
Out[1]:
{b'Cache-Control': b'private',
 b'Content-Type': b'text/html; Charset=utf-8',
 b'Date': b'Mon, 17 Dec 2018 08:40:47 GMT',
 b'Server': b'Microsoft-IIS/6.0',
 b'Set-Cookie': b'ASPSESSIONIDCSBBCQBD=NMHNAMKDCBHDGNNAAGNKKBLM; path=/',
 b'Vary': b'Accept-Encoding',
 b'X-Powered-By': b'ASP.NET'}

可以获得网页的头

#CMD窗口
In [3]: response.body
Out[3]: b'\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b-\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1-\xe7\x9b\xae\xe5\xbd\x95\xe5\x88\x86\xe7\xb1\xbb-DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n
\r\n\t\r\n\t
\r\n\t\t
\r\n\t\t\tDMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95-\xe5\x85\x8d\xe8\xb4\xb9\xe6\x94\xb6\xe5\xbd\x95\xe5\x90\x84\xe7\xb1\xbb\xe4\xbc\x98\xe7\xa7\x80\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe7\x9b\xae\xe5\xbd\x95.\r\n\t\t\t\r\n\t\t
\r\n\t
\r\n\t\r\n\r\n\t\r\n\t
\r\n\t\t\r\n\t\t
\r\n\t\t\t
DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95-\xe5\x85\x8d\xe8\xb4\xb9\xe6\x94\xb6\xe5\xbd\x95\xe5\x90\x84\xe7\xb1\xbb\xe4\xbc\x98\xe7\xa7\x80\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe7\x9b\xae\xe5\xbd\x95.
\r\n\t\t\t\r\n\t\t\t\r\n\t\t\t
\r\n\t\t\t\t\r\n\t\t\t
\r\n\t\t\t\r\n\t\t\t
\r\n\t\t\t\t\xe7\x9b\xae\xe5\xbd\x95\xe5\x88\x86\xe7\xb1\xbb\r\n\t\t\t\t\r\n\t\t\t
\r\n\t\t\t
\r\n\t\t\t\t\xe5\x9c\xb0\xe5\x8c\xba\xe5\x88\x86\xe7\xb1\xbb\r\n\t\t\t\t\r\n\t\t\t
\r\n\t\t
\r\n\t\t\r\n\r\n\t\t
\r\n\t\t\t\r\n\t\t\t\r\n\t\t\t
\r\n\t\t\t\t
\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\t\r\n\t\t\t\t\t\t\t\r\n\t\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\xe6\x90\x9c\xe7\xb4\xa2\xe5\xb8\xae\xe5\x8a\xa9?\r\n\t\t\t\t
\r\n\t\t\t
\r\n\t\t\t\r\n\t\t
\r\n\t\t
DMOZ\xe7\x9b\xae\xe5\xbd\x95\xe5\xbf\xab\xe9\x80\x9f\xe7\x99\xbb\xe5\xbd\x95\xe5\x85\xa5\xe5\x8f\xa3-\xe5\x85\x8d\xe8\xb4\xb9\xe6\x94\xb6\xe5\xbd\x95\xe5\x90\x84\xe7\xb1\xbb\xe4\xbc\x98\xe7\xa7\x80\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe7\x9b\xae\xe5\xbd\x95.\xe7\x94\xb1\xe4\xba\xba\xe5\xb7\xa5\xe7\xbc\x96\xe8\xbe\x91,\xe5\xb9\xb6\xe6\x8f\x90\xe4\xbe\x9b\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95\xe6\xa3\x80\xe7\xb4\xa2\xe5\x8f\x8a\xe5\x9c\xb0\xe5\x8c\xba\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95\xe6\xa3\x80\xe7\xb4\xa2,\xe6\x98\xaf\xe7\xab\x99\xe9\x95\xbf\xe5\x85\x8d\xe8\xb4\xb9\xe6\x8e\xa8\xe5\xb9\xbf\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe6\x9c\x89\xe5\x8a\x9b\xe5\xb9\xb3\xe5\x8f\xb0!
\r\n\t\t
\r\n\t\t\t\xe5\xbd\x93\xe5\x89\x8d\xe4\xbd\x8d\xe7\xbd\xae\xef\xbc\x9aDMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95 >\r\n\t\t\t\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1 > \xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b(176)  \r\n\t\t\t\xe8\xae\xa2\xe9\x98\x85\xe6\x9c\x80\xe8\xbf\x91\xe6\x9b\xb4\xe6\x96\xb0Feed\r\n\r\n\t\t\t
DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95 - \xe7\xbd\x91\xe7\xab\x99\xe5\x85\x8d\xe8\xb4\xb9\xe7\x99\xbb\xe5\xbd\x95, \xe5\x85\x8d\xe8\xb4\xb9\xe6\x8e\xa8\xe5\xb9\xbf
\r\n\t\t
\r\n\r\n\t\t\r\n\t\t
\r\n\t\t\t
\r\n\r\n\t\t\t\t
\r\n\t\t\t\t\t
\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1 > \xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b
\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t
\xe5\x90\x91\xe8\xaf\xa5\xe7\x9b\xae\xe5\xbd\x95\xe6\x8f\x90\xe4\xba\xa4\xe7\xbd\x91\xe7\xab\x99
\r\n\t\t\t\t\t
  • \xe5\xa4\xa9\xe5\x96\x9c\xe7\xbc\x98\xe5\xa9\x9a\xe4\xbb\x8b\xe7\xbd\x91-\xe6\x9c\x80\xe5\xa5\xbd\xe7\x9a\x84\xe5\xa9\x9a\xe5\xbe\x81\xe5\xa9\x9a\xe4\xbb\x8b\xe7\xbd\x91\xe7\xab\x99
    \xe5\xa4\xa9\xe5\x96\x9c\xe7\xbc\x98\xe5\xa9\x9a\xe4\xbb\x8b\xe5\xa9\x9a\xe5\xba\x86\xe7\xbd\x91\xe6\x98\xaf\xe6\xb5\x8e\xe5\x8d\x97\xe6\x9c\x80\xe4\xb8\x93\xe4\xb8\x9a\xe7\x9a\x84\xe5\xa9\x9a\xe4\xbb\x8b\xe7\xbd\x91\xe7\xab\x99\xe3\x80\x81\xe5\xa9\x9a\xe5\xba\x86\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x8c\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x8c\xe5\x8f\x8a\xe6\xb5\x8e\xe5\x8d\x97\xe5\xbe\x81\xe5\xa9\x9a\xe3\x80\x81\xe6\xb5\x8e\xe5\x8d\x97\xe4\xba\xa4\xe5\x8f\x8b\xe3\x80\x81\xe6\xb5\x8e\xe5\x8d\x97\xe5\xa9\x9a\xe4\xbb\x8b\xe3\x80\x81\xe6\xb5\x8e\xe5\x8d\x97\xe5\xba\x86\xe5\x85\xb8\xe3\x80\x81\xe6\xb5\x8e\xe5\x8d\x97\xe7\xa4\xbc\xe4\xbb\xaa\xe4\xba\x8e\xe4\xb8\x80\xe4\xbd\x93\xef\xbc\x8c\xe7\xbd\x91\xe4\xb8\x8b\xe6\x9c\x89\xe5\xae\x9e\xe4\xbd\x93\xe5\xba\x97\xe9\x9d\xa2-\xe6\xb5\x8e\xe5\x8d\x97\xe5\xb8\x82\xe5\xb8\x82\xe4\xb8\xad\xe5\x8c\xba\xe5\xa4\xa9\xe5\x96\x9c\xe7\xbc\x98\xe5\xa9\x9a\xe4\xbb\x8b\xe5\xa9\x9a\xe5\xba\x86\xe4\xb8\xad\xe5\xbf\x83\xef\xbc\x8c\xe4\xb8\x8d\xe5\xae\x9a\xe6\x9c\x9f\xe4\xb8\xbe\xe5\x8a\x9e\xe8\x81\x94\xe8\xb0\x8a\xe6\xb4\xbb\xe5\x8a\xa8\xef\xbc\x8c\xe4\xbf\x9d\xe8\xaf\x81\xe4\xbc\x9a\xe5\x91\x98\xe6\x88\x90\xe5\x8a\x9f\xe7\x8e\x87
    www.love219.com
  • \xe6\x88\x90\xe9\x83\xbd\xe7\x9b\x9b\xe4\xb8\x96\xe9\x98\xb3\xe5\x85\x89\xe5\xa9\x9a\xe5\xba\x86\xe7\xad\x96\xe5\x88\x92\xe6\x9c\x89\xe9\x99\x90\xe5\x85\xac\xe5\x8f\xb8
    \xe8\xaf\x9a\xe4\xbf\xa1\xe6\x8a\x95\xe8\xb5\x84\xe6\x8e\xa7\xe8\x82\xa1\xe9\x9b\x86\xe5\x9b\xa2\xe5\xb1\x9e\xe4\xba\x8e\xe5\x9b\x9b\xe5\xb7\x9d\xe7\x9c\x81\xe5\xa4\xa7\xe5\x9e\x8b\xe4\xbc\x81\xe4\xb8\x9a\xe9\x9b\x86\xe5\x9b\xa2\xef\xbc\x8c\xe5\xb7\x9d\xe5\x86\x85\xe6\x8e\x92\xe4\xba\x8e\xe5\x89\x8d20\xe5\x90\x8d\xef\xbc\x8c\xe6\xb3\xa8\xe5\x86\x8c\xe8\xb5\x84\xe9\x87\x913.5\xe4\xba\xbf\xe5\x85\x83\xef\xbc\x8c\xe6\x8b\xa5\xe6\x9c\x89\xe5\x9b\xba\xe5\xae\x9a\xe8\xb5\x84\xe4\xba\xa746.5\xe4\xba\xbf\xe3\x80\x82\xe5\x85\xac\xe5\x8f\xb8\xe6\x80\xbb\xe9\x83\xa8\xe4\xbd\x8d\xe4\xba\x8e\xe6\x88\x90\xe9\x83\xbd\xe5\xb8\x82\xe8\x87\xb4\xe6\xb0\x91\xe4\xb8\x9c\xe8\xb7\xaf1\xe5\x8f\xb7\xe3\x80\x82\xe5\x9c\xa8\xe5\x8c\x97\xe4\xba\xac\xe3\x80\x81\xe4\xb8\x8a\xe6\xb5\xb7\xe3\x80\x81\xe6\x96\xb0\xe7\x96\x86\xe7\xad\x89\xe5\x9c\xb0\xe8\xae\xbe\xe6\x9c\x89\xe5\x88\x86\xe5\x85\xac\xe5\x8f\xb8\xe3\x80\x82\xe8\xaf\x9a\xe4\xbf\xa1\xe7\x9b\x9b\xe4\xb8\x96\xe9\x98\xb3\xe5\x85\x89\xe5\xa9\x9a\xe5\xba\x86\xe5\x85\xac\xe5\x8f\xb8\xe6\x98\xaf\xe5\x85\xb6\xe5\xad\x90\xe5\x85\xac\xe5\x8f\xb8\xe3\x80\x82
    www.ssyg520.com
  • \xe6\x83\x85\xe4\xba\xba\xe7\xbd\x91
    \xe6\x83\x85\xe4\xba\xba\xe7\xbd\x91\xe4\xba\xa4\xe5\x8f\x8b\xe4\xb8\xad\xe5\xbf\x83\xe4\xb8\xba\xe4\xbd\xa0\xe6\x8f\x90\xe4\xbe\x9b\xe6\x9c\x80\xe4\xbd\xb3\xe7\x9a\x84\xe7\xbd\x91\xe4\xb8\x8a\xe6\x83\x85\xe4\xba\xba\xe4\xba\xa4\xe5\x8f\x8b\xe6\x9c\xba\xe4\xbc\x9a\xef\xbc\x8c\xe8\xb6\xb3\xe4\xb8\x8d\xe5\x87\xba\xe6\x88\xb7\xe4\xbe\xbf\xe8\x83\xbd\xe8\xae\xa9\xe4\xbd\xa0\xe6\x9c\x89\xe6\x9b\xb4\xe5\xa4\x9a\xe7\x9a\x84\xe9\x80\x89\xe6\x8b\xa9\xef\xbc\x81
    www.591lover.net
  • \xe5\x9b\xbd\xe9\x99\x85\xe5\x85\x8d\xe8\xb4\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99-\xe7\x9b\xb8\xe7\xba\xa6100
    \xe5\x9b\xbd\xe9\x99\x85\xe5\x85\x8d\xe8\xb4\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xe6\x98\xaf\xe7\x9b\xb8\xe7\xba\xa6100\xe6\x8f\x90\xe4\xbe\x9b\xe7\x9a\x84\xe5\xae\x8c\xe5\x85\xa8\xe5\x85\x8d\xe8\xb4\xb9\xe7\x9a\x84\xe5\x9b\xbd\xe9\x99\x85\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xe3\x80\x82\xe4\xbc\x9a\xe5\x91\x98\xe4\xbb\xa5\xe5\x8d\x8e\xe4\xba\xba\xe4\xb8\xba\xe4\xb8\xbb\xe9\x81\x8d\xe5\xb8\x83\xe4\xba\x94\xe6\xb9\x96\xe5\x9b\x9b\xe6\xb5\xb7,\xe6\x89\x80\xe6\x9c\x89\xe4\xbc\x9a\xe5\x91\x98\xe5\xae\x8c\xe5\x85\xa8\xe5\x85\x8d\xe8\xb4\xb9\xe3\x80\x82\xe6\x89\x80\xe6\x9c\x89\xe5\xaf\xbb\xe6\x89\xbe\xe5\x9b\xbd\xe9\x99\x85\xe5\x85\x8d\xe8\xb4\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe6\x9c\x8b\xe5\x8f\x8b\xe9\x83\xbd\xe8\x83\xbd\xe5\x9c\xa8\xe5\x9b\xbd\xe9\x99\x85\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xe5\x9c\xa8\xe6\x89\xbe\xe5\x88\xb0\xe5\xae\x8c\xe5\x85\xa8\xe5\x85\x8d\xe8\xb4\xb9\xe7\x9a\x84\xe5\x9b\xbd\xe9\x99\x85\xe5\x85\x8d\xe8\xb4\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xe6\x9c\x8d\xe5\x8a\xa1
    www.free-onlinedating.me
  • \xe5\xae\x89\xe5\xbe\xbd\xe5\xa9\x9a\xe5\xba\x86\xe7\xbd\x91
    \xe5\xae\x89\xe5\xbe\xbd\xe5\xa9\x9a\xe5\xba\x86\xe7\xbd\x91
    www.ahhqw.com
  • \xe8\x81\x9a\xe7\xbc\x98\xe5\x8c\x97\xe6\xb5\xb7\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91
    \xe8\x81\x9a\xe7\xbc\x98\xe5\x8c\x97\xe6\xb5\xb7\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe6\x98\xaf\xe5\x8c\x97\xe6\xb5\xb7\xe5\x9c\xb0\xe5\x8c\xba\xe8\xbe\x83\xe8\xa7\x84\xe8\x8c\x83\xe7\x9a\x84\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x8c\xe8\x87\xb4\xe5\x8a\x9b\xe4\xba\x8e\xe8\x90\xa5\xe9\x80\xa0\xe6\x9c\x89\xe8\xb6\xa3\xe8\x80\x8c\xe5\xae\x89\xe5\x85\xa8\xe7\x9a\x84\xe7\xbd\x91\xe7\xbb\x9c\xe4\xba\xa4\xe5\x8f\x8b\xe7\xa4\xbe\xe5\x8c\xba\xef\xbc\x8c\xe6\x8f\x90\xe4\xbe\x9b\xe6\x90\x9c\xe7\xb4\xa2\xe3\x80\x81\xe7\xbe\x8e\xe6\x96\x87\xe3\x80\x81\xe7\xba\xa6\xe4\xbc\x9a\xe3\x80\x81\xe6\x97\xa5\xe8\xae\xb0\xe3\x80\x81\xe8\x81\x8a\xe5\xa4\xa9\xe3\x80\x81\xe7\xad\x89\xe5\xa4\x9a\xe9\xa1\xb9\xe4\xba\xa4\xe5\x8f\x8b\xe6\x9c\x8d\xe5\x8a\xa1\xe3\x80\x82\xe5\xb9\xb6\xe4\xb8\x8e\xe5\x9c\xb0\xe6\x96\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe9\x83\xa8\xe9\x97\xa8\xe5\xbb\xba\xe7\xab\x8b\xe4\xba\x86\xe8\x89\xaf\xe5\xa5\xbd\xe7\x9a\x84\xe5\x90\x88\xe4\xbd\x9c\xe5\x85\xb3\xe7\xb3\xbb\xe3\x80\x82
    www.jyjjyy.com
  • \xe7\x88\xb1\xe6\x88\x91\xe5\x90\xa7\xe5\xa9\x9a\xe6\x81\x8b\xe7\xbd\x91
    \xe7\x88\xb1\xe6\x88\x91\xe5\x90\xa7\xe5\xa9\x9a\xe6\x81\x8b\xe7\xbd\x91\xe6\x98\xaf\xe4\xb8\x80\xe4\xb8\xaa\xe7\x9c\x9f\xe5\xae\x9e\xe3\x80\x81\xe4\xb8\xa5\xe8\x82\x83\xe3\x80\x81\xe9\xab\x98\xe5\x93\x81\xe4\xbd\x8d\xe7\x9a\x84\xe5\xa9\x9a\xe6\x81\x8b\xe5\xb9\xb3\xe5\x8f\xb0\xef\xbc\x8c\xe6\x8f\x90\xe4\xbe\x9b\xe7\xa7\x91\xe5\xad\xa6\xe3\x80\x81\xe9\xab\x98\xe6\x95\x88\xe7\x9a\x84\xe5\x85\xa8\xe7\xa8\x8b\xe6\x9c\x8d\xe5\x8a\xa1\xef\xbc\x8c\xe5\xb8\xae\xe5\x8a\xa9\xe7\x9c\x9f\xe5\xbf\x83\xe5\xaf\xbb\xe6\x89\xbe\xe7\xbb\x88\xe8\xba\xab\xe4\xbc\xb4\xe4\xbe\xa3\xe7\x9a\x84\xe4\xba\xba\xe5\xa3\xab\xe5\xae\x9e\xe7\x8e\xb0\xe5\x92\x8c\xe8\xb0\x90\xe5\xa9\x9a\xe6\x81\x8b\xef\xbc\x8c\xe5\x8a\xaa\xe5\x8a\x9b\xe8\x90\xa5\xe9\x80\xa0\xe5\x9b\xbd\xe5\x86\x85\xe6\x9c\x80\xe4\xb8\x93\xe4\xb8\x9a\xe3\x80\x81\xe4\xb8\xa5\xe8\x82\x83\xe7\x9a\x84\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe5\xb9\xb3
    www.lovemeba.com
  • 77\xe5\x9b\xbd\xe9\x99\x85\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91
    \xe7\xba\xaf\xe5\x85\xac\xe7\x9b\x8a\xe6\x80\xa7\xef\xbc\x8c\xe7\x88\xb1\xe5\xbf\x83\xe7\xa4\xbe\xe4\xba\xa4\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x8c\xe4\xb8\xba\xe5\xb9\xbf\xe5\xa4\xa7\xe9\x9d\x92\xe5\xb9\xb4\xe5\x8f\x8a\xe5\x8d\x95\xe8\xba\xab\xe4\xba\xba\xe5\xa3\xab\xe6\x8f\x90\xe4\xbe\x9b\xe7\x9a\x84\xe5\x85\xa8\xe5\x85\x8d\xe8\xb4\xb9\xe4\xba\xa4\xe5\x8f\x8b\xe5\xb9\xb3\xe5\x8f\xb0\xe3\x80\x82
    www.77lds.com
  • \xe4\xb8\x9c\xe8\x8e\x9e\xe9\x9f\xa9\xe9\xa3\x8e\xe5\xb0\x9a\xe5\xa9\x9a\xe7\xba\xb1\xe6\x91\x84\xe5\xbd\xb1\xe5\xb7\xa5\xe4\xbd\x9c\xe5\xae\xa4
    \xe4\xb8\x9c\xe8\x8e\x9e\xe9\x9f\xa9\xe9\xa3\x8e\xe5\xb0\x9a\xe5\xa9\x9a\xe7\xba\xb1\xe6\x91\x84\xe5\xbd\xb1\xe5\xb7\xa5\xe4\xbd\x9c\xe5\xae\xa4\xe6\x98\xaf\xe5\x85\xb7\xe6\x9c\x89\xe7\x8b\xac\xe7\x89\xb9\xe7\x9a\x84\xe9\x9f\xa9\xe5\x9b\xbd\xe9\xa3\x8e\xe6\xa0\xbc\xe7\x9a\x84\xe4\xb8\x9c\xe8\x8e\x9e\xe5\xa9\x9a\xe7\xba\xb1\xe6\x91\x84\xe5\xbd\xb1\xe5\xb7\xa5\xe4\xbd\x9c\xe5\xae\xa4\xef\xbc\x8c\xe9\x9f\xa9\xe9\xa3\x8e\xe5\xb0\x9a\xe4\xbd\x8d\xe4\xba\x8e\xe4\xb8\x9c\xe8\x8e\x9e\xe4\xb8\x9c\xe5\x9f\x8e\xe5\x8c\xba\xe6\x97\x97\xe5\xb3\xb0\xe8\xb7\xaf\xe5\x9b\xbd\xe6\xb3\xb0\xe5\xa4\xa7\xe5\x8e\xa610\xe5\x8f\xb7,\xe6\x88\x91\xe4\xbb\xac\xe6\xb0\xb8\xe8\xbf\x9c\xe6\xbb\xa1\xe6\x80\x80\xe5\x88\x9b\xe6\x84\x8f\xe4\xb8\x8e\xe6\xb8\xa9\xe6\x83\x85,\xe9\x80\x9a\xe8\xbf\x87\xe4\xb8\x80\xe5\xaf\xb9\xe4\xb8\x80\xe7\x9a\x84\xe6\x9c\x8d\xe5\x8a\xa1\xe4\xb8\xba\xe6\x82\xa8\xe6\x8f\x90\xe4\xbe\x9b\xe8\xb6\x85\xe8\xb6\x8a\xe6\x82\xa8\xe6\x9c\x9f\xe6\x9c\x9b
    www.dg-hfs.com
  • \xe7\x99\xbe\xe5\x90\x88\xe5\xa9\x9a\xe7\xa4\xbc\xe7\xa4\xbe\xe5\x8c\xba
    \xe7\x99\xbe\xe5\x90\x88\xe5\xa9\x9a\xe7\xa4\xbc\xe7\xa4\xbe\xe5\x8c\xba\xe8\xae\xa8\xe8\xae\xba\xe8\xaf\x9d\xe9\xa2\x98\xe6\xb6\xb5\xe7\x9b\x96\xe5\xa9\x9a\xe7\xba\xb1\xe7\x85\xa7\xe3\x80\x81\xe5\xa9\x9a\xe7\xba\xb1\xe6\x91\x84\xe5\xbd\xb1\xe3\x80\x81\xe5\xa9\x9a\xe7\xa4\xbc\xe7\xad\xb9\xe5\xa4\x87\xe3\x80\x81\xe5\xa9\x9a\xe7\xba\xb1\xe7\xa4\xbc\xe6\x9c\x8d\xe3\x80\x81\xe5\xa9\x9a\xe5\xba\x86\xe7\xad\x89\xe6\x96\xb9\xe9\x9d\xa2
    www.lilywed.cn
\r\n
\r\n\t
\r\n\t\t123456789>>|\r\n\t
\r\n\t
\r\n\t\t176\xe8\xae\xb0\xe5\xbd\x95\xe3\x80\x80\xe6\xaf\x8f\xe9\xa1\xb510\xe6\x9d\xa1\r\n\t
\r\n
\r\n\r\n\t\t\t\t
\r\n\r\n\t\t\t
\r\n\t\t
\r\n\t\t\r\n\r\n\t\t\r\n\t\t\t\t\r\n\r\n\t\t\r\n\r\n\t
\r\n\t\r\n\r\n\r\n\t\r\n
© 2009  DmozDir \xe5\x86\x80ICP\xe5\xa4\x8708100951\xe5\x8f\xb7 DMOZ\xe7\x9b\xae\xe5\xbd\x95\xe5\xbf\xab\xe9\x80\x9f\xe7\x99\xbb\xe5\xbd\x95\xe5\x85\xa5\xe5\x8f\xa3\r\n\t\t
\xe7\xbd\x91\xe7\xab\x99\xe5\x85\x8d\xe8\xb4\xb9\xe7\x99\xbb\xe5\xbd\x95\xef\xbc\x8c\xe6\x96\xb0\xe6\x94\xb6\xe5\xbd\x95\xe7\xbd\x91\xe7\xab\x99\xe9\xa6\x96\xe9\xa1\xb5\xe6\x98\xbe\xe7\xa4\xba\xef\xbc\x8c\xe6\x89\x80\xe6\x9c\x89\xe6\x8e\x92\xe5\x90\x8d\xe5\x85\xa8\xe8\x87\xaa\xe5\x8a\xa8\xe5\xae\x9e\xe6\x97\xb6\xe5\x88\xb7\xe6\x9b\xb4\xe6\x96\xb0\xef\xbc\x8c\xe7\xbd\x91\xe7\xab\x99\xe6\x8e\xa8\xe5\xb9\xbf\xe7\x9a\x84\xe6\x9c\x80\xe4\xbd\xb3\xe9\x80\x89\xe6\x8b\xa9\xe5\xb0\xb1\xe5\x9c\xa8DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95
\r\n
\r\n\r\n\r\n\r\n\r\n\r\n'

可以获得网页的源代码，但是由于是二进制的，所以我们可以对他进行编码

#CMD窗口
In [5]: response.body.decode('utf-8')
Out[5]: '\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n婚恋交友-生活与服务-目录分类-DMOZ中文网站分类目录\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n
\r\n\t\r\n\t
\r\n\t\t
\r\n\t\t\tDMOZ中文网站分类目录-免费收录各类优秀网站的中文网站目录.\r\n\t\t\t\r\n\t\t
\r\n\t
\r\n\t\r\n\r\n\t\r\n\t
\r\n\t\t\r\n\t\t
\r\n\t\t\t
DMOZ中文网站分类目录-免费收录各类优秀网站的中文网站目录.
\r\n\t\t\t\r\n\t\t\t\r\n\t\t\t
\r\n\t\t\t\t\r\n\t\t\t
\r\n\t\t\t\r\n\t\t\t
\r\n\t\t\t\t目录分类\r\n\t\t\t\t\r\n\t\t\t
\r\n\t\t\t
\r\n\t\t\t\t地区分类\r\n\t\t\t\t\r\n\t\t\t
\r\n\t\t
\r\n\t\t\r\n\r\n\t\t
\r\n\t\t\t\r\n\t\t\t\r\n\t\t\t
\r\n\t\t\t\t
\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\t\r\n\t\t\t\t\t\t\t\r\n\t\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t搜索帮助?\r\n\t\t\t\t
\r\n\t\t\t
\r\n\t\t\t\r\n\t\t
\r\n\t\t
DMOZ目录快速登录入口-免费收录各类优秀网站的中文网站目录.由人工编辑,并提供网站分类目录检索及地区分类目录检索,是站长免费推广网站的有力平台!
\r\n\t\t
\r\n\t\t\t当前位置：DMOZ中文网站分类目录 >\r\n\t\t\t生活与服务 > 婚恋交 友(176)  \r\n\t\t\t订 阅最近更新Feed\r\n\r\n\t\t\t
DMOZ中文网站分类目录 - 网站免费登录, 免费推广
\r\n\t\t
\r\n\r\n\t\t\r\n\t\t
\r\n\t\t\t
\r\n\r\n\t\t\t\t
\r\n\t\t\t\t\t
生活与服务 > 婚恋交友
\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\t
向该目录提交网站
\r\n\t\t\t\t\t
  • 天喜缘婚介网-最好的婚征婚介网站
    天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站，交友网站，及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体，网下有实体店面-济南市市中区天喜缘婚介婚庆中心，不定期举办联谊活动，保证会员成功率
    www.love219.com
  • 成都盛世阳光婚庆策划有限公司
    诚信投资控股集团属于四川省大型企业集团，川内排于前20名，注册资金3.5亿元，拥有固定资产46.5亿。 公司总部位于成都市致民东路1号。在北京、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。
    www.ssyg520.com
  • 情人网
    情人网交友 中心为你提供最佳的网上情人交友机会，足不出户便能让你有更多的选择！
    www.591lover.net
  • 国际免费婚介交友网站-相约100
    国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋 友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务
    www.free-onlinedating.me
  • 安徽婚庆网
    安徽婚庆网
    www.ahhqw.com
  • 聚缘北海交友网
    聚缘北海交友网是北海地区较规范的婚恋交友网站，致力于营造有趣而安全的网络交友社区，提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。
    www.jyjjyy.com
  • 爱我吧婚恋网
    爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台，提供科学、高效的全程服务，帮助真心寻找终身伴侣的人士实现和谐婚恋，努力营造国内最专业、严肃的婚恋交友平
    www.lovemeba.com
  • 77国际交友网
    纯公益性，爱心社交网站，为广大青年及单身人士提供的全免费交友平台。
    www.77lds.com
  • 东莞韩风尚婚纱摄影工作室
    东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室，韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望
    www.dg-hfs.com
  • 百合婚礼社区
    百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面
    www.lilywed.cn
\r\n
\r\n\t
\r\n\t\t123456789>>|\r\n\t
\r\n\t
\r\n\t\t176记录\u3000每页10条\r\n\t
\r\n
\r\n\r\n\t\t\t\t
\r\n\r\n\t\t\t
\r\n\t\t
\r\n\t\t\r\n\r\n\t\t\r\n\t\t\t\t\r\n\r\n\t\t\r\n\r\n\t
\r\n\t\r\n\r\n\r\n\t\r\n
© 2009  DmozDir 冀ICP备08100951号 DMOZ目录快速登录入口\r\n\t\t
网站免费登录，新收 录网站首页显示，所有排名全自动实时刷更新，网站推广的最佳选择就在DMOZ中文网站分类目录
\r\n
\r\n\r\n\r\n\r\n\r\n\r\n'

但是，我们只想得到title，desc，link这几个参量的，所以要进行筛选

selector 选择器就是这么一个筛子，正如我们刚才所讲到的，可以使用 response.selector.xpath() 或者 response.selector.css() 或者  response.selector.extract() 或者 response.selector.re() 这四个基本方法来进行筛选。
这次我们研究的是xpath()。这其实也是一个取的过程。

最后改成的spider的程序如下，相关解释已经在程序中有注释

关于scrapy的安装以及初步入门_第3张图片

import scrapy
class DmozSpider(scrapy.Spider):
     name="dmoz"
     allowed_domains=['dmozdir.org/Category']#确定要爬取的范围
     start_urls=['http://www.dmozdir.org/Category/?SmallPath=230']#确定要爬取的开始网页
                 # 'http://www.dmozdir.org/Category/?SmallPath=411']

     def parse(self,response):
         titles=response.selector.xpath('//ul/li/h4/a/text()').extract()
         #直接使用title，返回的是一个selector对象的列表
         # 加上extract将列表给字符串化，所以提取出来只有想要的那部分的标签和信息
         #加上text就只提取文字部分，不要标签

         links=response.selector.xpath('//ul/li/h4/a/@href').extract()
         #因为是一个链接所以要加上@
         decss=response.selector.xpath('//ul/li/p/text()').extract()
         if len(titles)==len(links)==len(decss):
             for i in range(len(titles)):
                 print(titles[i],links[i],decss[i])

这样我们就把title，link，decs打印出来了

接下来我们使用items就是我们自定义的容器，所以在dmoz_spider.py中写道：

from turtorial.items import DmozItem

#dmoz_spider.py
import scrapy
from tutorial.items import DmozItem
 
class DmozSpider(scrapy.Spider):
        name = "dmoz"
        allowed_domains = ['dmozdir.org/Category']
        start_urls = ['http://www.dmozdir.org/Category/?SmallPath=230',
                      'http://www.dmozdir.org/Category/?SmallPath=411']
 
        def parse(self, response):
                titles = response.selector.xpath('//ul/li/h4/a/text()').extract()  #标题 title
                links = response.selector.xpath('//ul/li/h4/a/@href').extract()  #超链接 link
                descs = response.selector.xpath('//ul/li/p/text()').extract()   #描述 desc
                items = []
                if len(titles) == len(links) == len(descs):
                        for i in range(len(titles)):
                                #print(titles[i], links[i], decss[i])
                                item = DmozItem()
                                #每一组保存为一个字典
                                item['title'] = titles[i]
                                item['link'] = links[i]
                                item['desc'] = descs[i]
                                #将每个字典添加到列表中
                                items.append(item)
                        return items

然后在cmd中，tutorial的根目录下，执行目录scrapy crawl dmoz -o items.json -t json

-o 文件名 -t 保存形式。

在 tutorial 根目录 下就会有一个名为 items.json 的文件

但是我们会发现产生的items.json是二进制文件

pipeline.py是用于处理item的，所以在pipeline.py中对保存的文件进行处理：

# -*- coding: utf-8 -*-
 
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
 
import json
 
class TutorialPipeline(object):
    def __init__(self):
        self.f = open('items.json', 'wb')
    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii = False) + "\n"
        self.f.write(line.encode('utf-8'))#这里对他进行解码
        return item
    def close_spider(self, spider):
        self.f.close()

因为读取到的网页是二进制文件，所以我们在__init__方法中，建一个名为items.json

的文件，以二进制形式写入、

在process_item方法中，对item文件进行解码写入操作，最后在close_spider方法中，关闭文件

接下来，就在settings.py 文件中开启 pipeline，加入下面的命令即可：

ITEM_PIPELINES = {
    'tutorial.pipelines.TutorialPipeline': 300,
}

其中，TutorialPipeline 就是 pipeline.py 文件中的 类名

因为我们在 pipeline.py 中完成了新建文件的操作，所以 在CMD 中输入的命令 应该改为：scrapy crawl dmoz -t json

这个我们得到的json文件里面就会出现文字啦

 

 

 

 

 

 

 

 

 

你可能感兴趣的:(关于scrapy的安装以及初步入门)

  • 使用MarkdownHeaderTextSplitter拆分Markdown文档 scaFHIO python前端开发语言
    在AI驱动的应用中，如聊天机器人或问答系统，处理大型文档时，通过分片技术将文档拆分为更小的单元是必要的步骤。尤其是对于Markdown格式的文件，它们通常由各种层级的标题结构化组织。通过按标题拆分，有利于保留文档的上下文语义一致性。本篇文章将讲解如何使用MarkdownHeaderTextSplitter来实现这一目标。技术背景介绍在将完整的段落或文档进行嵌入时，嵌入过程会考虑文本的整体上下文以及
  • pip download 是一个很有用的命令 weixin_46375180 pip
    确实，pipdownload是一个很有用的命令，通常用于下载包到本地以供离线安装或在网络不稳定时使用。以下是关于pipdownload的详细介绍：pipdownload命令下载指定的包：使用pipdownload可以下载指定的包，而不安装它。例如，下载numpy包：pipdownloadnumpy下载指定版本的包：你可以指定要下载的包的版本：pipdownloadnumpy==1.21.0下载并指
  • Python之pip的安装和使用详细教程 叫我技术帝 Pythonpython
    我们都知道python有海量的第三方库或者说模块，这些库针对不同的应用，发挥不同的作用。我们在实际的项目中，或多或少的都要使用到第三方库，那么如何将他人的库加入到自己的项目中内呢？打个电话？大哥你好，想用下你那个库，麻烦给邮箱发个源码呗！显然这是个笑话。Python官方的PyPi仓库为我们提供了一个统一的代码托管仓库，所有的第三方库，甚至你自己写的开源模块，都可以发布到这里，让全世界的人分享下载。
  • 详解小程序多端框架全面测评 前端可乐老师 前端
    现在流行的多端框架可以大致分为三类：1.全包型这类框架最大的特点就是从底层的渲染引擎、布局引擎，到中层的DSL，再到上层的框架全部由自己开发，代表框架是Qt和Flutter。这类框架优点非常明显：性能（的上限）高；各平台渲染结果一致。缺点也非常明显：需要完全重新学习DSL（QML/Dart），以及难以适配中国特色的端：小程序。这类框架是最原始也是最纯正的的多端开发框架，由于底层到上层每个环节都掌握
  • kubectl describe pod 命令以及输出详情讲解 Moshow郑锴 CloudDockerKuberneteskubernetes云原生kubectlpoddocker
    kubectldescribepod命令格式kubectldescribepod-n：Pod的名称。-n：指定命名空间，默认是当前命名空间。controlplane~✖kubectldescribepodnewpods-dzmkgName:newpods-dzmkgNamespace:defaultPriority:0ServiceAccount:defaultNode:controlplane/
  • opencv + opengl显示摄像头视频流 jbjhzstsl opencv计算机视觉
    完整代码github建议学习LearnOpenGL教程，学到入门的纹理一节1.OpenGL依赖安装1.1.安装GLFWsudoaptinstalllibglfw3libglfw3-devlibglfw3：GLFW运行时库libglfw3-dev：GLFW开发库（用于编译）1.2.安装OpenGL相关依赖sudoaptinstalllibgl1-mesa-devxorg-devlibgl1-mesa
  • 【mysql】mysql之主从部署以及介绍 向往风的男子 DBAmysql数据库
    本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
  • Docker入门篇:安装与加速 slamml Dockerdocker容器运维
    今天接着上一篇文章来写，本来计划以paopaorobot/dvo为例带入docker的基本操作，然后中间插播一下docker的安装和加速，但是发现写的有点罗嗦，刚写完安装与加速就挺大篇幅了，所以决定将docker基本操作放到下一篇介绍，对不住～对不住～。docker安装在这里，针对Windows、Ubuntu平台介绍docker的安装。Windows平台（本机win7）前提要求机器是64bit的，
  • Docker入门篇-安装Docker CE 极客编程玩家
    安装DockerCE有两种方法可以在Centos上安装DockerCE：YUM存储库：设置Docker存储库并从中安装DockerCE。这是推荐的方法，因为使用YUM管理安装和升级更容易。(后面我们使用这种方式)RPM包：下载RPM包，手动安装，手动管理升级。在无法访问互联网的系统上安装DockerCE时，这非常有用。先决条件要安装DockerCE，您需要CentOS7的维护版本。不支持或测试存档
  • 关于你需要知道的JVM基础 DRUN_K jvm
    Java对象的内存布局对象头class对象指针markword（64个bit位）结构：哈希码：对象的哈希码，用于支持基于哈希的集合操作GC分代年龄：对象的分代年龄，用于垃圾回收器的分代收集策略锁状态的标识：用于标识对象的锁状态，如未锁定、轻量级锁定、重量级锁定等。偏向线程ID（在偏向锁的状态下）：记录持有偏向锁的线程ID锁记录指针（在轻量级锁的状态下）：指向当前线程栈中LockRecent的指针作
  • JavaScript基础-事件基础 難釋懷 javascript开发语言
    在现代Web开发中，交互性是网站用户体验的重要组成部分。通过使用JavaScript，我们可以捕获用户的操作并作出响应，实现动态网页效果。这一切都离不开事件（Events）的概念。本文将介绍JavaScript中事件的基础知识，包括事件类型、如何绑定事件处理器以及一些常见的实践技巧。一、什么是事件？在浏览器环境中，事件是由浏览器生成的通知，表明某种情况已经发生。这些情况可能是用户交互（如点击按钮）
  • Python,C++开发餐饮后厨环境远程管理APP Geeker-2025 pythonc++
    开发一款用于**餐饮后厨环境远程管理**的App，结合Python和C++的优势，可以实现高效的后端数据处理、实时的环境监控以及用户友好的前端界面。以下是一个详细的开发方案，涵盖技术选型、功能模块、开发步骤等内容。##技术选型###后端（Python）-**编程语言**：Python-**Web框架**：Django或Flask-**数据库**：PostgreSQL或MySQL-**实时通信**：
  • S32K144外设实验（二）：ADC单通道单次采样（软件触发） 上层精灵的赞美诗 #S32K144的外设基础实验单片机嵌入式硬件eclipsemcu笔记
    文章目录1.概述1.1理论回顾1.1.1时钟系统1.1.2采样通道1.2实验目的2.配置与代码编写1.概述1.1理论回顾S32K144的ADC应该说是特别灵活，笔者采用循序渐进的方式来学习使用这个很重要的外设。在《入门笔记系列》专栏中对用户手册进行了翻译和解读，这里在回顾一下ADC的基本功能，第一次实验我们不使用过于复杂的触发方式。只使用一个通道来理解S32K144的ADC。1.1.1时钟系统首先
  • 代码逐行解析 | 教你在C++中使用深度学习提取特征点 3Ｄ视觉工坊 3D视觉从入门到精通c++深度学习开发语言人工智能
    点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达扫描下方二维码，加入3D视觉技术星球，星球内汇集了众多3D视觉实战问题，以及各个模块的学习资料：最新顶会论文、书籍、源码、视频（近20门系统课程[星球成员可免费学习]）等。想要入门3D视觉、做项目、搞科研，就加入我们吧。作者：泡椒味的口香糖|来源：3DCV添加微信：dddvision
  • React 相关插件之 Redux 基本使用入门 前端reactredux
    引入和定义首先，你需要创建Store实例并暴露出来：//stores/login.store.jsconstloginInstance=(preState,action)=>{switch(action.type){//修改状态case"changeLoginState":preState.isLogin=action.loginFlag=='YES'?true:falsereturnpreSta
  • Halcon 和 opencv比有什么区别与优劣 yuanpan opencv人工智能计算机视觉
    Halcon和OpenCV都是机器视觉领域的重要工具，但它们的设计目标、功能特点和适用场景有所不同。以下是两者的详细对比：1.定位与目标用户Halcon：定位：商业机器视觉软件，专注于工业应用。目标用户：工业自动化、质量控制、机器人引导等领域的专业开发者。OpenCV：定位：开源计算机视觉库，适用于通用图像处理和计算机视觉任务。目标用户：学术研究、教育、初创公司以及需要低成本解决方案的开发者。2.
  • /etc/sysconfig/jenkins 没有这个文件 计算机辅助工程 centosjenkins
    在CentOS或其他基于RedHat的Linux系统中，/etc/sysconfig/jenkins文件通常用来存储Jenkins的配置参数，例如JENKINS_HOME的路径。但是，如果你发现没有这个文件，你可以通过以下几种方式来解决或确认：检查Jenkins是否安装首先，确认Jenkins是否已经正确安装在你的系统上。你可以使用以下命令来检查Jenkins的安装状态：rpm-qa|grepje
  • 2025年毕设ssm校园二手交易平台论文+源码 锦程学长--毕设程序 课程设计
    本系统（程序+源码）带文档lw万字以上文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容选题背景关于校园二手交易平台的研究，现有成果多集中于社会综合型平台（如闲鱼、转转）的商业模式分析，或理论层面的共享经济模型探讨，而针对高校场景特殊性（如用户密度高、交易标的额小、社交属性强）的垂直型平台研究存在明显缺口。当前高校内二手交易多依赖社群、论坛等分散渠道，存在信息不对称、交易
  • SvelteKit 最新中文文档教程（6）—— 状态管理
    前言Svelte，一个语法简洁、入门容易，面向未来的前端框架。从Svelte诞生之初，就备受开发者的喜爱，根据统计，从2019年到2024年，连续6年一直是开发者最感兴趣的前端框架No.1：Svelte以其独特的编译时优化机制著称，具有轻量级、高性能、易上手等特性，非常适合构建轻量级Web项目。为了帮助大家学习Svelte，我同时搭建了Svelte最新的中文文档站点。如果需要进阶学习，也可以入手我
  • Lianwei 安全周报|2025.1.2 联蔚盘云 安全
    以下是本周「Lianwei周报」，我们总结推荐了本周的政策/标准/指南最新动态、热点资讯和安全事件，保证大家不错过本周的每一个重点！政策/标准/指南最新动态01国家数据局等五部门印发《关于促进企业数据资源开发利用的意见》为充分释放企业数据资源价值，构建以数据为关键要素的数字经济，近日，国家数据局联合中央网信办、工业和信息化部、公安部、国务院国资委印发了《关于促进企业数据资源开发利用的意见》。详情：
  • 奥林巴斯道Olympus DAO、奥拉丁模式、诺瓦银行、RWA模型合约解析开发 白马区块Crypto100 web3区块链区块链项目
    关于OlympusDAO技术合约解析的文章草稿，整体结构偏向技术向，适合有一定DeFi或区块链背景的读者。你可以根据自己的需求微调。技术帮助“Crypto100”深入理解DeFi2.0的创新机制一、引言2021年，OlympusDAO凭借其颠覆性的机制和“协议拥有流动性”（Protocol-OwnedLiquidity,POL）概念引发了DeFi世界的巨大关注。它不是一个传统意义上的稳定币项目，而
  • 用 Vue 3.5 TypeScript 重新开发3年前甘特图的核心组件 云烟，不再年轻 Vuetypescriptvue.js甘特图
    回顾3年前曾经用Vue2.0开发了一个甘特图组件，如今3年过去了，计划使用Vue3.5TypeScript把组件重新开发，有机会的话再开发一个React版本。关于之前的组件以前文章Vue2.0甘特图组件下面录屏是是用Vue3.5TypeScript开发的目前进展，不再使用Vue2里用过的snapsvg-cjs库，主要是对TypeScript支持的不太好，使用SVG.js库代替snapsvg-cjs
  • 【图像处理基石】什么是HDR图片？ AndrewHZ AI算法工程师面试指北图像处理基石图像处理算法计算机视觉HDR高动态范围包围曝光opencv
    1.什么是HDR图片？HDR（高动态范围图像，HighDynamicRange）是一种通过技术手段扩展照片明暗细节的成像方式。以下是关于HDR的详细说明：核心原理动态范围：指图像中最亮和最暗区域之间的亮度差。人眼能感知的动态范围远高于普通相机，HDR通过合成多张不同曝光的照片（如欠曝、正常、过曝），平衡高光和阴影细节。HDR的优势保留细节：避免强光下过曝（如天空发白）或阴影中欠曝（如暗部死黑）。增
  • 深入了解 Ubuntu 中的 build-essential：开发者的必备工具 scoone Linuxubuntulinux运维
    摘要：本文将介绍Ubuntu系统中的build-essential包，包括其作用、包含的工具和库，以及如何在Ubuntu上安装和使用build-essential。正文：一、什么是build-essential？build-essential是Ubuntu和其他基于Debian的Linux发行版中的一个元包，它包含了编译软件所必需的工具和库。这个包主要面向开发人员，尤其是那些需要从源代码编译软件的
  • http框架核心之ngx_http.c源码分析 qiuhui00 nginx源码分析nginx源码分析http框架
    ngx_http.c内主要实现了一个模块:ngx_http_module。ngx_http_module是nginx的http框架的一部分，它是所有http模块能够被加载的唯一入口，承担了http块配置解析，合并，以及http框架及其相关数据结构的初始化。它本身是NGX_CORE_MODULE类型，只有一个指令，就是http，如下所示:staticngx_command_tngx_http_com
  • 类的创建 以及 类的继承及其应用对象 烈焰猩猩 python
    类的创建以及类的继承及其应用场景一,类的创建格式:格式1:class类名:pass格式2:class类名():pass格式3:#class类名(父类名):class类名(object):pass案例:案例需求定义老师类.实现思路定义老师类(三种方式).函数内容.创建该类对象.打印该类对象.#1.定义老师类(三种方式).#classTeacher:#classTeacher():classTeach
  • Python 爬虫实战：如何爬取小红书数据并进行分析 Python爬虫项目 python爬虫开发语言selenium测试工具
    一、引言随着社交电商的崛起，小红书（Xiaohongshu）作为一款结合了社交和电商的应用，吸引了大量年轻用户。用户在平台上分享购物心得、生活经验以及个性化的消费推荐内容，形成了庞大的用户数据与内容生态。因此，如何从小红书获取数据进行分析，成为了数据科学、市场营销和社交媒体研究中的一个重要课题。本文将介绍如何使用Python编写爬虫爬取小红书的数据，分析如何通过小红书的开放API获取用户信息、帖子
  • 密码安全：如何识别强弱密码，并打造铁壁防线！ 喵手 零基础学Java安全php开发语言
    全文目录：开篇语前言：一场关于密码的角力赛目录密码的弱点：为什么弱密码是个大问题如何定义强密码？强密码的特点：举个例子：如何识别密码强弱？简单技巧帮你判断1.**密码长度：是否足够长？**示例代码演示代码解释：测试结果示例：2.**复杂度：是否包含特殊字符？**示例代码演示代码解释：测试结果示例：小结：3.**模式识别：是否包含常见模式？**️密码管理小技巧：打造更安全的数字生活1.**使用密码管
  • 基于python的ansys_基于python的感知机 weixin_39687990 基于python的ansys
    一、1、感知机可以描述为一个线性方程，用python的伪代码可表示为：sum(weight_i*x_i)+bias->activation#activation表示激活函数，x_i和weight_i是分别为与当前神经元连接的其它神经元的输入以及连接的权重。bias表示当前神经元的输出阀值(或称偏置)。箭头(->)左边的数据，就是激活函数的输入2、定义激活函数f:deffunc_activator(
  • linux基础命令top,Linux 入门命令TOP 10 慧人小圣
    原标题：Linux入门命令TOP10作为一只接触Linux不久的小菜鸟，今天厚着脸皮给大家分享一些常用的Linux入门的命令。在Linux“漆黑”的系统中“溜达”之前，先看下“地图”，也就是先了解一下Linux的目录(Directory，可视作“文件夹”)结构。在操作Linux系统中，一切都是文件，而目录是Linux系统组织文件的一种特殊文件。根目录由“/”来表示，可理解为windows系统的“我
  • Hadoop(一) 朱辉辉33 hadooplinux
    今天在诺基亚第一天开始培训大数据，因为之前没接触过Linux，所以这次一起学了，任务量还是蛮大的。 首先下载安装了Xshell软件，然后公司给了账号密码连接上了河南郑州那边的服务器，接下来开始按照给的资料学习，全英文的，头也不讲解，说锻炼我们的学习能力，然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧.    在hdfs下，运行hadoop fs -mkdir /u
  • maven An error occurred while filtering resources blackproof maven报错
    转：http://stackoverflow.com/questions/18145774/eclipse-an-error-occurred-while-filtering-resources   maven报错： maven An error occurred while filtering resources   Maven -> Update Proje
  • jdk常用故障排查命令 daysinsun jvm
    linux下常见定位命令： 1、jps      输出Java进程       -q       只输出进程ID的名称，省略主类的名称；       -m      输出进程启动时传递给main函数的参数；     &nb
  • java 位移运算与乘法运算 周凡杨 java位移运算乘法
      对于 JAVA 编程中，适当的采用位移运算，会减少代码的运行时间，提高项目的运行效率。这个可以从一道面试题说起：     问题： 用最有效率的方法算出2 乘以8 等於几?” 答案：2 << 3 由此就引发了我的思考，为什么位移运算会比乘法运算更快呢？其实简单的想想，计算机的内存是用由 0 和 1 组成的二
  • java中的枚举(enmu) g21121 java
    从jdk1.5开始，java增加了enum(枚举)这个类型，但是大家在平时运用中还是比较少用到枚举的，而且很多人和我一样对枚举一知半解，下面就跟大家一起学习下enmu枚举。先看一个最简单的枚举类型，一个返回类型的枚举： public enum ResultType { /** * 成功 */ SUCCESS, /** * 失败 */ FAIL,
  • MQ初级学习 510888780 activemq
    1.下载ActiveMQ 去官方网站下载：http://activemq.apache.org/ 2.运行ActiveMQ 解压缩apache-activemq-5.9.0-bin.zip到C盘，然后双击apache-activemq-5.9.0-\bin\activemq-admin.bat运行ActiveMQ程序。 启动ActiveMQ以后，登陆：http://localhos
  • Spring_Transactional_Propagation 布衣凌宇 springtransactional
    //事务传播属性 @Transactional(propagation=Propagation.REQUIRED)//如果有事务，那么加入事务，没有的话新创建一个 @Transactional(propagation=Propagation.NOT_SUPPORTED)//这个方法不开启事务 @Transactional(propagation=Propagation.REQUIREDS_N
  • 我的spring学习笔记12-idref与ref的区别 aijuans spring
    idref用来将容器内其他bean的id传给<constructor-arg>/<property>元素，同时提供错误验证功能。例如： <bean id ="theTargetBean" class="..." /> <bean id ="theClientBean" class=&quo
  • Jqplot之折线图 antlove jsjqueryWebtimeseriesjqplot
    timeseriesChart.html <script type="text/javascript" src="jslib/jquery.min.js"></script> <script type="text/javascript" src="jslib/excanvas.min.js&
  • JDBC中事务处理应用 百合不是茶 javaJDBC编程事务控制语句
      解释事务的概念; 事务控制是sql语句中的核心之一;事务控制的作用就是保证数据的正常执行与异常之后可以恢复   事务常用命令:             Commit提交         
  • [转]ConcurrentHashMap Collections.synchronizedMap和Hashtable讨论 bijian1013 java多线程线程安全HashMap
    在Java类库中出现的第一个关联的集合类是Hashtable，它是JDK1.0的一部分。 Hashtable提供了一种易于使用的、线程安全的、关联的map功能，这当然也是方便的。然而，线程安全性是凭代价换来的――Hashtable的所有方法都是同步的。此时，无竞争的同步会导致可观的性能代价。Hashtable的后继者HashMap是作为JDK1.2中的集合框架的一部分出现的，它通过提供一个不同步的
  • ng-if与ng-show、ng-hide指令的区别和注意事项 bijian1013 JavaScriptAngularJS
            angularJS中的ng-show、ng-hide、ng-if指令都可以用来控制dom元素的显示或隐藏。ng-show和ng-hide根据所给表达式的值来显示或隐藏HTML元素。当赋值给ng-show指令的值为false时元素会被隐藏，值为true时元素会显示。ng-hide功能类似，使用方式相反。元素的显示或
  • 【持久化框架MyBatis3七】MyBatis3定义typeHandler bit1129 TypeHandler
    什么是typeHandler? typeHandler用于将某个类型的数据映射到表的某一列上，以完成MyBatis列跟某个属性的映射   内置typeHandler MyBatis内置了很多typeHandler，这写typeHandler通过org.apache.ibatis.type.TypeHandlerRegistry进行注册，比如对于日期型数据的typeHandler，
  • 上传下载文件rz,sz命令 bitcarter linux命令rz
    刚开始使用rz上传和sz下载命令： 因为我们是通过secureCRT终端工具进行使用的所以会有上传下载这样的需求： 我遇到的问题： sz下载A文件10M左右，没有问题 但是将这个文件A再传到另一天服务器上时就出现传不上去，甚至出现乱码，死掉现象，具体问题 解决方法： 上传命令改为;rz -ybe 下载命令改为：sz -be filename 如果还是有问题： 那就是文
  • 通过ngx-lua来统计nginx上的虚拟主机性能数据 ronin47 ngx-lua　统计 解禁ip
    介绍 以前我们为nginx做统计,都是通过对日志的分析来完成.比较麻烦,现在基于ngx_lua插件,开发了实时统计站点状态的脚本,解放生产力.项目主页: https://github.com/skyeydemon/ngx-lua-stats 功能 支持分不同虚拟主机统计, 同一个虚拟主机下可以分不同的location统计. 可以统计与query-times request-time
  • java-68-把数组排成最小的数。一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的。例如输入数组{32, 321}，则输出32132 bylijinnan java
    import java.util.Arrays; import java.util.Comparator; public class MinNumFromIntArray { /** * Q68输入一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的一个。 * 例如输入数组{32, 321}，则输出这两个能排成的最小数字32132。请给出解决问题
  • Oracle基本操作 ccii Oracle SQL总结Oracle SQL语法Oracle基本操作Oracle SQL
    一、表操作 1. 常用数据类型 NUMBER(p,s)：可变长度的数字。p表示整数加小数的最大位数，s为最大小数位数。支持最大精度为38位 NVARCHAR2(size)：变长字符串，最大长度为4000字节（以字符数为单位） VARCHAR2(size)：变长字符串，最大长度为4000字节（以字节数为单位） CHAR(size)：定长字符串，最大长度为2000字节，最小为1字节，默认
  • [强人工智能]实现强人工智能的路线图 comsci 人工智能
        1：创建一个用于记录拓扑网络连接的矩阵数据表      2:自动构造或者人工复制一个包含10万个连接(1000*1000)的流程图      3：将这个流程图导入到矩阵数据表中      4：在矩阵的每个有意义的节点中嵌入一段简单的
  • 给Tomcat，Apache配置gzip压缩(HTTP压缩)功能 cwqcwqmax9 apache
    背景： HTTP 压缩可以大大提高浏览网站的速度，它的原理是，在客户端请求网页后，从服务器端将网页文件压缩，再下载到客户端，由客户端的浏览器负责解压缩并浏览。相对于普通的浏览过程HTML ,CSS,Javascript , Text ，它可以节省40%左右的流量。更为重要的是，它可以对动态生成的，包括CGI、PHP , JSP , ASP , Servlet,SHTML等输出的网页也能进行压缩，
  • SpringMVC and Struts2 dashuaifu struts2springMVC
    SpringMVC VS Struts2 1: spring3开发效率高于struts 2: spring3 mvc可以认为已经100%零配置 3: struts2是类级别的拦截， 一个类对应一个request上下文， springmvc是方法级别的拦截，一个方法对应一个request上下文，而方法同时又跟一个url对应 所以说从架构本身上 spring3 mvc就容易实现r
  • windows常用命令行命令 dcj3sjt126com windowscmdcommand
    在windows系统中，点击开始－运行，可以直接输入命令行，快速打开一些原本需要多次点击图标才能打开的界面，如常用的输入cmd打开dos命令行，输入taskmgr打开任务管理器。此处列出了网上搜集到的一些常用命令。winver 检查windows版本 wmimgmt.msc 打开windows管理体系结构(wmi) wupdmgr windows更新程序 wscrip
  • 再看知名应用背后的第三方开源项目 dcj3sjt126com ios
    知名应用程序的设计和技术一直都是开发者需要学习的，同样这些应用所使用的开源框架也是不可忽视的一部分。此前《 iOS第三方开源库的吐槽和备忘》中作者ibireme列举了国内多款知名应用所使用的开源框架，并对其中一些框架进行了分析，同样国外开发者 @iOSCowboy也在博客中给我们列出了国外多款知名应用使用的开源框架。另外txx's blog中详细介绍了 Facebook Paper使用的第三
  • Objective-c单例模式的正确写法 jsntghf 单例iosiPhone
    一般情况下，可能我们写的单例模式是这样的： #import <Foundation/Foundation.h> @interface Downloader : NSObject + (instancetype)sharedDownloader; @end #import "Downloader.h" @implementation
  • jquery easyui datagrid 加载成功，选中某一行 hae jqueryeasyuidatagrid数据加载
    1.首先你需要设置datagrid的onLoadSuccess $( '#dg' ).datagrid({onLoadSuccess :  function (data){      $( '#dg' ).datagrid( 'selectRow' ,3); }});   2.onL
  • jQuery用户数字打分评价效果 ini JavaScripthtmljqueryWebcss
    效果体验：http://hovertree.com/texiao/jquery/5.htmHTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>jQuery用户数字打分评分代码 - HoverTree</
  • mybatis的paramType kerryg DAOsql
    MyBatis传多个参数： 1、采用#{0},#{1}获得参数：    Dao层函数方法：     public User selectUser(String name,String area); 对应的Mapper.xml    <select id="selectUser" result
  • centos 7安装mysql5.5 MrLee23 centos
    首先centos7 已经不支持mysql，因为收费了你懂得，所以内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb，以下为卸载mariadb，安装mysql的步骤。   #列出所有被安装的rpm package rpm -qa | grep mariadb   #卸载 rpm -e mariadb-libs-5.
  • 利用thrift来实现消息群发 qifeifei thrift
               Thrift项目一般用来做内部项目接偶用的，还有能跨不同语言的功能，非常方便，一般前端系统和后台server线上都是3个节点，然后前端通过获取client来访问后台server，那么如果是多太server，就是有一个负载均衡的方法，然后最后访问其中一个节点。那么换个思路，能不能发送给所有节点的server呢，如果能就
  • 实现一个sizeof获取Java对象大小 teasp javaHotSpot内存对象大小sizeof
       由于Java的设计者不想让程序员管理和了解内存的使用，我们想要知道一个对象在内存中的大小变得比较困难了。本文提供了可以获取对象的大小的方法，但是由于各个虚拟机在内存使用上可能存在不同，因此该方法不能在各虚拟机上都适用，而是仅在hotspot 32位虚拟机上，或者其它内存管理方式与hotspot 32位虚拟机相同的虚拟机上 适用。     
  • SVN错误及处理 xiangqian0505 SVN提交文件时服务器强行关闭
    在SVN服务控制台打开资源库“SVN无法读取current” ---摘自网络 写道 SVN无法读取current修复方法 Can't read file : End of file found 文件：repository/db/txn_current、repository/db/current   其中current记录当前最新版本号，txn_current记录版本库中版本
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他