Scrapy 入门教程###
安装Scrapy lxml很容易出问题 。
1: 创建一个Scrapy 项目
scrapy starproject tutorial ## tutorial是项目名称
会自动创建tutorial目录:
scrapy.cfg : 项目的配置文件
item.py : 项目中的item 文件
pipelines.py : 项目中的piplines 文件
settings.py : 项目中的设置文件
spiders : 放置spider代码的目录
定义 Item
em
是保存爬取到的数据的容器;其使用方法和python字典类似, 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
类似在ORM中做的一样,您可以通过创建一个 scrapy.Item
类, 并且定义类型为 scrapy.Field
的类属性来定义一个Item。 (如果不了解ORM, 不用担心,您会发现这个步骤非常简单)
首先根据需要从dmoz.org获取到的数据对item进行建模。 我们需要从dmoz中获取名字,url,以及网站的描述。 对此,在item中定义相应的字段。编辑 tutorial
目录中的 items.py
文件:
import scrapy
class DmozItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()
```
###编写一个爬虫(Spider)###
为了创建一个Spider , 必须继承`scrapy.Spider`类, 并且定义以下三个属性:
- `name` : 用于区别Spider, 名字需要唯一
- `start_url` : 包含了Spider 启动的时候需要抓取了url列表,因此,第一个被抓取的页面将是其中之一,后续的URL则从初始的URL获取到的数据提取
- `parse()` : 是spider的一个方法。 被调用时,每个初始URL完成下载后生成的 [Response
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Response) 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL的 [Request
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Request) 对象。
以下为我们的第一个Spider代码,保存在 tutorial/spiders
目录下的 dmoz_spider.py
文件中:
import scrapy
class DmozSpider(scrapy.spiders.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
filename = response.url.split("/")[-2]
with open(filename, 'wb') as f:
f.write(response.body)
启用命令 : scrapy craml 项目名
Scrapy为Spider的 start_urls
属性中的每个URL创建了 [scrapy.Request
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Request) 对象,并将 parse
方法作为回调函数(callback)赋值给了Request。
Request对象经过调度,执行生成 [scrapy.http.Response
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Response) 对象并送回给spider [parse()
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.html#scrapy.spider.Spider.parse) 方法。
###提取 Item ###
Scrapy 使用基于XPath 和 CSS 表达机制, Scrapy Selectors
列XPath 表达式对应了含义:
- `/html/head/title` : 选择HTML 中`` 标签内的``元素
- `/html/head/title/text()` : 选择上面提到的`<title>`元素的文字
- `//td` :选择所有的`<td>`元素
- `//div[@class='mine']` : 选择所有带具有`class='mine'` 属性的`div`元素
为了配合XPath , Scrapy 除了`selector` 之外,还提供了方法避免每次response 中提取数据生成selector的麻烦。
Selector 有四个基础方法
- `xpath()` : 传入xpath表达式, 返回该表达式对应的所有selector list 列表
- `css()` : 传入CSS 表达式, 返回表达式内所有selector list 列表
- `extract` :序列化该节点为unicode字符串并返回list
- `re()` : 根据传入的正则表达式对数据进行提取,返回unicode字符串list列表
### Spider 参数 ###
在运行`crawl` 可以添加 `-a ` 可以传递Spider参数:
`scrapy crawl <name> -a category=electronics`
Spider在构造器(constructor)中获取参数
###Spider###
`name` : 定义名称
`allowed_domains` : 可选。包含了spider允许爬取的域名(domain)列表(list)。 当 [OffsiteMiddleware
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spider-middleware.html#scrapy.contrib.spidermiddleware.offsite.OffsiteMiddleware) 启用时, 域名不在列表中的URL不会被跟进。
`start_urls` : URL列表。当没有制定特定的URL时,spider将从该列表中开始进行爬取。 因此,第一个被获取到的页面的URL将是该列表之一。 后续的URL将会从获取到的数据中提取。
`start_requests()`:
该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。
当spider启动爬取并且未制定URL时,该方法被调用。 当指定了URL时,[make_requests_from_url()
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.html#scrapy.spider.Spider.make_requests_from_url) 将被调用来创建Request对象。 该方法仅仅会被Scrapy调用一次,因此您可以将其实现为生成器。
该方法的默认实现是使用 [start_urls
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.html#scrapy.spider.Spider.start_urls) 的url生成Request。
如果您想要修改最初爬取某个网站的Request对象,您可以重写(override)该方法。 例如,如果您需要在启动时以POST登录某个网站,你可以这么写:
</code></pre>
<p>def start_requests(self):<br> return [scrapy.FormRequest("http://www.example.com/login",<br> formdata={'user': 'john', 'pass': 'secret'},<br> callback=self.logged_in)]</p>
<p>def logged_in(self, response):<br> # here you would extract links to follow and return Requests for<br> # each of them, with another callback<br> pass</p>
<pre><code>`log(message[, level, componet])`: 日志
</code></pre>
</article>
</div>
</div>
</div>
<!--PC和WAP自适应版-->
<div id="SOHUCS" sid="1233856212643188736"></div>
<script type="text/javascript" src="/views/front/js/chanyan.js"></script>
<!-- 文章页-底部 动态广告位 -->
<div class="youdao-fixed-ad" id="detail_ad_bottom"></div>
</div>
<div class="col-md-3">
<div class="row" id="ad">
<!-- 文章页-右侧1 动态广告位 -->
<div id="right-1" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad">
<div class="youdao-fixed-ad" id="detail_ad_1"> </div>
</div>
<!-- 文章页-右侧2 动态广告位 -->
<div id="right-2" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad">
<div class="youdao-fixed-ad" id="detail_ad_2"></div>
</div>
<!-- 文章页-右侧3 动态广告位 -->
<div id="right-3" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad">
<div class="youdao-fixed-ad" id="detail_ad_3"></div>
</div>
</div>
</div>
</div>
</div>
</div>
<div class="container">
<h4 class="pt20 mb15 mt0 border-top">你可能感兴趣的:(Scrapy入门教程)</h4>
<div id="paradigm-article-related">
<div class="recommend-post mb30">
<ul class="widget-links">
<li><a href="/article/1897983997707874304.htm"
title="python-Scrapy爬虫框架介绍(整个数据的流程)" target="_blank">python-Scrapy爬虫框架介绍(整个数据的流程)</a>
<span class="text-muted">onesalatree</span>
<a class="tag" taget="_blank" href="/search/Scrapy%E6%A1%86%E6%9E%B6%E7%88%AC%E8%99%AB/1.htm">Scrapy框架爬虫</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E8%BD%AF%E4%BB%B6%E6%A1%86%E6%9E%B6/1.htm">软件框架</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/scrapy/1.htm">scrapy</a>
<div>python-Scrapy爬虫框架介绍随着在家的线上教育的进行,课程的深入学习,所要学习的内容和作业也在不断的增多,所以没有过多的自己的时间去学习新的爬虫知识,但疫情逐渐的在好转,我也很是期待开学的那一天,毕竟线上教育的效果没有在学校的更为显著,主要是老师们录课很辛苦今天我想和兄弟们分享一下Scrapy爬虫的原理,也是自己最近刚学习的,有什么不足的地方兄弟们可以评论你或者私信喔。Python爬虫的</div>
</li>
<li><a href="/article/1897974152556507136.htm"
title="STM32入门教程:按键控制LED" target="_blank">STM32入门教程:按键控制LED</a>
<span class="text-muted">粉绿色的西瓜大大</span>
<a class="tag" taget="_blank" href="/search/stm32/1.htm">stm32</a><a class="tag" taget="_blank" href="/search/%E5%B5%8C%E5%85%A5%E5%BC%8F%E7%A1%AC%E4%BB%B6/1.htm">嵌入式硬件</a><a class="tag" taget="_blank" href="/search/%E5%8D%95%E7%89%87%E6%9C%BA/1.htm">单片机</a>
<div>STM32是一款非常强大的微控制器系列,具有广泛的应用领域。本教程将详细介绍如何使用STM32来使用按键控制LED灯的开关。为了使本教程易于理解,我将使用STM32CubeIDE作为开发环境,并使用STM32F4系列微控制器进行演示。在本教程中,我们将使用STM32F4-Discovery开发板,其中包含了一个用户按钮和几个LED指示灯。我们将利用这些硬件资源来演示如何通过按下按钮来控制LED灯的</div>
</li>
<li><a href="/article/1897961771512164352.htm"
title="主流爬虫框架scrapy的架构及原理" target="_blank">主流爬虫框架scrapy的架构及原理</a>
<span class="text-muted">迷鹿鹿鹿鹿鹿</span>
<a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/scrapy/1.htm">scrapy</a><a class="tag" taget="_blank" href="/search/%E6%9E%B6%E6%9E%84/1.htm">架构</a>
<div>一、Scrapy架构概览Scrapy是一个基于Twisted异步网络框架构建的高效爬虫框架,其核心架构采用事件驱动模型,支持高并发、可扩展的网页抓取。以下是其核心组件及数据流示意图:+-------------------------------------------------+|ScrapyEngine|控制数据流+--------+------------------+----------</div>
</li>
<li><a href="/article/1897917972823994368.htm"
title="解析Python网络爬虫:核心技术、Scrapy框架、分布式爬虫(期末重点题目)" target="_blank">解析Python网络爬虫:核心技术、Scrapy框架、分布式爬虫(期末重点题目)</a>
<span class="text-muted">一口酪</span>
<a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/scrapy/1.htm">scrapy</a>
<div>第一章网络爬虫又称网页蜘蛛或(网络机器人)网络爬虫能够按照一定的(规则),自动请求万维网站并提取网络数据爬虫是手动请求万维网网站且提取网页数据的程序。(×)爬虫爬取的是网站后台的数据。(×)通用爬虫用于将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。(√)简答题:简述通用爬虫和聚焦爬虫。1.通用爬虫又称全网爬虫,主要用于将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。聚焦网络爬</div>
</li>
<li><a href="/article/1897905913772175360.htm"
title="第三十一天:Scrapyd的安装及使用" target="_blank">第三十一天:Scrapyd的安装及使用</a>
<span class="text-muted">穿梭的编织者</span>
<a class="tag" taget="_blank" href="/search/Python%E7%88%AC%E8%99%AB%E8%AE%AD%E7%BB%83%E8%90%A5/1.htm">Python爬虫训练营</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a>
<div>文章目录一、安装scrapyd二、安装setuptools三、部署工程1.创建项目2.启动scrapyd3.部署项目4.配置scrapyd-deploy5.使用scrapyd-deploy四、运行Spider五、查看效果一、安装scrapydpipinstallscrapyd二、安装setuptools为什么要安装这个工具?因为部署的应用需要打包成*.egg才能运行官网下载地址:https://p</div>
</li>
<li><a href="/article/1897893172495839232.htm"
title="第三十天:Scrapy 框架-分布式" target="_blank">第三十天:Scrapy 框架-分布式</a>
<span class="text-muted">穿梭的编织者</span>
<a class="tag" taget="_blank" href="/search/Python%E7%88%AC%E8%99%AB%E8%AE%AD%E7%BB%83%E8%90%A5/1.htm">Python爬虫训练营</a><a class="tag" taget="_blank" href="/search/scrapy/1.htm">scrapy</a><a class="tag" taget="_blank" href="/search/%E5%88%86%E5%B8%83%E5%BC%8F/1.htm">分布式</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a>
<div>文章目录一、介绍scrapy-redis框架二、分布式原理三、分布式爬虫的实现四、scrapy-redis框架的安装五、部署scrapy-redis六、给爬虫增加配置信息七、运行程序八、数据导入到mongodb中九、数据导入到MySQL中十、setting文件配置一、介绍scrapy-redis框架scrapy-redis一个三方的基于redis的分布式爬虫框架,配合scrapy使用,让爬虫具有了</div>
</li>
<li><a href="/article/1897720313727217664.htm"
title="Python核心技术,Django学习基础入门教程(附环境安装包)" target="_blank">Python核心技术,Django学习基础入门教程(附环境安装包)</a>
<span class="text-muted">小白教程</span>
<a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/django/1.htm">django</a><a class="tag" taget="_blank" href="/search/%E5%AD%A6%E4%B9%A0/1.htm">学习</a><a class="tag" taget="_blank" href="/search/Django%E9%A1%B9%E7%9B%AE/1.htm">Django项目</a><a class="tag" taget="_blank" href="/search/Django%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98/1.htm">Django项目实战</a><a class="tag" taget="_blank" href="/search/Django%E6%95%99%E7%A8%8B/1.htm">Django教程</a><a class="tag" taget="_blank" href="/search/Django%E5%85%A5%E9%97%A8%E6%95%99%E7%A8%8B/1.htm">Django入门教程</a>
<div>文章目录前言1.环境准备1.1Python安装1.2选择Python开发环境1.3创建虚拟环境1.4安装Django2.创建Django项目3.Django项目结构介绍4.启动开发服务器5.创建Django应用6.应用结构介绍7.编写视图函数8.配置URL映射9.运行项目并访问视图10.数据库配置与模型创建10.1数据库配置10.2创建模型11.使用Django管理界面11.1创建超级用户11.2</div>
</li>
<li><a href="/article/1897605139536080896.htm"
title="CMake 入门教程: 从基础到实践" target="_blank">CMake 入门教程: 从基础到实践</a>
<span class="text-muted">arong-xu</span>
<a class="tag" taget="_blank" href="/search/CMake/1.htm">CMake</a><a class="tag" taget="_blank" href="/search/c%2B%2B/1.htm">c++</a><a class="tag" taget="_blank" href="/search/cmake/1.htm">cmake</a>
<div>什么是CMake?CMake(全称为“Cross-PlatformMake”)是一种免费并开源的跨平台构建工具,用于生成构建系统文件(如Makefile和VisualStudio工程文件),从而控制软件的编译和链接过程.为什么选择CMake?CMake为项目工程解决了以下问题:跨平台构建:支持为多种平台生成配置文件,如Linux上的Makefile和Windows上的VisualStudio工程.</div>
</li>
<li><a href="/article/1897538039182323712.htm"
title="Python 爬虫实战:爬取学术论文数据" target="_blank">Python 爬虫实战:爬取学术论文数据</a>
<span class="text-muted">西攻城狮北</span>
<a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B/1.htm">实战案例</a>
<div>一、项目概述二、环境准备1.Python和PyCharm安装2.安装必要Python库三、爬虫实战1.分析目标网站2.编写爬虫代码(1)使用Requests和BeautifulSoup获取页面数据(2)使用Pandas存储数据(3)使用Scrapy框架构建高效爬虫3.爬取API数据四、数据处理与分析1.数据清洗2.数据可视化五、注意事项1.遵守法律和道德规范2.处理验证码3.应对反爬虫机制六、总结</div>
</li>
<li><a href="/article/1897472704697659392.htm"
title="Python爬虫利器Scrapy:小白也能轻松入门的保姆级教程" target="_blank">Python爬虫利器Scrapy:小白也能轻松入门的保姆级教程</a>
<span class="text-muted">Serendipity_Carl</span>
<a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB%E8%BF%9B%E9%98%B6/1.htm">爬虫进阶</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/pycharm/1.htm">pycharm</a><a class="tag" taget="_blank" href="/search/scrapy/1.htm">scrapy</a>
<div>Scrapy是纯Python开发的一个高效,结构化的抓取框架异步协程cpu为什么选择Scrapy?框架优势:高性能、模块化设计、内置数据管道(Pipeline)、自动重试机制等。适用场景:大规模数据抓取、结构化数据提取、自动化测试等。对比其他工具:相比Requests+BeautifulSoup,Scrapy更适合工程化项目Scrapy的工作原理图:引擎驱动调度器管理请求队列,下载器获取页面后由S</div>
</li>
<li><a href="/article/1897337638008975360.htm"
title="Web安全攻防入门教程——hvv行动详解" target="_blank">Web安全攻防入门教程——hvv行动详解</a>
<span class="text-muted">白帽子黑客罗哥</span>
<a class="tag" taget="_blank" href="/search/web%E5%AE%89%E5%85%A8/1.htm">web安全</a><a class="tag" taget="_blank" href="/search/%E5%AE%89%E5%85%A8/1.htm">安全</a><a class="tag" taget="_blank" href="/search/%E7%BD%91%E7%BB%9C%E5%AE%89%E5%85%A8/1.htm">网络安全</a><a class="tag" taget="_blank" href="/search/%E7%B3%BB%E7%BB%9F%E5%AE%89%E5%85%A8/1.htm">系统安全</a><a class="tag" taget="_blank" href="/search/%E7%BA%A2%E8%93%9D%E5%AF%B9%E6%8A%97/1.htm">红蓝对抗</a>
<div>Web安全攻防入门教程Web安全攻防是指在Web应用程序的开发、部署和运行过程中,保护Web应用免受攻击和恶意行为的技术与策略。这个领域不仅涉及防御措施的实现,还包括通过渗透测试、漏洞挖掘和模拟攻击来识别潜在的安全问题。本教程将带你入门Web安全攻防的基础概念、常见攻击类型、防御技术以及一些实战方法。一、Web安全基础Web应用安全的三大核心目标(CIA三原则)机密性(Confidentialit</div>
</li>
<li><a href="/article/1897337511500378112.htm"
title="Web安全攻防入门教程——hvv行动详解" target="_blank">Web安全攻防入门教程——hvv行动详解</a>
<span class="text-muted">白帽子黑客罗哥</span>
<a class="tag" taget="_blank" href="/search/web%E5%AE%89%E5%85%A8/1.htm">web安全</a><a class="tag" taget="_blank" href="/search/%E5%AE%89%E5%85%A8/1.htm">安全</a><a class="tag" taget="_blank" href="/search/%E7%BD%91%E7%BB%9C%E5%AE%89%E5%85%A8/1.htm">网络安全</a><a class="tag" taget="_blank" href="/search/%E7%B3%BB%E7%BB%9F%E5%AE%89%E5%85%A8/1.htm">系统安全</a><a class="tag" taget="_blank" href="/search/%E7%BA%A2%E8%93%9D%E5%AF%B9%E6%8A%97/1.htm">红蓝对抗</a>
<div>Web安全攻防入门教程Web安全攻防是指在Web应用程序的开发、部署和运行过程中,保护Web应用免受攻击和恶意行为的技术与策略。这个领域不仅涉及防御措施的实现,还包括通过渗透测试、漏洞挖掘和模拟攻击来识别潜在的安全问题。本教程将带你入门Web安全攻防的基础概念、常见攻击类型、防御技术以及一些实战方法。一、Web安全基础Web应用安全的三大核心目标(CIA三原则)机密性(Confidentialit</div>
</li>
<li><a href="/article/1897335487035666432.htm"
title="Web安全攻防入门教程——hvv行动详解" target="_blank">Web安全攻防入门教程——hvv行动详解</a>
<span class="text-muted">白帽子黑客罗哥</span>
<a class="tag" taget="_blank" href="/search/web%E5%AE%89%E5%85%A8/1.htm">web安全</a><a class="tag" taget="_blank" href="/search/%E5%AE%89%E5%85%A8/1.htm">安全</a><a class="tag" taget="_blank" href="/search/%E7%BD%91%E7%BB%9C%E5%AE%89%E5%85%A8/1.htm">网络安全</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/java/1.htm">java</a>
<div>Web安全攻防入门教程Web安全攻防是指在Web应用程序的开发、部署和运行过程中,保护Web应用免受攻击和恶意行为的技术与策略。这个领域不仅涉及防御措施的实现,还包括通过渗透测试、漏洞挖掘和模拟攻击来识别潜在的安全问题。本教程将带你入门Web安全攻防的基础概念、常见攻击类型、防御技术以及一些实战方法。一、Web安全基础Web应用安全的三大核心目标(CIA三原则)机密性(Confidentialit</div>
</li>
<li><a href="/article/1896951202386604032.htm"
title="Spring Cloud Alibaba入门教程合集-01【微服务和Spring Cloud Alibaba介绍】" target="_blank">Spring Cloud Alibaba入门教程合集-01【微服务和Spring Cloud Alibaba介绍】</a>
<span class="text-muted">图灵学院架构师</span>
<a class="tag" taget="_blank" href="/search/Java/1.htm">Java</a><a class="tag" taget="_blank" href="/search/%E5%89%8D%E6%AE%B5/1.htm">前段</a><a class="tag" taget="_blank" href="/search/spring/1.htm">spring</a><a class="tag" taget="_blank" href="/search/%E5%BE%AE%E6%9C%8D%E5%8A%A1/1.htm">微服务</a><a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/microservices/1.htm">microservices</a><a class="tag" taget="_blank" href="/search/spring/1.htm">spring</a><a class="tag" taget="_blank" href="/search/%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96/1.htm">性能优化</a>
<div>1、微服务介绍1.1系统架构演变随着互联网的发展,网站应用的规模也在不断的扩大,进而导致系统架构也在不断的进行变化。从互联网早起到现在,系统架构大体经历了下面几个过程:单体应用架构—>垂直应用架构—>分布式架构—>SOA架构—>微服务架构,当然还有悄然兴起的ServiceMesh(服务网格化)。接下来我们就来了解一下每种系统架构是什么样子的,以及各有什么优缺点。1.1.1单体应用架构互联网早期,一</div>
</li>
<li><a href="/article/1896779324426612736.htm"
title="网络安全入门教程(非常详细)从零基础入门到精通!" target="_blank">网络安全入门教程(非常详细)从零基础入门到精通!</a>
<span class="text-muted">白帽胡子哥</span>
<a class="tag" taget="_blank" href="/search/web%E5%AE%89%E5%85%A8/1.htm">web安全</a><a class="tag" taget="_blank" href="/search/%E7%BD%91%E7%BB%9C/1.htm">网络</a><a class="tag" taget="_blank" href="/search/%E5%AE%89%E5%85%A8/1.htm">安全</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E5%BA%93/1.htm">数据库</a><a class="tag" taget="_blank" href="/search/php/1.htm">php</a>
<div>一、引言在当今高度数字化的时代,网络如同一张无形的大网,将世界紧密连接在一起。然而,在这看似便捷与美好的背后,却隐藏着无数的风险与威胁。网络安全已成为捍卫个人隐私、企业机密乃至国家安全的关键防线。如果您怀揣着对网络世界的好奇与探索之心,渴望从零基础起步,踏入网络安全这一神秘而充满挑战的领域,并最终成长为精通此道的专业人士,那么这篇精心编写的教程将成为您前行道路上的可靠指南。二、基础知识1.计算机基</div>
</li>
<li><a href="/article/1896646439321268224.htm"
title="3.8 Docker最新入门教程-Docker入门-使用 Docker Compose" target="_blank">3.8 Docker最新入门教程-Docker入门-使用 Docker Compose</a>
<span class="text-muted">eyes-star</span>
<a class="tag" taget="_blank" href="/search/docker/1.htm">docker</a><a class="tag" taget="_blank" href="/search/docker/1.htm">docker</a><a class="tag" taget="_blank" href="/search/%E5%AE%B9%E5%99%A8/1.htm">容器</a><a class="tag" taget="_blank" href="/search/%E8%BF%90%E7%BB%B4/1.htm">运维</a>
<div>3.8使用DockerComposeDockerCompose是一种旨在帮助定义和共享多容器应用程序的工具。使用Compose,我们可以创建一个YAML文件来定义服务,并使用一个命令,可以启动所有内容或将其全部拆除。使用Compose的一大优势是您可以在文件中定义您的应用程序堆栈,将其保存在项目存储库的根目录中(它现在是版本控制的),并且可以轻松地让其他人为您的项目做出贡献。有人只需要克隆您的存储</div>
</li>
<li><a href="/article/1896607086364651520.htm"
title="AI大模型教程入门到精通,非常详细收藏我这一篇就够了!AI大模型零基础入门教程(适合小白)" target="_blank">AI大模型教程入门到精通,非常详细收藏我这一篇就够了!AI大模型零基础入门教程(适合小白)</a>
<span class="text-muted">AGI大模型学习</span>
<a class="tag" taget="_blank" href="/search/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/1.htm">人工智能</a><a class="tag" taget="_blank" href="/search/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%BA%94%E7%94%A8/1.htm">大模型应用</a><a class="tag" taget="_blank" href="/search/%E5%A4%A7%E6%A8%A1%E5%9E%8B/1.htm">大模型</a><a class="tag" taget="_blank" href="/search/AI%E4%BA%A7%E5%93%81%E7%BB%8F%E7%90%86/1.htm">AI产品经理</a><a class="tag" taget="_blank" href="/search/%E5%AD%A6%E4%B9%A0/1.htm">学习</a><a class="tag" taget="_blank" href="/search/AI%E5%A4%A7%E6%A8%A1%E5%9E%8B/1.htm">AI大模型</a><a class="tag" taget="_blank" href="/search/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%95%99%E7%A8%8B/1.htm">大模型教程</a>
<div>什么是AI大模型?AI大模型是指使用大规模数据和强大的计算能力训练出来的人工智能模型。这些模型通常具有高度的准确性和泛化能力,可以应用于各种领域,如自然语言处理、图像识别、语音识别等。为什么要学AI大模型?2024人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用,大模型作为其中的重要组成部分,正逐渐成为推动人工智能发展的重要引擎。大模型以其强大的数据处理和模式识别能力,广泛应用于</div>
</li>
<li><a href="/article/1896473926901493760.htm"
title="minikube 的 Kubernetes 入门教程--Dify" target="_blank">minikube 的 Kubernetes 入门教程--Dify</a>
<span class="text-muted">NightReader</span>
<a class="tag" taget="_blank" href="/search/minikube/1.htm">minikube</a><a class="tag" taget="_blank" href="/search/kubernetes/1.htm">kubernetes</a><a class="tag" taget="_blank" href="/search/%E5%AE%B9%E5%99%A8/1.htm">容器</a><a class="tag" taget="_blank" href="/search/%E4%BA%91%E5%8E%9F%E7%94%9F/1.htm">云原生</a>
<div>Dify是一款开源的大语言模型(LLM)应用开发平台。它融合了后端即服务(BackendasService)和LLMOps的理念,使开发者可以快速搭建生产级的生成式AI应用。即使你是非技术人员,也能参与到AI应用的定义和数据运营过程中。为什么使用Dify?你或许可以把LangChain这类的开发库(Library)想象为有着锤子、钉子的工具箱。与之相比,Dify提供了更接近生产需要的完整方案,Di</div>
</li>
<li><a href="/article/1896389808251531264.htm"
title="Python博客搭建入门教程" target="_blank">Python博客搭建入门教程</a>
<span class="text-muted">带你玩遍北海道</span>
<div>本文还有配套的精品资源,点击获取简介:本项目可能是关于创建个人博客的教程,使用Python语言并可能结合Django或Flask框架。博客创建涉及到Web开发的多个重要概念和步骤,比如HTTP协议、数据库操作和用户认证等。适合初学者通过实践提升编程和Web开发技能,并逐步扩展项目功能。1.PythonWeb开发简介Python凭借其简洁的语法、强大的库支持和广泛的社区资源,已成为Web开发领域中备</div>
</li>
<li><a href="/article/1896360181235773440.htm"
title="【论文投稿】Python 网络爬虫:探秘网页数据抓取的奇妙世界" target="_blank">【论文投稿】Python 网络爬虫:探秘网页数据抓取的奇妙世界</a>
<span class="text-muted">m0_74825172</span>
<a class="tag" taget="_blank" href="/search/%E9%9D%A2%E8%AF%95/1.htm">面试</a><a class="tag" taget="_blank" href="/search/%E5%AD%A6%E4%B9%A0%E8%B7%AF%E7%BA%BF/1.htm">学习路线</a><a class="tag" taget="_blank" href="/search/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4/1.htm">阿里巴巴</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/microsoft/1.htm">microsoft</a>
<div>目录前言一、Python——网络爬虫的绝佳拍档二、网络爬虫基础:揭开神秘面纱(一)工作原理:步步为营的数据狩猎(二)分类:各显神通的爬虫家族三、Python网络爬虫核心库深度剖析(一)requests:畅通无阻的网络交互(二)BeautifulSoup:解析网页的艺术大师(三)Scrapy:构建爬虫帝国的框架四、实战演练:从新手到高手的蜕变五、挑战与应对:在荆棘中前行六、结语:无限可能的爬虫之旅前</div>
</li>
<li><a href="/article/1896351344839684096.htm"
title="Gemini API —— Curl 快速开发 Google Gemini 中国版!" target="_blank">Gemini API —— Curl 快速开发 Google Gemini 中国版!</a>
<span class="text-muted">这儿有一堆花</span>
<a class="tag" taget="_blank" href="/search/ai/1.htm">ai</a><a class="tag" taget="_blank" href="/search/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/1.htm">人工智能</a><a class="tag" taget="_blank" href="/search/googlecloud/1.htm">googlecloud</a>
<div>GoogleGemini中国版调用GoogleGeminiAPI,中国大陆优化,完全免费!https://gemini.danielmind.techGeminiAPI快速入门教程GeminiAPI是一种强大的生成式语言模型,支持文本生成、多模态输入(文字+图片)、多轮对话等功能。1.使用curl快速调用GeminiAPI1.1基本结构每次调用GeminiAPI都需要:API密钥(API_KEY)</div>
</li>
<li><a href="/article/1895936420514689024.htm"
title="ROS2入门教程—创建ROS2功能包(C++版)" target="_blank">ROS2入门教程—创建ROS2功能包(C++版)</a>
<span class="text-muted">Roar冷颜</span>
<a class="tag" taget="_blank" href="/search/ROS2%E5%85%A5%E9%97%A8%E6%95%99%E7%A8%8B/1.htm">ROS2入门教程</a><a class="tag" taget="_blank" href="/search/%E5%85%B6%E4%BB%96/1.htm">其他</a>
<div>ROS2入门教程—创建ROS2功能包(C++版)1ROS2中的功能包2创建功能包3编译功能包4设置环境变量5运行功能包6功能包中的内容7修改package.xml文件 功能包是ROS2中组织代码的基本容器,方便我们编译、安装、分发开发的代码,一般来讲,每个功能包都是用来完成某项具体的功能相对完整的单元。1ROS2中的功能包 ROS2中的功能包可以使用CMake或者Python两种方式来编译(本</div>
</li>
<li><a href="/article/1895864556962508800.htm"
title="学习网络技术有必要学习python吗?" target="_blank">学习网络技术有必要学习python吗?</a>
<span class="text-muted">就是不吃苦瓜</span>
<a class="tag" taget="_blank" href="/search/python%E5%85%A5%E9%97%A8/1.htm">python入门</a><a class="tag" taget="_blank" href="/search/%E5%AD%A6%E4%B9%A0/1.htm">学习</a><a class="tag" taget="_blank" href="/search/%E7%A8%8B%E5%BA%8F%E4%BA%BA%E7%94%9F/1.htm">程序人生</a><a class="tag" taget="_blank" href="/search/%E8%81%8C%E5%9C%BA%E5%92%8C%E5%8F%91%E5%B1%95/1.htm">职场和发展</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/1.htm">数据分析</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/windows/1.htm">windows</a><a class="tag" taget="_blank" href="/search/%E6%99%BA%E8%83%BD%E8%B7%AF%E7%94%B1%E5%99%A8/1.htm">智能路由器</a>
<div>学习网络技术当然可以学习Python。他俩还能结合起来呢,以实现网络编程的目的。具体来说,可以从以下几个方面结合:1.网络爬虫Python有强大的网络爬虫和数据采集库,如BeautifulSoup、Scrapy、Requests等,可以用来爬取互联网上的各种数据,如新闻、图片、视频、商品信息等。2.Web开发Python有多种Web框架,如Django、Flask等,可以用来进行Web开发,实现网</div>
</li>
<li><a href="/article/1895608487514271744.htm"
title="Golang 新手入门教程(十九):Go 中的泛型" target="_blank">Golang 新手入门教程(十九):Go 中的泛型</a>
<span class="text-muted">麻凡_</span>
<a class="tag" taget="_blank" href="/search/Golang/1.htm">Golang</a><a class="tag" taget="_blank" href="/search/%E6%96%B0%E6%89%8B%E5%85%A5%E9%97%A8%E6%95%99%E7%A8%8B/1.htm">新手入门教程</a><a class="tag" taget="_blank" href="/search/golang/1.htm">golang</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/%E5%90%8E%E7%AB%AF/1.htm">后端</a>
<div>本节重点:学会Go泛型的基本使用Go1.18版本正式支持泛型,本节主要介绍Go泛型的基础知识。什么是泛型在编程语言中,泛型提供了编译时类型安全检测机制,该机制允许程序员在编译时检测到非法的类型。在保证与Go1完全兼容的情况下,为类型及函数声明增加可选的类型参数(TypeParameters)来扩展支持泛型函数和类型。类型参数使用接口类型(InterfaceTypes)进行约束(Constraint</div>
</li>
<li><a href="/article/1895258464700133376.htm"
title="白帽黑客系列教程之Windows驱动开发(64位环境)入门教程(七)" target="_blank">白帽黑客系列教程之Windows驱动开发(64位环境)入门教程(七)</a>
<span class="text-muted">黑客影儿</span>
<a class="tag" taget="_blank" href="/search/%E6%8A%80%E6%9C%AF%E5%88%86%E4%BA%AB/1.htm">技术分享</a><a class="tag" taget="_blank" href="/search/%E5%8E%9F%E5%88%9B%E6%96%87%E7%AB%A0/1.htm">原创文章</a><a class="tag" taget="_blank" href="/search/%E7%B3%BB%E7%BB%9F%E5%AE%89%E5%85%A8/1.htm">系统安全</a><a class="tag" taget="_blank" href="/search/%E9%A9%B1%E5%8A%A8%E5%BC%80%E5%8F%91/1.htm">驱动开发</a><a class="tag" taget="_blank" href="/search/c%E8%AF%AD%E8%A8%80/1.htm">c语言</a><a class="tag" taget="_blank" href="/search/windows/1.htm">windows</a><a class="tag" taget="_blank" href="/search/%E7%B3%BB%E7%BB%9F%E5%AE%89%E5%85%A8/1.htm">系统安全</a><a class="tag" taget="_blank" href="/search/%E7%A8%8B%E5%BA%8F%E4%BA%BA%E7%94%9F/1.htm">程序人生</a><a class="tag" taget="_blank" href="/search/%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95/1.htm">学习方法</a><a class="tag" taget="_blank" href="/search/visual/1.htm">visual</a><a class="tag" taget="_blank" href="/search/studio/1.htm">studio</a>
<div>为什么要写这篇文章呢?作为一名白帽黑客,如果想要学习ROOTKIT攻防技术,就必须要有能力进行驱动开发!本文章仅提供学习,切勿将其用于不法手段!在Windows操作系统的64位环境中,进行ROOTKIT攻防,就必须要学会Windows驱动开发!Windows驱动开发,是掌握Rootkit技术的硬性基础之一!不会Windows环境下的驱动开发,你就难以透彻理解ROOTKIT攻防技术的真相!接上一篇文</div>
</li>
<li><a href="/article/1895061465270906880.htm"
title="使用NestJS的控制器与业务逻辑结合的入门教程" target="_blank">使用NestJS的控制器与业务逻辑结合的入门教程</a>
<span class="text-muted">XymkMl</span>
<a class="tag" taget="_blank" href="/search/JavaScript/1.htm">JavaScript</a>
<div>NestJS是一个用于构建高效、可扩展的Node.js应用程序的框架。它采用了现代化的JavaScript或TypeScript语言,并提供了强大的依赖注入、模块化和面向切面编程等功能。本教程将介绍如何在NestJS应用程序中结合控制器和业务逻辑,以实现灵活且可维护的代码结构。步骤1:创建NestJS应用程序首先,我们需要安装NestJSCLI工具,用于创建和管理NestJS应用程序。打开终端并执</div>
</li>
<li><a href="/article/1894717459701755904.htm"
title="python模拟app操作_Python爬虫入门教程 49-100 Appium安装+操作51JOB_APP(模拟手机操作之一)手机APP爬虫-阿里云开发者社区..." target="_blank">python模拟app操作_Python爬虫入门教程 49-100 Appium安装+操作51JOB_APP(模拟手机操作之一)手机APP爬虫-阿里云开发者社区...</a>
<span class="text-muted">weixin_39892019</span>
<a class="tag" taget="_blank" href="/search/python%E6%A8%A1%E6%8B%9Fapp%E6%93%8D%E4%BD%9C/1.htm">python模拟app操作</a>
<div>爬前准备工作在开始安装Appium之前,你要先知道Appium是做什么的?Appium是一个自动化测试开源工具,看到没,做测试用的,它有点类似Selenium,可以自动操作APP实现一系列的操作。标记重点,可以使用python对Appium编写脚本,实现对App的抓取。今天就给你写一个100%叫你可以运行起来的入门实例。下载地址下载之后,双击exe安装即可出现如下界面,表示安装成功,先不要进行其他</div>
</li>
<li><a href="/article/1894655928414826496.htm"
title="Web安全攻防入门教程——hvv行动详解" target="_blank">Web安全攻防入门教程——hvv行动详解</a>
<span class="text-muted">白帽子黑客罗哥</span>
<a class="tag" taget="_blank" href="/search/web%E5%AE%89%E5%85%A8/1.htm">web安全</a><a class="tag" taget="_blank" href="/search/%E5%AE%89%E5%85%A8/1.htm">安全</a><a class="tag" taget="_blank" href="/search/%E7%BD%91%E7%BB%9C%E5%AE%89%E5%85%A8/1.htm">网络安全</a><a class="tag" taget="_blank" href="/search/%E7%B3%BB%E7%BB%9F%E5%AE%89%E5%85%A8/1.htm">系统安全</a><a class="tag" taget="_blank" href="/search/%E7%BA%A2%E8%93%9D%E5%AF%B9%E6%8A%97/1.htm">红蓝对抗</a>
<div>Web安全攻防入门教程Web安全攻防是指在Web应用程序的开发、部署和运行过程中,保护Web应用免受攻击和恶意行为的技术与策略。这个领域不仅涉及防御措施的实现,还包括通过渗透测试、漏洞挖掘和模拟攻击来识别潜在的安全问题。本教程将带你入门Web安全攻防的基础概念、常见攻击类型、防御技术以及一些实战方法。一、Web安全基础Web应用安全的三大核心目标(CIA三原则)机密性(Confidentialit</div>
</li>
<li><a href="/article/1894526948307169280.htm"
title="Python常见库的使用" target="_blank">Python常见库的使用</a>
<span class="text-muted">浪子西科</span>
<a class="tag" taget="_blank" href="/search/Python/1.htm">Python</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a>
<div>文章目录人工智能与机器学习1.NumPy2.Pandas3.Scikit-learn4.TensorFlow5.PyTorch数据可视化1.Matplotlib2.Seaborn网络请求与爬虫1.Requests2.Scrapy自动化测试1.unittest2.pytest自然语言处理1.NLTK2.SpaCy数据库操作1.SQLite32.SQLAlchemy日期和时间处理1.datetime2</div>
</li>
<li><a href="/article/1894517872294686720.htm"
title="2024年Scrapy+Selenium项目实战--携程旅游信息爬虫" target="_blank">2024年Scrapy+Selenium项目实战--携程旅游信息爬虫</a>
<span class="text-muted">2401_84563287</span>
<a class="tag" taget="_blank" href="/search/%E7%A8%8B%E5%BA%8F%E5%91%98/1.htm">程序员</a><a class="tag" taget="_blank" href="/search/scrapy/1.htm">scrapy</a><a class="tag" taget="_blank" href="/search/selenium/1.htm">selenium</a><a class="tag" taget="_blank" href="/search/%E6%97%85%E6%B8%B8/1.htm">旅游</a>
<div>简介携程(you.ctrip.com)是一个提供旅游信息的网站,但它的部分内容可能是动态加载的,难以直接通过Scrapy获取。这时就需要借助Selenium这样的工具,模拟浏览器行为进行数据的获取和处理。工具准备Scrapy:一个用于爬取网站并提取结构化数据的强大框架。Selenium:一个自动化测试工具,可以模拟用户操作浏览器的行为。ChromeDriver:作为SeleniumWebDrive</div>
</li>
<li><a href="/article/54.htm"
title="JAVA中的Enum" target="_blank">JAVA中的Enum</a>
<span class="text-muted">周凡杨</span>
<a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/enum/1.htm">enum</a><a class="tag" taget="_blank" href="/search/%E6%9E%9A%E4%B8%BE/1.htm">枚举</a>
<div>Enum是计算机编程语言中的一种数据类型---枚举类型。 在实际问题中,有些变量的取值被限定在一个有限的范围内。 例如,一个星期内只有七天 我们通常这样实现上面的定义:
public String monday;
public String tuesday;
public String wensday;
public String thursday</div>
</li>
<li><a href="/article/181.htm"
title="赶集网mysql开发36条军规" target="_blank">赶集网mysql开发36条军规</a>
<span class="text-muted">Bill_chen</span>
<a class="tag" taget="_blank" href="/search/mysql/1.htm">mysql</a><a class="tag" taget="_blank" href="/search/%E4%B8%9A%E5%8A%A1%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1/1.htm">业务架构设计</a><a class="tag" taget="_blank" href="/search/mysql%E8%B0%83%E4%BC%98/1.htm">mysql调优</a><a class="tag" taget="_blank" href="/search/mysql%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96/1.htm">mysql性能优化</a>
<div>(一)核心军规 (1)不在数据库做运算 cpu计算务必移至业务层; (2)控制单表数据量 int型不超过1000w,含char则不超过500w; 合理分表; 限制单库表数量在300以内; (3)控制列数量 字段少而精,字段数建议在20以内</div>
</li>
<li><a href="/article/308.htm"
title="Shell test命令" target="_blank">Shell test命令</a>
<span class="text-muted">daizj</span>
<a class="tag" taget="_blank" href="/search/shell/1.htm">shell</a><a class="tag" taget="_blank" href="/search/%E5%AD%97%E7%AC%A6%E4%B8%B2/1.htm">字符串</a><a class="tag" taget="_blank" href="/search/test/1.htm">test</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E5%AD%97/1.htm">数字</a><a class="tag" taget="_blank" href="/search/%E6%96%87%E4%BB%B6%E6%AF%94%E8%BE%83/1.htm">文件比较</a>
<div>Shell test命令
Shell中的 test 命令用于检查某个条件是否成立,它可以进行数值、字符和文件三个方面的测试。 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真
实例演示:
num1=100
num2=100if test $[num1]</div>
</li>
<li><a href="/article/435.htm"
title="XFire框架实现WebService(二)" target="_blank">XFire框架实现WebService(二)</a>
<span class="text-muted">周凡杨</span>
<a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/webservice/1.htm">webservice</a>
<div> 有了XFire框架实现WebService(一),就可以继续开发WebService的简单应用。
Webservice的服务端(WEB工程):
两个java bean类:
Course.java
package cn.com.bean;
public class Course {
private </div>
</li>
<li><a href="/article/562.htm"
title="重绘之画图板" target="_blank">重绘之画图板</a>
<span class="text-muted">朱辉辉33</span>
<a class="tag" taget="_blank" href="/search/%E7%94%BB%E5%9B%BE%E6%9D%BF/1.htm">画图板</a>
<div> 上次博客讲的五子棋重绘比较简单,因为只要在重写系统重绘方法paint()时加入棋盘和棋子的绘制。这次我想说说画图板的重绘。
画图板重绘难在需要重绘的类型很多,比如说里面有矩形,园,直线之类的,所以我们要想办法将里面的图形加入一个队列中,这样在重绘时就</div>
</li>
<li><a href="/article/689.htm"
title="Java的IO流" target="_blank">Java的IO流</a>
<span class="text-muted">西蜀石兰</span>
<a class="tag" taget="_blank" href="/search/java/1.htm">java</a>
<div>刚学Java的IO流时,被各种inputStream流弄的很迷糊,看老罗视频时说想象成插在文件上的一根管道,当初听时觉得自己很明白,可到自己用时,有不知道怎么代码了。。。
每当遇到这种问题时,我习惯性的从头开始理逻辑,会问自己一些很简单的问题,把这些简单的问题想明白了,再看代码时才不会迷糊。
IO流作用是什么?
答:实现对文件的读写,这里的文件是广义的;
Java如何实现程序到文件</div>
</li>
<li><a href="/article/816.htm"
title="No matching PlatformTransactionManager bean found for qualifier 'add' - neither" target="_blank">No matching PlatformTransactionManager bean found for qualifier 'add' - neither</a>
<span class="text-muted">林鹤霄</span>
<div>java.lang.IllegalStateException: No matching PlatformTransactionManager bean found for qualifier 'add' - neither qualifier match nor bean name match!
网上找了好多的资料没能解决,后来发现:项目中使用的是xml配置的方式配置事务,但是</div>
</li>
<li><a href="/article/943.htm"
title="Row size too large (> 8126). Changing some columns to TEXT or BLOB" target="_blank">Row size too large (> 8126). Changing some columns to TEXT or BLOB</a>
<span class="text-muted">aigo</span>
<a class="tag" taget="_blank" href="/search/column/1.htm">column</a>
<div>原文:http://stackoverflow.com/questions/15585602/change-limit-for-mysql-row-size-too-large
异常信息:
Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAM</div>
</li>
<li><a href="/article/1070.htm"
title="JS 格式化时间" target="_blank">JS 格式化时间</a>
<span class="text-muted">alxw4616</span>
<a class="tag" taget="_blank" href="/search/JavaScript/1.htm">JavaScript</a>
<div>/**
* 格式化时间 2013/6/13 by 半仙 alxw4616@msn.com
* 需要 pad 函数
* 接收可用的时间值.
* 返回替换时间占位符后的字符串
*
* 时间占位符:年 Y 月 M 日 D 小时 h 分 m 秒 s 重复次数表示占位数
* 如 YYYY 4占4位 YY 占2位<p></p>
* MM DD hh mm</div>
</li>
<li><a href="/article/1197.htm"
title="队列中数据的移除问题" target="_blank">队列中数据的移除问题</a>
<span class="text-muted">百合不是茶</span>
<a class="tag" taget="_blank" href="/search/%E9%98%9F%E5%88%97%E7%A7%BB%E9%99%A4/1.htm">队列移除</a>
<div>
队列的移除一般都是使用的remov();都可以移除的,但是在昨天做线程移除的时候出现了点问题,没有将遍历出来的全部移除, 代码如下;
//
package com.Thread0715.com;
import java.util.ArrayList;
public class Threa</div>
</li>
<li><a href="/article/1324.htm"
title="Runnable接口使用实例" target="_blank">Runnable接口使用实例</a>
<span class="text-muted">bijian1013</span>
<a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/thread/1.htm">thread</a><a class="tag" taget="_blank" href="/search/Runnable/1.htm">Runnable</a><a class="tag" taget="_blank" href="/search/java%E5%A4%9A%E7%BA%BF%E7%A8%8B/1.htm">java多线程</a>
<div>Runnable接口
a. 该接口只有一个方法:public void run();
b. 实现该接口的类必须覆盖该run方法
c. 实现了Runnable接口的类并不具有任何天</div>
</li>
<li><a href="/article/1451.htm"
title="oracle里的extend详解" target="_blank">oracle里的extend详解</a>
<span class="text-muted">bijian1013</span>
<a class="tag" taget="_blank" href="/search/oracle/1.htm">oracle</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E5%BA%93/1.htm">数据库</a><a class="tag" taget="_blank" href="/search/extend/1.htm">extend</a>
<div>扩展已知的数组空间,例:
DECLARE
TYPE CourseList IS TABLE OF VARCHAR2(10);
courses CourseList;
BEGIN
-- 初始化数组元素,大小为3
courses := CourseList('Biol 4412 ', 'Psyc 3112 ', 'Anth 3001 ');
-- </div>
</li>
<li><a href="/article/1578.htm"
title="【httpclient】httpclient发送表单POST请求" target="_blank">【httpclient】httpclient发送表单POST请求</a>
<span class="text-muted">bit1129</span>
<a class="tag" taget="_blank" href="/search/httpclient/1.htm">httpclient</a>
<div>浏览器Form Post请求
浏览器可以通过提交表单的方式向服务器发起POST请求,这种形式的POST请求不同于一般的POST请求
1. 一般的POST请求,将请求数据放置于请求体中,服务器端以二进制流的方式读取数据,HttpServletRequest.getInputStream()。这种方式的请求可以处理任意数据形式的POST请求,比如请求数据是字符串或者是二进制数据
2. Form </div>
</li>
<li><a href="/article/1705.htm"
title="【Hive十三】Hive读写Avro格式的数据" target="_blank">【Hive十三】Hive读写Avro格式的数据</a>
<span class="text-muted">bit1129</span>
<a class="tag" taget="_blank" href="/search/hive/1.htm">hive</a>
<div> 1. 原始数据
hive> select * from word;
OK
1 MSN
10 QQ
100 Gtalk
1000 Skype
2. 创建avro格式的数据表
hive> CREATE TABLE avro_table(age INT, name STRING)STORE</div>
</li>
<li><a href="/article/1832.htm"
title="nginx+lua+redis自动识别封解禁频繁访问IP" target="_blank">nginx+lua+redis自动识别封解禁频繁访问IP</a>
<span class="text-muted">ronin47</span>
<div>在站点遇到攻击且无明显攻击特征,造成站点访问慢,nginx不断返回502等错误时,可利用nginx+lua+redis实现在指定的时间段 内,若单IP的请求量达到指定的数量后对该IP进行封禁,nginx返回403禁止访问。利用redis的expire命令设置封禁IP的过期时间达到在 指定的封禁时间后实行自动解封的目的。
一、安装环境:
CentOS x64 release 6.4(Fin</div>
</li>
<li><a href="/article/1959.htm"
title="java-二叉树的遍历-先序、中序、后序(递归和非递归)、层次遍历" target="_blank">java-二叉树的遍历-先序、中序、后序(递归和非递归)、层次遍历</a>
<span class="text-muted">bylijinnan</span>
<a class="tag" taget="_blank" href="/search/java/1.htm">java</a>
<div>
import java.util.LinkedList;
import java.util.List;
import java.util.Stack;
public class BinTreeTraverse {
//private int[] array={ 1, 2, 3, 4, 5, 6, 7, 8, 9 };
private int[] array={ 10,6,</div>
</li>
<li><a href="/article/2086.htm"
title="Spring源码学习-XML 配置方式的IoC容器启动过程分析" target="_blank">Spring源码学习-XML 配置方式的IoC容器启动过程分析</a>
<span class="text-muted">bylijinnan</span>
<a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/spring/1.htm">spring</a><a class="tag" taget="_blank" href="/search/IOC/1.htm">IOC</a>
<div>以FileSystemXmlApplicationContext为例,把Spring IoC容器的初始化流程走一遍:
ApplicationContext context = new FileSystemXmlApplicationContext
("C:/Users/ZARA/workspace/HelloSpring/src/Beans.xml&q</div>
</li>
<li><a href="/article/2213.htm"
title="[科研与项目]民营企业请慎重参与军事科技工程" target="_blank">[科研与项目]民营企业请慎重参与军事科技工程</a>
<span class="text-muted">comsci</span>
<a class="tag" taget="_blank" href="/search/%E4%BC%81%E4%B8%9A/1.htm">企业</a>
<div>
军事科研工程和项目 并非要用最先进,最时髦的技术,而是要做到“万无一失”
而民营科技企业在搞科技创新工程的时候,往往考虑的是技术的先进性,而对先进技术带来的风险考虑得不够,在今天提倡军民融合发展的大环境下,这种“万无一失”和“时髦性”的矛盾会日益凸显。。。。。。所以请大家在参与任何重大的军事和政府项目之前,对</div>
</li>
<li><a href="/article/2340.htm"
title="spring 定时器-两种方式" target="_blank">spring 定时器-两种方式</a>
<span class="text-muted">cuityang</span>
<a class="tag" taget="_blank" href="/search/spring/1.htm">spring</a><a class="tag" taget="_blank" href="/search/quartz/1.htm">quartz</a><a class="tag" taget="_blank" href="/search/%E5%AE%9A%E6%97%B6%E5%99%A8/1.htm">定时器</a>
<div>方式一:
间隔一定时间 运行
<bean id="updateSessionIdTask" class="com.yang.iprms.common.UpdateSessionTask" autowire="byName" />
<bean id="updateSessionIdSchedule</div>
</li>
<li><a href="/article/2467.htm"
title="简述一下关于BroadView站点的相关设计" target="_blank">简述一下关于BroadView站点的相关设计</a>
<span class="text-muted">damoqiongqiu</span>
<a class="tag" taget="_blank" href="/search/view/1.htm">view</a>
<div>终于弄上线了,累趴,戳这里http://www.broadview.com.cn
简述一下相关的技术点
前端:jQuery+BootStrap3.2+HandleBars,全站Ajax(貌似对SEO的影响很大啊!怎么破?),用Grunt对全部JS做了压缩处理,对部分JS和CSS做了合并(模块间存在很多依赖,全部合并比较繁琐,待完善)。
后端:U</div>
</li>
<li><a href="/article/2594.htm"
title="运维 PHP问题汇总" target="_blank">运维 PHP问题汇总</a>
<span class="text-muted">dcj3sjt126com</span>
<a class="tag" taget="_blank" href="/search/windows2003/1.htm">windows2003</a>
<div>1、Dede(织梦)发表文章时,内容自动添加关键字显示空白页
解决方法:
后台>系统>系统基本参数>核心设置>关键字替换(是/否),这里选择“是”。
后台>系统>系统基本参数>其他选项>自动提取关键字,这里选择“是”。
2、解决PHP168超级管理员上传图片提示你的空间不足
网站是用PHP168做的,反映使用管理员在后台无法</div>
</li>
<li><a href="/article/2721.htm"
title="mac 下 安装php扩展 - mcrypt" target="_blank">mac 下 安装php扩展 - mcrypt</a>
<span class="text-muted">dcj3sjt126com</span>
<a class="tag" taget="_blank" href="/search/PHP/1.htm">PHP</a>
<div>MCrypt是一个功能强大的加密算法扩展库,它包括有22种算法,phpMyAdmin依赖这个PHP扩展,具体如下:
下载并解压libmcrypt-2.5.8.tar.gz。
在终端执行如下命令: tar zxvf libmcrypt-2.5.8.tar.gz cd libmcrypt-2.5.8/ ./configure --disable-posix-threads --</div>
</li>
<li><a href="/article/2848.htm"
title="MongoDB更新文档 [四]" target="_blank">MongoDB更新文档 [四]</a>
<span class="text-muted">eksliang</span>
<a class="tag" taget="_blank" href="/search/mongodb/1.htm">mongodb</a><a class="tag" taget="_blank" href="/search/Mongodb%E6%9B%B4%E6%96%B0%E6%96%87%E6%A1%A3/1.htm">Mongodb更新文档</a>
<div>MongoDB更新文档
转载请出自出处:http://eksliang.iteye.com/blog/2174104
MongoDB对文档的CURD,前面的博客简单介绍了,但是对文档更新篇幅比较大,所以这里单独拿出来。
语法结构如下:
db.collection.update( criteria, objNew, upsert, multi)
参数含义 参数 </div>
</li>
<li><a href="/article/2975.htm"
title="Linux下的解压,移除,复制,查看tomcat命令" target="_blank">Linux下的解压,移除,复制,查看tomcat命令</a>
<span class="text-muted">y806839048</span>
<a class="tag" taget="_blank" href="/search/tomcat/1.htm">tomcat</a>
<div>重复myeclipse生成webservice有问题删除以前的,干净
1、先切换到:cd usr/local/tomcat5/logs
2、tail -f catalina.out
3、这样运行时就可以实时查看运行日志了
Ctrl+c 是退出tail命令。
有问题不明的先注掉
cp /opt/tomcat-6.0.44/webapps/g</div>
</li>
<li><a href="/article/3102.htm"
title="Spring之使用事务缘由(3-XML实现)" target="_blank">Spring之使用事务缘由(3-XML实现)</a>
<span class="text-muted">ihuning</span>
<a class="tag" taget="_blank" href="/search/spring/1.htm">spring</a>
<div>
用事务通知声明式地管理事务
事务管理是一种横切关注点。为了在 Spring 2.x 中启用声明式事务管理,可以通过 tx Schema 中定义的 <tx:advice> 元素声明事务通知,为此必须事先将这个 Schema 定义添加到 <beans> 根元素中去。声明了事务通知后,就需要将它与切入点关联起来。由于事务通知是在 <aop:</div>
</li>
<li><a href="/article/3229.htm"
title="GCD使用经验与技巧浅谈" target="_blank">GCD使用经验与技巧浅谈</a>
<span class="text-muted">啸笑天</span>
<a class="tag" taget="_blank" href="/search/GC/1.htm">GC</a>
<div>前言
GCD(Grand Central Dispatch)可以说是Mac、iOS开发中的一大“利器”,本文就总结一些有关使用GCD的经验与技巧。
dispatch_once_t必须是全局或static变量
这一条算是“老生常谈”了,但我认为还是有必要强调一次,毕竟非全局或非static的dispatch_once_t变量在使用时会导致非常不好排查的bug,正确的如下: 1 </div>
</li>
<li><a href="/article/3356.htm"
title="linux(Ubuntu)下常用命令备忘录1" target="_blank">linux(Ubuntu)下常用命令备忘录1</a>
<span class="text-muted">macroli</span>
<a class="tag" taget="_blank" href="/search/linux/1.htm">linux</a><a class="tag" taget="_blank" href="/search/%E5%B7%A5%E4%BD%9C/1.htm">工作</a><a class="tag" taget="_blank" href="/search/ubuntu/1.htm">ubuntu</a>
<div>在使用下面的命令是可以通过--help来获取更多的信息1,查询当前目录文件列表:ls
ls命令默认状态下将按首字母升序列出你当前文件夹下面的所有内容,但这样直接运行所得到的信息也是比较少的,通常它可以结合以下这些参数运行以查询更多的信息:
ls / 显示/.下的所有文件和目录
ls -l 给出文件或者文件夹的详细信息
ls -a 显示所有文件,包括隐藏文</div>
</li>
<li><a href="/article/3483.htm"
title="nodejs同步操作mysql" target="_blank">nodejs同步操作mysql</a>
<span class="text-muted">qiaolevip</span>
<a class="tag" taget="_blank" href="/search/%E5%AD%A6%E4%B9%A0%E6%B0%B8%E6%97%A0%E6%AD%A2%E5%A2%83/1.htm">学习永无止境</a><a class="tag" taget="_blank" href="/search/%E6%AF%8F%E5%A4%A9%E8%BF%9B%E6%AD%A5%E4%B8%80%E7%82%B9%E7%82%B9/1.htm">每天进步一点点</a><a class="tag" taget="_blank" href="/search/mysql/1.htm">mysql</a><a class="tag" taget="_blank" href="/search/nodejs/1.htm">nodejs</a>
<div>// db-util.js
var mysql = require('mysql');
var pool = mysql.createPool({
connectionLimit : 10,
host: 'localhost',
user: 'root',
password: '',
database: 'test',
port: 3306
});
</div>
</li>
<li><a href="/article/3610.htm"
title="一起学Hive系列文章" target="_blank">一起学Hive系列文章</a>
<span class="text-muted">superlxw1234</span>
<a class="tag" taget="_blank" href="/search/hive/1.htm">hive</a><a class="tag" taget="_blank" href="/search/Hive%E5%85%A5%E9%97%A8/1.htm">Hive入门</a>
<div>
[一起学Hive]系列文章 目录贴,入门Hive,持续更新中。
[一起学Hive]之一—Hive概述,Hive是什么
[一起学Hive]之二—Hive函数大全-完整版
[一起学Hive]之三—Hive中的数据库(Database)和表(Table)
[一起学Hive]之四-Hive的安装配置
[一起学Hive]之五-Hive的视图和分区
[一起学Hive</div>
</li>
<li><a href="/article/3737.htm"
title="Spring开发利器:Spring Tool Suite 3.7.0 发布" target="_blank">Spring开发利器:Spring Tool Suite 3.7.0 发布</a>
<span class="text-muted">wiselyman</span>
<a class="tag" taget="_blank" href="/search/spring/1.htm">spring</a>
<div>Spring Tool Suite(简称STS)是基于Eclipse,专门针对Spring开发者提供大量的便捷功能的优秀开发工具。
在3.7.0版本主要做了如下的更新:
将eclipse版本更新至Eclipse Mars 4.5 GA
Spring Boot(JavaEE开发的颠覆者集大成者,推荐大家学习)的配置语言YAML编辑器的支持(包含自动提示,</div>
</li>
</ul>
</div>
</div>
</div>
<div>
<div class="container">
<div class="indexes">
<strong>按字母分类:</strong>
<a href="/tags/A/1.htm" target="_blank">A</a><a href="/tags/B/1.htm" target="_blank">B</a><a href="/tags/C/1.htm" target="_blank">C</a><a
href="/tags/D/1.htm" target="_blank">D</a><a href="/tags/E/1.htm" target="_blank">E</a><a href="/tags/F/1.htm" target="_blank">F</a><a
href="/tags/G/1.htm" target="_blank">G</a><a href="/tags/H/1.htm" target="_blank">H</a><a href="/tags/I/1.htm" target="_blank">I</a><a
href="/tags/J/1.htm" target="_blank">J</a><a href="/tags/K/1.htm" target="_blank">K</a><a href="/tags/L/1.htm" target="_blank">L</a><a
href="/tags/M/1.htm" target="_blank">M</a><a href="/tags/N/1.htm" target="_blank">N</a><a href="/tags/O/1.htm" target="_blank">O</a><a
href="/tags/P/1.htm" target="_blank">P</a><a href="/tags/Q/1.htm" target="_blank">Q</a><a href="/tags/R/1.htm" target="_blank">R</a><a
href="/tags/S/1.htm" target="_blank">S</a><a href="/tags/T/1.htm" target="_blank">T</a><a href="/tags/U/1.htm" target="_blank">U</a><a
href="/tags/V/1.htm" target="_blank">V</a><a href="/tags/W/1.htm" target="_blank">W</a><a href="/tags/X/1.htm" target="_blank">X</a><a
href="/tags/Y/1.htm" target="_blank">Y</a><a href="/tags/Z/1.htm" target="_blank">Z</a><a href="/tags/0/1.htm" target="_blank">其他</a>
</div>
</div>
</div>
<footer id="footer" class="mb30 mt30">
<div class="container">
<div class="footBglm">
<a target="_blank" href="/">首页</a> -
<a target="_blank" href="/custom/about.htm">关于我们</a> -
<a target="_blank" href="/search/Java/1.htm">站内搜索</a> -
<a target="_blank" href="/sitemap.txt">Sitemap</a> -
<a target="_blank" href="/custom/delete.htm">侵权投诉</a>
</div>
<div class="copyright">版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.
<!-- <a href="https://beian.miit.gov.cn/" rel="nofollow" target="_blank">京ICP备09083238号</a><br>-->
</div>
</div>
</footer>
<!-- 代码高亮 -->
<script type="text/javascript" src="/static/syntaxhighlighter/scripts/shCore.js"></script>
<script type="text/javascript" src="/static/syntaxhighlighter/scripts/shLegacy.js"></script>
<script type="text/javascript" src="/static/syntaxhighlighter/scripts/shAutoloader.js"></script>
<link type="text/css" rel="stylesheet" href="/static/syntaxhighlighter/styles/shCoreDefault.css"/>
<script type="text/javascript" src="/static/syntaxhighlighter/src/my_start_1.js"></script>
</body>
</html>