banlao4355
banlao4355

小白如何入门 Python 爬虫？

本文针对初学者，我会用最简单的案例告诉你如何入门python爬虫！

想要入门Python 爬虫首先需要解决四个问题

    • 熟悉python编程
    • 了解HTML
    • 了解网络爬虫的基本原理
    • 学习使用python爬虫库

 

一、你应该知道什么是爬虫？

网络爬虫，其实叫作网络数据采集更容易理解。

就是通过编程向网络服务器请求数据（HTML表单），然后解析HTML，提取出自己想要的数据。

归纳为四大步：

  1. 根据url获取HTML数据
  2. 解析HTML，获取目标信息
  3. 存储数据
  4. 重复第一步

这会涉及到数据库、网络服务器、HTTP协议、HTML、数据科学、网络安全、图像处理等非常多的内容。但对于初学者而言，并不需要掌握这么多。

二、python要学习到什么程度

如果你不懂python，那么需要先学习python这门非常easy的语言（相对其它语言而言）。

编程语言基础语法无非是数据类型、数据结构、运算符、逻辑结构、函数、文件IO、错误处理这些，学起来会显枯燥但并不难。

刚开始入门爬虫，你甚至不需要去学习python的类、多线程、模块之类的略难内容。找一个面向初学者的教材或者网络教程，花个十几天功夫，就能对python基础有个三四分的认识了，这时候你可以玩玩爬虫喽！

当然，前提是你必须在这十几天里认真敲代码，反复咀嚼语法逻辑，比如列表、字典、字符串、if语句、for循环等最核心的东西都得捻熟于心、于手。

教材方面比较多选择，我个人是比较推荐python官方文档以及python简明教程，前者比较系统丰富、后者会更简练。

 

三、为什么要懂HTML

前面说到过爬虫要爬取的数据藏在网页里面的HTML里面的数据，有点绕哈！

维基百科是这样解释HTML的：

超文本标记语言（英语：HyperTextMarkupLanguage，简称：HTML）是一种用于创建网页的标准标记语言。

HTML是一种基础技术，常与CSS、JavaScript一起被众多网站用于设计网页、网页应用程序以及移动应用程序的用户界面[3]。网页浏览器可以读取HTML文件，并将其渲染成可视化网页。

HTML描述了一个网站的结构语义随着线索的呈现，使之成为一种标记语言而非编程语言。

总结一下，HTML是一种用于创建网页的标记语言，里面嵌入了文本、图像等数据，可以被浏览器读取，并渲染成我们看到的网页样子。

所以我们才会从先爬取HTML，再 解析数据，因为数据藏在HTML里。

学习HTML并不难，它并不是编程语言，你只需要熟悉它的标记规则，这里大致讲一下。

HTML标记包含标签（及其属性）、基于字符的数据类型、字符引用和实体引用等几个关键部分。

HTML标签是最常见的，通常成对出现，比如<h1>与h1>。

这些成对出现的标签中，第一个标签是开始标签，第二个标签是结束标签。两个标签之间为元素的内容（文本、图像等），有些标签没有内容，为空元素，如<img>。

以下是一个经典的Hello World程序的例子：



  
    This is a title
  
  
    
Hello world!

　　

HTML文档由嵌套的HTML元素构成。它们用HTML标签表示，包含于尖括号中，如<p>

在一般情况下，一个元素由一对标签表示：“开始标签”<p>与“结束标签”p>。元素如果含有文本内容，就被放置在这些标签之间。

 

四、了解python网络爬虫的基本原理

在编写python爬虫程序时，只需要做以下两件事：

  • 发送GET请求，获取HTML
  • 解析HTML，获取数据

这两件事，python都有相应的库帮你去做，你只需要知道如何去用它们就可以了。

首先，发送HTML数据请求可以使用python内置库urllib，该库有一个urlopen函数，可以根据url获取HTML文件，这里尝试获取百度首页“”的HTML内容

# 导入urllib库的urlopen函数
from urllib.request import urlopen 
# 发出请求，获取html
html = urlopen("https://www.baidu.com/")
# 获取的html内容是字节，将其转化为字符串
html_text = bytes.decode(html.read())
# 打印html内容
print(html_text)

看看效果：

小白如何入门 Python 爬虫？_第1张图片

我们看一下真正百度首页html是什么样的

如果你用的是谷歌浏览器，在百度主页打开设置>更多工具>开发者工具，点击element，就可以看到了：

小白如何入门 Python 爬虫？_第2张图片

对比一下你就会知道，刚才通过python程序获取到的HTML和网页中的一样！

获取了HTML之后，接下就要解析HTML了，因为你想要的文本、图片、视频都藏在HTML里，你需要通过某种手段提取需要的数据。

python同样提供了非常多且强大的库来帮助你解析HTML，这里以著名的python库BeautifulSoup为工具来解析上面已经获取的HTML。

BeautifulSoup是第三方库，需要安装使用。在命令行用pip安装就可以了：

pip install bs4

BeautifulSoup会将HTML内容转换成结构化内容，你只要从结构化标签里面提取数据就OK了：

小白如何入门 Python 爬虫？_第3张图片

比如，我想获取百度首页的标题“百度一下，我就知道”，怎么办呢？

这个标题是被两个标签套住的，一个是一级标签,另一个是二级标签<title>，所以只要从标签中取出信息就可以了</p> <p><a href="http://img.e-com-net.com/image/info8/187d324a896046a38c39c45fb4dfcd98.jpg" target="_blank"><img src="http://img.e-com-net.com/image/info8/187d324a896046a38c39c45fb4dfcd98.jpg" alt="小白如何入门 Python 爬虫？_第4张图片" width="650" height="296" style="border:1px solid black;"></a></p> <div class="cnblogs_code"> <pre><span style="color:#008000;">#</span><span style="color:#008000;"> 导入urlopen函数</span> <span style="color:#0000ff;">from</span> urllib.request <span style="color:#0000ff;">import</span><span style="color:#000000;"> urlopen </span><span style="color:#008000;">#</span><span style="color:#008000;"> 导入BeautifulSoup</span> <span style="color:#0000ff;">from</span> bs4 <span style="color:#0000ff;">import</span><span style="color:#000000;"> BeautifulSoup as bf </span><span style="color:#008000;">#</span><span style="color:#008000;"> 请求获取HTML</span> html = urlopen(<span style="color:#800000;">"</span><span style="color:#800000;">https://www.baidu.com/</span><span style="color:#800000;">"</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 用BeautifulSoup解析html</span> obj = bf(html.read(),<span style="color:#800000;">'</span><span style="color:#800000;">html.parser</span><span style="color:#800000;">'</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 从标签head、title里提取标题</span> title =<span style="color:#000000;"> obj.head.title </span><span style="color:#008000;">#</span><span style="color:#008000;"> 打印标题</span> <span style="color:#0000ff;">print</span>(title)</pre> </div> <p>看看结果：</p> <p><a href="http://img.e-com-net.com/image/info8/29d067f5773047d9bd41f59c0c847048.jpg" target="_blank"><img src="http://img.e-com-net.com/image/info8/29d067f5773047d9bd41f59c0c847048.jpg" alt="小白如何入门 Python 爬虫？_第5张图片" width="650" height="365" style="border:1px solid black;"></a></p> <p>这样就搞定了，成功提取出百度首页的标题。</p> <p>如果我想要下载百度首页logo图片呢？</p> <p>第一步先获取该网页所有图片标签和url，这个可以使用BeautifulSoup的findAll方法，它可以提取包含在标签里的信息。</p> <p>一般来说，HTML里所有图片信息会在“img”标签里，所以我们通过findAll("img")就可以获取到所有图片的信息了。</p> <div class="cnblogs_code"> <pre><span style="color:#008000;">#</span><span style="color:#008000;"> 导入urlopen</span> <span style="color:#0000ff;">from</span> urllib.request <span style="color:#0000ff;">import</span><span style="color:#000000;"> urlopen </span><span style="color:#008000;">#</span><span style="color:#008000;"> 导入BeautifulSoup</span> <span style="color:#0000ff;">from</span> bs4 <span style="color:#0000ff;">import</span><span style="color:#000000;"> BeautifulSoup as bf </span><span style="color:#008000;">#</span><span style="color:#008000;"> 请求获取HTML</span> html = urlopen(<span style="color:#800000;">"</span><span style="color:#800000;">https://www.baidu.com/</span><span style="color:#800000;">"</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 用BeautifulSoup解析html</span> obj = bf(html.read(),<span style="color:#800000;">'</span><span style="color:#800000;">html.parser</span><span style="color:#800000;">'</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 从标签head、title里提取标题</span> title =<span style="color:#000000;"> obj.head.title </span><span style="color:#008000;">#</span><span style="color:#008000;"> 使用find_all函数获取所有图片的信息</span> pic_info = obj.find_all(<span style="color:#800000;">'</span><span style="color:#800000;">img</span><span style="color:#800000;">'</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 分别打印每个图片的信息</span> <span style="color:#0000ff;">for</span> i <span style="color:#0000ff;">in</span><span style="color:#000000;"> pic_info: </span><span style="color:#0000ff;">print</span>(i)</pre> </div> <p>看看结果：</p> <p> <a href="http://img.e-com-net.com/image/info8/f621b7afe9524dcaa799d28f44b3c6ed.jpg" target="_blank"><img src="http://img.e-com-net.com/image/info8/f621b7afe9524dcaa799d28f44b3c6ed.jpg" alt="小白如何入门 Python 爬虫？_第6张图片" width="650" height="248" style="border:1px solid black;"></a></p> <p>打印出了所有图片的属性，包括class（元素类名）、src（链接地址）、长宽高等。</p> <p>其中有百度首页logo的图片，该图片的class（元素类名）是index-logo-src。</p> <p><img src="http://img.e-com-net.com/image/info8/94fd57839f7940db8fc24792ecaff4f0.jpg" alt="" width="650" height="21"></p> <div class="cnblogs_Highlighter"> <pre><code class="language-html">[<img class="index-logo-src" height="129" hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" usemap="#mp" width="270"/>, <img alt="到百度首页" class="index-logo-src" src="//www.baidu.com/img/baidu_jgylogo3.gif" title="到百度首页"/>] </code></pre> </div> <p>可以看到图片的链接地址在src这个属性里，我们要获取图片链接地址：</p> <div class="cnblogs_code"> <pre><span style="color:#008000;">#</span><span style="color:#008000;"> 导入urlopen</span> <span style="color:#0000ff;">from</span> urllib.request <span style="color:#0000ff;">import</span><span style="color:#000000;"> urlopen </span><span style="color:#008000;">#</span><span style="color:#008000;"> 导入BeautifulSoup</span> <span style="color:#0000ff;">from</span> bs4 <span style="color:#0000ff;">import</span><span style="color:#000000;"> BeautifulSoup as bf </span><span style="color:#008000;">#</span><span style="color:#008000;"> 请求获取HTML</span> html = urlopen(<span style="color:#800000;">"</span><span style="color:#800000;">https://www.baidu.com/</span><span style="color:#800000;">"</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 用BeautifulSoup解析html</span> obj = bf(html.read(),<span style="color:#800000;">'</span><span style="color:#800000;">html.parser</span><span style="color:#800000;">'</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 从标签head、title里提取标题</span> title =<span style="color:#000000;"> obj.head.title </span><span style="color:#008000;">#</span><span style="color:#008000;"> 只提取logo图片的信息</span> logo_pic_info = obj.find_all(<span style="color:#800000;">'</span><span style="color:#800000;">img</span><span style="color:#800000;">'</span>,class_=<span style="color:#800000;">"</span><span style="color:#800000;">index-logo-src</span><span style="color:#800000;">"</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 提取logo图片的链接</span> logo_url = <span style="color:#800000;">"</span><span style="color:#800000;">https:</span><span style="color:#800000;">"</span>+logo_pic_info[0][<span style="color:#800000;">'</span><span style="color:#800000;">src</span><span style="color:#800000;">'</span><span style="color:#000000;">] </span><span style="color:#008000;">#</span><span style="color:#008000;"> 打印链接</span> <span style="color:#0000ff;">print</span>(logo_url)</pre> </div> <p>结果：</p> <p><a href="http://img.e-com-net.com/image/info8/8813a559496442159283e61165a29484.jpg" target="_blank"><img src="http://img.e-com-net.com/image/info8/8813a559496442159283e61165a29484.jpg" alt="小白如何入门 Python 爬虫？_第7张图片" width="650" height="477" style="border:1px solid black;"></a></p> <p> </p> <p>获取地址后，就可以用urllib.urlretrieve函数下载logo图片了</p> <div class="cnblogs_code"> <pre><span style="color:#008000;">#</span><span style="color:#008000;"> 导入urlopen</span> <span style="color:#0000ff;">from</span> urllib.request <span style="color:#0000ff;">import</span><span style="color:#000000;"> urlopen </span><span style="color:#008000;">#</span><span style="color:#008000;"> 导入BeautifulSoup</span> <span style="color:#0000ff;">from</span> bs4 <span style="color:#0000ff;">import</span><span style="color:#000000;"> BeautifulSoup as bf </span><span style="color:#008000;">#</span><span style="color:#008000;"> 导入urlretrieve函数，用于下载图片</span> <span style="color:#0000ff;">from</span> urllib.request <span style="color:#0000ff;">import</span><span style="color:#000000;"> urlretrieve </span><span style="color:#008000;">#</span><span style="color:#008000;"> 请求获取HTML</span> html = urlopen(<span style="color:#800000;">"</span><span style="color:#800000;">https://www.baidu.com/</span><span style="color:#800000;">"</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 用BeautifulSoup解析html</span> obj = bf(html.read(),<span style="color:#800000;">'</span><span style="color:#800000;">html.parser</span><span style="color:#800000;">'</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 从标签head、title里提取标题</span> title =<span style="color:#000000;"> obj.head.title </span><span style="color:#008000;">#</span><span style="color:#008000;"> 只提取logo图片的信息</span> logo_pic_info = obj.find_all(<span style="color:#800000;">'</span><span style="color:#800000;">img</span><span style="color:#800000;">'</span>,class_=<span style="color:#800000;">"</span><span style="color:#800000;">index-logo-src</span><span style="color:#800000;">"</span><span style="color:#000000;">) </span><span style="color:#008000;">#</span><span style="color:#008000;"> 提取logo图片的链接</span> logo_url = <span style="color:#800000;">"</span><span style="color:#800000;">https:</span><span style="color:#800000;">"</span>+logo_pic_info[0][<span style="color:#800000;">'</span><span style="color:#800000;">src</span><span style="color:#800000;">'</span><span style="color:#000000;">] </span><span style="color:#008000;">#</span><span style="color:#008000;"> 使用urlretrieve下载图片</span> urlretrieve(logo_url, <span style="color:#800000;">'</span><span style="color:#800000;">logo.png</span><span style="color:#800000;">'</span>)</pre> </div> <p>最终图片保存在'logo.png'</p> <p><a href="http://img.e-com-net.com/image/info8/3264e6078b8c4333bbe08385c4c9d198.jpg" target="_blank"><img src="http://img.e-com-net.com/image/info8/3264e6078b8c4333bbe08385c4c9d198.jpg" alt="小白如何入门 Python 爬虫？_第8张图片" width="650" height="308" style="border:1px solid black;"></a></p> <h2> </h2> <h2>六、结语</h2> <p>本文用爬取百度首页标题和logo图片的案例，讲解了python爬虫的基本原理以及相关python库的使用，这是比较初级的爬虫知识，还有很多优秀的python爬虫库和框架等待后续去学习。</p> <p>当然，掌握本文讲的知识点，你就已经入门python爬虫了。加油吧，少年！</p> </div> <p>转载于:https://www.cnblogs.com/zhuwjwh/p/11345229.html</p> </div> </div> </div> </div> </div> <!--PC和WAP自适应版--> <div id="SOHUCS" sid="1641360181847711744"></div> <script type="text/javascript" src="/views/front/js/chanyan.js"></script> <!-- 文章页-底部 动态广告位 --> <div class="youdao-fixed-ad" id="detail_ad_bottom"></div> </div> <div class="col-md-3"> <div class="row" id="ad"> <!-- 文章页-右侧1 动态广告位 --> <div id="right-1" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad"> <div class="youdao-fixed-ad" id="detail_ad_1"> </div> </div> <!-- 文章页-右侧2 动态广告位 --> <div id="right-2" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad"> <div class="youdao-fixed-ad" id="detail_ad_2"></div> </div> <!-- 文章页-右侧3 动态广告位 --> <div id="right-3" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad"> <div class="youdao-fixed-ad" id="detail_ad_3"></div> </div> </div> </div> </div> </div> </div> <div class="container"> <h4 class="pt20 mb15 mt0 border-top">你可能感兴趣的:(爬虫,python,javascript,ViewUI)</h4> <div id="paradigm-article-related"> <div class="recommend-post mb30"> <ul class="widget-links"> <li><a href="/article/1896187041729802240.htm" title="【复杂网络建模】真实网络数据集的读取和操作" target="_blank">【复杂网络建模】真实网络数据集的读取和操作</a> <span class="text-muted">钰云空间</span> <a class="tag" taget="_blank" href="/search/%E5%A4%8D%E6%9D%82%E7%BD%91%E7%BB%9C/1.htm">复杂网络</a><a class="tag" taget="_blank" href="/search/Python/1.htm">Python</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a> <div>文章目录概要1.获取真实网络数据集的常用网址1.1NetworkRepository.1.2StanfordLargeNetworkDatasetCollection1.3KONCET1.4Netzschleuder2.网络分析2.1计算度中心性2.2绘制网络图小结概要在复杂网络建模中，使用真实的网络数据集是理解和分析现实世界网络结构的关键。接下来将介绍如何使用Python中的工具库（如Netwo</div> </li> <li><a href="/article/1896175928774553600.htm" title="Python 基础（三）：入门必备知识的思考与对之前内容的总结" target="_blank">Python 基础（三）：入门必备知识的思考与对之前内容的总结</a> <span class="text-muted">AI自学kuke-v</span> <a class="tag" taget="_blank" href="/search/Python%E6%95%99%E5%AD%A6/1.htm">Python教学</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a> <div>1思考前两节我们讲了input,print()还有变量与数据类型的用法，但是我发现可学习性还是比较低。无法让大家系统的掌握Python这门语言的入门语法。那么为什么要系统的掌握语法呢？因为系统的掌握语法后，当我们想要用到这一知识点的时候，我们就可以迅速的找到相应的处理方法，从而更加方便与快捷的解决我们遇到的问题，不至于我们到用到的时候再去寻找相关的处理方法，所以我讲的内容要尽可能的高度地相关性、全</div> </li> <li><a href="/article/1896170128647712768.htm" title="【网络安全 | 扫描子域+发现真实IP】CloakQuest3r安装使用详细教程" target="_blank">【网络安全 | 扫描子域+发现真实IP】CloakQuest3r安装使用详细教程</a> <span class="text-muted">秋说</span> <a class="tag" taget="_blank" href="/search/%E7%BD%91%E5%AE%89%E6%B8%97%E9%80%8F%E5%B7%A5%E5%85%B7%E4%BD%BF%E7%94%A8%E6%95%99%E7%A8%8B%28%E5%85%A8%29/1.htm">网安渗透工具使用教程(全)</a><a class="tag" taget="_blank" href="/search/web%E5%AE%89%E5%85%A8/1.htm">web安全</a><a class="tag" taget="_blank" href="/search/%E5%AD%90%E5%9F%9F%E5%90%8D%E6%89%AB%E6%8F%8F/1.htm">子域名扫描</a><a class="tag" taget="_blank" href="/search/%E6%B8%97%E9%80%8F%E5%B7%A5%E5%85%B7/1.htm">渗透工具</a> <div>原创文章，禁止转载。本文仅作学习交流使用，不得用于非法渗透，笔者不承担任何责任。文章目录简介功能介绍执行流程限制安装步骤可选功能：SecurityTrailsAPI使用示例简介CloakQuest3r是一款强大的Python工具，专为揭示受Cloudflare及类似服务保护的网站真实IP地址而设计。Cloudflare作为广泛应用的Web安全与性能优化服务，其防护机制可隐藏网站的实际IP，而Clo</div> </li> <li><a href="/article/1896165333845209088.htm" title="前端21：Vue.js开发实践指南" target="_blank">前端21：Vue.js开发实践指南</a> <span class="text-muted">mater lai</span> <div>本文还有配套的精品资源，点击获取简介：Vue.js是前端开发领域流行的JavaScript框架，"前端21"项目展示了基于Vue.js的Web应用程序开发。本文详细介绍了Vue.js的核心概念、项目设置、npm脚本、自定义配置、文件结构、开发过程和VueCLI工具，以帮助开发者高效构建Web应用。1.Vue.js框架基础1.1Vue.js简介Vue.js是一套构建用户界面的渐进式JavaScrip</div> </li> <li><a href="/article/1896161427677310976.htm" title="Python进程知多少" target="_blank">Python进程知多少</a> <span class="text-muted">我的身前一尺是我的世界</span> <a class="tag" taget="_blank" href="/search/Python/1.htm">Python</a><a class="tag" taget="_blank" href="/search/python%E8%BF%9B%E7%A8%8B/1.htm">python进程</a><a class="tag" taget="_blank" href="/search/python%E5%A4%9A%E8%BF%9B%E7%A8%8B/1.htm">python多进程</a><a class="tag" taget="_blank" href="/search/python%E8%BF%9B%E7%A8%8B%E5%85%B1%E4%BA%AB%E5%86%85%E5%AD%98/1.htm">python进程共享内存</a><a class="tag" taget="_blank" href="/search/python%E6%9C%8D%E5%8A%A1%E5%99%A8%E8%BF%9B%E7%A8%8B/1.htm">python服务器进程</a><a class="tag" taget="_blank" href="/search/python%E8%BF%9B%E7%A8%8B%E9%80%9A%E4%BF%A1/1.htm">python进程通信</a> <div>目录目标Python版本官方文档概述进程（Process）的基本概念进程之间的通信方法进程同步进程间共享状态实战创建进程的基本语法创建进程并传递复杂的参数进程同步&进程通信共享内存基于服务器进程实现共享基于队列实现进程安全生产者&消费者模型（基于队列）生产者&消费者模型（基于管道）目标掌握进程的基本概念和使用方法，包括：创建进程、进程同步、进程间共享状态、进程通信。Python版本Python3.</div> </li> <li><a href="/article/1896148446864273408.htm" title="前端开发核心知识点深度解析：从CSS到Vue的全面指南" target="_blank">前端开发核心知识点深度解析：从CSS到Vue的全面指南</a> <span class="text-muted">A_cot</span> <a class="tag" taget="_blank" href="/search/css/1.htm">css</a><a class="tag" taget="_blank" href="/search/vue.js/1.htm">vue.js</a><a class="tag" taget="_blank" href="/search/%E5%89%8D%E7%AB%AF/1.htm">前端</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/javascript/1.htm">javascript</a> <div>一、CSS篇1.link与@import的区别加载方式：是HTML标签，并行加载；@import是CSS语法，串行加载兼容性：@import不支持IE5以下DOM控制：link可通过JS操作DOM修改，@import不可动态修改权重计算：@import引入的样式优先级低于link@importurl('style.css');二、JavaScript篇2.原型链机制原型对象：每个函数都有proto</div> </li> <li><a href="/article/1896147690929057792.htm" title="python 开启https服务" target="_blank">python 开启https服务</a> <span class="text-muted">魔兽-SS</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/https/1.htm">https</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a> <div>importjsonfromflaskimportFlask,Response,requestimportosapp=Flask(__name__)#设置SSL证书路径ssl_cert_path=os.path.join(os.path.dirname(__file__),'certs','self.crt')ssl_key_path=os.path.join(os.path.dirname(__</div> </li> <li><a href="/article/1896144792430112768.htm" title="cookieParser 依赖详解" target="_blank">cookieParser 依赖详解</a> <span class="text-muted">yqcoder</span> <a class="tag" taget="_blank" href="/search/web%E5%AE%89%E5%85%A8/1.htm">web安全</a><a class="tag" taget="_blank" href="/search/%E5%89%8D%E7%AB%AF/1.htm">前端</a> <div>cookie-parser是一个用于在Express.js中解析HTTPCookie的Node.js中间件。它将Cookie字符串解析为JavaScript对象，使开发者能够方便地在Express应用中访问和操作Cookie。一、安装npminstallcookie-parser二、基本使用constexpress=require("express");constcookieParser=requ</div> </li> <li><a href="/article/1896142776412729344.htm" title="自动化办公|xlwings与pandas交互" target="_blank">自动化办公|xlwings与pandas交互</a> <span class="text-muted">游客520</span> <a class="tag" taget="_blank" href="/search/%E8%87%AA%E5%8A%A8%E5%8C%96/1.htm">自动化</a><a class="tag" taget="_blank" href="/search/python%E4%BB%8E%E5%85%A5%E9%97%A8%E5%88%B0%E5%87%BA%E5%AE%B6/1.htm">python从入门到出家</a><a class="tag" taget="_blank" href="/search/%E5%AE%9E%E7%94%A8%E4%BB%A3%E7%A0%81/1.htm">实用代码</a><a class="tag" taget="_blank" href="/search/pandas/1.htm">pandas</a><a class="tag" taget="_blank" href="/search/excel/1.htm">excel</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E8%87%AA%E5%8A%A8%E5%8C%96/1.htm">自动化</a> <div>1.介绍在数据分析和Excel自动化中，pandas作为Python处理数据的强大库，而xlwings则可以高效操作Excel。将pandas与xlwings结合使用，可以实现从Excel读取数据到DataFrame、将DataFrame写入Excel以及Excel的自动化处理。2.从Excel读取数据到PandasDataFrame2.1读取整个表格importxlwingsasxwimport</div> </li> <li><a href="/article/1896130545558024192.htm" title="Matlab 大量接单" target="_blank">Matlab 大量接单</a> <span class="text-muted">matlabgoodboy</span> <a class="tag" taget="_blank" href="/search/matlab/1.htm">matlab</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a> <div>分享一个matlab接私活、兼职的平台1、技术方向满足任一即可2、技术要求3、最后技术方向满足即可MATLAB：熟练掌握MATLAB编程语言，能够使用MATLAB进行数据处理、机器学习和深度学习等相关工作。机器学习、深度学习、强化学习、仿真、复现、算法、神经网络、建模、图像识别、数据挖掘、数据获取、爬虫、数据分析、目标检测、算法创新、因子分析、相关分析、方差分析、判别分析、方程分析、线性回归、中介</div> </li> <li><a href="/article/1896129307470786560.htm" title="HarmonyNext实战案例：构建一个智能健康监测应用" target="_blank">HarmonyNext实战案例：构建一个智能健康监测应用</a> <span class="text-muted"></span> <a class="tag" taget="_blank" href="/search/%E5%89%8D%E7%AB%AF/1.htm">前端</a> <div>在本文中，我们将通过一个完整的实战案例，深入探讨如何在HarmonyNext平台上使用ArkTS构建一个智能健康监测应用。该应用将实现以下功能：实时监测用户的心率、步数和睡眠质量，并将数据可视化展示。本文假设读者已经具备一定的编程基础，尤其是对TypeScript或JavaScript有一定的了解，并且熟悉HarmonyNext的基本开发环境。项目概述智能健康监测应用的核心功能包括：心率监测：通过</div> </li> <li><a href="/article/1896122978760978432.htm" title="使用Semantic Kernel：对DeepSeek添加自定义插件" target="_blank">使用Semantic Kernel：对DeepSeek添加自定义插件</a> <span class="text-muted">归-途</span> <a class="tag" taget="_blank" href="/search/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/1.htm">机器学习</a><a class="tag" taget="_blank" href="/search/oneapi/1.htm">oneapi</a><a class="tag" taget="_blank" href="/search/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/1.htm">机器学习</a> <div>SemanticKernel介绍SemanticKernel是一个SDK，它将OpenAI、AzureOpenAI等大型语言模型与C#、Python和Java等传统编程语言集成在一起。SemanticKernel通过允许您定义插件来实现这一点。为什么需要添加插件？大语言模型虽然具有强大的自然语言理解和生成能力，但它们通常是基于预训练的模型，其功能受限于训练时所接触的数据和任务。为大语言模型添加插件</div> </li> <li><a href="/article/1896117681891897344.htm" title="关于openAI接口的使用(个人学习总结)" target="_blank">关于openAI接口的使用(个人学习总结)</a> <span class="text-muted">暗雾飘扬</span> <a class="tag" taget="_blank" href="/search/python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0_%E5%AE%9E%E9%AA%8C%E9%A1%B9%E7%9B%AE/1.htm">python机器学习_实验项目</a><a class="tag" taget="_blank" href="/search/%E5%AD%A6%E4%B9%A0/1.htm">学习</a><a class="tag" taget="_blank" href="/search/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/1.htm">人工智能</a> <div>文章目录背景OpenAIOpenAI的三种使用方法模型python的openai库根据文档自定义request函数http请求构成接口的响应构成自定义请求和接收函数背景在使用OpenAIAPI接口时遇到了许多问题，在此总结个人的问题（不代表大众），如要深究请看官方OpenAI-API接口文档（中文版）。OpenAIOpenAI的三种使用方法1、使用OpenAIAPI2、使用第三方库3、自己训练模型</div> </li> <li><a href="/article/1896117554028539904.htm" title="pip指令及其用法" target="_blank">pip指令及其用法</a> <span class="text-muted">大侠升</span> <a class="tag" taget="_blank" href="/search/%E6%8C%87%E4%BB%A4%E5%A4%A7%E5%85%A8/1.htm">指令大全</a><a class="tag" taget="_blank" href="/search/pip/1.htm">pip</a> <div>pip是Python的包管理工具，用于安装、升级和管理Python包。下面是一些常用的pip指令及其用法：1.安装包安装一个包，默认从PyPI安装：pipinstall例如：pipinstallnumpy2.安装指定版本的包安装指定版本的包：pipinstall==例如：pipinstallnumpy==1.19.33.升级包升级已安装的包到最新版本：pipinstall--upgrade例如：p</div> </li> <li><a href="/article/1896107081073750016.htm" title="Python和curl 如何使用OpenAI 接口访问LLM" target="_blank">Python和curl 如何使用OpenAI 接口访问LLM</a> <span class="text-muted">SmallerFL</span> <a class="tag" taget="_blank" href="/search/Python%E7%9B%B8%E5%85%B3/1.htm">Python相关</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/openai/1.htm">openai</a><a class="tag" taget="_blank" href="/search/llm/1.htm">llm</a><a class="tag" taget="_blank" href="/search/gpt/1.htm">gpt</a> <div>文章目录1.安装所需的库2.设置API密钥（可选）3.编写代码4.curl命令1.安装所需的库首先，你需要确保你的环境中安装了openai库。你可以通过pip来安装它：pipinstallopenai2.设置API密钥（可选）如果访问ChatGPT需要设置密钥，如果访问本地模型不需要设置密钥！对于ChatGPT密钥要从OpenAI的官方网站获取，要按token收费。一旦你有了API密钥，可以通过环</div> </li> <li><a href="/article/1896104932633800704.htm" title="爬虫必备数据存储" target="_blank">爬虫必备数据存储</a> <span class="text-muted">ylfhpy</span> <a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB%E9%A1%B9%E7%9B%AE%E5%85%A5%E9%97%A8/1.htm">爬虫项目入门</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/%E5%8E%BB%E9%87%8D/1.htm">去重</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E6%8C%81%E4%B9%85%E5%8C%96/1.htm">数据持久化</a> <div>一、引言在当今信息爆炸的时代，网络数据的获取与处理变得至关重要。Python凭借其简洁的语法和丰富的库，成为了爬虫开发的首选语言。当爬虫成功获取数据后，如何高效、可靠地存储这些数据，并避免重复数据的干扰，是需要解决的关键问题。不同类型的数据和应用场景需要不同的存储方式，而数据去重则有助于提高数据质量和存储效率。本文将系统地介绍Python爬虫中常见的数据存储方式和数据去重方法。二、文本数据存储方式</div> </li> <li><a href="/article/1896102408178692096.htm" title="多个python打包成exe_多个py文件生成一个可运行exe文件" target="_blank">多个python打包成exe_多个py文件生成一个可运行exe文件</a> <span class="text-muted">演绎完美身材</span> <a class="tag" taget="_blank" href="/search/%E5%A4%9A%E4%B8%AApython%E6%89%93%E5%8C%85%E6%88%90exe/1.htm">多个python打包成exe</a> <div>一、概述目前有一个python脚本，需要在别的电脑中运行，安装python环境太麻烦，封装成exe文件，运行比较方便。二、演示环境说明python版本：3.7.9操作系统：windows10安装模块pip3installerpyinstaller封装新建目录test，目录结构如下：./├──conf.py└──test.pyconf.py#！/usr/bin/python3#-*-coding:u</div> </li> <li><a href="/article/1896098876226596864.htm" title="Slurm作业调度系统常见操作（使用超算运行深度学习）" target="_blank">Slurm作业调度系统常见操作（使用超算运行深度学习）</a> <span class="text-muted">坐在云朵上的kiwi</span> <a class="tag" taget="_blank" href="/search/%E5%B7%A5%E7%A8%8B%E9%A1%B9%E7%9B%AE/1.htm">工程项目</a><a class="tag" taget="_blank" href="/search/%23/1.htm">#</a><a class="tag" taget="_blank" href="/search/deep/1.htm">deep</a><a class="tag" taget="_blank" href="/search/learning/1.htm">learning</a><a class="tag" taget="_blank" href="/search/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1.htm">深度学习</a><a class="tag" taget="_blank" href="/search/%E6%9C%8D%E5%8A%A1%E5%99%A8/1.htm">服务器</a> <div>1.传输下载文件sftp远程命令cd,pwd等，本地命令lcd,lpwdget远程地址本地地址put本地地址远程地址上传文件夹1.在远程建立和本地一样名称的文件夹如data/2.put-rdata/2.建立虚拟环境moduleloadpython/3.8#加载modulevirtualenv--no-downloadENV#建立一个叫ENV的虚拟环境激活虚拟环境sourceENV/bin/acti</div> </li> <li><a href="/article/1896098747042033664.htm" title="《ROS2 机器人开发 从入门道实践》 鱼香ROS2——第5章内容" target="_blank">《ROS2 机器人开发 从入门道实践》 鱼香ROS2——第5章内容</a> <span class="text-muted">儒雅芝士</span> <a class="tag" taget="_blank" href="/search/%E6%9C%BA%E5%99%A8%E4%BA%BA/1.htm">机器人</a> <div>目录第5章ROS常用开发工具5.1坐标变换工具介绍5.1.1通过命令行使用TF5.1.2对TF原理的简单探究5.2Python中的手眼坐标变换5.2.1通过Python发布静态TF5.2.2通过Python发布动态TF5.2.3通过Python查询TF关系5.3C++中的地图坐标系变化5.3.1通过C++发布静态TF5.3.2通过C++发布动态TF5.3.3通过C++查询TF关系5.4常用可视化工</div> </li> <li><a href="/article/1896098748140941312.htm" title="pyQT学习笔记-----pushbutton控制Graphics view内对象移动" target="_blank">pyQT学习笔记-----pushbutton控制Graphics view内对象移动</a> <span class="text-muted">汉东省长达康</span> <a class="tag" taget="_blank" href="/search/pyQT/1.htm">pyQT</a><a class="tag" taget="_blank" href="/search/pyQT/1.htm">pyQT</a><a class="tag" taget="_blank" href="/search/Graphics/1.htm">Graphics</a><a class="tag" taget="_blank" href="/search/view/1.htm">view</a><a class="tag" taget="_blank" href="/search/pushbutton%E6%8E%A7%E5%88%B6%E7%A7%BB%E5%8A%A8/1.htm">pushbutton控制移动</a> <div>pyQT学习笔记-----pushbutton控制Graphicsview内对象移动引言项目需要制作一个美观，大气，高逼格的控制界面，出于项目的需要，以及本人对于python语言的掌握程度远高于C，所以果断采用了python+pyQT这个框架，今天本人终于完成了这个控制系统二维操作的动态显示，历时三个周，前前后后试过很多的方法。第一种尝试：从lable显示图片开始，接着使用openCV，用labl</div> </li> <li><a href="/article/1896092314032467968.htm" title="服务器ubuntu常见命令" target="_blank">服务器ubuntu常见命令</a> <span class="text-muted">can903154417</span> <a class="tag" taget="_blank" href="/search/%E6%9C%8D%E5%8A%A1%E5%99%A8/1.htm">服务器</a><a class="tag" taget="_blank" href="/search/linux/1.htm">linux</a><a class="tag" taget="_blank" href="/search/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1.htm">深度学习</a><a class="tag" taget="_blank" href="/search/tensorflow/1.htm">tensorflow</a> <div>新建/删除文件：mkdirA.txt/rmA.txt新建/删除文件夹:mkdirA/rm-dA移动文件或文件夹A到BmvAB打开并编辑并退出文本：via.txtiEsc保存并退出：shift加:然后！wq或者wq查询目前进行任务：top或者ps-auxtop程序停止运行：ctrl+C!!!保持程序后台运行：nohup和&一起使用，nohuppythontest.py>test.log2>&1&杀死</div> </li> <li><a href="/article/1896089661361680384.htm" title="2024年Python最新PyQt5 小工具：Excel数据分组汇总器" target="_blank">2024年Python最新PyQt5 小工具：Excel数据分组汇总器</a> <span class="text-muted">2401_84556783</span> <a class="tag" taget="_blank" href="/search/%E7%A8%8B%E5%BA%8F%E5%91%98/1.htm">程序员</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/qt/1.htm">qt</a><a class="tag" taget="_blank" href="/search/excel/1.htm">excel</a> <div>importpandasaspd编写UI界面组件布局，UI布局函数init_ui()。init_ui()的函数整体内容都贴在下面这里，大佬们可以根据自己的需要随意发挥。definit_ui(self):标题、图标设置self.setWindowTitle(‘Excel数据汇总工具公众号：[Python集中营]’)self.setWindowIcon(QIcon(‘:/data_sum.ico’))</div> </li> <li><a href="/article/1896089533330550784.htm" title="常见自动化测试工具集合" target="_blank">常见自动化测试工具集合</a> <span class="text-muted">2401_85613856</span> <a class="tag" taget="_blank" href="/search/%E8%87%AA%E5%8A%A8%E5%8C%96/1.htm">自动化</a><a class="tag" taget="_blank" href="/search/%E6%B5%8B%E8%AF%95%E5%B7%A5%E5%85%B7/1.htm">测试工具</a><a class="tag" taget="_blank" href="/search/%E8%BF%90%E7%BB%B4/1.htm">运维</a> <div>1、Appium------->AppUI自动化测试官网：http://appium.ioAppium是一个移动端自动化测试开源工具，支持iOS和Android平台，支持Python、Java等语言，即同一套Java或Python脚本可以同时运行在iOS和Android平台，Appium是一个C/S架构，核心是一个Web服务器，它提供了一套REST的接口。当收到客户端的连接后，就会监听到命令，然后</div> </li> <li><a href="/article/1896086761356980224.htm" title="【详解】PythonUnicodeDecodeError:‘ascii‘codeccan‘tdecodebyte0xe9inposition0解决办法" target="_blank">【详解】PythonUnicodeDecodeError:‘ascii‘codeccan‘tdecodebyte0xe9inposition0解决办法</a> <span class="text-muted">牛肉胡辣汤</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/linux/1.htm">linux</a><a class="tag" taget="_blank" href="/search/%E5%89%8D%E7%AB%AF/1.htm">前端</a> <div>目录PythonUnicodeDecodeError:'ascii'codeccan'tdecodebyte0xe9inposition0解决办法方法一：使用bytes类型方法二：使用unicode_escape编码方法三：确保使用正确的编码方式方法四：使用six库PythonUnicodeDecodeError:'ascii'codeccan'tdecodebyte0xe9inposition0</div> </li> <li><a href="/article/1896081340776902656.htm" title="【从入门到精通】Python必会的基础知识和基本语法,看这一篇就够了" target="_blank">【从入门到精通】Python必会的基础知识和基本语法,看这一篇就够了</a> <span class="text-muted">天若有情673</span> <div>Python是一种高级、解释型、面向对象的编程语言，具有简洁易读的语法特点。以下是Python的一些基本语法：1.注释注释用于解释代码的功能和用途，Python中有单行注释和多行注释。#这是单行注释"""这是多行注释可以写很多内容"""2.变量和数据类型变量变量用于存储数据，在Python中不需要声明变量类型，解释器会根据赋值自动推断。#定义一个整数变量num=10#定义一个字符串变量name="</div> </li> <li><a href="/article/1896079952961400832.htm" title="Python办公自动化案例：批量修改Word文件中的段落格式" target="_blank">Python办公自动化案例：批量修改Word文件中的段落格式</a> <span class="text-muted">衍生星球</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/word/1.htm">word</a><a class="tag" taget="_blank" href="/search/c%23/1.htm">c#</a> <div>案例：Python实现批量修改Word文件中的段落格式。在处理大量Word文档时，经常需要批量修改这些文档的格式，比如统一段落格式，以提升文档的一致性和专业性。使用Python来实现这一任务可以极大地提高工作效率，特别是当涉及到数百或数千个文档时。Python通过第三方库如python-docx可以方便地操作Word文档。准备工作：准备两份没有设置段落格式的Word文件。如下图所示：编写代码：#定</div> </li> <li><a href="/article/1896079068567236608.htm" title="常见的Python框架--matplotlib" target="_blank">常见的Python框架--matplotlib</a> <span class="text-muted">我有颗小粒的痣</span> <a class="tag" taget="_blank" href="/search/Python/1.htm">Python</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/matplotlib/1.htm">matplotlib</a> <div>matplotlib获取方法：https://matplotlib.org/users/installing.html#building-on-linuxsudoapt-getinstallpython-matplotlib#python2.sudoapt-getinstallpython3-matplotlib#python3.简介用于数据可视化#easyexampleimportmatplot</div> </li> <li><a href="/article/1896078563191353344.htm" title="python docx document 输出word 设置字体" target="_blank">python docx document 输出word 设置字体</a> <span class="text-muted">南阳范宏云</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/word/1.htm">word</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a> <div>python相关学习资料：一张图生成指定动作的动态视频,MagicAnimate本地部署搭建私人助理大模型需要什么环境？GitLabCI/CD-pending的原因使用Python-docx库设置Word文档字体Python-docx是一个用于创建和更新MicrosoftWord文档的Python库。它允许我们以编程方式操作Word文档，包括设置字体样式。本文将介绍如何使用Python-docx库</div> </li> <li><a href="/article/1896076043387727872.htm" title="用Python复制Word内容并使用格式设字体与大小" target="_blank">用Python复制Word内容并使用格式设字体与大小</a> <span class="text-muted">txlgl</span> <div>网上流传的部分可以百度关键词“Python”和“word”后查看文章学习，以下内容为个人实践，修正了不能运行出错的情况。importwin32comfromwin32com.clientimportDispatch,constantsw=win32com.client.Dispatch('Word.Application')#或者使用下面的方法，使用启动独立的进程：#w=win32com.clie</div> </li> <li><a href="/article/1896072893457035264.htm" title="Python--面向对象基础（上）" target="_blank">Python--面向对象基础（上）</a> <span class="text-muted">索然无味io</span> <a class="tag" taget="_blank" href="/search/Python%E5%85%A8%E6%A0%88%E5%BC%80%E5%8F%91/1.htm">Python全栈开发</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/windows/1.htm">windows</a><a class="tag" taget="_blank" href="/search/%E7%BD%91%E7%BB%9C%E5%AE%89%E5%85%A8/1.htm">网络安全</a><a class="tag" taget="_blank" href="/search/web%E5%AE%89%E5%85%A8/1.htm">web安全</a><a class="tag" taget="_blank" href="/search/%E7%AC%94%E8%AE%B0/1.htm">笔记</a> <div>初识面向对象类与对象定义classMessage:defsend_email(self,email,content):print(f"给{email}发邮件，内容：{content}")#实例化对象并调用方法msg=Message()msg.send_email("user@example.com","HelloWorld")语法规范类名采用大驼峰命名法（如ClassName）类默认继承objec</div> </li> <li><a href="/article/50.htm" title="java封装继承多态等" target="_blank">java封装继承多态等</a> <span class="text-muted">麦田的设计者</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/eclipse/1.htm">eclipse</a><a class="tag" taget="_blank" href="/search/jvm/1.htm">jvm</a><a class="tag" taget="_blank" href="/search/c/1.htm">c</a><a class="tag" taget="_blank" href="/search/encapsulatopn/1.htm">encapsulatopn</a> <div>       最近一段时间看了很多的视频却忘记总结了，现在只能想到什么写什么了，希望能起到一个回忆巩固的作用。     1、final关键字       译为：最终的        &</div> </li> <li><a href="/article/177.htm" title="F5与集群的区别" target="_blank">F5与集群的区别</a> <span class="text-muted">bijian1013</span> <a class="tag" taget="_blank" href="/search/weblogic/1.htm">weblogic</a><a class="tag" taget="_blank" href="/search/%E9%9B%86%E7%BE%A4/1.htm">集群</a><a class="tag" taget="_blank" href="/search/F5/1.htm">F5</a> <div>        http请求配置不是通过集群，而是F5；集群是weblogic容器的，如果是ejb接口是通过集群。         F5同集群的差别，主要还是会话复制的问题，F5一把是分发http请求用的，因为http都是无状态的服务，无需关注会话问题，类似</div> </li> <li><a href="/article/304.htm" title="LeetCode[Math] - #7 Reverse Integer" target="_blank">LeetCode[Math] - #7 Reverse Integer</a> <span class="text-muted">Cwind</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/%E9%A2%98%E8%A7%A3/1.htm">题解</a><a class="tag" taget="_blank" href="/search/Math/1.htm">Math</a><a class="tag" taget="_blank" href="/search/LeetCode/1.htm">LeetCode</a><a class="tag" taget="_blank" href="/search/Algorithm/1.htm">Algorithm</a> <div>原题链接：#7 Reverse Integer   要求： 按位反转输入的数字 例1： 输入 x = 123, 返回 321 例2： 输入 x = -123, 返回 -321   难度：简单   分析： 对于一般情况，首先保存输入数字的符号，然后每次取输入的末位（x%10）作为输出的高位（result = result*10 + x%10）即可。但</div> </li> <li><a href="/article/431.htm" title="BufferedOutputStream" target="_blank">BufferedOutputStream</a> <span class="text-muted">周凡杨</span> <div>     首先说一下这个大批量，是指有上千万的数据量。      例子：      有一张短信历史表，其数据有上千万条数据，要进行数据备份到文本文件，就是执行如下SQL然后将结果集写入到文件中！      select t.msisd</div> </li> <li><a href="/article/558.htm" title="linux下模拟按键输入和鼠标" target="_blank">linux下模拟按键输入和鼠标</a> <span class="text-muted">被触发</span> <a class="tag" taget="_blank" href="/search/linux/1.htm">linux</a> <div>查看/dev/input/eventX是什么类型的事件， cat /proc/bus/input/devices 设备有着自己特殊的按键键码，我需要将一些标准的按键，比如0－9，X－Z等模拟成标准按键，比如KEY_0,KEY-Z等，所以需要用到按键 模拟，具体方法就是操作/dev/input/event1文件，向它写入个input_event结构体就可以模拟按键的输入了。 linux/in</div> </li> <li><a href="/article/685.htm" title="ContentProvider初体验" target="_blank">ContentProvider初体验</a> <span class="text-muted">肆无忌惮_</span> <a class="tag" taget="_blank" href="/search/ContentProvider/1.htm">ContentProvider</a> <div>ContentProvider在安卓开发中非常重要。与Activity，Service，BroadcastReceiver并称安卓组件四大天王。 在android中的作用是用来对外共享数据。因为安卓程序的数据库文件存放在data/data/packagename里面，这里面的文件默认都是私有的，别的程序无法访问。 如果QQ游戏想访问手机QQ的帐号信息一键登录，那么就需要使用内容提供者COnte</div> </li> <li><a href="/article/812.htm" title="关于Spring MVC项目（maven）中通过fileupload上传文件" target="_blank">关于Spring MVC项目（maven）中通过fileupload上传文件</a> <span class="text-muted">843977358</span> <a class="tag" taget="_blank" href="/search/mybatis/1.htm">mybatis</a><a class="tag" taget="_blank" href="/search/spring+mvc/1.htm">spring mvc</a><a class="tag" taget="_blank" href="/search/%E4%BF%AE%E6%94%B9%E5%A4%B4%E5%83%8F/1.htm">修改头像</a><a class="tag" taget="_blank" href="/search/%E4%B8%8A%E4%BC%A0%E6%96%87%E4%BB%B6/1.htm">上传文件</a><a class="tag" taget="_blank" href="/search/upload/1.htm">upload</a> <div>Spring MVC 中通过fileupload上传文件，其中项目使用maven管理。   1.上传文件首先需要的是导入相关支持jar包：commons-fileupload.jar,commons-io.jar 因为我是用的maven管理项目，所以要在pom文件中配置（每个人的jar包位置根据实际情况定） <!-- 文件上传 start by zhangyd-c --&g</div> </li> <li><a href="/article/939.htm" title="使用svnkit api，纯java操作svn，实现svn提交，更新等操作" target="_blank">使用svnkit api，纯java操作svn，实现svn提交，更新等操作</a> <span class="text-muted">aigo</span> <a class="tag" taget="_blank" href="/search/svnkit/1.htm">svnkit</a> <div> 原文：http://blog.csdn.net/hardwin/article/details/7963318   import java.io.File; import org.apache.log4j.Logger; import org.tmatesoft.svn.core.SVNCommitInfo; import org.tmateso</div> </li> <li><a href="/article/1066.htm" title="对比浏览器，casperjs，httpclient的Header信息" target="_blank">对比浏览器，casperjs，httpclient的Header信息</a> <span class="text-muted">alleni123</span> <a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/crawler/1.htm">crawler</a><a class="tag" taget="_blank" href="/search/header/1.htm">header</a> <div> @Override protected void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException { String type=req.getParameter("type"); Enumeration es=re</div> </li> <li><a href="/article/1193.htm" title="java.io操作 DataInputStream和DataOutputStream基本数据流" target="_blank">java.io操作 DataInputStream和DataOutputStream基本数据流</a> <span class="text-muted">百合不是茶</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/%E6%B5%81/1.htm">流</a> <div>1，java中如果不保存整个对象，只保存类中的属性，那么我们可以使用本篇文章中的方法，如果要保存整个对象  先将类实例化  后面的文章将详细写到     2，DataInputStream 是java.io包中一个数据输入流允许应用程序以与机器无关方式从底层输入流中读取基本 Java 数据类型。应用程序可以使用数据输出流写入稍后由数据输入流读取的数据。</div> </li> <li><a href="/article/1320.htm" title="车辆保险理赔案例" target="_blank">车辆保险理赔案例</a> <span class="text-muted">bijian1013</span> <a class="tag" taget="_blank" href="/search/%E8%BD%A6%E9%99%A9/1.htm">车险</a> <div>理赔案例： 一货运车，运输公司为车辆购买了机动车商业险和交强险，也买了安全生产责任险，运输一车烟花爆竹，在行驶途中发生爆炸，出现车毁、货损、司机亡、炸死一路人、炸毁一间民宅等惨剧，针对这几种情况，该如何赔付。 赔付建议和方案： 客户所买交强险在这里不起作用，因为交强险的赔付前提是：“机动车发生道路交通意外事故”； 如果是交通意外事故引发的爆炸，则优先适用交强险条款进行赔付，不足的部分由商业</div> </li> <li><a href="/article/1447.htm" title="学习Spring必学的Java基础知识(5)—注解" target="_blank">学习Spring必学的Java基础知识(5)—注解</a> <span class="text-muted">bijian1013</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/spring/1.htm">spring</a> <div>        文章来源：http://www.iteye.com/topic/1123823，整理在我的博客有两个目的：一个是原文确实很不错，通俗易懂，督促自已将博主的这一系列关于Spring文章都学完；另一个原因是为免原文被博主删除，在此记录，方便以后查找阅读。           有必要对</div> </li> <li><a href="/article/1574.htm" title="【Struts2一】Struts2 Hello World" target="_blank">【Struts2一】Struts2 Hello World</a> <span class="text-muted">bit1129</span> <a class="tag" taget="_blank" href="/search/Hello+world/1.htm">Hello world</a> <div>Struts2 Hello World应用的基本步骤 创建Struts2的Hello World应用，包括如下几步： 1.配置web.xml 2.创建Action 3.创建struts.xml，配置Action 4.启动web server，通过浏览器访问   配置web.xml <?xml version="1.0" encoding="</div> </li> <li><a href="/article/1701.htm" title="【Avro二】Avro RPC框架" target="_blank">【Avro二】Avro RPC框架</a> <span class="text-muted">bit1129</span> <a class="tag" taget="_blank" href="/search/rpc/1.htm">rpc</a> <div>1. Avro RPC简介 1.1. RPC RPC逻辑上分为二层，一是传输层，负责网络通信；二是协议层，将数据按照一定协议格式打包和解包 从序列化方式来看，Apache Thrift 和Google的Protocol Buffers和Avro应该是属于同一个级别的框架，都能跨语言，性能优秀，数据精简，但是Avro的动态模式（不用生成代码，而且性能很好）这个特点让人非常喜欢，比较适合R</div> </li> <li><a href="/article/1828.htm" title="lua　set get cookie" target="_blank">lua　set get cookie</a> <span class="text-muted">ronin47</span> <a class="tag" taget="_blank" href="/search/lua+cookie/1.htm">lua cookie</a> <div>lua: local access_token = ngx.var.cookie_SGAccessToken if access_token then ngx.header["Set-Cookie"] = "SGAccessToken="..access_token.."; path=/;Max-Age=3000" end</div> </li> <li><a href="/article/1955.htm" title="java-打印不大于N的质数" target="_blank">java-打印不大于N的质数</a> <span class="text-muted">bylijinnan</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a> <div> public class PrimeNumber { /** * 寻找不大于N的质数 */ public static void main(String[] args) { int n=100; PrimeNumber pn=new PrimeNumber(); pn.printPrimeNumber(n); System.out.print</div> </li> <li><a href="/article/2082.htm" title="Spring源码学习-PropertyPlaceholderHelper" target="_blank">Spring源码学习-PropertyPlaceholderHelper</a> <span class="text-muted">bylijinnan</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/spring/1.htm">spring</a> <div>今天在看Spring 3.0.0.RELEASE的源码，发现PropertyPlaceholderHelper的一个bug 当时觉得奇怪，上网一搜，果然是个bug，不过早就有人发现了，且已经修复： 详见： http://forum.spring.io/forum/spring-projects/container/88107-propertyplaceholderhelper-bug </div> </li> <li><a href="/article/2209.htm" title="[逻辑与拓扑]布尔逻辑与拓扑结构的结合会产生什么?" target="_blank">[逻辑与拓扑]布尔逻辑与拓扑结构的结合会产生什么?</a> <span class="text-muted">comsci</span> <a class="tag" taget="_blank" href="/search/%E6%8B%93%E6%89%91/1.htm">拓扑</a> <div>    如果我们已经在一个工作流的节点中嵌入了可以进行逻辑推理的代码,那么成百上千个这样的节点如果组成一个拓扑网络,而这个网络是可以自动遍历的,非线性的拓扑计算模型和节点内部的布尔逻辑处理的结合,会产生什么样的结果呢?    是否可以形成一种新的模糊语言识别和处理模型呢?  大家有兴趣可以试试,用软件搞这些有个好处,就是花钱比较少,就算不成</div> </li> <li><a href="/article/2336.htm" title="ITEYE 都换百度推广了" target="_blank">ITEYE 都换百度推广了</a> <span class="text-muted">cuisuqiang</span> <a class="tag" taget="_blank" href="/search/Google/1.htm">Google</a><a class="tag" taget="_blank" href="/search/AdSense/1.htm">AdSense</a><a class="tag" taget="_blank" href="/search/%E7%99%BE%E5%BA%A6%E6%8E%A8%E5%B9%BF/1.htm">百度推广</a><a class="tag" taget="_blank" href="/search/%E5%B9%BF%E5%91%8A/1.htm">广告</a><a class="tag" taget="_blank" href="/search/%E5%A4%96%E5%BF%AB/1.htm">外快</a> <div>以前ITEYE的广告都是谷歌的Google AdSense，现在都换成百度推广了。   为什么个人博客设置里面还是Google AdSense呢？   都知道Google AdSense不好申请，这在ITEYE上也不是讨论了一两天了，强烈建议ITEYE换掉Google AdSense。至少，用一个好申请的吧。   什么时候能从ITEYE上来点外快，哪怕少点</div> </li> <li><a href="/article/2463.htm" title="新浪微博技术架构分析" target="_blank">新浪微博技术架构分析</a> <span class="text-muted">dalan_123</span> <a class="tag" taget="_blank" href="/search/%E6%96%B0%E6%B5%AA%E5%BE%AE%E5%8D%9A/1.htm">新浪微博</a><a class="tag" taget="_blank" href="/search/%E6%9E%B6%E6%9E%84/1.htm">架构</a> <div>新浪微博在短短一年时间内从零发展到五千万用户，我们的基层架构也发展了几个版本。第一版就是是非常快的，我们可以非常快的实现我们的模块。我们看一下技术特点，微博这个产品从架构上来分析，它需要解决的是发表和订阅的问题。我们第一版采用的是推的消息模式，假如说我们一个明星用户他有10万个粉丝，那就是说用户发表一条微博的时候，我们把这个微博消息攒成10万份，这样就是很简单了，第一版的架构实际上就是这两行字。第</div> </li> <li><a href="/article/2590.htm" title="玩转ARP攻击" target="_blank">玩转ARP攻击</a> <span class="text-muted">dcj3sjt126com</span> <a class="tag" taget="_blank" href="/search/r/1.htm">r</a> <div>我写这片文章只是想让你明白深刻理解某一协议的好处。高手免看。如果有人利用这片文章所做的一切事情，盖不负责。 网上关于ARP的资料已经很多了，就不用我都说了。 用某一位高手的话来说，“我们能做的事情很多，唯一受限制的是我们的创造力和想象力”。 ARP也是如此。 以下讨论的机子有 一个要攻击的机子：10.5.4.178 硬件地址：52:54:4C:98</div> </li> <li><a href="/article/2717.htm" title="PHP编码规范" target="_blank">PHP编码规范</a> <span class="text-muted">dcj3sjt126com</span> <a class="tag" taget="_blank" href="/search/%E7%BC%96%E7%A0%81%E8%A7%84%E8%8C%83/1.htm">编码规范</a> <div>一、文件格式 1. 对于只含有 php 代码的文件，我们将在文件结尾处忽略掉 "?>" 。这是为了防止多余的空格或者其它字符影响到代码。例如：<?php$foo = 'foo';2. 缩进应该能够反映出代码的逻辑结果，尽量使用四个空格，禁止使用制表符TAB，因为这样能够保证有跨客户端编程器软件的灵活性。例</div> </li> <li><a href="/article/2844.htm" title="linux 脱机管理（nohup）" target="_blank">linux 脱机管理（nohup）</a> <span class="text-muted">eksliang</span> <a class="tag" taget="_blank" href="/search/linux+nohup/1.htm">linux nohup</a><a class="tag" taget="_blank" href="/search/nohup/1.htm">nohup</a> <div>脱机管理 nohup 转载请出自出处：http://eksliang.iteye.com/blog/2166699 nohup可以让你在脱机或者注销系统后，还能够让工作继续进行。他的语法如下 nohup [命令与参数] --在终端机前台工作 nohup [命令与参数] & --在终端机后台工作   但是这个命令需要注意的是，nohup并不支持bash的内置命令，所</div> </li> <li><a href="/article/2971.htm" title="BusinessObjects Enterprise Java SDK" target="_blank">BusinessObjects Enterprise Java SDK</a> <span class="text-muted">greemranqq</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/BO/1.htm">BO</a><a class="tag" taget="_blank" href="/search/SAP/1.htm">SAP</a><a class="tag" taget="_blank" href="/search/Crystal+Reports/1.htm">Crystal Reports</a> <div>最近项目用到oracle_ADF  从SAP/BO 上调用 水晶报表，资料比较少，我做一个简单的分享，给和我一样的新手 提供更多的便利。   首先，我是尝试用JAVA JSP 去访问的。   官方API：http://devlibrary.businessobjects.com/BusinessObjectsxi/en/en/BOE_SDK/boesdk_ja</div> </li> <li><a href="/article/3098.htm" title="系统负载剧变下的管控策略" target="_blank">系统负载剧变下的管控策略</a> <span class="text-muted">iamzhongyong</span> <a class="tag" taget="_blank" href="/search/%E9%AB%98%E5%B9%B6%E5%8F%91/1.htm">高并发</a> <div>假如目前的系统有100台机器，能够支撑每天1亿的点击量（这个就简单比喻一下），然后系统流量剧变了要，我如何应对，系统有那些策略可以处理，这里总结了一下之前的一些做法。 1、水平扩展 这个最容易理解，加机器，这样的话对于系统刚刚开始的伸缩性设计要求比较高，能够非常灵活的添加机器，来应对流量的变化。 2、系统分组 假如系统服务的业务不同，有优先级高的，有优先级低的，那就让不同的业务调用提前分组</div> </li> <li><a href="/article/3225.htm" title="BitTorrent DHT 协议中文翻译" target="_blank">BitTorrent DHT 协议中文翻译</a> <span class="text-muted">justjavac</span> <a class="tag" taget="_blank" href="/search/bit/1.htm">bit</a> <div>前言 做了一个磁力链接和BT种子的搜索引擎 {Magnet & Torrent}，因此把 DHT 协议重新看了一遍。 BEP: 5Title: DHT ProtocolVersion: 3dec52cb3ae103ce22358e3894b31cad47a6f22bLast-Modified: Tue Apr 2 16:51:45 2013 -070</div> </li> <li><a href="/article/3352.htm" title="Ubuntu下Java环境的搭建" target="_blank">Ubuntu下Java环境的搭建</a> <span class="text-muted">macroli</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/%E5%B7%A5%E4%BD%9C/1.htm">工作</a><a class="tag" taget="_blank" href="/search/ubuntu/1.htm">ubuntu</a> <div>配置命令： 　　$sudo apt-get install ubuntu-restricted-extras 　　再运行如下命令： 　　$sudo apt-get install sun-java6-jdk 　　待安装完毕后选择默认Java. 　　$sudo update- alternatives --config java 　　安装过程提示选择，输入“2”即可，然后按回车键确定。 </div> </li> <li><a href="/article/3479.htm" title="js字符串转日期（兼容IE所有版本）" target="_blank">js字符串转日期（兼容IE所有版本）</a> <span class="text-muted">qiaolevip</span> <a class="tag" taget="_blank" href="/search/TO/1.htm">TO</a><a class="tag" taget="_blank" href="/search/Date/1.htm">Date</a><a class="tag" taget="_blank" href="/search/String/1.htm">String</a><a class="tag" taget="_blank" href="/search/IE/1.htm">IE</a> <div> /** * 字符串转时间（yyyy-MM-dd HH:mm:ss） * result （分钟） */ stringToDate : function(fDate){ var fullDate = fDate.split(" ")[0].split("-"); var fullTime = fDate.split("</div> </li> <li><a href="/article/3606.htm" title="【数据挖掘学习】关联规则算法Apriori的学习与SQL简单实现购物篮分析" target="_blank">【数据挖掘学习】关联规则算法Apriori的学习与SQL简单实现购物篮分析</a> <span class="text-muted">superlxw1234</span> <a class="tag" taget="_blank" href="/search/sql/1.htm">sql</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98/1.htm">数据挖掘</a><a class="tag" taget="_blank" href="/search/%E5%85%B3%E8%81%94%E8%A7%84%E5%88%99/1.htm">关联规则</a> <div>关联规则挖掘用于寻找给定数据集中项之间的有趣的关联或相关关系。 关联规则揭示了数据项间的未知的依赖关系，根据所挖掘的关联关系，可以从一个数据对象的信息来推断另一个数据对象的信息。 例如购物篮分析。牛奶 ⇒ 面包 [支持度：3%，置信度：40%] 支持度3%：意味3%顾客同时购买牛奶和面包。 置信度40%：意味购买牛奶的顾客40%也购买面包。 规则的支持度和置信度是两个规则兴</div> </li> <li><a href="/article/3733.htm" title="Spring 5.0 的系统需求，期待你的反馈" target="_blank">Spring 5.0 的系统需求，期待你的反馈</a> <span class="text-muted">wiselyman</span> <a class="tag" taget="_blank" href="/search/spring/1.htm">spring</a> <div>               Spring 5.0将在2016年发布。Spring5.0将支持JDK 9。          Spring 5.0的特性计划还在工作中，请保持关注，所以作者希望从使用者得到关于Spring 5.0系统需求方面的反馈。  </div> </li> </ul> </div> </div> </div> <div> <div class="container"> <div class="indexes"> <strong>按字母分类：</strong> <a href="/tags/A/1.htm" target="_blank">A</a><a href="/tags/B/1.htm" target="_blank">B</a><a href="/tags/C/1.htm" target="_blank">C</a><a href="/tags/D/1.htm" target="_blank">D</a><a href="/tags/E/1.htm" target="_blank">E</a><a href="/tags/F/1.htm" target="_blank">F</a><a href="/tags/G/1.htm" target="_blank">G</a><a href="/tags/H/1.htm" target="_blank">H</a><a href="/tags/I/1.htm" target="_blank">I</a><a href="/tags/J/1.htm" target="_blank">J</a><a href="/tags/K/1.htm" target="_blank">K</a><a href="/tags/L/1.htm" target="_blank">L</a><a href="/tags/M/1.htm" target="_blank">M</a><a href="/tags/N/1.htm" target="_blank">N</a><a href="/tags/O/1.htm" target="_blank">O</a><a href="/tags/P/1.htm" target="_blank">P</a><a href="/tags/Q/1.htm" target="_blank">Q</a><a href="/tags/R/1.htm" target="_blank">R</a><a href="/tags/S/1.htm" target="_blank">S</a><a href="/tags/T/1.htm" target="_blank">T</a><a href="/tags/U/1.htm" target="_blank">U</a><a href="/tags/V/1.htm" target="_blank">V</a><a href="/tags/W/1.htm" target="_blank">W</a><a href="/tags/X/1.htm" target="_blank">X</a><a href="/tags/Y/1.htm" target="_blank">Y</a><a href="/tags/Z/1.htm" target="_blank">Z</a><a href="/tags/0/1.htm" target="_blank">其他</a> </div> </div> </div> <footer id="footer" class="mb30 mt30"> <div class="container"> <div class="footBglm"> <a target="_blank" href="/">首页</a> - <a target="_blank" href="/custom/about.htm">关于我们</a> - <a target="_blank" href="/search/Java/1.htm">站内搜索</a> - <a target="_blank" href="/sitemap.txt">Sitemap</a> - <a target="_blank" href="/custom/delete.htm">侵权投诉</a> </div> <div class="copyright">版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved. <!-- <a href="https://beian.miit.gov.cn/" rel="nofollow" target="_blank">京ICP备09083238号</a><br>--> </div> </div> </footer> <!-- 代码高亮 --> <script type="text/javascript" src="/static/syntaxhighlighter/scripts/shCore.js"></script> <script type="text/javascript" src="/static/syntaxhighlighter/scripts/shLegacy.js"></script> <script type="text/javascript" src="/static/syntaxhighlighter/scripts/shAutoloader.js"></script> <link type="text/css" rel="stylesheet" href="/static/syntaxhighlighter/styles/shCoreDefault.css"/> <script type="text/javascript" src="/static/syntaxhighlighter/src/my_start_1.js"></script> </body> </html>