Python爬虫:从m3u8文件里提取小视频的正确操作

文章目录

    • 前言
    • 1. HLS协议与m3u8文件
    • 2. 第三方库----m3u8
    • 3. 合成mp4文件
    • 4. 完整代码
    • 5. 结束语

前言

  在网上爬取的小视频(.ts格式)打不开怎么搞?使用IDM下载有时候还会出现数据受法律保护,IDM无法下载该内容,如何解决?这篇博客就来聊聊如何正确提取m3u8文件里的.ts视频,并合成完整的.mp4格式视频。

Python爬虫:从m3u8文件里提取小视频的正确操作_第1张图片
Python爬虫:从m3u8文件里提取小视频的正确操作_第2张图片

1. HLS协议与m3u8文件

  HLS,即 H T T P   L i v e   S t r e a m i n g HTTP\ Live\ Streaming HTTP Live Streaming的缩写,是由苹果公司提出基于HTTP的流媒体网络传输协议。是苹果公司QuickTime X和iPhone软件系统的一部分。它的工作原理是把整个流分成一个个小的基于HTTP的文件来下载,每次只下载一些。当媒体流正在播放时,客户端可以选择从许多不同的备用源中以不同的速率下载同样的资源,允许流媒体会话适应不同的数据速率。在开始一个流媒体会话时,客户端会下载一个包含元数据的扩展 M3U (m3u8) 播放列表文件,用于寻找可用的媒体流。
  M3U8 U n i c o d e Unicode Unicode 版本的 M3U,用 UTF-8 编码。"M3U"和"M3U8"文件都是苹果公司使用的 H T T P   L i v e   S t r e a m i n g HTTP\ Live\ Streaming HTTP Live Streaming 格式的基础,这种格式可以在 iPhone 和 Macbook 等设备播放。是一种播放多媒体列表的文件格式,文本内容是一系列媒体片段资源,顺序播放该片段资源,即可完整展示多媒体资源。其格式大致如下:

	# 未加密
	#EXTM3U
	#EXT-X-VERSION:3
	#EXT-X-TARGETDURATION:8
	#EXT-X-MEDIA-SEQUENCE:0
	#EXTINF:4.000000,
	1af12fece7a000000.ts
	#EXTINF:4.320000,
	1af12fece7a000001.ts
	...
	#EXTINF:3.800000,
	1af12fece7a001155.ts
	#EXT-X-ENDLIST
	
	# 加密
	#EXTM3U
	#EXT-X-VERSION:3
	#EXT-X-TARGETDURATION:6
	#EXT-X-PLAYLIST-TYPE:VOD
	#EXT-X-MEDIA-SEQUENCE:0
	#EXT-X-KEY:METHOD=AES-128,URI="https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/key.key"
	#EXTINF:3,
	https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/EUtRrqJU.ts
	#EXTINF:4.72,
	https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/HF90vrrN.ts
	...
	#EXTINF:0.24,
	https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/b7ZLcRqT.ts
	#EXT-X-ENDLIST

  中文维基百科----HTTP Live Streaming
  中文维基百科----M3U

  下面介绍几个m3u8文件中常见的标签:

标签 格式 作用
EXTM3U #EXTM3U 表明该文件是一个m3u8文件,每个m3u8文件必须将该标签放置在第一行
EXT-X-VERSION EXT-X-VERSION: 表明该文件是一个m3u8文件,每个m3u8文件必须将该标签放置在第一行
EXT-X-TARGETDURATION #EXT-X-TARGETDURATION: 表示每个视频分段最大的时长(单位秒)
EXT-X-PLAYLIST-TYPE #EXT-X-PLAYLIST-TYPE: 表明流媒体类型,VOD 表示该视屏流为点播源,因此服务器不能更改该m3u8文件;EVENT表示该视频流为直播源,因此服务器不能更改或删除该文件任意部分内容,但是可以在文件末尾添加新内容
EXT-X-MEDIA-SEQUENCE #EXT-X-MEDIA-SEQUENCE: 表示播放列表第一个URL片段文件的序列号,每个媒体片段URL都拥有一个唯一的整型序列号,每个媒体片段序列号按出现顺序依次加 1,如果该标签未指定,则默认序列号从0开始
EXT-X-KEY #EXT-X-KEY:METHOD=AES-128,URI="http:xxxx",IV="xxxx" 表明视频流文件的加解密方法,METHOD表示加密方式,URI表示密钥路径,该密钥是一个 16 字节的数据,IV是一个128位的十六进制数值
EXTINF #EXTINF:,[]</code></td> <td>表示其后 URL 指定的媒体片段时长(单位为秒),<code>duration</code>可以为十进制的整型或者浮点型,其值必须小于或等于<code>EXT-X-TARGETDURATION</code>指定的值</td> </tr> <tr> <td><code>EXT-X-ENDLIST</code></td> <td><code>#EXT-X-ENDLIST</code></td> <td>表明m3u8文件的结束</td> </tr> </tbody> </table> <blockquote> <p>  简书:m3u8 文件格式详解 作者:Whyn</p> </blockquote> <h2>2. 第三方库----m3u8</h2> <blockquote> <p>  <code>m3u8</code>是一个专门用于解析m3u8文件的解析器,有关库的详细操作请参阅官方示例</p> </blockquote> <pre><code class="prism language-bash"> <span class="token comment"># 安装m3u8</span> pip <span class="token function">install</span> m3u8 </code></pre> <pre><code class="prism language-bash"> <span class="token comment"># 加载m3u8文件</span> <span class="token function">import</span> m3u8 <span class="token comment"># 返回一个M3U8对象</span> playlist <span class="token operator">=</span> m3u8.load<span class="token punctuation">(</span>uri<span class="token operator">=</span><span class="token string">'http://videoserver.com/playlist.m3u8'</span><span class="token punctuation">)</span> <span class="token comment"># url</span> <span class="token comment"># playlist = m3u8.load(uri='playlist.m3u8') # file</span> print<span class="token punctuation">(</span>playlist.segments<span class="token punctuation">)</span> <span class="token comment"># 打印EXT-X-KEY标签和所有的EXTINF标签:</span> print<span class="token punctuation">(</span>playlist.target_duration<span class="token punctuation">)</span> <span class="token comment"># 打印EXT-X-TARGETDURATION标签的值</span> <span class="token keyword">for</span> key <span class="token keyword">in</span> playlist.keys: <span class="token keyword">if</span> key: <span class="token comment"># 如果视频文件加密,可以查看加密参数</span> print<span class="token punctuation">(</span>key.uri, key.method, key.iv<span class="token punctuation">)</span> </code></pre> <h2>3. 合成mp4文件</h2> <p><a href="http://img.e-com-net.com/image/info8/9e232b8828e44539ac8d8090daffcba3.jpg" target="_blank"><img src="http://img.e-com-net.com/image/info8/9e232b8828e44539ac8d8090daffcba3.jpg" alt="Python爬虫:从m3u8文件里提取小视频的正确操作_第3张图片" width="650" height="345" style="border:1px solid black;"></a><br>   本次就以这个视频为例,流程如下:<br>   <code>1.</code> 找到视频对应的<code>.m3u8</code>文件<br>   <code>2.</code> 解析<code>.m3u8</code>文件,从中提取<code>.ts</code>视频的url<br>   <code>3.</code> 下载<code>.ts</code>格式的视频<br>   <code>4.</code> 解密<code>.ts</code>格式的视频(如果视频流没有加密,则该步不是必须的)<br>   <code>5.</code> 合成<code>.mp4</code>或其他格式的视频</p> <pre><code class="prism language-bash"> <span class="token comment"># 第1步,我载了m3u8文件,也可以直接使用m3u8文件对应的url</span> playlist <span class="token operator">=</span> m3u8.load<span class="token punctuation">(</span>uri<span class="token operator">=</span><span class="token string">'./data/index.m3u8'</span><span class="token punctuation">)</span> <span class="token comment"># 第2步,提取URL</span> <span class="token keyword">for</span> seg <span class="token keyword">in</span> playlist.segments: print<span class="token punctuation">(</span>seg.uri<span class="token punctuation">)</span> <span class="token comment"># 第3步,下载ts视频</span> with open<span class="token punctuation">(</span><span class="token string">'xxxxx.ts'</span>, <span class="token string">'wb'</span><span class="token punctuation">)</span> as f: ts <span class="token operator">=</span> get_ts<span class="token punctuation">(</span>url<span class="token punctuation">)</span> f.write<span class="token punctuation">(</span>ts<span class="token punctuation">)</span> <span class="token comment"># 第4步,解密</span> cipher_text <span class="token operator">=</span> pad<span class="token punctuation">(</span>data_to_pad<span class="token operator">=</span>cipher_text, block_size<span class="token operator">=</span>AES.block_size<span class="token punctuation">)</span> aes <span class="token operator">=</span> AES.new<span class="token punctuation">(</span>key<span class="token operator">=</span>key, mode<span class="token operator">=</span>AES.MODE_CBC, iv<span class="token operator">=</span>iv<span class="token punctuation">)</span> cipher_text <span class="token operator">=</span> aes.decrypt<span class="token punctuation">(</span>cipher_text<span class="token punctuation">)</span> <span class="token comment"># 第5步,合成</span> files <span class="token operator">=</span> glob.glob<span class="token punctuation">(</span>os.path.join<span class="token punctuation">(</span><span class="token string">'./video'</span>, <span class="token string">'*.ts'</span><span class="token punctuation">))</span> <span class="token keyword">for</span> <span class="token function">file</span> <span class="token keyword">in</span> files: with open<span class="token punctuation">(</span>file, <span class="token string">'rb'</span><span class="token punctuation">)</span> as fr, open<span class="token punctuation">(</span><span class="token string">'./video_de/baitoushan.mp4'</span>, <span class="token string">'ab'</span><span class="token punctuation">)</span> as fw: content <span class="token operator">=</span> fr.read<span class="token punctuation">(</span><span class="token punctuation">)</span> fw.write<span class="token punctuation">(</span>content <span class="token punctuation">)</span> </code></pre> <h2>4. 完整代码</h2> <pre><code class="prism language-python"><span class="token comment"># -*- coding: utf-8 -*-</span> <span class="token comment"># @Time : 2021/5/10 20:11</span> <span class="token comment"># @Author : XiaYouRan</span> <span class="token comment"># @Email : youran.xia@foxmail.com</span> <span class="token comment"># @File : video.py</span> <span class="token comment"># @Software: PyCharm</span> <span class="token keyword">from</span> Crypto<span class="token punctuation">.</span>Cipher <span class="token keyword">import</span> AES <span class="token keyword">from</span> Crypto<span class="token punctuation">.</span>Util<span class="token punctuation">.</span>Padding <span class="token keyword">import</span> pad <span class="token keyword">from</span> concurrent<span class="token punctuation">.</span>futures <span class="token keyword">import</span> ThreadPoolExecutor <span class="token keyword">import</span> requests <span class="token keyword">import</span> m3u8 <span class="token keyword">import</span> glob <span class="token keyword">import</span> os <span class="token keyword">import</span> time <span class="token keyword">import</span> logging logging<span class="token punctuation">.</span>getLogger<span class="token punctuation">(</span><span class="token string">"urllib3"</span><span class="token punctuation">)</span><span class="token punctuation">.</span>setLevel<span class="token punctuation">(</span>logging<span class="token punctuation">.</span>WARNING<span class="token punctuation">)</span> <span class="token keyword">def</span> <span class="token function">AESDecrypt</span><span class="token punctuation">(</span>cipher_text<span class="token punctuation">,</span> key<span class="token punctuation">,</span> iv<span class="token punctuation">)</span><span class="token punctuation">:</span> cipher_text <span class="token operator">=</span> pad<span class="token punctuation">(</span>data_to_pad<span class="token operator">=</span>cipher_text<span class="token punctuation">,</span> block_size<span class="token operator">=</span>AES<span class="token punctuation">.</span>block_size<span class="token punctuation">)</span> aes <span class="token operator">=</span> AES<span class="token punctuation">.</span>new<span class="token punctuation">(</span>key<span class="token operator">=</span>key<span class="token punctuation">,</span> mode<span class="token operator">=</span>AES<span class="token punctuation">.</span>MODE_CBC<span class="token punctuation">,</span> iv<span class="token operator">=</span>iv<span class="token punctuation">)</span> cipher_text <span class="token operator">=</span> aes<span class="token punctuation">.</span>decrypt<span class="token punctuation">(</span>cipher_text<span class="token punctuation">)</span> <span class="token comment"># clear_text = unpad(padded_data=cipher_text, block_size=AES.block_size)</span> <span class="token keyword">return</span> cipher_text headers <span class="token operator">=</span> <span class="token punctuation">{ </span><span class="token string">'User-Agent'</span><span class="token punctuation">:</span> <span class="token string">'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '</span> <span class="token string">'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'</span><span class="token punctuation">}</span> <span class="token keyword">def</span> <span class="token function">get_ts</span><span class="token punctuation">(</span>url<span class="token punctuation">)</span><span class="token punctuation">:</span> <span class="token keyword">try</span><span class="token punctuation">:</span> response <span class="token operator">=</span> requests<span class="token punctuation">.</span>get<span class="token punctuation">(</span>url<span class="token punctuation">,</span> verify<span class="token operator">=</span><span class="token boolean">False</span><span class="token punctuation">)</span> response<span class="token punctuation">.</span>raise_for_status<span class="token punctuation">(</span><span class="token punctuation">)</span> response<span class="token punctuation">.</span>encoding <span class="token operator">=</span> <span class="token string">'utf-8'</span> <span class="token keyword">return</span> response<span class="token punctuation">.</span>content <span class="token keyword">except</span> Exception <span class="token keyword">as</span> err<span class="token punctuation">:</span> <span class="token keyword">print</span><span class="token punctuation">(</span>err<span class="token punctuation">)</span> <span class="token keyword">return</span> b<span class="token string">''</span> <span class="token keyword">def</span> <span class="token function">save_ts</span><span class="token punctuation">(</span>url<span class="token punctuation">,</span> index<span class="token punctuation">)</span><span class="token punctuation">:</span> filename <span class="token operator">=</span> os<span class="token punctuation">.</span>path<span class="token punctuation">.</span>join<span class="token punctuation">(</span><span class="token string">'./video'</span><span class="token punctuation">,</span> <span class="token builtin">str</span><span class="token punctuation">(</span>index<span class="token punctuation">)</span><span class="token punctuation">.</span>zfill<span class="token punctuation">(</span><span class="token number">5</span><span class="token punctuation">)</span> <span class="token operator">+</span> <span class="token string">'.ts'</span><span class="token punctuation">)</span> <span class="token keyword">with</span> <span class="token builtin">open</span><span class="token punctuation">(</span>filename<span class="token punctuation">,</span> <span class="token string">'wb'</span><span class="token punctuation">)</span> <span class="token keyword">as</span> f<span class="token punctuation">:</span> ts <span class="token operator">=</span> get_ts<span class="token punctuation">(</span>url<span class="token punctuation">)</span> f<span class="token punctuation">.</span>write<span class="token punctuation">(</span>ts<span class="token punctuation">)</span> <span class="token keyword">print</span><span class="token punctuation">(</span>filename <span class="token operator">+</span> <span class="token string">' is ok!'</span><span class="token punctuation">)</span> <span class="token keyword">if</span> __name__ <span class="token operator">==</span> <span class="token string">'__main__'</span><span class="token punctuation">:</span> playlist <span class="token operator">=</span> m3u8<span class="token punctuation">.</span>load<span class="token punctuation">(</span>uri<span class="token operator">=</span><span class="token string">'./data/index.m3u8'</span><span class="token punctuation">)</span> <span class="token comment"># 线程池,引入index可以防止合成时视频发生乱序</span> <span class="token keyword">with</span> ThreadPoolExecutor<span class="token punctuation">(</span>max_workers<span class="token operator">=</span><span class="token number">10</span><span class="token punctuation">)</span> <span class="token keyword">as</span> pool<span class="token punctuation">:</span> <span class="token keyword">for</span> index<span class="token punctuation">,</span> seg <span class="token keyword">in</span> <span class="token builtin">enumerate</span><span class="token punctuation">(</span>playlist<span class="token punctuation">.</span>segments<span class="token punctuation">)</span><span class="token punctuation">:</span> pool<span class="token punctuation">.</span>submit<span class="token punctuation">(</span>save_ts<span class="token punctuation">,</span> seg<span class="token punctuation">.</span>uri<span class="token punctuation">,</span> index<span class="token punctuation">)</span> key <span class="token operator">=</span> get_ts<span class="token punctuation">(</span>playlist<span class="token punctuation">.</span>keys<span class="token punctuation">[</span><span class="token operator">-</span><span class="token number">1</span><span class="token punctuation">]</span><span class="token punctuation">.</span>uri<span class="token punctuation">)</span> files <span class="token operator">=</span> glob<span class="token punctuation">.</span>glob<span class="token punctuation">(</span>os<span class="token punctuation">.</span>path<span class="token punctuation">.</span>join<span class="token punctuation">(</span><span class="token string">'./video'</span><span class="token punctuation">,</span> <span class="token string">'*.ts'</span><span class="token punctuation">)</span><span class="token punctuation">)</span> <span class="token keyword">for</span> <span class="token builtin">file</span> <span class="token keyword">in</span> files<span class="token punctuation">:</span> <span class="token keyword">with</span> <span class="token builtin">open</span><span class="token punctuation">(</span><span class="token builtin">file</span><span class="token punctuation">,</span> <span class="token string">'rb'</span><span class="token punctuation">)</span> <span class="token keyword">as</span> fr<span class="token punctuation">,</span> <span class="token builtin">open</span><span class="token punctuation">(</span><span class="token string">'./video_de/baitoushan.mp4'</span><span class="token punctuation">,</span> <span class="token string">'ab'</span><span class="token punctuation">)</span> <span class="token keyword">as</span> fw<span class="token punctuation">:</span> content <span class="token operator">=</span> fr<span class="token punctuation">.</span>read<span class="token punctuation">(</span><span class="token punctuation">)</span> encontent <span class="token operator">=</span> AESDecrypt<span class="token punctuation">(</span>content<span class="token punctuation">,</span> key<span class="token operator">=</span>key<span class="token punctuation">,</span> iv<span class="token operator">=</span>key<span class="token punctuation">)</span> fw<span class="token punctuation">.</span>write<span class="token punctuation">(</span>encontent<span class="token punctuation">)</span> <span class="token keyword">print</span><span class="token punctuation">(</span><span class="token builtin">file</span> <span class="token operator">+</span> <span class="token string">' is ok!'</span><span class="token punctuation">)</span> </code></pre> <p>  下载<code>.ts</code>文件效果如下:</p> <p><a href="http://img.e-com-net.com/image/info8/fb2f2dc4fc5243fcb326695b80a4c58c.jpg" target="_blank"><img src="http://img.e-com-net.com/image/info8/fb2f2dc4fc5243fcb326695b80a4c58c.jpg" alt="Python爬虫:从m3u8文件里提取小视频的正确操作_第4张图片" width="650" height="389" style="border:1px solid black;"></a><br>   合成<code>.mp4</code>文件效果如下:</p> <p><a href="http://img.e-com-net.com/image/info8/c4cfa91843e4420291b75c54c2c9e017.jpg" target="_blank"><img src="http://img.e-com-net.com/image/info8/c4cfa91843e4420291b75c54c2c9e017.jpg" alt="Python爬虫:从m3u8文件里提取小视频的正确操作_第5张图片" width="650" height="389" style="border:1px solid black;"></a></p> <p></p> <h2>5. 结束语</h2> <p><font face="仿宋" size="4">Musicer开源代码仓库</font></p> <hr> <p>  Musicer音乐爬虫已经开源了哦,持续更新中,欢迎来踩来Star哦!ヾ(≧∇≦*)ヾ<br>   如果对Python爬虫感兴趣的话,欢迎关注我的爬虫专栏,有问题及时联系哦!</p> </div> </div> </div> </div> </div> <!--PC和WAP自适应版--> <div id="SOHUCS" sid="1392258267501121536"></div> <script type="text/javascript" src="/views/front/js/chanyan.js"></script> <!-- 文章页-底部 动态广告位 --> <div class="youdao-fixed-ad" id="detail_ad_bottom"></div> </div> <div class="col-md-3"> <div class="row" id="ad"> <!-- 文章页-右侧1 动态广告位 --> <div id="right-1" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad"> <div class="youdao-fixed-ad" id="detail_ad_1"> </div> </div> <!-- 文章页-右侧2 动态广告位 --> <div id="right-2" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad"> <div class="youdao-fixed-ad" id="detail_ad_2"></div> </div> <!-- 文章页-右侧3 动态广告位 --> <div id="right-3" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad"> <div class="youdao-fixed-ad" id="detail_ad_3"></div> </div> </div> </div> </div> </div> </div> <div class="container"> <h4 class="pt20 mb15 mt0 border-top">你可能感兴趣的:(Python爬虫,python,爬虫,m3u8,ts合成mp4)</h4> <div id="paradigm-article-related"> <div class="recommend-post mb30"> <ul class="widget-links"> <li><a href="/article/1942819893644685312.htm" title="python 科研作图_科研作图软件(11种)" target="_blank">python 科研作图_科研作图软件(11种)</a> <span class="text-muted">weixin_39875754</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%A7%91%E7%A0%94%E4%BD%9C%E5%9B%BE/1.htm">科研作图</a> <div>科研作图软件(11种)科研绘图在国外已经非常流行,且被高度重视,国内科研人员也越来越重视科研方面的绘图。不少科研工作者,包括在读的博士生、研究生等可能都有这样的体会:千辛万苦得来的实验结果,不知道该如何展现给别人?曾经有位论文审稿人在自己的博文中就写道:“我审稿时看稿件的顺序是题目、摘要、图表、前言、参考文献和正文”。古语云“字如其人”,现在讲“第一印象”,说的都是形象、气质的重要作用,规范的、高</div> </li> <li><a href="/article/1942819263857356800.htm" title="python 科研作图_Origin科研绘图" target="_blank">python 科研作图_Origin科研绘图</a> <span class="text-muted">weixin_39525933</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%A7%91%E7%A0%94%E4%BD%9C%E5%9B%BE/1.htm">科研作图</a> <div>前言入了生物学的坑,狗狗们需要时不时的画一些图,看着别人高大上的图片,大家有没有好奇这些图片是怎么做出来的呢?就本狗狗来看(狗狗可能来自农村-_-,),现在铺天盖地的paper里的图,有些,当然本身就是照片啦,比如跑胶啊WB啊,有些是用R、python、或者matlab做的,那么对于不懂编程的狗狗来说,就需要利用一些趁手作图软件,也可以做出毫不逊色于前者的美图,常见的这类软件有origin,gra</div> </li> <li><a href="/article/1942818632241311744.htm" title="AWS成本监控告警系统完整解析" target="_blank">AWS成本监控告警系统完整解析</a> <span class="text-muted">ivwdcwso</span> <a class="tag" taget="_blank" href="/search/%E8%BF%90%E7%BB%B4%E4%B8%8E%E4%BA%91%E5%8E%9F%E7%94%9F/1.htm">运维与云原生</a><a class="tag" taget="_blank" href="/search/aws/1.htm">aws</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/Cost/1.htm">Cost</a><a class="tag" taget="_blank" href="/search/%E4%BA%91%E6%88%90%E6%9C%AC/1.htm">云成本</a><a class="tag" taget="_blank" href="/search/%E8%BF%90%E7%BB%B4/1.htm">运维</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91/1.htm">开发</a> <div>完整代码展示#!/usr/bin/python3importboto3,json,requestsimportpandasaspdfromdatetimeimportdatetime,timedelta#创建CostExplorer客户端client=boto3.client('ce')</div> </li> <li><a href="/article/1942815732530212864.htm" title="英伟达终为 CUDA 添加原生 Python 支持,他有什么目的?" target="_blank">英伟达终为 CUDA 添加原生 Python 支持,他有什么目的?</a> <span class="text-muted">朱卫军 AI</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a> <div>CUDA原来只支持C/C++/Fortran,在2025的CES上宣布支持原生Python其实是不得已而为之,一方面现在Python的AI开发者数量过于庞大,达到数千万级别,而CUDA仅几百万,CUDA想扩大自己的用户圈子,只能拉Python入伙。另一方面,Python生态的计算库实在太强大,比如numpy,几乎垄断了数组计算,还有像scipy、keras等,已经成为机器学习的主流工具,CUDA必</div> </li> <li><a href="/article/1942814473110745088.htm" title="Python 领域 vllm 安装与环境配置全攻略" target="_blank">Python 领域 vllm 安装与环境配置全攻略</a> <span class="text-muted">Python编程之道</span> <a class="tag" taget="_blank" href="/search/Python%E7%BC%96%E7%A8%8B%E4%B9%8B%E9%81%93/1.htm">Python编程之道</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/ai/1.htm">ai</a> <div>Python领域vllm安装与环境配置全攻略关键词:Python、vllm、安装、环境配置、深度学习摘要:本文围绕Python领域中vllm的安装与环境配置展开,全面且深入地介绍了vllm的相关知识。首先阐述了背景信息,包括目的范围、预期读者、文档结构和术语表。接着详细讲解了vllm的核心概念与联系,分析其核心算法原理并给出具体操作步骤,还引入了相关数学模型和公式进行说明。通过项目实战,提供代码实</div> </li> <li><a href="/article/1942813842086096896.htm" title="Docker跨架构部署实操" target="_blank">Docker跨架构部署实操</a> <span class="text-muted">油泼辣子多加</span> <a class="tag" taget="_blank" href="/search/%E7%AE%97%E6%B3%95%E5%AE%9E%E6%88%98/1.htm">算法实战</a><a class="tag" taget="_blank" href="/search/docker/1.htm">docker</a><a class="tag" taget="_blank" href="/search/%E6%9E%B6%E6%9E%84/1.htm">架构</a><a class="tag" taget="_blank" href="/search/java/1.htm">java</a> <div>需求场景python项目,开发环境以及可供测试的环境为X86架构下的LINUX服务器,但正式环境需要部署在ARM架构下的麒麟服务器,且正式环境后续可能会长时间处于断网状态,需要一份跨架构的部署方案。解决思路在X86上打包、在ARM(麒麟Linux)上运行,最大的难点就在于二进制兼容性——X86编译出的可执行文件(无论是用PyInstaller还是其它方式)都无法直接在ARM上跑。下面分别说一下两种</div> </li> <li><a href="/article/1942811950975086592.htm" title="Python 爬虫实战:爬取网易公开课(课程列表解析 + 视频资源批量下载)" target="_blank">Python 爬虫实战:爬取网易公开课(课程列表解析 + 视频资源批量下载)</a> <span class="text-muted">Python核芯</span> <a class="tag" taget="_blank" href="/search/Python%E7%88%AC%E8%99%AB%E5%AE%9E%E6%88%98%E9%A1%B9%E7%9B%AE/1.htm">Python爬虫实战项目</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/%E9%9F%B3%E8%A7%86%E9%A2%91/1.htm">音视频</a><a class="tag" taget="_blank" href="/search/%E7%BD%91%E6%98%93/1.htm">网易</a> <div>一、引言在数字化学习蓬勃发展的当下,网易公开课作为优质在线教育平台,汇聚了海量精品课程,涵盖科技、文化、艺术等多元领域,为求知者提供了便捷的学习渠道。然而,面对丰富的内容,手动逐一浏览、下载课程视频既耗时又低效,尤其对于想要系统学习特定领域知识的用户而言,亟需更高效的解决方案。Python爬虫技术凭借其强大的自动化数据获取能力,可轻松应对这一挑战,实现网易公开课课程列表的精准解析与视频资源的批量下</div> </li> <li><a href="/article/1942808803510644736.htm" title="Bongo-Cat-Crew:用Python打造动态音乐猫" target="_blank">Bongo-Cat-Crew:用Python打造动态音乐猫</a> <span class="text-muted">元楼</span> <div>本文还有配套的精品资源,点击获取简介:在这个项目中,我们创建了一个将音乐、游戏和编程结合的创新体验,允许玩家通过动态猫声分类与节奏游戏OSU!互动。Python的使用使得音乐节奏识别、猫声分类逻辑和游戏接口交互成为可能。项目的核心包含了音乐节奏分析、游戏模式识别和猫声动画实现等技术要点,旨在为玩家提供独特的交互乐趣。1.Python在项目中的应用和角色1.1Python在IT行业中的普及Pytho</div> </li> <li><a href="/article/1942808045948039168.htm" title="TPAMI 2024 | 利用相机原始快照进行高效的视觉计算" target="_blank">TPAMI 2024 | 利用相机原始快照进行高效的视觉计算</a> <span class="text-muted">小白学视觉</span> <a class="tag" taget="_blank" href="/search/%E8%AE%BA%E6%96%87%E8%A7%A3%E8%AF%BB/1.htm">论文解读</a><a class="tag" taget="_blank" href="/search/IEEE/1.htm">IEEE</a><a class="tag" taget="_blank" href="/search/TPAMI/1.htm">TPAMI</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E7%A0%81%E7%9B%B8%E6%9C%BA/1.htm">数码相机</a><a class="tag" taget="_blank" href="/search/TPAMI/1.htm">TPAMI</a><a class="tag" taget="_blank" href="/search/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1.htm">深度学习</a><a class="tag" taget="_blank" href="/search/%E9%A1%B6%E5%88%8A%E8%AE%BA%E6%96%87/1.htm">顶刊论文</a><a class="tag" taget="_blank" href="/search/%E8%AE%BA%E6%96%87%E8%A7%A3%E8%AF%BB/1.htm">论文解读</a> <div>题目:EfficientVisualComputingWithCameraRAWSnapshots利用相机原始快照进行高效的视觉计算作者:ZhihaoLi;MingLu;XuZhang;XinFeng;M.SalmanAsif;ZhanMa源码链接:https://njuvision.github.io/rho-vision摘要传统相机在传感器上捕获图像辐照度(RAW),并使用图像信号处理器(IS</div> </li> <li><a href="/article/1942807793744539648.htm" title="基于python的api扫描器系统的设计与实现" target="_blank">基于python的api扫描器系统的设计与实现</a> <span class="text-muted"></span> <div>博主介绍:✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域和毕业设计✌温馨提示:文末有CSDN平台官方提供的老师Wechat/QQ名片:)Java精品实战案例《700套》2025最新毕业设计选题推荐:最热的500个选题o( ̄▽ ̄)d介绍在当今数字化社会,网络安全问题日益突出,为了有效识别和防范网络威胁,开发一款全面的Web应用渗透测试系统至关重要。本研究基于Py</div> </li> <li><a href="/article/1942805272984612864.htm" title="基于小样本的高光谱图像分类任务:CMFSL方法及Python实现" target="_blank">基于小样本的高光谱图像分类任务:CMFSL方法及Python实现</a> <span class="text-muted">pk_xz123456</span> <a class="tag" taget="_blank" href="/search/%E4%BB%BF%E7%9C%9F%E6%A8%A1%E5%9E%8B/1.htm">仿真模型</a><a class="tag" taget="_blank" href="/search/%E7%AE%97%E6%B3%95/1.htm">算法</a><a class="tag" taget="_blank" href="/search/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1.htm">深度学习</a><a class="tag" taget="_blank" href="/search/%E5%88%86%E7%B1%BB/1.htm">分类</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/1.htm">人工智能</a><a class="tag" taget="_blank" href="/search/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1.htm">深度学习</a><a class="tag" taget="_blank" href="/search/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/1.htm">机器学习</a> <div>基于小样本的高光谱图像分类任务:CMFSL方法及Python实现1.引言高光谱图像分类是遥感图像处理领域的重要研究方向,它在农业监测、环境评估、军事侦察等领域有着广泛的应用。与传统RGB图像不同,高光谱图像包含数百个连续的光谱波段,能够提供丰富的光谱信息。然而,高光谱图像分类面临着维度灾难、样本获取困难等挑战,特别是在小样本条件下,传统分类方法往往表现不佳。针对这一问题,本文介绍一种基于小样本的高</div> </li> <li><a href="/article/1942804642933043200.htm" title="ubuntu创建、删除虚拟环境" target="_blank">ubuntu创建、删除虚拟环境</a> <span class="text-muted">screenCui</span> <a class="tag" taget="_blank" href="/search/ubuntu/1.htm">ubuntu</a><a class="tag" taget="_blank" href="/search/linux/1.htm">linux</a> <div>your_name是自己起的环境名字创建虚拟环境首先通过xshell等工具与服务器建立链接。然后进行以下两步:激活condasource~/.bashrc2.创建虚拟环境condacreate-nyour_namepython=3.7退出以及删除虚拟环境退出虚拟环境condadeactivate删除虚拟环境condaremove-nyour_name--all</div> </li> <li><a href="/article/1942804643419582464.htm" title="python画图修改字体为新罗马字体" target="_blank">python画图修改字体为新罗马字体</a> <span class="text-muted"></span> <div>#设置字体为新罗马字体font={'family':'serif','serif':['TimesNewRoman'],'size':20,'style':'normal'}plt.rc('font',**font)plt.rc('axes',labelsize=20)如果跑出来不是新罗马字体,那是服务器没装新罗马字体的问题,切换环境到本地就可以了。(本地一般都有新罗马字体)</div> </li> <li><a href="/article/1942804263520497664.htm" title="python序列化任意结构到dict" target="_blank">python序列化任意结构到dict</a> <span class="text-muted">YoungHong1992</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a> <div>defserialize(obj:Any)->Any:"""因为Param没有序列化的接口,无法直接转为dict或json,因此编写该函数,把Param转为dict"""ifisinstance(obj,np.ndarray):returnobj.tolist()#将numpy.ndarray转换为列表elifisinstance(obj,(int,float,str,bool)):#基本数据类型</div> </li> <li><a href="/article/1942804264443244544.htm" title="Python包版本分析工具开发:从PyPI私有源快速提取元数据" target="_blank">Python包版本分析工具开发:从PyPI私有源快速提取元数据</a> <span class="text-muted">YoungHong1992</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/windows/1.htm">windows</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a> <div>importsubprocessimportreimportosimportsysimporttempfileimportzipfilefromemail.parserimportParserfromtypingimportList,Dict,Optional,Anyfromjinja2importEnvironmentfrompackaging.versionimportparseasparse</div> </li> <li><a href="/article/1942800229518602240.htm" title="Python爬虫实战:使用Scrapy和Selenium高效爬取USPTO美国专利数据" target="_blank">Python爬虫实战:使用Scrapy和Selenium高效爬取USPTO美国专利数据</a> <span class="text-muted">Python爬虫项目</span> <a class="tag" taget="_blank" href="/search/2025%E5%B9%B4%E7%88%AC%E8%99%AB%E5%AE%9E%E6%88%98%E9%A1%B9%E7%9B%AE/1.htm">2025年爬虫实战项目</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/scrapy/1.htm">scrapy</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/selenium/1.htm">selenium</a><a class="tag" taget="_blank" href="/search/%E6%B5%8B%E8%AF%95%E5%B7%A5%E5%85%B7/1.htm">测试工具</a> <div>引言在当今的知识经济时代,专利数据蕴含着巨大的商业和技术价值。美国专利商标局(USPTO)作为全球最大的专利数据库之一,收录了数百万项专利信息,这些数据对于企业竞争分析、技术趋势预测和学术研究都具有重要意义。本文将详细介绍如何使用Python构建一个高效、稳定的USPTO专利数据爬虫系统。一、USPTO专利数据库概述1.1USPTO数据库结构USPTO提供了多种访问专利数据的途径:专利全文和图像数</div> </li> <li><a href="/article/1942800103085502464.htm" title="Python爬虫实战:爬取百度学术摘要信息全流程详解与代码示例" target="_blank">Python爬虫实战:爬取百度学术摘要信息全流程详解与代码示例</a> <span class="text-muted">Python爬虫项目</span> <a class="tag" taget="_blank" href="/search/2025%E5%B9%B4%E7%88%AC%E8%99%AB%E5%AE%9E%E6%88%98%E9%A1%B9%E7%9B%AE/1.htm">2025年爬虫实战项目</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/scrapy/1.htm">scrapy</a><a class="tag" taget="_blank" href="/search/%E5%AD%A6%E4%B9%A0/1.htm">学习</a><a class="tag" taget="_blank" href="/search/dubbo/1.htm">dubbo</a><a class="tag" taget="_blank" href="/search/%E7%99%BE%E5%BA%A6/1.htm">百度</a> <div>1.前言随着学术资源数字化的普及,百度学术成为学者们常用的论文搜索平台。获取大量论文摘要信息对于文献综述、知识图谱构建等研究极为重要。本文将系统讲解如何利用Python编写爬虫,批量抓取百度学术上的论文摘要。我们将结合最新Python爬虫技术,涵盖基础同步爬虫、异步爬虫、多线程,全面实战演示。2.项目背景与目标百度学术支持通过关键词搜索论文,展示论文标题、作者、期刊、摘要等信息。目标是:根据关键词</div> </li> <li><a href="/article/1942799976753065984.htm" title="Python爬虫实战:爬取网易云音乐热评的完整教程" target="_blank">Python爬虫实战:爬取网易云音乐热评的完整教程</a> <span class="text-muted">Python爬虫项目</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/%E8%83%BD%E6%BA%90/1.htm">能源</a><a class="tag" taget="_blank" href="/search/selenium/1.htm">selenium</a> <div>1.背景介绍:为什么爬网易云音乐热评?网易云音乐是中国最受欢迎的音乐平台之一,其用户活跃度极高。评论区往往蕴含丰富的情感表达和用户反馈,是音乐数据分析、情感分析、推荐算法等领域的宝贵数据源。爬取热评可以用于:歌曲口碑分析用户情绪挖掘热门歌曲趋势追踪机器学习训练数据准备但网易云音乐对评论接口进行了加密,直接请求很难成功。本文将帮你攻克这一难点。2.网易云音乐热评接口分析我们首先用浏览器开发者工具(C</div> </li> <li><a href="/article/1942799346982514688.htm" title="macOS运行python程序遇libiomp5.dylib库冲突错误解决方案" target="_blank">macOS运行python程序遇libiomp5.dylib库冲突错误解决方案</a> <span class="text-muted">screenCui</span> <a class="tag" taget="_blank" href="/search/macos/1.htm">macos</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a> <div>用途说明在macOS系统运行某些涉及OpenMP或多线程的Python程序(如PyTorch、NumPy等科学计算库)时,可能会出现libiomp5.dylib库冲突的错误。设置os.environ['KMP_DUPLICATE_LIB_OK']='True'允许系统加载重复的动态链接库,临时解决冲突问题。典型错误场景错误信息通常包含以下内容:OMP:Error#15:Initializingli</div> </li> <li><a href="/article/1942798212356173824.htm" title="Python项目如何读取nacos配置" target="_blank">Python项目如何读取nacos配置</a> <span class="text-muted">Tizzy JJ</span> <a class="tag" taget="_blank" href="/search/%E6%9C%8D%E5%8A%A1%E5%99%A8/1.htm">服务器</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/pycharm/1.htm">pycharm</a> <div>目录一、nacos配置示例二、python读取nacos配置一、nacos配置示例在Nacos中创建yaml格式配置(DataID:your-data-id)#Nacos配置文件(your-data-id.yaml)app:env:productionversion:1.2.3apis:deepseek:api_key:"sk-your-deepseek-key-here"timeout:30da</div> </li> <li><a href="/article/1942796443651731456.htm" title="Vlang编写轻量化多线程爬虫" target="_blank">Vlang编写轻量化多线程爬虫</a> <span class="text-muted">q56731523</span> <a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/typescript/1.htm">typescript</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/%E5%89%8D%E7%AB%AF/1.htm">前端</a> <div>Vlang作为新兴语言,他简单、快速和安全让爬虫有不一样的体验。在V中,并发模型基于轻量级的协程(称为goroutines,类似于Go语言的goroutine)和通道(channels)来实现。虽然说V语言目前还在快速发展中,但它的并发特性已经可以用于构建多线程(实际上是协程)应用程序,例如网络爬虫。所以说,用V语言(Vlang)完全支持编写多线程爬虫。它提供了强大的并发模型和网络库,非常适合高效</div> </li> <li><a href="/article/1942796190915555328.htm" title="com本质论 pdf_如何使用PDF Arranger来对PDF文件进行编排和修改" target="_blank">com本质论 pdf_如何使用PDF Arranger来对PDF文件进行编排和修改</a> <span class="text-muted">weixin_39797780</span> <a class="tag" taget="_blank" href="/search/com%E6%9C%AC%E8%B4%A8%E8%AE%BA/1.htm">com本质论</a><a class="tag" taget="_blank" href="/search/pdf/1.htm">pdf</a><a class="tag" taget="_blank" href="/search/creatprocess/1.htm">creatprocess</a><a class="tag" taget="_blank" href="/search/%E6%93%8D%E4%BD%9C%E6%96%87%E4%BB%B6/1.htm">操作文件</a><a class="tag" taget="_blank" href="/search/delphi/1.htm">delphi</a><a class="tag" taget="_blank" href="/search/fedora%E5%A6%82%E4%BD%95%E9%9A%90%E8%97%8F%E9%A1%B6%E9%83%A8%E7%8A%B6%E6%80%81%E6%A0%8F/1.htm">fedora如何隐藏顶部状态栏</a><a class="tag" taget="_blank" href="/search/linux/1.htm">linux</a><a class="tag" taget="_blank" href="/search/.bash_profile%E6%96%87%E4%BB%B6/1.htm">.bash_profile文件</a><a class="tag" taget="_blank" href="/search/linux/1.htm">linux</a><a class="tag" taget="_blank" href="/search/c%2B%2B%E7%BC%96%E7%A8%8B/1.htm">c++编程</a><a class="tag" taget="_blank" href="/search/pdf/1.htm">pdf</a> <div>PDFArranger是一个十分简单的GUI应用程序,能够帮助您拆分或合并PDF文档,以及旋转,裁剪和重新编排页面。所有前面提到的任务都可以通过交互式和直观的图形界面轻松完成。Pdfarranger是pdfshuffler的fork以及pikepdf的前端。PDFArranger在许多流行的GNU/Linux操作系统和MicrosoftWindows上都能良好地运行。它是使用GTK+和Python</div> </li> <li><a href="/article/1942793166570713088.htm" title="ECS由浅入深第四节:ECS 与 Unity 传统开发模式的结合?混合架构的艺术" target="_blank">ECS由浅入深第四节:ECS 与 Unity 传统开发模式的结合?混合架构的艺术</a> <span class="text-muted"></span> <div>尽管ECS带来了显著的性能和架构优势,但在实际的Unity项目中,完全摒弃GameObject和MonoBehaviour往往是不现实的。Unity引擎本身的大部分功能,如UI、动画系统、粒子系统、物理引擎(非DOTS物理)、光照烘焙、场景管理,乃至编辑器扩展,都深度依赖于GameObject。因此,一种混合架构(HybridArchitecture)成为了在Unity中应用ECS的常见且高效的策</div> </li> <li><a href="/article/1942792913788399616.htm" title="基于Matplotlib,在个人电脑上实现无代码、易于使用的绘图体验" target="_blank">基于Matplotlib,在个人电脑上实现无代码、易于使用的绘图体验</a> <span class="text-muted">wh3933</span> <a class="tag" taget="_blank" href="/search/matplotlib/1.htm">matplotlib</a><a class="tag" taget="_blank" href="/search/%E4%BF%A1%E6%81%AF%E5%8F%AF%E8%A7%86%E5%8C%96/1.htm">信息可视化</a> <div>在科学研究、商业分析和学术出版等领域,数据可视化是沟通洞见、展示成果的关键环节。强大的Python绘图库Matplotlib为此提供了无限可能,但其陡峭的学习曲线和对编程能力的硬性要求,将大量非程序员的领域专家拒之门外。这些专家——包括科学家、分析师、学者和学生——虽然在各自领域具备深厚的知识,却常常因不熟悉编程而难以高效地创建高质量、可定制的图表。他们目前或受限于Excel等功能有限的软件,或需</div> </li> <li><a href="/article/1942792911934517248.htm" title="阿里也出手了!十分钟接入Spring Cloud Alibaba AI 体验JAVA微服务AI人工智能,可接通义千问等模型," target="_blank">阿里也出手了!十分钟接入Spring Cloud Alibaba AI 体验JAVA微服务AI人工智能,可接通义千问等模型,</a> <span class="text-muted">Java斌</span> <a class="tag" taget="_blank" href="/search/%E5%8D%81%E5%88%86%E9%92%9F%E5%AD%A6%E4%BC%9AJava/1.htm">十分钟学会Java</a><a class="tag" taget="_blank" href="/search/AI/1.htm">AI</a><a class="tag" taget="_blank" href="/search/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/1.htm">人工智能</a><a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/%E5%BE%AE%E6%9C%8D%E5%8A%A1/1.htm">微服务</a> <div>什么是SpringAISpringAI是从著名的Python项目LangChain和LlamaIndex中汲取灵感,它不是这些项目的直接移植,它的成立信念是,「下一波生成式人工智能应用程序将不仅适用于Python开发人员,而且将在许多编程语言中无处不在」。我们可以从SpringAI的官网描述中,总结出SpringAI的几个核心的关键词:提供抽象能力简化AI应用的开发模型与向量支持AI集成与自动配置</div> </li> <li><a href="/article/1942792407141642240.htm" title="python----下载安装,配置环境" target="_blank">python----下载安装,配置环境</a> <span class="text-muted">m0_73882020</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a> <div>1.下载老版本2.7.18参考链接:Python版本Python2.7.18|Python.org2.配置环境手动添加Python到PATH右键点击此电脑→属性→高级系统设置→环境变量;在系统变量中找到Path,点击编辑→新建,添加以下两条路径:D:\download\xz\python\D:\download\xz\python\Scripts\路径就是在你的安装Python保存后重启命令提示符</div> </li> <li><a href="/article/1942790769391759360.htm" title="PDFArranger 1.12.0版本发布:专业PDF文档管理工具的新特性解析" target="_blank">PDFArranger 1.12.0版本发布:专业PDF文档管理工具的新特性解析</a> <span class="text-muted"></span> <div>PDFArranger1.12.0版本发布:专业PDF文档管理工具的新特性解析pdfarrangerSmallpython-gtkapplication,whichhelpstheusertomergeorsplitPDFdocumentsandrotate,cropandrearrangetheirpagesusinganinteractiveandintuitivegraphicalinter</div> </li> <li><a href="/article/1942790390360895488.htm" title="Flask 框架:深入浅出理解其工作原理与机制" target="_blank">Flask 框架:深入浅出理解其工作原理与机制</a> <span class="text-muted">chilavert318</span> <a class="tag" taget="_blank" href="/search/%E7%86%AC%E4%B9%8B%E6%BB%B4%E6%B0%B4%E7%A9%BF%E7%9F%B3/1.htm">熬之滴水穿石</a><a class="tag" taget="_blank" href="/search/flask/1.htm">flask</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E5%90%8E%E7%AB%AF/1.htm">后端</a> <div>今天写不发相关连载了,而是将我近段时间接触到的内容做次分享。这几天,使用了开源的DashGO框架,了解到了这个开源的底层是Flask框架。所以花了点时间了解一下,现在Web开发领域,各种框架层出不穷,看了一下Flask的源码,作为一款轻量级的PythonWeb框架,还是凸显了简洁、灵活的特点。今天就深入浅出地将我理解的Flask讲解出来。一、Flask是什么简单来说,Flask是一个使用Pytho</div> </li> <li><a href="/article/1942786106470756352.htm" title="Nuxt.js 静态生成中的跨域问题解决方案" target="_blank">Nuxt.js 静态生成中的跨域问题解决方案</a> <span class="text-muted">m0_73882020</span> <a class="tag" taget="_blank" href="/search/javascript/1.htm">javascript</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/ecmascript/1.htm">ecmascript</a> <div>当您运行npmrungenerate生成静态页面时,Vite的代理服务器确实无法使用,因为生成阶段是在Node.js环境中执行的构建过程。但别担心,我将为您提供一套完整的解决方案来处理构建阶段的跨域问题。核心解决方案1.构建阶段:使用服务端中转API(推荐)在构建阶段通过Nuxt的server路由中转请求,避开跨域限制://server/api/products.tsexportdefaultde</div> </li> <li><a href="/article/1942785854426640384.htm" title="Gemma Chatbot 架构深度剖析:从 C++ 核心到多语言推理的工程实践" target="_blank">Gemma Chatbot 架构深度剖析:从 C++ 核心到多语言推理的工程实践</a> <span class="text-muted">雷羿 LexChien</span> <a class="tag" taget="_blank" href="/search/LLM/1.htm">LLM</a><a class="tag" taget="_blank" href="/search/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/1.htm">人工智能</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/c%2B%2B/1.htm">c++</a><a class="tag" taget="_blank" href="/search/LLM/1.htm">LLM</a><a class="tag" taget="_blank" href="/search/RAG/1.htm">RAG</a> <div>GemmaChatbot架构深度剖析:从C++核心到多语言推理的工程实践随着大语言模型(LLM)本地化需求日益提升,如何设计一套高效、可扩展、易于维护的本地聊天系统。GemmaChatbot以C++为推理核心,结合Python前端与多语言支持,实现了高性能与灵活性的完美结合。本文将深入剖析其程序架构、模块划分、数据流设计与工程实践细节。一、总体架构设计GemmaChatbot采用“前后端分离”与“</div> </li> <li><a href="/article/30.htm" title="Java实现的基于模板的网页结构化信息精准抽取组件:HtmlExtractor" target="_blank">Java实现的基于模板的网页结构化信息精准抽取组件:HtmlExtractor</a> <span class="text-muted">yangshangchuan</span> <a class="tag" taget="_blank" href="/search/%E4%BF%A1%E6%81%AF%E6%8A%BD%E5%8F%96/1.htm">信息抽取</a><a class="tag" taget="_blank" href="/search/HtmlExtractor/1.htm">HtmlExtractor</a><a class="tag" taget="_blank" href="/search/%E7%B2%BE%E5%87%86%E6%8A%BD%E5%8F%96/1.htm">精准抽取</a><a class="tag" taget="_blank" href="/search/%E4%BF%A1%E6%81%AF%E9%87%87%E9%9B%86/1.htm">信息采集</a> <div>HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件,本身并不包含爬虫功能,但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。   HtmlExtractor是为大规模分布式环境设计的,采用主从架构,主节点负责维护抽取规则,从节点向主节点请求抽取规则,当抽取规则发生变化,主节点主动通知从节点,从而能实现抽取规则变化之后的实时动态生效。 如</div> </li> <li><a href="/article/157.htm" title="java编程思想 -- 多态" target="_blank">java编程思想 -- 多态</a> <span class="text-muted">百合不是茶</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/%E5%A4%9A%E6%80%81%E8%AF%A6%E8%A7%A3/1.htm">多态详解</a> <div>一: 向上转型和向下转型 面向对象中的转型只会发生在有继承关系的子类和父类中(接口的实现也包括在这里)。父类:人    子类:男人向上转型: Person p = new Man() ; //向上转型不需要强制类型转化向下转型: Man man =</div> </li> <li><a href="/article/284.htm" title="[自动数据处理]稳扎稳打,逐步形成自有ADP系统体系" target="_blank">[自动数据处理]稳扎稳打,逐步形成自有ADP系统体系</a> <span class="text-muted">comsci</span> <a class="tag" taget="_blank" href="/search/dp/1.htm">dp</a> <div>       对于国内的IT行业来讲,虽然我们已经有了"两弹一星",在局部领域形成了自己独有的技术特征,并初步摆脱了国外的控制...但是前面的路还很长....       首先是我们的自动数据处理系统还无法处理很多高级工程...中等规模的拓扑分析系统也没有完成,更加复杂的</div> </li> <li><a href="/article/411.htm" title="storm 自定义 日志文件" target="_blank">storm 自定义 日志文件</a> <span class="text-muted">商人shang</span> <a class="tag" taget="_blank" href="/search/storm/1.htm">storm</a><a class="tag" taget="_blank" href="/search/cluster/1.htm">cluster</a><a class="tag" taget="_blank" href="/search/logback/1.htm">logback</a> <div>Storm中的日志级级别默认为INFO,并且,日志文件是根据worker号来进行区分的,这样,同一个log文件中的信息不一定是一个业务的,这样就会有以下两个需求出现: 1. 想要进行一些调试信息的输出 2. 调试信息或者业务日志信息想要输出到一些固定的文件中   不要怕,不要烦恼,其实Storm已经提供了这样的支持,可以通过自定义logback 下的 cluster.xml 来输</div> </li> <li><a href="/article/538.htm" title="Extjs3 SpringMVC使用 @RequestBody 标签问题记录" target="_blank">Extjs3 SpringMVC使用 @RequestBody 标签问题记录</a> <span class="text-muted">21jhf</span> <div>springMVC使用 @RequestBody(required = false) UserVO userInfo 传递json对象数据,往往会出现http 415,400,500等错误,总结一下需要使用ajax提交json数据才行,ajax提交使用proxy,参数为jsonData,不能为params;另外,需要设置Content-type属性为json,代码如下: (由于使用了父类aaa</div> </li> <li><a href="/article/665.htm" title="一些排错方法" target="_blank">一些排错方法</a> <span class="text-muted">文强chu</span> <a class="tag" taget="_blank" href="/search/%E6%96%B9%E6%B3%95/1.htm">方法</a> <div>1、java.lang.IllegalStateException: Class invariant violation at org.apache.log4j.LogManager.getLoggerRepository(LogManager.java:199)at org.apache.log4j.LogManager.getLogger(LogManager.java:228) at o</div> </li> <li><a href="/article/792.htm" title="Swing中文件恢复我觉得很难" target="_blank">Swing中文件恢复我觉得很难</a> <span class="text-muted">小桔子</span> <a class="tag" taget="_blank" href="/search/swing/1.htm">swing</a> <div>       我那个草了!老大怎么回事,怎么做项目评估的?只会说相信你可以做的,试一下,有的是时间!        用java开发一个图文处理工具,类似word,任意位置插入、拖动、删除图片以及文本等。文本框、流程图等,数据保存数据库,其余可保存pdf格式。ok,姐姐千辛万苦,</div> </li> <li><a href="/article/919.htm" title="php 文件操作" target="_blank">php 文件操作</a> <span class="text-muted">aichenglong</span> <a class="tag" taget="_blank" href="/search/PHP/1.htm">PHP</a><a class="tag" taget="_blank" href="/search/%E8%AF%BB%E5%8F%96%E6%96%87%E4%BB%B6/1.htm">读取文件</a><a class="tag" taget="_blank" href="/search/%E5%86%99%E5%85%A5%E6%96%87%E4%BB%B6/1.htm">写入文件</a> <div>1 写入文件 @$fp=fopen("$DOCUMENT_ROOT/order.txt", "ab"); if(!$fp){ echo "open file error" ; exit; } $outputstring="date:"." \t tire:".$tire."</div> </li> <li><a href="/article/1046.htm" title="MySQL的btree索引和hash索引的区别" target="_blank">MySQL的btree索引和hash索引的区别</a> <span class="text-muted">AILIKES</span> <a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84/1.htm">数据结构</a><a class="tag" taget="_blank" href="/search/mysql/1.htm">mysql</a><a class="tag" taget="_blank" href="/search/%E7%AE%97%E6%B3%95/1.htm">算法</a> <div>Hash 索引结构的特殊性,其 检索效率非常高,索引的检索可以一次定位,不像B-Tree 索引需要从根节点到枝节点,最后才能访问到页节点这样多次的IO访问,所以 Hash 索引的查询效率要远高于 B-Tree 索引。     可能很多人又有疑问了,既然 Hash 索引的效率要比 B-Tree 高很多,为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢</div> </li> <li><a href="/article/1173.htm" title="JAVA的抽象--- 接口 --实现" target="_blank">JAVA的抽象--- 接口 --实现</a> <span class="text-muted">百合不是茶</span> <div>抽象 接口 实现接口   //抽象 类 ,方法   //定义一个公共抽象的类 ,并在类中定义一个抽象的方法体 抽象的定义使用abstract   abstract class A 定义一个抽象类 例如: //定义一个基类 public abstract class A{     //抽象类不能用来实例化,只能用来继承 //</div> </li> <li><a href="/article/1300.htm" title="JS变量作用域实例" target="_blank">JS变量作用域实例</a> <span class="text-muted">bijian1013</span> <a class="tag" taget="_blank" href="/search/%E4%BD%9C%E7%94%A8%E5%9F%9F/1.htm">作用域</a> <div><script> var scope='hello'; function a(){ console.log(scope); //undefined var scope='world'; console.log(scope); //world console.log(b); </div> </li> <li><a href="/article/1427.htm" title="TDD实践(二)" target="_blank">TDD实践(二)</a> <span class="text-muted">bijian1013</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/TDD/1.htm">TDD</a> <div>实践题目:分解质因数 Step1: 单元测试: package com.bijian.study.factor.test; import java.util.Arrays; import junit.framework.Assert; import org.junit.Before; import org.junit.Test; import com.bijian.</div> </li> <li><a href="/article/1554.htm" title="[MongoDB学习笔记一]MongoDB主从复制" target="_blank">[MongoDB学习笔记一]MongoDB主从复制</a> <span class="text-muted">bit1129</span> <a class="tag" taget="_blank" href="/search/mongodb/1.htm">mongodb</a> <div>MongoDB称为分布式数据库,主要原因是1.基于副本集的数据备份, 2.基于切片的数据扩容。副本集解决数据的读写性能问题,切片解决了MongoDB的数据扩容问题。   事实上,MongoDB提供了主从复制和副本复制两种备份方式,在MongoDB的主从复制和副本复制集群环境中,只有一台作为主服务器,另外一台或者多台服务器作为从服务器。 本文介绍MongoDB的主从复制模式,需要指明</div> </li> <li><a href="/article/1681.htm" title="【HBase五】Java API操作HBase" target="_blank">【HBase五】Java API操作HBase</a> <span class="text-muted">bit1129</span> <a class="tag" taget="_blank" href="/search/hbase/1.htm">hbase</a> <div>import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.ha</div> </li> <li><a href="/article/1808.htm" title="python调用zabbix api接口实时展示数据" target="_blank">python调用zabbix api接口实时展示数据</a> <span class="text-muted">ronin47</span> <div>zabbix api接口来进行展示。经过思考之后,计划获取如下内容:     1、  获得认证密钥     2、  获取zabbix所有的主机组     3、  获取单个组下的所有主机     4、  获取某个主机下的所有监控项  </div> </li> <li><a href="/article/1935.htm" title="jsp取得绝对路径" target="_blank">jsp取得绝对路径</a> <span class="text-muted">byalias</span> <a class="tag" taget="_blank" href="/search/%E7%BB%9D%E5%AF%B9%E8%B7%AF%E5%BE%84/1.htm">绝对路径</a> <div>在JavaWeb开发中,常使用绝对路径的方式来引入JavaScript和CSS文件,这样可以避免因为目录变动导致引入文件找不到的情况,常用的做法如下: 一、使用${pageContext.request.contextPath}   代码” ${pageContext.request.contextPath}”的作用是取出部署的应用程序名,这样不管如何部署,所用路径都是正确的。 </div> </li> <li><a href="/article/2062.htm" title="Java定时任务调度:用ExecutorService取代Timer" target="_blank">Java定时任务调度:用ExecutorService取代Timer</a> <span class="text-muted">bylijinnan</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a> <div>《Java并发编程实战》一书提到的用ExecutorService取代Java Timer有几个理由,我认为其中最重要的理由是: 如果TimerTask抛出未检查的异常,Timer将会产生无法预料的行为。Timer线程并不捕获异常,所以 TimerTask抛出的未检查的异常会终止timer线程。这种情况下,Timer也不会再重新恢复线程的执行了;它错误的认为整个Timer都被取消了。此时,已经被</div> </li> <li><a href="/article/2189.htm" title="SQL 优化原则" target="_blank">SQL 优化原则</a> <span class="text-muted">chicony</span> <a class="tag" taget="_blank" href="/search/sql/1.htm">sql</a> <div> 一、问题的提出  在应用系统开发初期,由于开发数据库数据比较少,对于查询SQL语句,复杂视图的的编写等体会不出SQL语句各种写法的性能优劣,但是如果将应用系统提交实际应用后,随着数据库中数据的增加,系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据,劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍,可见对于一个系统</div> </li> <li><a href="/article/2316.htm" title="java 线程弹球小游戏" target="_blank">java 线程弹球小游戏</a> <span class="text-muted">CrazyMizzz</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/%E6%B8%B8%E6%88%8F/1.htm">游戏</a> <div>最近java学到线程,于是做了一个线程弹球的小游戏,不过还没完善 这里是提纲 1.线程弹球游戏实现 1.实现界面需要使用哪些API类 JFrame JPanel JButton FlowLayout Graphics2D Thread Color ActionListener ActionEvent MouseListener Mouse</div> </li> <li><a href="/article/2443.htm" title="hadoop jps出现process information unavailable提示解决办法" target="_blank">hadoop jps出现process information unavailable提示解决办法</a> <span class="text-muted">daizj</span> <a class="tag" taget="_blank" href="/search/hadoop/1.htm">hadoop</a><a class="tag" taget="_blank" href="/search/jps/1.htm">jps</a> <div>hadoop jps出现process information unavailable提示解决办法   jps时出现如下信息: 3019 -- process information unavailable3053 -- process information unavailable2985 -- process information unavailable2917 -- </div> </li> <li><a href="/article/2570.htm" title="PHP图片水印缩放类实现" target="_blank">PHP图片水印缩放类实现</a> <span class="text-muted">dcj3sjt126com</span> <a class="tag" taget="_blank" href="/search/PHP/1.htm">PHP</a> <div> <?php class Image{ private $path; function __construct($path='./'){ $this->path=rtrim($path,'/').'/'; } //水印函数,参数:背景图,水印图,位置,前缀,TMD透明度 public function water($b,$l,$pos</div> </li> <li><a href="/article/2697.htm" title="IOS控件学习:UILabel常用属性与用法" target="_blank">IOS控件学习:UILabel常用属性与用法</a> <span class="text-muted">dcj3sjt126com</span> <a class="tag" taget="_blank" href="/search/ios/1.htm">ios</a><a class="tag" taget="_blank" href="/search/UILabel/1.htm">UILabel</a> <div>参考网站: http://shijue.me/show_text/521c396a8ddf876566000007 http://www.tuicool.com/articles/zquENb http://blog.csdn.net/a451493485/article/details/9454695 http://wiki.eoe.cn/page/iOS_pptl_artile_281</div> </li> <li><a href="/article/2824.htm" title="完全手动建立maven骨架" target="_blank">完全手动建立maven骨架</a> <span class="text-muted">eksliang</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/eclipse/1.htm">eclipse</a><a class="tag" taget="_blank" href="/search/Web/1.htm">Web</a> <div>建一个 JAVA 项目 : mvn archetype:create -DgroupId=com.demo -DartifactId=App [-Dversion=0.0.1-SNAPSHOT] [-Dpackaging=jar] 建一个 web 项目 : mvn archetype:create -DgroupId=com.demo -DartifactId=web-a</div> </li> <li><a href="/article/2951.htm" title="配置清单" target="_blank">配置清单</a> <span class="text-muted">gengzg</span> <a class="tag" taget="_blank" href="/search/%E9%85%8D%E7%BD%AE/1.htm">配置</a> <div>1、修改grub启动的内核版本 vi /boot/grub/grub.conf 将default 0改为1 拷贝mt7601Usta.ko到/lib文件夹 拷贝RT2870STA.dat到 /etc/Wireless/RT2870STA/文件夹 拷贝wifiscan到bin文件夹,chmod 775 /bin/wifiscan 拷贝wifiget.sh到bin文件夹,chm</div> </li> <li><a href="/article/3078.htm" title="Windows端口被占用处理方法" target="_blank">Windows端口被占用处理方法</a> <span class="text-muted">huqiji</span> <a class="tag" taget="_blank" href="/search/windows/1.htm">windows</a> <div>以下文章主要以80端口号为例,如果想知道其他的端口号也可以使用该方法..........................1、在windows下如何查看80端口占用情况?是被哪个进程占用?如何终止等.        这里主要是用到windows下的DOS工具,点击"开始"--"运行",输入&</div> </li> <li><a href="/article/3205.htm" title="开源ckplayer 网页播放器, 跨平台(html5, mobile),flv, f4v, mp4, rtmp协议. webm, ogg, m3u8 !" target="_blank">开源ckplayer 网页播放器, 跨平台(html5, mobile),flv, f4v, mp4, rtmp协议. webm, ogg, m3u8 !</a> <span class="text-muted">天梯梦</span> <a class="tag" taget="_blank" href="/search/mobile/1.htm">mobile</a> <div>CKplayer,其全称为超酷flv播放器,它是一款用于网页上播放视频的软件,支持的格式有:http协议上的flv,f4v,mp4格式,同时支持rtmp视频流格 式播放,此播放器的特点在于用户可以自己定义播放器的风格,诸如播放/暂停按钮,静音按钮,全屏按钮都是以外部图片接口形式调用,用户根据自己的需要制作 出播放器风格所需要使用的各个按钮图片然后替换掉原始风格里相应的图片就可以制作出自己的风格了,</div> </li> <li><a href="/article/3332.htm" title="简单工厂设计模式" target="_blank">简单工厂设计模式</a> <span class="text-muted">hm4123660</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/%E5%B7%A5%E5%8E%82%E8%AE%BE%E8%AE%A1%E6%A8%A1%E5%BC%8F/1.htm">工厂设计模式</a><a class="tag" taget="_blank" href="/search/%E7%AE%80%E5%8D%95%E5%B7%A5%E5%8E%82%E6%A8%A1%E5%BC%8F/1.htm">简单工厂模式</a> <div>       简单工厂模式(Simple Factory Pattern)属于类的创新型模式,又叫静态工厂方法模式。是通过专门定义一个类来负责创建其他类的实例,被创建的实例通常都具有共同的父类。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式,可以理解为是不同工厂模式的一个特殊实现。 </div> </li> <li><a href="/article/3459.htm" title="maven笔记" target="_blank">maven笔记</a> <span class="text-muted">zhb8015</span> <a class="tag" taget="_blank" href="/search/maven/1.htm">maven</a> <div>跳过测试阶段: mvn package -DskipTests 临时性跳过测试代码的编译: mvn package -Dmaven.test.skip=true   maven.test.skip同时控制maven-compiler-plugin和maven-surefire-plugin两个插件的行为,即跳过编译,又跳过测试。   指定测试类 mvn test</div> </li> <li><a href="/article/3586.htm" title="非mapreduce生成Hfile,然后导入hbase当中" target="_blank">非mapreduce生成Hfile,然后导入hbase当中</a> <span class="text-muted">Stark_Summer</span> <a class="tag" taget="_blank" href="/search/map/1.htm">map</a><a class="tag" taget="_blank" href="/search/hbase/1.htm">hbase</a><a class="tag" taget="_blank" href="/search/reduce/1.htm">reduce</a><a class="tag" taget="_blank" href="/search/Hfile/1.htm">Hfile</a><a class="tag" taget="_blank" href="/search/path%E5%AE%9E%E4%BE%8B/1.htm">path实例</a> <div>最近一个群友的boss让研究hbase,让hbase的入库速度达到5w+/s,这可愁死了,4台个人电脑组成的集群,多线程入库调了好久,速度也才1w左右,都没有达到理想的那种速度,然后就想到了这种方式,但是网上多是用mapreduce来实现入库,而现在的需求是实时入库,不生成文件了,所以就只能自己用代码实现了,但是网上查了很多资料都没有查到,最后在一个网友的指引下,看了源码,最后找到了生成Hfile</div> </li> <li><a href="/article/3713.htm" title="jsp web tomcat 编码问题" target="_blank">jsp web tomcat 编码问题</a> <span class="text-muted">王新春</span> <a class="tag" taget="_blank" href="/search/tomcat/1.htm">tomcat</a><a class="tag" taget="_blank" href="/search/jsp/1.htm">jsp</a><a class="tag" taget="_blank" href="/search/pageEncode/1.htm">pageEncode</a> <div>今天配置jsp项目在tomcat上,windows上正常,而linux上显示乱码,最后定位原因为tomcat 的server.xml 文件的配置,添加 URIEncoding 属性: <Connector port="8080" protocol="HTTP/1.1" connectionTi</div> </li> </ul> </div> </div> </div> <div> <div class="container"> <div class="indexes"> <strong>按字母分类:</strong> <a href="/tags/A/1.htm" target="_blank">A</a><a href="/tags/B/1.htm" target="_blank">B</a><a href="/tags/C/1.htm" target="_blank">C</a><a href="/tags/D/1.htm" target="_blank">D</a><a href="/tags/E/1.htm" target="_blank">E</a><a href="/tags/F/1.htm" target="_blank">F</a><a href="/tags/G/1.htm" target="_blank">G</a><a href="/tags/H/1.htm" target="_blank">H</a><a href="/tags/I/1.htm" target="_blank">I</a><a href="/tags/J/1.htm" target="_blank">J</a><a href="/tags/K/1.htm" target="_blank">K</a><a href="/tags/L/1.htm" target="_blank">L</a><a href="/tags/M/1.htm" target="_blank">M</a><a href="/tags/N/1.htm" target="_blank">N</a><a href="/tags/O/1.htm" target="_blank">O</a><a href="/tags/P/1.htm" target="_blank">P</a><a href="/tags/Q/1.htm" target="_blank">Q</a><a href="/tags/R/1.htm" target="_blank">R</a><a href="/tags/S/1.htm" target="_blank">S</a><a href="/tags/T/1.htm" target="_blank">T</a><a href="/tags/U/1.htm" target="_blank">U</a><a href="/tags/V/1.htm" target="_blank">V</a><a href="/tags/W/1.htm" target="_blank">W</a><a href="/tags/X/1.htm" target="_blank">X</a><a href="/tags/Y/1.htm" target="_blank">Y</a><a href="/tags/Z/1.htm" target="_blank">Z</a><a href="/tags/0/1.htm" target="_blank">其他</a> </div> </div> </div> <footer id="footer" class="mb30 mt30"> <div class="container"> <div class="footBglm"> <a target="_blank" href="/">首页</a> - <a target="_blank" href="/custom/about.htm">关于我们</a> - <a target="_blank" href="/search/Java/1.htm">站内搜索</a> - <a target="_blank" href="/sitemap.txt">Sitemap</a> - <a target="_blank" href="/custom/delete.htm">侵权投诉</a> </div> <div class="copyright">版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved. <!-- <a href="https://beian.miit.gov.cn/" rel="nofollow" target="_blank">京ICP备09083238号</a><br>--> </div> </div> </footer> <!-- 代码高亮 --> <script type="text/javascript" src="/static/syntaxhighlighter/scripts/shCore.js"></script> <script type="text/javascript" src="/static/syntaxhighlighter/scripts/shLegacy.js"></script> <script type="text/javascript" src="/static/syntaxhighlighter/scripts/shAutoloader.js"></script> <link type="text/css" rel="stylesheet" href="/static/syntaxhighlighter/styles/shCoreDefault.css"/> <script type="text/javascript" src="/static/syntaxhighlighter/src/my_start_1.js"></script> </body> </html>