彩虹一号
彩虹一号

Python网络爬虫：自动模拟HTTP请求&爬虫的异常处理&爬虫浏览器伪装技术&新闻爬虫实战

自动模拟HTTP请求

客户端如果要与服务器端进行通信，需要通过http请求进行，http请求有很多种，在此使用 post与get两种请求方式。比如登录、搜索某些信息的时候会用到。
get：从服务器上获取数据
post：向服务器传送数据

get请求
get请求可以通过URL传递信息
get请求实战----实现百度信息自动搜索
Python网络爬虫：自动模拟HTTP请求&爬虫的异常处理&爬虫浏览器伪装技术&新闻爬虫实战_第1张图片
post请求
适用于表单操作，比如登录使用
进行post，就需要使用urllib.request下面的Request(真实的post地址,post数据)
步骤：
1）设置post的地址
2）构造post的数据
3）请求、爬取、存储到本地
4）成功有对应的数据信息，没有成功就没有对应的数据信息
Python网络爬虫：自动模拟HTTP请求&爬虫的异常处理&爬虫浏览器伪装技术&新闻爬虫实战_第2张图片

爬虫的异常处理

异常处理的概述

爬虫在运行的过程中，经常遇到这样或那样的异常。如果没有异常处理，爬虫遇到异常时就会直接奔溃停止运行，下次再次运行时，又会从头开始，所以要开发一个具有顽强生命力的爬虫，必须要进行异常处理

常见状态码及含义

301 Moved Permanently：重定向到新的url，永久性
302 Found：重定向到临时的URL，非永久性
304 Not Modified：请求的资源未更新
400 Bad Request：非法请求
401 Unauthorized：请求未经授权
403 Forbidden：禁止访问
404 Not Found：没有找到对应页面
500 Internal Server Error ：服务器内部出现错误
501 Not Implement：服务器不支持实现请求所需要的功能

URLError与HTTPError

两者都是异常处理的类，HTTPError是URLError的子类，HTTPError有异常处理状态码与异常原因，URLError没有异常状态码，所以在处理的时候，不能使用URLError直接代替HTTPError。如果到代替，必须要判断是否有状态码属性。

URLError出现的原因：
1、可能连不上服务器
2、远程url不存在
3、无网络
4、触发HTTPError
Python网络爬虫：自动模拟HTTP请求&爬虫的异常处理&爬虫浏览器伪装技术&新闻爬虫实战_第3张图片
该页面可以爬取，故没有触发异常

爬虫浏览器伪装技术

若爬取的页面，返回的是403，是因为对方服务器会对爬虫进行了屏蔽。此时，我们需要伪装成浏览器才能爬取。
浏览器伪装我们一般通过报头进行
由于urlopen()对于一些HTTP的高级功能不支持，所以，我们如果要修改报头，可以使用两种方法：
1、urllib.request.build_opener() 修改报头伪装
2、urllib.request.Request()下的add_header()实现浏览器的模拟 添加报头
第一种方法来伪装：
Python网络爬虫：自动模拟HTTP请求&爬虫的异常处理&爬虫浏览器伪装技术&新闻爬虫实战_第4张图片
第二种方法伪装：
Python网络爬虫：自动模拟HTTP请求&爬虫的异常处理&爬虫浏览器伪装技术&新闻爬虫实战_第5张图片

新闻爬虫实战

需求：将搜狐新闻首页所有新闻都爬到本地
思路：先爬首页，通过正则获取所有新闻链接，然后依次爬各新闻，并存储到本地
Python网络爬虫：自动模拟HTTP请求&爬虫的异常处理&爬虫浏览器伪装技术&新闻爬虫实战_第6张图片

你可能感兴趣的:(Python学习)

  • python学习第七节：正则表达式 一只会敲代码的小灰灰 python学习python学习正则表达式
    python学习第七节：正则表达式正则表达式基本上在所有开发语言中都会使用到，在python中尤为重要。当我们使用python开发爬虫程序将目标网页扒下来之后我们要从网页中解析出我们想要的信息，这个时候就需要正则表达式去进行匹配。importrere的常量re模块中有9个常量，常量的值都是int类型！（知道就行）修饰符描述re.l使匹配对大小写不敏感re.L做本地化识别(locale-aware)
  • Python学习指南——1.常用库说明 r135792uuuu python-机器学习python
    说在前面在开发之前，要去python库官网上查看是否有帮助的库。结合百度和pypi.org网站直接寻找需要的库。库安装方法：1pip安装2.文件安装：UCI页面需要https://www.lfd.uci.edu/~gohlke/pythonlibs或者conda提供的那些网站也行。文件安装：下载UCI、whl文件之后，又要使用pipinstall文件来安装放到lib文件夹vscode特殊：通常把要
  • Python学习笔记-Day05 snape00
    Python学习笔记Day_05-构造程序逻辑作者的话学完前面的几个章节后，我觉得有必要在这里带大家做一些练习来巩固之前所学的知识，虽然迄今为止我们学习的内容只是Python的冰山一角，但是这些内容已经足够我们来构建程序中的逻辑。对于编程语言的初学者来说，在学习了Python的核心语言元素（变量、类型、运算符、表达式、分支结构、循环结构等）之后，必须做的一件事情就是尝试用所学知识去解决现实中的问题
  • 小猿圈python学习-内置函数 小猿圈IT教育
    Python的len为什么你可以直接用？肯定是解释器启动时就定义好了内置参数详解https://docs.python.org/3/library/functions.html?highlight=built#ascii每个函数的作用我都帮你标好了abs#求绝对值all#ReturnTrueifbool(x)isTrueforallvaluesxintheiterable.Iftheiterabl
  • python学习笔记第5节-类和函数 梁鋐俐
    我们在前面的学习中学会了一个叫type（）的函数，用它来判断变量的类型，变量和它当下存储的数据绑定在一起。例如a=[4,5,6,7]print(type(a)）输出a=range（10，20，2）print（type（a））输出a=Trueprint（type（a））输出a={‘a54’：56}print（type（a））输出a={‘a54’，56}print（type（a））输出a=‘tyuio
  • Python学习笔记--列表、字典、集合、元组 小黄酥 Pythonpython学习笔记
    Python学习笔记43-列表#列表主要是用来存储多个数据.列表是有序的集合list_1=[]#创建一个空的列表list_2=[12,34,56,True,'abc']#创建一个列表#列表的访问，通过下标访问列表中的元素，下标默认从0开始，0表示第一个元素，-1表示最后一个元素list_3=[1,2,3,False,True,'abc']print(list_3[0])#1print(list_3
  • 「python学习——小白篇」python函数中不定长参数的写法 小天真_5eeb
    那么作为新手该如何上手这门语言？一切不敲代码的学编程手段都是扯淡先来给大家来一个福利吧！python语法入门视频免费共享出来加q-u-n--227+435+450获取
  • python学习——conda install Python库时报PackagesNotFoundError:的错误的解决方案，很实用 _Oak_Tree_ python基础python
    安装完成Anaconda之后，我们可以在AnacondaPrompt交互式窗口中通过“condainstall库名称”实现Python库的安装，但是有时候在运用该命令进行安装时会提示PackagesNotFoundError:Thefollowingpackagesarenotavailablefromcurrentchannels:的错误，现在以Pydap库的安装为例，提供在Windows系统下
  • Python学习：执行系统shell命令 chaos-god pythonpythonshell
    1.问题python可以作为shell替代，代码比较直观，易于维护。python支持调用外部shell命令。不过，这个问题没有看上去简单，要完美的解决此问题，比较复杂，就连标准库也不见得处理得很好。2.方案2.1.方案一首先最简单的方法就是调用system方法，直接执行系统shell命令，代码如下：importosos.system('ls-l')system主要问题，就是无法获取shell命令的
  • 25道Python练手题（附详细答案），赶紧收藏！Python入门|Python学习 豆本-豆豆奶 python学习数据挖掘开发语言爬虫人工智能
    题目1：水仙花数水仙花数（Narcissisticnumber）也被称为超完全数字不变数（pluperfectdigitalinvariant,PPDI）、自恋数、自幂数、阿姆斯壮数或阿姆斯特朗数（Armstrongnumber）水仙花数是指一个3位数，它的每个位上的数字的3次幂之和等于它本身。例如：1^3+5^3+3^3=153。foriinrange(100,1000):i1=i//100#取
  • python学习笔记08_赋值运算、逻辑运算、表达式、短路原则 flamingocc
    python笔记081.赋值运算符num+=1等价于num=num+1num-=1等价于num=num-1num*=1等价于num=num*1num/=1等价于num=num/1num//2等价于num=num//2num%=2等价于num/2的余数num**2等价于num=num*num2.逻辑运算符逻辑运算符包含：not、and、or2.1and的用法：(且、并且)写法：条件1and条件2eg
  • Python学习笔记（三）：列表的定义、访问及修改 RANDY_Sw Python入门python
    今天学习了有关列表的定义、访问及修改的方法，在此整理一下。列表的定义与访问name_list=['zhangsan','lisi','wangwu']#创建一个列表name_list[0]='xiaobai'#修改列表中的单个元素print(name_list)#遍历的方式打印列表1foriteminname_list:print(item)#遍历的方式打印列表2i=0foriinrange(le
  • Python学习2：一定要注意用pycharm创建Python package和Pythonfile而不是普通路径和文件 土小帽软件测试 Python学习
    2019年5月7日23:30:02今天久违地再续上断了好久差点又半途而废的Python基础，结果跟着写继承，明明引入了父类，可还是运行报错，下面父类是Person，子类是Student，模块文件名小写。person文件：classPerson(object):def__init__(self,name,age):self.name=nameself.age=agedefrun(self):prin
  • Linux中检查网络问题的常用命令 程序员喵哥 Linux网络linuxphp服务器运维
    更多Python学习内容：ipengtao.com在Linux系统中，网络问题是常见的挑战之一。无论是服务器管理员还是普通用户，都可能遇到各种网络故障，如连接问题、DNS解析问题、网络延迟等。为了快速诊断和解决这些问题，掌握一些常用的网络故障排查命令是至关重要的。本文将介绍一些在Linux系统中常用的网络故障排查命令，并提供详细的示例代码，方便更好地理解和应用这些命令。ping命令ping命令是最
  • python安全渗透笔记 红云谈安全 python编程学习python安全
    Python学习python常见错误UnicodeDecodeError:‘gbk’codeccan’tdecodebyte0x8cinposition22:illegalmultibytesequence//打开的文件未编码encoding='UTF-8'expectedanindentedblock未缩进，ifforcontinue又进入一次新的循环%将其他变量置入字符串特定位置以生成新字符串
  • Pyhton抓取BOSS直聘职位描述和数据清洗，很简单没有那么难 嗨学编程
    一、抓取详细的职位描述信息详情页分析Python学习资料或者需要代码、视频加Python学习群：960410445在详情页中，比较重要的就是职位描述和工作地址这两个由于在页面代码中岗位职责和任职要求是在一个div中的，所以在抓的时候就不太好分，后续需要把这个连体婴儿，分开分析。爬虫用到的库使用的库有：requestsBeautifulSoup4pymongoPython代码代码easy，初学者都能
  • Python基础（十二）：字典的详细讲解 m0_60707685 程序员python学习面试
    感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：①2000多本Python电子书（主流和经典的书籍应该都有了）②Python标准库资料（最全中文版）③项目源码（四五十个有趣且经典的练手项目及源码）④Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）⑤Python学习路线图（告别不入流的学习）网上学习资料一大堆，但如果学到的知识不成体系，遇到问题
  • Python基础（十五）：推导式的讲解_python基础(十五) 推导式的讲解 m0_60707685 程序员python学习面试
    （1）Python所有方向的学习路线（新版）这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。（2）Python学习视频包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门
  • socket网络编程python_python学习-socket网络编程 张文岳
    作业：多用户在线的FTP程序要求：用户加密认证允许同时多用户登录每个用户有自己的家目录，且只能访问自己的家目录对用户进行磁盘配额，每个用户的可用空间不同允许用户在ftpserver上随意切换目录允许用户查看当前目录下文件允许上传和下载文件，保证文件一致性文件传输过程中显示进度条附加功能：支持文件的断点续传(仅下载)README###功能实现作业：开发一个支持多用户在线的FTP程序要求：用户加密认证
  • python学习第六节：使用python制作九九乘法表和学生管理系统 一只会敲代码的小灰灰 经验总结python学习开发语言pycharm
    python学习第六节：使用python制作九九乘法表和学生管理系统通过前面五节的了解，已经大概知道python的语法以及基础函数，下面是简单的两个小程序。不会做没关系，看得懂就可以了，如果能够自己加工举一反三那就更好了。ps:前面五节只是简单讲解了python的基础语法和函数，也就是混个脸熟，没有进行深入讲解，如果展开来讲的话每一个单独的语法和函数都能将几大章，而很多语法和函数的用法我们根本用不
  • python函数全局变量和局部变量_Python学习（六）—— 函数、全局变量与局部变量... weixin_39654917
    函数函数的定义1deftest(x):2"Thefunctiondefinition"3x+=14returnxdef：定义函数的关键字test：函数名()：内可定义形参“”：文档描述，非必要，但添加后可使得函数更易理解x+=1：泛指代码块或程序处理逻辑，最好不要过多，让函数的功能简洁明了return：定义返回值调用运行：可以带参数也可以不带函数名()1deftest(x):2"Thefuncti
  • python学习12：对txt/text类型的文件进行读写 一名在八月份找工作的测试员 前端linuxjavascript
    1.对txt类型的文件进行读写1）对text文件的操作打开文件-读/写文件-关闭文件1.1)打开文件open()1.2)读/写文件读:read(),readline(),rendlines()写:write()1.3)关闭文件close()#案例1:(读):mode='r'#filename='test004.txt'#同一个文件夹filename=r'D:\stdutyZiLiao\python
  • Python学习日记（Page.8） 空手套不到_白狼 学习pycharmpython
    今日整理以便日后查看。如有错误欢迎指出。今天聊一下while循环语句。格式：while条件:条件满足时，做的事情1条件满足时，做的事情2条件满足时，做的事情3......案例：题目为求1累计加到100的和i＝1sum＝0whilei＜＝100sum+＝ii+＝1print("1到100的和为：%d"%sum)
  • 基于python的游戏玩家行为数据分析与预测_python有付费数据如何做简单预测(1) 2401_84538391 程序员python游戏数据分析
    学好Python不论是就业还是做副业赚钱都不错，但要学会Python还是要有一个学习规划。最后大家分享一份全套的Python学习资料，给那些想学习Python的小伙伴们一点帮助！一、Python所有方向的学习路线Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。二、学习软件工欲善其
  • Python常用的10个自动化脚本（附详细源码）！ 进击的六角龙 Pythonpython自动化自动化办公开发语言
    前言Python是一种强大的编程语言，非常适合自动化各种任务。以下列出了Python常用于自动化的10个脚本示例，涵盖了文件管理、网络操作、数据处理等多个方面（文末附python学习资料）。1.文件备份脚本这个脚本可以定期备份指定目录下的所有文件到另一个位置。importshutilimportosimportdatetimedefbackup_files(src,dst):timestamp=d
  • Python递归爬取今日头条指定用户一个月内发表的所有文章，视频，微头条(2) 2401_84139095 程序员python开发语言
    感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：①2000多本Python电子书（主流和经典的书籍应该都有了）②Python标准库资料（最全中文版）③项目源码（四五十个有趣且经典的练手项目及源码）④Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）⑤Python学习路线图（告别不入流的学习）网上学习资料一大堆，但如果学到的知识不成体系，遇到问题
  • 周报 | 24.8.26-24.9.1文章汇总 双木的木 python拓展学习深度学习拓展阅读目标检测人工智能python计算机视觉gpttransformerstablediffusion
    为了更好地整理文章和发表接下来的文章，以后每周都汇总一份周报。周报|24.8.19-24.8.25文章汇总-CSDN博客python|提升代码迭代速度的Python重载方法-CSDN博客机器学习算法与Python学习|黑匣子被打开了？能玩的Transformer可视化解释工具！_研究别人的黑盒算法机器学习python-CSDN博客极市平台|语言图像模型大一统！Meta将Transformer和Di
  • Python学习日记（Pag.7） 空手套不到_白狼 学习pythonpycharm
    拿猜数字的案例说一下判断语句的嵌套。如有错误欢迎指正。题目：要求如下：1.数字随机产生，范围为1-102.有3次机会猜测数字，通过三层嵌套判断实现3.每次都猜不中的话，会提示猜大了还是小了示例：importrandomnum=random.randint(1,10)#随机生成1-10以内的数字guess_num=int(input("您所猜测的数字是:"))ifguess_num==num:pri
  • Python学习日志（1）—— IDE Strawberry96 python学习idepython
    IDE，集成开发环境，帮助我们进行高效的开发。Python开发——IDE应用场景选择：适合本地开发：VSCode：适合初学者，轻量级PyCharm：适合有经验的程序员，多人合作，重量级适合远程开发：Jupter：适合数学科学家，AI开发VSCode和PyCharm的安装比较简单。Jupter是第一次听说，在进行AI的开发或者是图片处理之类的，可以在远程开发。安装Jupter//3.12是对应的py
  • Python学习和面试中的常见问题及答案 写代码的M教授 Python学习计划python学习面试
    整理了一些关于Python和机器学习算法的高级问题及其详细答案。这些问题涵盖了多个方面，包括数据处理、模型训练、评估、优化和实际应用。一、Python编程问题解释Python中的装饰器（Decorators）是什么？它们的作用是什么？答案：装饰器是一种高阶函数，能够在不修改函数定义的情况下扩展或修改函数的行为。它们通常用于日志记录、权限验证、缓存等场景。使用@decorator_name语法将装饰
  • Spring4.1新特性——综述 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Schema与数据类型优化 annan211 数据结构mysql
    目前商城的数据库设计真是一塌糊涂，表堆叠让人不忍直视，无脑的架构师，说了也不听。 在数据库设计之初，就应该仔细揣摩可能会有哪些查询，有没有更复杂的查询，而不是仅仅突出 很表面的业务需求，这样做会让你的数据库性能成倍提高，当然，丑陋的架构师是不会这样去考虑问题的。 选择优化的数据类型 1 更小的通常更好 更小的数据类型通常更快，因为他们占用更少的磁盘、内存和cpu缓存，
  • 第一节 HTML概要学习 chenke htmlWebcss
    第一节 HTML概要学习 1. 什么是HTML HTML是英文Hyper Text Mark-up Language(超文本标记语言)的缩写，它规定了自己的语法规则，用来表示比“文本”更丰富的意义，比如图片，表格，链接等。浏览器（IE,FireFox等）软件知道HTML语言的语法，可以用来查看HTML文档。目前互联网上的绝大部分网页都是使用HTML编写的。 打开记事本 输入一下内
  • MyEclipse里部分习惯的更改 Array_06 eclipse
    继续补充中---------------------- 1.更改自己合适快捷键windows-->prefences-->java-->editor-->Content Assist-->      Activation triggers for java的右侧“.”就可以改变常用的快捷键 选中 Text
  • 近一个月的面试总结 cugfy 面试
    本文是在学习中的总结，欢迎转载但请注明出处：http://blog.csdn.net/pistolove/article/details/46753275 前言       打算换个工作，近一个月面试了不少的公司，下面将一些面试经验和思考分享给大家。另外校招也快要开始了，为在校的学生提供一些经验供参考，希望都能找到满意的工作。 
  • HTML5一个小迷宫游戏 357029540 html5
         通过《HTML5游戏开发》摘抄了一个小迷宫游戏，感觉还不错，可以画画，写字，把摘抄的代码放上来分享下，喜欢的同学可以拿来玩玩！ <html> <head> <title>创建运行迷宫</title> <script type="text/javascript"
  • 10步教你上传githib数据 张亚雄 git
    官方的教学还有其他博客里教的都是给懂的人说得，对已我们这样对我大菜鸟只能这么来锻炼，下面先不玩什么深奥的，先暂时用着10步干净利索。等玩顺溜了再用其他的方法。 操作过程（查看本目录下有哪些文件NO.1）ls （跳转到子目录NO.2）cd+空格+目录 （继续NO.3）ls （匹配到子目录NO.4）cd+ 目录首写字母+tab键+（首写字母“直到你所用文件根就不再按TAB键了”） （查看文件
  • MongoDB常用操作命令大全 adminjun mongodb操作命令
    成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令，只是MongoDB没有创建数据库的命令，但有类似的命令 如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（如：db.createCollection('user')）,这样就可以创建一个名叫“myTest”的数据库。 一
  • bat调用jar包并传入多个参数 aijuans
    下面的主程序是通过eclipse写的： 1.在Main函数接收bat文件传递的参数（String[] args）  如：   String ip =args[0];          String user=args[1];       &nbs
  • Java中对类的主动引用和被动引用 ayaoxinchao java主动引用对类的引用被动引用类初始化
      在Java代码中，有些类看上去初始化了，但其实没有。例如定义一定长度某一类型的数组，看上去数组中所有的元素已经被初始化，实际上一个都没有。对于类的初始化，虚拟机规范严格规定了只有对该类进行主动引用时，才会触发。而除此之外的所有引用方式称之为对类的被动引用，不会触发类的初始化。虚拟机规范严格地规定了有且仅有四种情况是对类的主动引用，即必须立即对类进行初始化。四种情况如下：1.遇到ne
  • 导出数据库 提示 outfile disabled BigBird2012 mysql
    在windows控制台下，登陆mysql，备份数据库：   mysql>mysqldump -u root -p test test > D:\test.sql 使用命令 mysqldump 格式如下： mysqldump -u root -p *** DBNAME > E:\\test.sql。 注意：执行该命令的时候不要进入mysql的控制台再使用，这样会报
  • Javascript 中的 && 和 || bijian1013 JavaScript&&||
            准备两个对象用于下面的讨论 var alice = { name: "alice", toString: function () { return this.name; } } var smith = { name: "smith",
  • [Zookeeper学习笔记之四]Zookeeper Client Library会话重建 bit1129 zookeeper
    为了说明问题，先来看个简单的示例代码：   package com.tom.zookeeper.book; import com.tom.Host; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.Wat
  • 【Scala十一】Scala核心五：case模式匹配 bit1129 scala
    package spark.examples.scala.grammars.caseclasses object CaseClass_Test00 { def simpleMatch(arg: Any) = arg match { case v: Int => "This is an Int" case v: (Int, String)
  • 运维的一些面试题 yuxianhua linux
    1、Linux挂载Winodws共享文件夹   mount -t cifs //1.1.1.254/ok /var/tmp/share/ -o username=administrator,password=yourpass 或 mount -t cifs -o username=xxx,password=xxxx //1.1.1.1/a /win    
  • Java lang包-Boolean BrokenDreams boolean
             Boolean类是Java中基本类型boolean的包装类。这个类比较简单，直接看源代码吧。 public final class Boolean implements java.io.Serializable,
  • 读《研磨设计模式》-代码笔记-命令模式-Command bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.List; /** * GOF 在《设计模式》一书中阐述命令模式的意图：“将一个请求封装
  • matlab下GPU编程笔记 cherishLC matlab
    不多说，直接上代码 gpuDevice % 查看系统中的gpu,,其中的DeviceSupported会给出matlab支持的GPU个数。 g=gpuDevice(1); %会清空 GPU 1中的所有数据,,将GPU1 设为当前GPU reset(g) %也可以清空GPU中数据。 a=1; a=gpuArray(a); %将a从CPU移到GPU中 onGP
  • SVN安装过程 crabdave SVN
    SVN安装过程   subversion-1.6.12   ./configure --prefix=/usr/local/subversion --with-apxs=/usr/local/apache2/bin/apxs --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr --with-openssl=/
  • sql　行列转换 daizj sql行列转换行转列列转行
    行转列的思想是通过case when 来实现 列转行的思想是通过union all 来实现 下面具体例子： 假设有张学生成绩表(tb)如下: Name Subject Result 张三 语文　　74 张三 数学　　83 张三 物理　　93 李四 语文　　74 李四 数学　　84 李四 物理　　94 */ /* 想变成 姓名   &
  • MySQL--主从配置 dcj3sjt126com mysql
    linux下的mysql主从配置： 说明：由于MySQL不同版本之间的(二进制日志)binlog格式可能会不一样，因此最好的搭配组合是Master的MySQL版本和Slave的版本相同或者更低， Master的版本肯定不能高于Slave版本。（版本向下兼容） mysql1  : 192.168.100.1    //master mysq
  • 关于yii 数据库添加新字段之后model类的修改 dcj3sjt126com Model
    rules: array('新字段','safe','on'=>'search') 1、array('新字段', 'safe')//这个如果是要用户输入的话，要加一下， 2、array('新字段', 'numerical'),//如果是数字的话 3、array('新字段', 'length', 'max'=>100),//如果是文本 1、2、3适当的最少要加一条，新字段才会被
  • sublime text3 中文乱码解决 dyy_gusi Sublime Text
    sublime text3中文乱码解决 原因：缺少转换为UTF-8的插件 目的：安装ConvertToUTF8插件包 第一步：安装能自动安装插件的插件，百度“Codecs33”，然后按照步骤可以得到以下一段代码： import urllib.request,os,hashlib; h = 'eb2297e1a458f27d836c04bb0cbaf282' + 'd0e7a30980927
  • 概念了解：CGI，FastCGI，PHP-CGI与PHP-FPM geeksun PHP
    CGI CGI全称是“公共网关接口”(Common Gateway Interface)，HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具，其程序须运行在网络服务器上。 CGI可以用任何一种语言编写，只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。 FastCGI FastCGI像是一个常驻(long-live)型的CGI，它可以一直执行着，只要激活后，不
  • Git push 报错 "error: failed to push some refs to " 解决 hongtoushizi git
    Git push 报错 "error: failed to push some refs to " . 此问题出现的原因是：由于远程仓库中代码版本与本地不一致冲突导致的。 由于我在第一次git pull --rebase 代码后，准备push的时候，有别人往线上又提交了代码。所以出现此问题。 解决方案： 1： git pull    2：
  • 第四章 Lua模块开发 jinnianshilongnian nginxlua
    在实际开发中，不可能把所有代码写到一个大而全的lua文件中，需要进行分模块开发；而且模块化是高性能Lua应用的关键。使用require第一次导入模块后，所有Nginx 进程全局共享模块的数据和代码，每个Worker进程需要时会得到此模块的一个副本（Copy-On-Write），即模块可以认为是每Worker进程共享而不是每Nginx Server共享；另外注意之前我们使用init_by_lua中初
  • java.lang.reflect.Proxy liyonghui160com
      1.简介   Proxy 提供用于创建动态代理类和实例的静态方法 （1）动态代理类的属性 代理类是公共的、最终的，而不是抽象的 未指定代理类的非限定名称。但是，以字符串 "$Proxy" 开头的类名空间应该为代理类保留 代理类扩展 java.lang.reflect.Proxy 代理类会按同一顺序准确地实现其创建时指定的接口
  • Java中getResourceAsStream的用法 pda158 java
    1.Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径，最终还是由ClassLoader获取资源。 　　2. Class.getClassLoader.get
  • spring 包官方下载地址（非maven） sinnk spring
    SPRING官方网站改版后，建议都是通过 Maven和Gradle下载，对不使用Maven和Gradle开发项目的，下载就非常麻烦，下给出Spring Framework jar官方直接下载路径:   http://repo.springsource.org/libs-release-local/org/springframework/spring/   s
  • Oracle学习笔记(7) 开发PLSQL子程序和包 vipbooks oraclesql编程
        哈哈，清明节放假回去了一下，真是太好了，回家的感觉真好啊！现在又开始出差之旅了，又好久没有来了，今天继续Oracle的学习！      这是第七章的学习笔记，学习完第六章的动态SQL之后，开始要学习子程序和包的使用了……，希望大家能多给俺一些支持啊！     编程时使用的工具是PLSQL
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他