weixin_39862716
weixin_39862716

python千人成像_Python爬虫系列

Python爬虫系列

背景

由于近来学(lan)业(ai)繁(fa)忙(zuo)，快一个月没有更新博客了。这周完成了两门课的结课考试，现下时间开始变得充裕。准备梳理一下前段时间学习的关于Python爬虫的内容，权当复习巩固知识。而初次学习时遇到的疑难杂症，那时候的应对策略是抓大放下，在这梳理过程会下定决心一一攻克。

由于本人技术有限，错漏处还望各友不吝赐教。

梳理知识点

python2:urllib2爬虫

python3:Requests爬虫

xpath的使用

Tesseract的使用

Selenium与PhantomJS

scrapy下载图片实例

scrapy 模拟登陆

scrapy数据写入MySOL, MongoDB

scrapy-redis使用

说明： 需要梳理的知识点，大致为这些，等全部写完后会做成链接实现跳转，并且根据实际情况目录会有相应的调整。

更新：018.11.19

爬虫总结

什么是爬虫？对应英文单词spider，一个形象说法。用大白话释义：从网上批量获取数据的程序。当前我们常用的百度，其实就是一个大型爬虫，它没日没夜爬取别人网站上的数据，然后解析入库，当你在搜索框键入文字敲下回车之后，百度按照一定的算法从自家数据库找出对应的内容给你看。当然，呈现结果的前几条一定会是金主的广告。

所以爬虫应该包括：请求数据—>解析数据—>录入数据。三个阶段，与我系列内容有以下映射关系：

请求数据：urllib2(1)| urllib2(2)| requests

解析数据：xpath | BeautifulSoup | 正则表达式 | Python爬虫-PyQuery

录入数据：MySQL | MongoDB | Redis

但肆无忌惮的爬虫可能引发网站服务器宕机，因此出现反爬机制。对动态渲染的网页，或是需要滑块验证，我们可以考虑使用自动化工具Selenium：Selenium(1) | Selenium(2) | Selenium(3)

身处信息爆炸时代，获取数据的时机也很重要，可以说是越快越好，所以有了速度篇：速度(1) | 速度(2) | 速度(3) (但我强烈建议还是别太快)

每篇对应了一个实战案例，可谓十分良心[ 不要脸.jpg ]。而基于上述内容，于是有了《小黑的六一专属礼物》(爬取头条街拍)《二进制记得》(爬取QQ空间留言)《Python下载会员歌曲》(下载QQ音乐付费歌曲)《知乎登陆》(模拟知乎登陆)《说电影》(爬取猫眼影评)《千人成像》(爬取花瓣网)，事实上这些只是公众号上发出来的，更多可以看看我GitHub(youguanxinqing)。尽管时间间隔越久的代码，越多缺点，但都是我一步步来时留下的印记。

说明：这些内容大部分CSDN上有，个别只在公众号上更新。

关于反爬虫

你可以关注以下几点：

(1)User-Agent：你可以考虑Python的flake-agent包，尽管有的网站不仅限UA，所以关注headers中的其他字段很有必要。

(2)速度：尽可能让你的爬虫速度适中。

(3)Selenium：这个自动化工具可以让你的程序更像是人在操作，重点是用起来还简单，算得上个人爬虫的终极武器。

(4)IP代理：当你的爬虫程序需要短时间内获取数据，可以考虑付费IP。事实上许多商业爬虫，都用到了IP代理。

(5)验证码：不是所有验证码都可以用简单的程序破解，所以你不得不使用一些打码平台。

关于获取数据

(1)如果可以，一定要从json中提取数据；从html中解析数据应该是下下策。

(2)如果web获取数据太难，你应该考虑移动端。

(3)一些需要登陆才能获取数据的网站，或者是有些数据需要登陆网站才能获取，常规登陆不好使，selenium实现也太难，你应该考虑“扫描二维码登陆”的接口。但还有一个下下策是：拷贝浏览器中的cookies。

关于学习：

(1)视频：事实上只要你稍微用点心，免费获取各大培训公司的教学视频是很容易的。我比较建议入门考虑黑马传智，但老男孩讲的内容会更全面。

(2)书籍：强推崔庆才的《Python3 网络爬虫开发实战》。起初我看到许多公众号推荐，还以为是商业互吹的日常操作，直到我在坊间得到盗版……咳咳，反正良心书。《精通Python爬虫框架Scrapy》《Python网络数据采集》二书建议有一定基础之后再看，重点关注老外写代码的思想。主要是书上有些示例是国外url，除非你会科学上网……

关于工具：

(1)我不建议使用百度，谷歌会更好，但国内如何使用谷歌搜索，别问我，我不知道！

(2)记笔记你应该考虑markdown相关工具。我用的是马克飞象+印象笔记。当然，我都开了年会。印象笔记更是直接开了三年，因为我真心害怕它会倒闭，我那么多笔记怎么办？所以多给他一些钱。其他如有道云笔记，为知笔记，微软的OneNote，我并不能用得习惯。

(3)你应该尝试也去努力习惯linux下编程。这是我从linux编程到windows编程，现在又回到linux的心得。

以上是我此时此刻能想到的一切。

关于计划

事实上计划中的一些内容并没有写在这个系列中，比如后来发现Tsseract不会太好用，Scrapy框架想单独出一个系列。后来因为公司宿舍网不好，写爬虫有碍体验，或许会让Scrapy无限期延后。

而“Selenium与PhantomJS”改成了chrome driver，是因为Python不再愿意支持PhantomJS，若是你一定要用，解释器会提示warning。

事实上Python2中的urllib2在Python3依然存在，只是挪到了urllib中，常用包括：urllib.request，urllib.parse，urllib.error。只是那时候我还不知道，因选择从Python2做了系列的起点。

之后打算写一个数据可视化系列。继续充电吧！

一些感想

爬虫有帮助到我许多。

比如暑假实训，写微信小程序的时候需要做一个“一句一图”的功能，于是爬了《ONE》；当浏览器不知何故不能访问学校教务处，不能查询自己的成绩，于是写了获取成绩的爬虫；因为白天在公司聊QQ，任务没有做完，而需要的数据又在公司的服务器上，只能在公司访问，便写了一个爬虫把需要的数据全部装进mongo，带上笔记本愉快回家……

想起高中酷爱逛豆瓣，每个周末回家都会手动复制一些文章到word中，再传到手机里带回学校看，如果那时我知道爬虫的话……

想起14年让朋友帮忙截图记录《一个》上的文章，如果那时候我会爬虫的话……

如果就此可以以小见大的话，我好想武断地说：编程是一项多么多么有趣的事呀！

你可能感兴趣的:(python千人成像)

  • Python的那些事第四十六篇：基于属性的测试库hypothesis研究 暮雨哀尘 Python的那些事python开发语言属性测试库hypothesis执行流程构建
    一、引言（一）研究背景随着软件系统复杂性的不断增加，软件测试在确保软件质量方面的重要性愈发凸显。传统测试方法在面对大规模、复杂软件系统时，往往存在测试用例设计不全面、测试执行效率低下等问题。基于属性的测试作为一种新兴的测试方法，通过定义软件系统的属性来指导测试用例的设计与执行，为解决上述问题提供了新的思路。（二）研究意义本研究旨在深入探讨基于属性的测试库的构建与应用，以提高软件测试的效率和质量，降
  • 3月20日复盘 四万二千 正式复盘python前端机器学习
    挑战全栈第八天！今天更新Python中的迭代器和生成器，以及函数式编程的内容。8.3super().init()super().__init__()是Python中用于调用父类（基类）构造函数的一种方式。它通常用于子类的构造函数中，以确保父类的构造函数被正确调用和初始化。这在继承（inheritance）中尤为重要，因为父类的初始化代码可能包含设置实例变量或执行其他重要的初始化任务。classPa
  • Python + Qt Designer构建多界面GUI应用程序：Python如何调用多个界面文件 懒大王爱吃狼 pythonpythonqt命令模式mysql数据库Python基础开发语言
    引言QtDesigner是一个用户友好的图形用户界面设计工具，它可以帮助开发人员通过拖放的方式快速创建界面。在实际开发中，往往需要设计多个界面文件，并在Python代码中进行统一管理和使用。本文将介绍如何在Python中使用QtDesigner设计好的多个界面文件的常用方法。方法一：单独加载并显示如果界面文件相对独立，并且没有复杂的依赖关系，可以考虑单独加载并显示每个界面文件。fromPyQt5i
  • 【科大讯飞笔试题汇总】2024-04-21-科大讯飞春招笔试题-三语言题解(CPP/Python/Java) 春秋招笔试突围 最新互联网春秋招试题合集pythonjava开发语言春招笔试互联网大厂笔试题
    大家好这里是KK爱Coding，一枚热爱算法的程序员✨本系列打算持续跟新科大讯飞近期的春秋招笔试题汇总～ACM银牌|多次AK大厂笔试｜编程一对一辅导感谢大家的订阅➕和喜欢KK这边最近正在收集近一年互联网各厂的笔试题汇总，如果有需要的小伙伴可以关注后私信一下KK领取，会在飞书进行同步的跟新，5月1日之前限时免费领取哦，后续会由ACM银牌团队持续维护~。文章目录01.硬币最少组合问题问题描述输入格式输
  • Pycharm python解释器 unsupported python 3.1 解决 大表哥在曾母暗沙 PythonPyCharmpythonpycharmide解释器模式
    Pycharm环境unsupportedpython3.1解决1.问题重现2.原因分析3.解决方法1.问题重现之前使用Pycharm2024.1.1的时候，环境配置的Python3.11.9，现在改成使用Pycharm2020.2.2，结果Python解释器显示“unsupportedpython3.1”，如下图：2.原因分析因为Pycharm2020.2.2支持的Python最高版本就是Pyth
  • 申请 Let's Encrypt 的 免费 TLS 证书实现网站的 https 访问 python
    因为这个使用apt安装的python第三方包的版本为什么这么滞后？原因，所以我不是用sudo把证书弄到系统路径，而是选择到普通用户路径下面╭─pon@aliyun2core2GB~/certbot╰─➤tree.├──config│  ├──accounts│  │  └──acme-v02.api.letsencrypt.org│  │  └──directory│  │  └──9401598
  • python面试题详解 __wishing__ python
    十道经典面试题（python）1.一行代码实现累加1-100之和print(sum(range(1,101)))输出结果：5050分析：利用sum函数进行累加。range控制序列。2.一行代码实现列表去重#声明需要去重的列表list1=[1,1,2,2,3,3,4,4]list1=list(set(list1))</
  • LangChain入门：使用Python和通义千问打造免费的Qwen大模型聊天机器人 南七小僧 人工智能网站开发AI技术产品经理服务器数据库windows
    前言LangChain是一个用于开发由大型语言模型（LargeLanguageModels，简称LLMs）驱动的应用程序的框架。它提供了一个灵活的框架，使得开发者可以构建具有上下文感知能力和推理能力的应用程序，这些应用程序可以利用公司的数据和APIs。这个框架由几个部分组成。LangChain库：Python和JavaScript库。包含了各种组件的接口和集成，一个基本的运行时，用于将这些组件组合
  • 友思特新品 | OCT-3D断层扫描成像测量系统OQ StrataScope升级2.0型号！ 友思特 机器视觉与光电 机器视觉3dOCT光学相干断层扫描
    ProductUpdate！友思特高精度OCT-3D断层扫描成像测量系统推出OQStrataScope升级2.0/R型号！同时，原有的OQStrataScope1.0型号产品将暂时停产。OCT新品简介OQStrataScope2.0是仅用于研究和工业领域应用的光学相干断层扫描系统，可针对高度散射的样品介质增加极深的成像深度。相较于OQLabScope系列，OQStrataScope中心波长可达13
  • pygmsh 项目常见问题解决方案 葛雨禹
    pygmsh项目常见问题解决方案pygmsh:spider_web:GmshforPython项目地址:https://gitcode.com/gh_mirrors/py/pygmsh1.项目基础介绍和主要编程语言项目名称:pygmsh项目简介:pygmsh是一个结合了Gmsh和Python的开源项目。它通过提供Gmsh的Python接口，简化了复杂几何体的创建过程。pygmsh提供了许多有用的抽
  • python之gmsh划分网格 老歌老听老掉牙 python有限元分析python开发语言gmsh划分网格
    Gmsh（GeometryModelingandMeshingSuite）是一个开源的三维有限元网格生成器，它集成了内置的CAD引擎和后处理器。Gmsh的设计目标是提供一个快速、轻量级且用户友好的网格工具，同时具备参数化输入和高级可视化能力。Gmsh围绕几何（geometry）、网格（mesh）、求解器（solver）和后处理（post-processing）四个模块构建，用户可以通过图形用户界面
  • 已解决：python多线程使用TensorRT输出为零？附tensorrt推理代码 李卓璐 算法实战python开发语言
    我是多个不同类型的模型多线程调用报错。设备：cuda12.1,cudnn8.9.2,tensorrt8.6.11.问题tensorrt的推理没输出？？？有输入：想要的输出：原因：多进程时,每进程应单独调用importpycuda.driverascuda和cuda.init()，完成初始化CUDA驱动，并需要使用self.cfx.push()和self.cfx.pop()管理CUDA上下文，以保证
  • Python 的 ultralytics 库详解 白.夜 人工智能
    ultralytics是一个专注于计算机视觉任务的Python库，尤其以YOLO（YouOnlyLookOnce）系列模型为核心，提供了简单易用的接口，支持目标检测、实例分割、姿态估计等任务。本文将详细介绍ultralytics库的功能、安装方法、核心模块以及使用示例。1.ultralytics库简介ultralytics库由Ultralytics团队开发，旨在为YOLO系列模型提供高效、灵活且易
  • 输入某年某月某日，判断这一天是这一年的第几天python 发现文化fu pythonpython
    题目：输入某年某月某日，判断这一天是这一年的第几天python输入某年某月某日，判断这一天是这一年的第几天python思路：*判断闰年能被4整除但不能被100整除，年份能被400整除#方法1sum=0if(year%4==0andyear%100!=0)oryear%400==0:feb=29else:feb=28month_day=[0,31,feb,31,30,31,30,31,31,30,3
  • python练习3：输入某年某月某日，判断这一天是这一年的第几天？ 柯.姐姐 python
    #输入某年某月某日，判断这一天是这一年的第几天？list=[0,31,59,90,120,151,181,212,243,273,304,334]year=int(input('请输入年份：'))month=int(input('请输入月份：'))day=int(input('请输入天：'))ifmonth>0andmonth2:result=result+1print("这是第%d天"%resu
  • 初学python100例-案例4 计算一年第几天 多种不同解法 少儿编程案例讲解 小兔子编程 初学python100例python学习python100例python计算天数python算法python案例
    题目输入某年某月某日，判断这一天是这一年的第几天？解法1程序分析1、以5月2日为例，应该先把前四个月的加起来，2、然后再加上2天即本年的第几天，3、特殊情况，闰年且输入月份大于2时需考虑多加一天：4、闰年1、年份能被4整除；2、年份若是100的整数倍的话需被400整除，否则是平年。程序源代码：year=int(input('year:\n'))month=int(input('month:\n')
  • Python 的类中，self 是一个特殊的参数 可可乐不加冰 知识学习专栏python开发语言
    在Python的类中，self是一个特殊的参数，它代表类的实例本身。self是方法的第一个参数，用于访问实例的属性和方法。下面我将从多个角度解释self的含义、作用以及如何使用它。1.self表示类的实例本身在Python中，当你创建一个类的实例时，实际上是在内存中创建了一个对象。self参数代表的就是这个对象本身。通过self，你可以在类的方法中访问和修改实例的属性。2.为什么需要self？se
  • Trae AI 上新 SSHremote：服务器 Python 接口日志排查实战指南 芯作者 DD：日记人工智能深度学习机器学习
    在当今的软件开发中，服务器端的稳定性和可靠性至关重要。然而，生产环境中的问题往往难以预测，尤其是接口返回502错误却无日志记录的情况，更是让开发者头疼不已。幸运的是，字节跳动推出的AI原生IDE——Trae，近期上线的SSHremote功能，为远程服务器日志排查提供了全新的解决方案。本文将结合实战案例，深入探讨如何利用TraeAI的SSHremote功能高效排查Python接口日志问题，并分享创新
  • Python入门程序练习004：输入某年某月某日，判断这一天是这一年的第几天？ 若北辰 Python实战练习
    【程序4】题目：输入某年某月某日，判断这一天是这一年的第几天？1.程序分析：其实这一题的难度不在于编程，而在于对闰年有没有一些基本的认识，相信很多人都知道闰年，但是又不太清楚具体怎么判断闰年。在下面两个条件中只要满足一个即是闰年：1、能被4整除但是不能被一百整除2、能被四百整除。为了方便记忆，总结为：四年一闰,百年不闰,四百年再闰那么判断出闰年和平年（除了闰年其他都是平年）之后呢，其实只要记住：闰
  • Python后端学习系列（10）：分布式系统与数据一致性（使用分布式锁、分布式事务等） DoYangTan python学习分布式
    Python后端学习系列（10）：分布式系统与数据一致性（使用分布式锁、分布式事务等）前言随着业务规模的不断扩大以及对系统性能、可扩展性的更高要求，后端应用往往会朝着分布式系统的方向发展。然而，分布式系统带来诸多优势的同时，也面临着如数据一致性等复杂的挑战。本期我们就聚焦于分布式系统中的关键问题——数据一致性，深入探讨分布式锁、分布式事务等相关知识以及保障数据一致性的策略与实践，让我们一起深入学习
  • python进阶，类的继承，封装，多态，super 胡萝卜糊了 python开发语言
    #单继承#子类只继承一个父类classPerson:defsay(self,value):print('say:',value)defwalk(self,value):print('walk:',value,'km')#Student类继承PersonclassStudent(Person):defstudy(self,value):print('study:',value)#Teacher类继承
  • python进阶，迭代器和生成器，函数式编程，闭包，装饰器 胡萝卜糊了 python开发语言
    l=[1,2,3,4]it=iter(l)print(next(it))print(next(it))print(next(it))print(next(it))#while循环l=[1,2,3,4]len=len(l)i=0it=iter(l)whilei=self.end:raiseStopIterationself.current+=1returnself.current-1it=MyIte
  • Day6：python面向对象编程——构建可扩展的订单管理系统 weixin_44650422 python开发语言
    目标：掌握类与对象的核心概念，实现模块化的订单业务逻辑一、类与对象：订单管理系统核心1.基础订单类classOrder:"""订单基类"""def__init__(self,order_id,customer):self.order_id=order_id#订单号self.customer=customer#客户名self.items=[]#商品列表self.total=0.0#总金额defadd
  • python assert()函数 欢天喜地小姐姐 python编程学习python
    1.断言函数作用断言函数是对表达式布尔值的判断，要求表达式计算值必须为真。可用于自动调试。如果表达式为假，触发异常；如果表达式为真，不会报错。2.使用assert判断数组是否相等np.array.any()和numpy.array.all()np.array.any()是或操作，任意一个元素为True，输出为True。np.array.all()是与操作，所有元素为True，输出为True。当我们
  • 【LeetCode 热题100】 23. 合并 K 个升序链表的算法思路及python代码 pljnb LeetCode热题100算法leetcode链表
    23.合并K个升序链表给你一个链表数组，每个链表都已经按升序排列。请你将所有链表合并到一个升序链表中，返回合并后的链表。示例1：输入：lists=[[1,4,5],[1,3,4],[2,6]]输出：[1,1,2,3,4,4,5,6]解释：链表数组如下：[1->4->5,1->3->4,2->6]将它们合并到一个有序链表中得到。1->1->2->3->4->4->5->6示例2：输入：lists=[
  • 人生重开模拟器 -deepseek版 Cccc吃吃吃 python开发语言
    人生重开模拟器是一个有趣的文字类游戏，玩家可以通过选择不同的选项来体验不同的人生轨迹。下面是一个简单的Python实现，模拟了人生重开的过程。玩家可以通过输入数字来选择不同的选项，游戏会根据选择生成不同的人生结局。```pythonimportrandomdefprint_intro():print("欢迎来到人生重开模拟器！")print("你将重新开始你的人生，通过不同的选择体验不同的人生轨迹
  • PTA天梯赛Python7-52 古风排版 胡同Alley python
    中国的古人写文字，是从右向左竖向排版的。本题就请你编写程序，把一段文字按古风排版。输入格式：输入在第一行给出一个正整数N（<100），是每一列的字符数。第二行给出一个长度不超过1000的非空字符串，以回车结束。输出格式：按古风格式排版给定的字符串，每列N个字符（除了最后一列可能不足N个）。输入样例：4Thisisatestcase输出样例：asaTstihetsices代码长度限制16KB时间限制
  • 详细介绍 Jupyter nbconvert 工具及其用法：如何将 Notebook 转换为 Python 脚本 源代码杀手 python使用技巧pythonjupyteride
    nbconvert是Jupyter提供的一个非常强大的工具，允许用户将JupyterNotebook文件（.ipynb）转换成多种格式，包括Python脚本（.py）、HTML、PDF、LaTeX等。你可以通过命令行来运行nbconvert，也可以在JupyterNotebook中通过一些自定义的设置来实现转换。安装nbconvert通常情况下，nbconvert会随Jupyter一起安装，因此不
  • python -- assert函数 我不是程序员‍ python知识python
    一、assert函数在Python中，assert语句用于调试和测试代码。它用于检查某个条件是否为真。如果条件为假，assert语句会抛出一个AssertionError异常，并可以选择性地附加一条错误消息。assert语句的基本语法是：assertcondition,optional_messagecondition:一个布尔表达式。如果结果为True，程序继续执行。如果为False，会触发As
  • CTF杂项挑战：使用已知字典破解ZIP文件密码 0dayNu1L Web安全CTFweb安全网络安全
    在CTF比赛中，杂项挑战通常包含一些非传统的题目，其中破解ZIP文件密码是一个常见的任务。本文将介绍两种在已知密码字典文件的情况下，破解ZIP文件密码的方法：一种是使用Python脚本进行暴力破解，另一种是通过zip2john和john命令结合进行破解。0dayNu1L-CSDN博客请一键三连吧！！！❤❤❤目录方法一：使用Python脚本进行暴力破解步骤方法二：使用zip2john和john命令结
  • Spring4.1新特性——综述 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Schema与数据类型优化 annan211 数据结构mysql
    目前商城的数据库设计真是一塌糊涂，表堆叠让人不忍直视，无脑的架构师，说了也不听。 在数据库设计之初，就应该仔细揣摩可能会有哪些查询，有没有更复杂的查询，而不是仅仅突出 很表面的业务需求，这样做会让你的数据库性能成倍提高，当然，丑陋的架构师是不会这样去考虑问题的。 选择优化的数据类型 1 更小的通常更好 更小的数据类型通常更快，因为他们占用更少的磁盘、内存和cpu缓存，
  • 第一节 HTML概要学习 chenke htmlWebcss
    第一节 HTML概要学习 1. 什么是HTML HTML是英文Hyper Text Mark-up Language(超文本标记语言)的缩写，它规定了自己的语法规则，用来表示比“文本”更丰富的意义，比如图片，表格，链接等。浏览器（IE,FireFox等）软件知道HTML语言的语法，可以用来查看HTML文档。目前互联网上的绝大部分网页都是使用HTML编写的。 打开记事本 输入一下内
  • MyEclipse里部分习惯的更改 Array_06 eclipse
    继续补充中---------------------- 1.更改自己合适快捷键windows-->prefences-->java-->editor-->Content Assist-->      Activation triggers for java的右侧“.”就可以改变常用的快捷键 选中 Text
  • 近一个月的面试总结 cugfy 面试
    本文是在学习中的总结，欢迎转载但请注明出处：http://blog.csdn.net/pistolove/article/details/46753275 前言       打算换个工作，近一个月面试了不少的公司，下面将一些面试经验和思考分享给大家。另外校招也快要开始了，为在校的学生提供一些经验供参考，希望都能找到满意的工作。 
  • HTML5一个小迷宫游戏 357029540 html5
         通过《HTML5游戏开发》摘抄了一个小迷宫游戏，感觉还不错，可以画画，写字，把摘抄的代码放上来分享下，喜欢的同学可以拿来玩玩！ <html> <head> <title>创建运行迷宫</title> <script type="text/javascript"
  • 10步教你上传githib数据 张亚雄 git
    官方的教学还有其他博客里教的都是给懂的人说得，对已我们这样对我大菜鸟只能这么来锻炼，下面先不玩什么深奥的，先暂时用着10步干净利索。等玩顺溜了再用其他的方法。 操作过程（查看本目录下有哪些文件NO.1）ls （跳转到子目录NO.2）cd+空格+目录 （继续NO.3）ls （匹配到子目录NO.4）cd+ 目录首写字母+tab键+（首写字母“直到你所用文件根就不再按TAB键了”） （查看文件
  • MongoDB常用操作命令大全 adminjun mongodb操作命令
    成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令，只是MongoDB没有创建数据库的命令，但有类似的命令 如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（如：db.createCollection('user')）,这样就可以创建一个名叫“myTest”的数据库。 一
  • bat调用jar包并传入多个参数 aijuans
    下面的主程序是通过eclipse写的： 1.在Main函数接收bat文件传递的参数（String[] args）  如：   String ip =args[0];          String user=args[1];       &nbs
  • Java中对类的主动引用和被动引用 ayaoxinchao java主动引用对类的引用被动引用类初始化
      在Java代码中，有些类看上去初始化了，但其实没有。例如定义一定长度某一类型的数组，看上去数组中所有的元素已经被初始化，实际上一个都没有。对于类的初始化，虚拟机规范严格规定了只有对该类进行主动引用时，才会触发。而除此之外的所有引用方式称之为对类的被动引用，不会触发类的初始化。虚拟机规范严格地规定了有且仅有四种情况是对类的主动引用，即必须立即对类进行初始化。四种情况如下：1.遇到ne
  • 导出数据库 提示 outfile disabled BigBird2012 mysql
    在windows控制台下，登陆mysql，备份数据库：   mysql>mysqldump -u root -p test test > D:\test.sql 使用命令 mysqldump 格式如下： mysqldump -u root -p *** DBNAME > E:\\test.sql。 注意：执行该命令的时候不要进入mysql的控制台再使用，这样会报
  • Javascript 中的 && 和 || bijian1013 JavaScript&&||
            准备两个对象用于下面的讨论 var alice = { name: "alice", toString: function () { return this.name; } } var smith = { name: "smith",
  • [Zookeeper学习笔记之四]Zookeeper Client Library会话重建 bit1129 zookeeper
    为了说明问题，先来看个简单的示例代码：   package com.tom.zookeeper.book; import com.tom.Host; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.Wat
  • 【Scala十一】Scala核心五：case模式匹配 bit1129 scala
    package spark.examples.scala.grammars.caseclasses object CaseClass_Test00 { def simpleMatch(arg: Any) = arg match { case v: Int => "This is an Int" case v: (Int, String)
  • 运维的一些面试题 yuxianhua linux
    1、Linux挂载Winodws共享文件夹   mount -t cifs //1.1.1.254/ok /var/tmp/share/ -o username=administrator,password=yourpass 或 mount -t cifs -o username=xxx,password=xxxx //1.1.1.1/a /win    
  • Java lang包-Boolean BrokenDreams boolean
             Boolean类是Java中基本类型boolean的包装类。这个类比较简单，直接看源代码吧。 public final class Boolean implements java.io.Serializable,
  • 读《研磨设计模式》-代码笔记-命令模式-Command bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.List; /** * GOF 在《设计模式》一书中阐述命令模式的意图：“将一个请求封装
  • matlab下GPU编程笔记 cherishLC matlab
    不多说，直接上代码 gpuDevice % 查看系统中的gpu,,其中的DeviceSupported会给出matlab支持的GPU个数。 g=gpuDevice(1); %会清空 GPU 1中的所有数据,,将GPU1 设为当前GPU reset(g) %也可以清空GPU中数据。 a=1; a=gpuArray(a); %将a从CPU移到GPU中 onGP
  • SVN安装过程 crabdave SVN
    SVN安装过程   subversion-1.6.12   ./configure --prefix=/usr/local/subversion --with-apxs=/usr/local/apache2/bin/apxs --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr --with-openssl=/
  • sql　行列转换 daizj sql行列转换行转列列转行
    行转列的思想是通过case when 来实现 列转行的思想是通过union all 来实现 下面具体例子： 假设有张学生成绩表(tb)如下: Name Subject Result 张三 语文　　74 张三 数学　　83 张三 物理　　93 李四 语文　　74 李四 数学　　84 李四 物理　　94 */ /* 想变成 姓名   &
  • MySQL--主从配置 dcj3sjt126com mysql
    linux下的mysql主从配置： 说明：由于MySQL不同版本之间的(二进制日志)binlog格式可能会不一样，因此最好的搭配组合是Master的MySQL版本和Slave的版本相同或者更低， Master的版本肯定不能高于Slave版本。（版本向下兼容） mysql1  : 192.168.100.1    //master mysq
  • 关于yii 数据库添加新字段之后model类的修改 dcj3sjt126com Model
    rules: array('新字段','safe','on'=>'search') 1、array('新字段', 'safe')//这个如果是要用户输入的话，要加一下， 2、array('新字段', 'numerical'),//如果是数字的话 3、array('新字段', 'length', 'max'=>100),//如果是文本 1、2、3适当的最少要加一条，新字段才会被
  • sublime text3 中文乱码解决 dyy_gusi Sublime Text
    sublime text3中文乱码解决 原因：缺少转换为UTF-8的插件 目的：安装ConvertToUTF8插件包 第一步：安装能自动安装插件的插件，百度“Codecs33”，然后按照步骤可以得到以下一段代码： import urllib.request,os,hashlib; h = 'eb2297e1a458f27d836c04bb0cbaf282' + 'd0e7a30980927
  • 概念了解：CGI，FastCGI，PHP-CGI与PHP-FPM geeksun PHP
    CGI CGI全称是“公共网关接口”(Common Gateway Interface)，HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具，其程序须运行在网络服务器上。 CGI可以用任何一种语言编写，只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。 FastCGI FastCGI像是一个常驻(long-live)型的CGI，它可以一直执行着，只要激活后，不
  • Git push 报错 "error: failed to push some refs to " 解决 hongtoushizi git
    Git push 报错 "error: failed to push some refs to " . 此问题出现的原因是：由于远程仓库中代码版本与本地不一致冲突导致的。 由于我在第一次git pull --rebase 代码后，准备push的时候，有别人往线上又提交了代码。所以出现此问题。 解决方案： 1： git pull    2：
  • 第四章 Lua模块开发 jinnianshilongnian nginxlua
    在实际开发中，不可能把所有代码写到一个大而全的lua文件中，需要进行分模块开发；而且模块化是高性能Lua应用的关键。使用require第一次导入模块后，所有Nginx 进程全局共享模块的数据和代码，每个Worker进程需要时会得到此模块的一个副本（Copy-On-Write），即模块可以认为是每Worker进程共享而不是每Nginx Server共享；另外注意之前我们使用init_by_lua中初
  • java.lang.reflect.Proxy liyonghui160com
      1.简介   Proxy 提供用于创建动态代理类和实例的静态方法 （1）动态代理类的属性 代理类是公共的、最终的，而不是抽象的 未指定代理类的非限定名称。但是，以字符串 "$Proxy" 开头的类名空间应该为代理类保留 代理类扩展 java.lang.reflect.Proxy 代理类会按同一顺序准确地实现其创建时指定的接口
  • Java中getResourceAsStream的用法 pda158 java
    1.Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径，最终还是由ClassLoader获取资源。 　　2. Class.getClassLoader.get
  • spring 包官方下载地址（非maven） sinnk spring
    SPRING官方网站改版后，建议都是通过 Maven和Gradle下载，对不使用Maven和Gradle开发项目的，下载就非常麻烦，下给出Spring Framework jar官方直接下载路径:   http://repo.springsource.org/libs-release-local/org/springframework/spring/   s
  • Oracle学习笔记(7) 开发PLSQL子程序和包 vipbooks oraclesql编程
        哈哈，清明节放假回去了一下，真是太好了，回家的感觉真好啊！现在又开始出差之旅了，又好久没有来了，今天继续Oracle的学习！      这是第七章的学习笔记，学习完第六章的动态SQL之后，开始要学习子程序和包的使用了……，希望大家能多给俺一些支持啊！     编程时使用的工具是PLSQL
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他