井蛙不可语于海
井蛙不可语于海

网络爬虫-爬取指定城市空气质量检测数据

爬取指定城市空气质量检测数据

网站链接 → https://www.aqistudy.cn/historydata/

以月数据为例，见下图：
网络爬虫-爬取指定城市空气质量检测数据_第1张图片

然后我们通过console调试可以发现 这个网页在items里面已经将数据打包好了，如下图所示
网络爬虫-爬取指定城市空气质量检测数据_第2张图片

没毛病，数据全都对得上，接下来的思路就是利用拼接url的方法，使用selenium进入网页，利用selenium的注入js方法，直接让网页返回我们想要的数据源，然后存储下来即可。

result = browser.execute_script("return items") # 直接接受网页返回的json数据

好的 接下来就是喜闻乐见的测试环节了~

网络爬虫-爬取指定城市空气质量检测数据_第3张图片

可以发现并没有什么毛病。但是当我们打开存储下来的CSV文件的时候会发现！

网络爬虫-爬取指定城市空气质量检测数据_第4张图片

What the fuck? 跟我想象中的有出入啊！ 咋回事呢小老弟全是乱码 –
于是面向百度了解了一波
解决方案如下:

1. 先将CSV用txt记事本打开，然后选择ANSI编码方式。另存为，点编码这里，这里的编码有这么几种选择ANSI/Unicode/Unicode big endian/UTF-8
2. 选择ANSI，然后保存，再用Excel打开，就不会有乱码了。

在这里插入图片描述

网络爬虫-爬取指定城市空气质量检测数据_第5张图片

OK 大功告成 数据格式也全都正确了 very nice！

github传送门 → Go and have a look

你可能感兴趣的:(MySpider)

  • scrapy爬虫 sheyou2019
    安装pipinstallscrapy运行时可能会出现Nomodulenamedwin32api此时安装pipinstallpypiwin32手动创建爬虫小程序#coding:utf-8importscrapyclassMySpider(scrapy.Spider):name="myspider"start_urls=["http://www.baidu.com"]allowed_domaims="
  • Python爬虫——Scrapy hyk今天写算法了吗 #Python爬虫爬虫python
    目录介绍基本概念所使用的组件Scrapy爬虫步骤一.新建项目(scrapystartproject)二、明确目标(mySpider/items.py)三、制作爬虫（spiders/itcastSpider.py）四、保存数据介绍基本概念  Scrapy是用Python实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。  Scrapy常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程
  • 从0到1爬虫学习笔记：04Scrapy框架 Lynn Wen 爬虫学习笔记python大数据scrapy爬虫实例
    文章目录1Scrapy概述1.1Scrapy架构图1.2Scrapy开发步骤2入门案例2.1学习目标2.2新建项目(scrapystartproject)2.3明确目标(mySpider/items.py)2.4制作爬虫（spiders/itcastSpider.py）2.5保存数据3ScrapyShell3.1简述3.2启动ScrapyShell3.3Selectors选择器3.4尝试Selec
  • 【爬虫】4.3 Scrapy 爬取与存储数据 即使再小的船也能远航 爬虫python爬虫scrapypython
    目录1.建立Web网站2.编写数据项目类3.编写爬虫程序MySpider4.编写数据管道处理类5.设置Scrapy的配置文件从一个网站爬取到数据后，往往要存储数据到数据库中，scrapy框架有十分方便的存储方法，为了说明这个存储过程，首先建立一个简单的网站，然后写一个scrapy爬虫程序爬取数据，最后存储数据。1.建立Web网站这个网站有一个网页，返回基本计算机教材数据，Flask程序服务器ser
  • Python爬虫Scrapy框架代码 小小卡拉眯 python学习笔记python开发语言
    Scrapy是一个基于Python的开源网络爬虫框架，可以帮助开发者快速搭建高效、稳定、可扩展的网络爬虫。其具有高度定制化的特点，开发者可以自定义管道、中间件、爬取规则等内容，从而实现高效、自主的爬虫任务。下面是一个简单的Scrapy爬虫框架的Python代码：importscrapyclassMySpider(scrapy.Spider):  name='myspider'  start_url
  • python爬虫搭建scrapy环境，创建scrapy项目 喝星茶发o_o .... pythonpython爬虫scrapy
    创建文件夹-->打开文件夹-->全选路径-->输入cmd-->按Enter下载scrapy镜像命令pipinstall-ihttps://pypi.douban.com/simplescrapy没有下载成功多下载几次即可！创建scrapy项目命令scrapystartprojectmyspider【myspider项目名字自定义】scrapy.cfg项目的配置文件spiders自己定义的spide
  • python的scrapy爬取网站用法 EaSoNgo111 pythonscrapy爬虫
    新建项目(scrapystartprojectxxx)：新建一个新的爬虫项目明确目标（编写items.py）：明确你想要抓取的目标制作爬虫（spiders/xxspider.py）：制作爬虫开始爬取网页存储内容（pipelines.py）：设计管道存储爬取内容1.进入自定义的项目目录中，运行下列命令：scrapystartprojectmySpider2.打开mySpider目录下的items.p
  • Scrapy命令行功能--scrapy shell 小镇夜里海棠花未眠
    本文首发于我的博客：gongyanli.com前言:本文主要讲解Scrapy的命令行功能，Scrapy提供了两种类型的命令。1.全局命令2.项目命令，必须在Scrapy项目中运行全局命令1.startproject>scrapystartproject[project_name]>创建名为mySpider的Scrapy项目$scrapystartprojectmySpider2.settings>
  • 在Scrapy中启动shell来调试 唐大麦 ●Python
    在Scrapy中写爬虫时，有时想在spider运行到某个位置时暂停，查看被处理的response，以确认response是否是期望的。这可以通过scrapy.shell.inspect_response函数来实现。以下是如何在spider中调用该函数的例子:importscrapyclassMySpider(scrapy.Spider):name="myspider"start_urls=["ht
  • Scrapy源码阅读——Spider参数传递 zzy979481894 Scrapy
    官方文档Spider参数中提到，可以使用scrapycrawl命令的-a选项向Spider传递参数：scrapycrawlmyspider-aarg1=value1-aarg2=value2这些参数会被传递到自定义的MySpider类的构造函数，并且超类Spider的构造函数会将其拷贝到属性中：importscrapyclassMySpider(scrapy.Spider):name='myspi
  • scrapy - 给scrapy 的spider 传值 anzhehan1535 pythonjson
    scrapy-给scrapy的spider传值方法一：在命令行用crawl控制spider爬取的时候，加上-a选项，例如：scrapycrawlmyspider-acategory=electronics然后在spider里这样写：importscrapyclassMySpider(scrapy.Spider):name='myspider'def__init__(self,category=No
  • 发现一款强大的自动采集软件myspider soft_ice 编程随笔
    这几天试用了一下哥们的一个自动采集软件myspider，发现很好用，功能非常强大，具体介绍如下：MySpider介绍信息采集是利用计算机软件技术，针对定制的目标数据源，实时进行信息采集、抽取、处理，从而为各种信息服务系统提供数据输入的整个过程。MySpider自动采集系统是一款功能强大，使用方便的信息采集与监控软件。可以实现对各种不同类型的网站进行信息的采集整理，用户可自定义各种采集规则配置以适应
  • python:简单的使用scrapy框架进行爬取和下载 Jabin Zhang Python小爬虫
    我将使用scrapy框架进行爬取http://www.imooc.com/course/list这个网站的第一页的封面图片①首先使用命令行生成一个scrapy模板，要提前cd到需要存放的路径（我这里放的是E盘，scrapy_Test是生成的文件夹名称）在E盘里就生成了一个名字为scrapy_Test的文件夹②然后使用pycharm直接打开这个文件夹③右击spider，新建一个MySpider.py
  • scrapy.cmdline.execute aknn30708
    scrapy的cmdline命令1.启动爬虫的命令为：scrapycrawl(爬虫名）2.还可以通过以下方式来启动爬虫方法一：创建一个.py文件（这里的爬虫文件名可以自己定义，例：myspider.py）#!/usr/bin/envpython#-*-coding:utf-8-*-fromscrapyimportcmdline#方式一：注意execute的参数类型为一个列表cmdline.exec
  • 爬虫Scrapy框架项目运行时报错！求解决！ kyrie_love python3
    E:\JetBrains\PyCharm\mySpider>scrapycrawlitcast-oitcast.json2018-03-2614:50:23[scrapy.utils.log]INFO:Scrapy1.5.0started(bot:mySpider)2018-03-2614:50:23[scrapy.utils.log]INFO:Versions:lxml4.2.1.0,libxm
  • 一周内从0到1掌握Node爬虫技巧（二） 特慈
    上篇文章介绍了爬虫的基本概念和基本原理，这篇开始我们一起来看看具体如何从网页中爬取自己想要的数据。在下面爬虫的栗子中，我们使用nodejs来作为我们的运行环境（我是前端工程师哦）！一、准备环境1、nodejs环境安装可以点击这里nodejs中文网下载安装包哦！二、创建项目1、安装好nodejs后，运行cmd切换到你想要创建的目录；2、mkdirmyspider（创建myspider文件夹）；3、c
  • 爬虫学习(二) looeyWei 爬虫
    Scrapy使用和入门1.创建一个scrapy项目scrapystartprojectmyspider创建了一个名为myspider的项目，生成了这么些东西2.生成一个爬虫cdmyspider#进入项目文件夹里scrapygenspideritcastitcast.cn首先进入哪个爬虫项目(可能有多个)，然后生成了一个爬虫，爬虫名为itcast，爬取的域名范围是itcast.cn，怕的就是这爬虫爬
  • annaconda+scrapy构建爬虫环境 wwwchenyc 爬虫
    1.环境构建1.下载Anacondawgethttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh2.安装Anacondabashsource./Anaconda3-5.0.0-Linux-x86_64.sh3.conda创建虚拟环境（myspider）condacreate-nmy
  • scrapy使用selenium weixin_34318956
    myspider.pyimportscrapyfromscrapy1.itemsimportScrapy1Itemfromseleniumimportwebdriver'''在scrapy中使用selenium的编码流程:1.在spider的构造方法中创建一个浏览器对象(作为当前spider的一个属性)2.重写spider的一个方法closed(self,spider),在该方法中执行浏览器关闭的
  • Python学习笔记——爬虫之Scrapy-Redis实战 唯恋殊雨 Python开发
    目录从零搭建Redis-Scrapy分布式爬虫一、安装Redis二、修改配置文件redis.conf三、测试Slave端远程连接Master端四、Redis数据库桌面管理工具源码自带项目说明：使用scrapy-redis的example来修改一、dmoz(classDmozSpider(CrawlSpider))二、myspider_redis(classMySpider(RedisSpider)
  • python爬虫从入门到放弃之十四：Scrapy入门使用 虫之吻
    ——scrapy是为持续运行设计的网络爬虫框架，提供操作的Scrapy命令行scrapy快速入门1.创建项目要使用scrapy框架创建项目，需要通过命令来创建。首先进入到你想把这个项目存放的目录。然后使用以下命令创建：scrapystartproject+下面我们创建一个名为myspider的项目，输入scrapystartprojectmyspider它提示我们创建的myspider项目使用了s
  • 分布式爬虫 HukDog Python
    修改普通爬虫项目为分布式爬虫1.主爬虫文件myspider.py做如下修改，其他不做修改：importscrapyfrom..itemsimportMyItem#导入数据模型fromscrapy_redis.spidersimportRedisSpider#导入scrapy_redis模块#1.修改scrapy.spider为RedisSpiderclassMySpider(RedisSpider
  • scapy框架学习 Circle_list script
    scrapystartprojectmySpider创建爬虫scrapycrawlmyspider运行代码scrapycrawlmyspider-omyspider.json将服务器的内容生成json文件爬虫的目录结构：└──mySpider├──mySpider│├──__init__.py│├──items.py│├──middlewares.py│├──pipelines.py管道文件│├─
  • python爬虫系列2-------Scrapy目录结构介绍与配置详解 lijian12388806 Python爬虫系列
    Scrapy目录结构介绍与配置文件详解先上架构图，网上找的，不管懂不懂，先有个印象，结合文件目录和解释去看,结合以后的实践，原理一目了然。创建出scrapy项目目录如下├──mySpider│├──__init__.py│├──items.py│├──middlewares.py│├──pipelines.py│├──__pycache__│├──settings.py│└──spiders│├─
  • 爬取京东官网，自动搜索保存所有商品信息 hapyandluck python
    #@Author:Liu_li([email protected])#@Date:2020/3/49:01#@coding:UTF-8#@Project:Sutdy_2#@FileName:myspider.pyimportdatetimeimportosimportrandomimportsqlite3importthreadingimporttimeimporturllib.reques
  • [Scrapy-5] 常用爬虫Spiders 禅与发现的乐趣
    POST方式爬取数据一般情况下使用Scrapy默认的方式就可以处理各种GET方式的数据爬取需求，当然有些场景是需要用户登录或者提供某些数据后使用POST请求才能获取到需要的数据。classMySpider(scrapy.Spider):name='myspider'defstart_requests(self):return[scrapy.FormRequest("http://www.examp
  • 大数据：从网页上爬取数据的方法及代码 xuehyunyu 大数据
    myspider.py：#!/usr/bin/python#-*-coding:utf-8-*-fromscrapy.spidersimportSpiderfromlxmlimportetreefromjredu.itemsimportJreduItemclassJreduSpider(Spider):name='tt'#爬虫的名字，必须的，唯一的allowed_domains=['sohu.co
  • Scrapyd使用详解 所谓向日葵族 Scrapy
    目录前言使用详解安装启动项目发布相关API使用查看服务进程状态项目发布版本调度爬虫取消任务获取上传的项目获取项目的版本获取项目的爬虫列表获取任务列表（Scrapyd0.15版本以上）删除项目版本删除项目前言Scrapyd通常作为守护进程运行，它侦听运行爬虫的请求，并为每个请求生成一个进程，该进程基本上执行:scrapycrawl[myspider]。Scrapyd还并行运行多个进程，将它们分配到m
  • scrapy spider及其子类 weixin_30247159
    1.spider传参在运行crawl时添加-a可以传递Spider参数:scrapycrawlmyspider-acategory=electronicsSpider在构造器(constructor)中获取参数:importscrapyclassMySpider(Spider):name='myspider'def__init__(self,category=None,*args,**kwargs
  • Scrapy 入门教程（RUNOOB.COM） Wu_Jun_Peng 学习笔记
    Scrapy入门教程Scrapy的运作流程制作Scrapy爬虫一共需要4步：入门案例学习目标一.新建项目(scrapystartproject)二、明确目标(mySpider/items.py)三、制作爬虫（spiders/itcastSpider.py）1.爬数据2.取数据ScrapyEngine(引擎):负责Spider、ItemPipeline、Downloader、Scheduler中间的
  • Spring4.1新特性——Spring MVC增强 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • mysql 性能查询优化 annan211 javasql优化mysql应用服务器
    1 时间到底花在哪了？ mysql在执行查询的时候需要执行一系列的子任务，这些子任务包含了整个查询周期最重要的阶段，这其中包含了大量为了 检索数据列到存储引擎的调用以及调用后的数据处理，包括排序、分组等。在完成这些任务的时候，查询需要在不同的地方 花费时间，包括网络、cpu计算、生成统计信息和执行计划、锁等待等。尤其是向底层存储引擎检索数据的调用操作。这些调用需要在内存操
  • windows系统配置 cherishLC windows
    删除Hiberfil.sys ：使用命令powercfg -h off 关闭休眠功能即可： http://jingyan.baidu.com/article/f3ad7d0fc0992e09c2345b51.html 类似的还有pagefile.sys msconfig 配置启动项 shutdown 定时关机 ipconfig 查看网络配置 ipconfig /flushdns
  • 人体的排毒时间 Array_06 工作
    ======================== ||  人体的排毒时间是什么时候？|| ======================== 转载于： http://zhidao.baidu.com/link?url=ibaGlicVslAQhVdWWVevU4TMjhiKaNBWCpZ1NS6igCQ78EkNJZFsEjCjl3T5EdXU9SaPg04bh8MbY1bR
  • ZooKeeper cugfy zookeeper
    Zookeeper是一个高性能，分布式的，开源分布式应用协调服务。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，比如同步， 配置管理，集群管理，名空间。它被设计为易于编程，使用文件系统目录树作为数据模型。服务端跑在java上，提供java和C的客户端API。 Zookeeper是Google的Chubby一个开源的实现，是高有效和可靠的协同工作系统，Zookeeper能够用来lea
  • 网络爬虫的乱码处理 随意而生 爬虫网络
    下边简单总结下关于网络爬虫的乱码处理。注意，这里不仅是中文乱码，还包括一些如日文、韩文 、俄文、藏文之类的乱码处理，因为他们的解决方式 是一致的，故在此统一说明。     网络爬虫，有两种选择，一是选择nutch、hetriex，二是自写爬虫，两者在处理乱码时，原理是一致的，但前者处理乱码时，要看懂源码后进行修改才可以，所以要废劲一些；而后者更自由方便，可以在编码处理
  • Xcode常用快捷键 张亚雄 xcode
    一、总结的常用命令：     隐藏xcode command+h     退出xcode command+q     关闭窗口 command+w     关闭所有窗口 command+option+w     关闭当前
  • mongoDB索引操作 adminjun mongodb索引
    一、索引基础：    MongoDB的索引几乎与传统的关系型数据库一模一样，这其中也包括一些基本的优化技巧。下面是创建索引的命令：    > db.test.ensureIndex({"username":1})    可以通过下面的名称查看索引是否已经成功建立： &nbs
  • 成都软件园实习那些话 aijuans 成都 软件园 实习
    无聊之中，翻了一下日志，发现上一篇经历是很久以前的事了，悔过~~ 　　断断续续离开了学校快一年了，习惯了那里一天天的幼稚、成长的环境，到这里有点与世隔绝的感觉。不过还好，那是刚到这里时的想法，现在感觉在这挺好，不管怎么样，最要感谢的还是老师能给这么好的一次催化成长的机会，在这里确实看到了好多好多能想到或想不到的东西。 　　都说在外面和学校相比最明显的差距就是与人相处比较困难，因为在外面每个人都
  • Linux下FTP服务器安装及配置 ayaoxinchao linuxFTP服务器vsftp
    检测是否安装了FTP [root@localhost ~]# rpm -q vsftpd 如果未安装：package vsftpd is not installed  安装了则显示：vsftpd-2.0.5-28.el5累死的版本信息   安装FTP 运行yum install vsftpd命令，如[root@localhost ~]# yum install vsf
  • 使用mongo-java-driver获取文档id和查找文档 BigBird2012 driver
    注：本文所有代码都使用的mongo-java-driver实现。   在MongoDB中，一个集合（collection）在概念上就类似我们SQL数据库中的表（Table），这个集合包含了一系列文档（document）。一个DBObject对象表示我们想添加到集合（collection）中的一个文档（document），MongoDB会自动为我们创建的每个文档添加一个id，这个id在
  • JSONObject以及json串 bijian1013 jsonJSONObject
    一.JAR包简介     要使程序可以运行必须引入JSON-lib包，JSON-lib包同时依赖于以下的JAR包：     1.commons-lang-2.0.jar     2.commons-beanutils-1.7.0.jar     3.commons-collections-3.1.jar &n
  • [Zookeeper学习笔记之三]Zookeeper实例创建和会话建立的异步特性 bit1129 zookeeper
    为了说明问题，看个简单的代码，   import org.apache.zookeeper.*; import java.io.IOException; import java.util.concurrent.CountDownLatch; import java.util.concurrent.ThreadLocal
  • 【Scala十二】Scala核心六：Trait bit1129 scala
    Traits are a fundamental unit of code reuse in Scala. A trait encapsulates method and field definitions, which can then be reused by mixing them into classes. Unlike class inheritance, in which each c
  • weblogic version 10.3破解 ronin47 weblogic
    版本：WebLogic Server 10.3 说明：%DOMAIN_HOME%：指WebLogic Server 域(Domain）目录 例如我的做测试的域的根目录 DOMAIN_HOME=D:/Weblogic/Middleware/user_projects/domains/base_domain 1.为了保证操作安全，备份%DOMAIN_HOME%/security/Defa
  • 求第n个斐波那契数 BrokenDreams
            今天看到群友发的一个问题：写一个小程序打印第n个斐波那契数。         自己试了下，搞了好久。。。基础要加强了。           &nbs
  • 读《研磨设计模式》-代码笔记-访问者模式-Visitor bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; interface IVisitor { //第二次分派，Visitor调用Element void visitConcret
  • MatConvNet的excise 3改为网络配置文件形式 cherishLC matlab
    MatConvNet为vlFeat作者写的matlab下的卷积神经网络工具包，可以使用GPU。 主页： http://www.vlfeat.org/matconvnet/ 教程： http://www.robots.ox.ac.uk/~vgg/practicals/cnn/index.html 注意：需要下载新版的MatConvNet替换掉教程中工具包中的matconvnet： http
  • ZK Timeout再讨论 chenchao051 zookeepertimeouthbase
    http://crazyjvm.iteye.com/blog/1693757 文中提到相关超时问题，但是又出现了一个问题，我把min和max都设置成了180000，但是仍然出现了以下的异常信息： Client session timed out, have not heard from server in 154339ms for sessionid 0x13a3f7732340003
  • CASE WHEN 用法介绍 daizj sqlgroup bycase when
    CASE WHEN 用法介绍 1. CASE WHEN 表达式有两种形式 --简单Case函数  CASE sex  WHEN '1' THEN '男'  WHEN '2' THEN '女'  ELSE '其他' END  --Case搜索函数  CASE WHEN sex = '1' THEN
  • PHP技巧汇总:提高PHP性能的53个技巧 dcj3sjt126com PHP
    PHP技巧汇总:提高PHP性能的53个技巧　　用单引号代替双引号来包含字符串，这样做会更快一些。因为PHP会在双引号包围的字符串中搜寻变量，　　单引号则不会，注意：只有echo能这么做，它是一种可以把多个字符串当作参数的函数译注：　　PHP手册中说echo是语言结构，不是真正的函数，故把函数加上了双引号)。　　1、如果能将类的方法定义成static，就尽量定义成static，它的速度会提升将近4倍
  • Yii框架中CGridView的使用方法以及详细示例 dcj3sjt126com yii
    CGridView显示一个数据项的列表中的一个表。 表中的每一行代表一个数据项的数据,和一个列通常代表一个属性的物品(一些列可能对应于复杂的表达式的属性或静态文本)。　　CGridView既支持排序和分页的数据项。排序和分页可以在AJAX模式或正常的页面请求。使用CGridView的一个好处是,当用户浏览器禁用JavaScript,排序和分页自动退化普通页面请求和仍然正常运行。 实例代码如下：
  • Maven项目打包成可执行Jar文件 dyy_gusi assembly
    Maven项目打包成可执行Jar文件 在使用Maven完成项目以后，如果是需要打包成可执行的Jar文件，我们通过eclipse的导出很麻烦，还得指定入口文件的位置，还得说明依赖的jar包，既然都使用Maven了，很重要的一个目的就是让这些繁琐的操作简单。我们可以通过插件完成这项工作，使用assembly插件。具体使用方式如下： 1、在项目中加入插件的依赖： <plugin>
  • php常见错误 geeksun PHP
    1.  kevent() reported that connect() failed (61: Connection refused) while connecting to upstream, client: 127.0.0.1, server: localhost, request: "GET / HTTP/1.1", upstream: "fastc
  • 修改linux的用户名 hongtoushizi linuxchange password
    Change Linux Username 更改Linux用户名，需要修改4个系统的文件： /etc/passwd /etc/shadow /etc/group /etc/gshadow 古老/传统的方法是使用vi去直接修改，但是这有安全隐患（具体可自己搜一下），所以后来改成使用这些命令去代替： vipw vipw -s vigr vigr -s   具体的操作顺
  • 第五章 常用Lua开发库1-redis、mysql、http客户端 jinnianshilongnian nginxlua
    对于开发来说需要有好的生态开发库来辅助我们快速开发，而Lua中也有大多数我们需要的第三方开发库如Redis、Memcached、Mysql、Http客户端、JSON、模板引擎等。 一些常见的Lua库可以在github上搜索，https://github.com/search?utf8=%E2%9C%93&q=lua+resty。   Redis客户端 lua-resty-r
  • zkClient 监控机制实现 liyonghui160com zkClient 监控机制实现
             直接使用zk的api实现业务功能比较繁琐。因为要处理session loss，session expire等异常，在发生这些异常后进行重连。又因为ZK的watcher是一次性的，如果要基于wather实现发布/订阅模式，还要自己包装一下，将一次性订阅包装成持久订阅。另外如果要使用抽象级别更高的功能，比如分布式锁，leader选举
  • 在Mysql 众多表中查找一个表名或者字段名的 SQL 语句 pda158 mysql
    在Mysql 众多表中查找一个表名或者字段名的 SQL 语句： 　　方法一：SELECT table_name, column_name from information_schema.columns WHERE column_name LIKE 'Name'; 　　方法二：SELECT column_name from information_schema.colum
  • 程序员对英语的依赖 Smile.zeng 英语程序猿
    1、程序员最基本的技能，至少要能写得出代码，当我们还在为建立类的时候思考用什么单词发牢骚的时候，英语与别人的差距就直接表现出来咯。 2、程序员最起码能认识开发工具里的英语单词，不然怎么知道使用这些开发工具。 3、进阶一点，就是能读懂别人的代码，有利于我们学习人家的思路和技术。 4、写的程序至少能有一定的可读性，至少要人别人能懂吧... 以上一些问题，充分说明了英语对程序猿的重要性。骚年
  • Oracle学习笔记(8) 使用PLSQL编写触发器 vipbooks oraclesql编程活动Access
        时间过得真快啊，转眼就到了Oracle学习笔记的最后个章节了，通过前面七章的学习大家应该对Oracle编程有了一定了了解了吧，这东东如果一段时间不用很快就会忘记了，所以我会把自己学习过的东西做好详细的笔记，用到的时候可以随时查找，马上上手！希望这些笔记能对大家有些帮助！     这是第八章的学习笔记，学习完第七章的子程序和包之后
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他