The Third day

scene.png

what I do

周六的天空依然很蓝，骑着脚踏车，约上几个好友，绕着大明湖畔，寻找夏天的雨荷。
一台电脑、一张办公桌、一个板凳，我们依然在敲着键盘
说说今天的任务：node去写爬虫，获取数据

思路

获取公共网站的页面数据
1、发起http请求
2、使用cheerio模块，通过对DOM进行分析，获取json数据

code

    const http = require('http');
    const cheerio = require('cheerio');       //模仿jq的模块
    const express = require('express');
    const url = '百度糯米'
    http.get(url,(res) => {
        var chunks = [];
        var size = 0;

        res.on('data',(ev) => {
            /*返回的二进制 暂存到数组中*/
            chunks.push(ev);
            size += ev.length;
        })
        res.on('end',() => {
            /*保存的二进制 保存到buffer流中 最后转为二进制输出*/
            var data = Buffer.concat(chunks, size);
            var html = data.toString();
            /*ending html 在这里已经获取*/
            var $ = cheerio.load(html);
            var arr = [];
              /*遍历所有列表*/
            $('.j-card').each(function () {
                var obj = {},$this = $(this);
                obj.url = $this.find('.borderbox img').attr('data-original');
                obj.title = $this.find('.title').text();
                obj.price = $this.find('.price').text();
                arr.push(obj);
            })
            //生成arr返回给前端
            reponse.json({
                arr:arr
            });
        })
    }).on('error',(e)=>{
        console.log(e);
    })

知识点延伸

1 、const 定义常量、var 定义变量
2 、在计算机内部 字符串 占两个字节 ， 数字占一个字节 ，但是js对于字符串的处理相当友好 帮我们解决了这个问题

buffer是什么

• buffer又被成为临时贮存区，暂时存放输入输出数据的一段内存
• js语言只有字符串数据类型，不存在二进制数据类型，故node提供了与string对等的构造函数buffer，来对二进制进行操作
• js对字符串处理十分友好，node中需要处理网络协议、操作数据库、处理图片、文件上传，还需要处理大量二进制数据，自带字符串远远不能满足这些要求，因此buffer应运而生
• buffer是一个典型的c++ 与 js结合的模块，性能部分用c++实现，非性能部分用js实现
• node 在启动的时候 buffer已经被加入到内存中了，并存近全局对象，因此无需require
• buffer对象：类似于数组，元素时16进制的两位数
• buffer对象的内存分配并不是在V8的堆内存中，而是在node的c++层面申请的内存
• buffer可以与字符串相互转换 utf-8 base64 ASCII等 不能处理GBK 等历史遗留编码

http://www.runoob.com/nodejs/nodejs-buffer.html