Node基础

什么是Nodejs

• Nodejs是c++编写的，采用Chrome浏览器V8引擎，本质上是JavaScript运行环境
• 可以解析JS代码（没有浏览器安全级限制）
• 提供系统级别的API
  • 文件的读写
  • 进程的管理
  • 网路通信

Node模块分类

• 核心模块 http fs path
• 文件模块 var util = require('./util.js')
• 第三方模块var promise =require('bluebird')(通过npm install)

模块的流程

• 创建模块 teacher.js
• 导出模块 exports.add = function(){}
• 加载模块 var teacher = require('./teacher.js')
• 使用模块 teacher.add('May')

Node.js API

• url网址解析
  • url.parse('xxxxxx')
    • protocol:http/https
    • port:端口号
    • host:主机
    • hostname：主机名
    • hash：哈希#
    • search：查询？
    • path
    • pathname
    • href
  • url.parse('xxxx',true) 使用querystring
  • url.format({})//和parse反向操作
  • url.resolve()//生产合法url链接地址
• querystring
  • querystring.stringify({name:'scott',course:['jade','node'],from:''})
    =>'name=scott&course=jade&course=node&from='
  • querystring.stringify({name:'scott',course:['jade','node'],from:''},',')
    =>'name=scott,course=jade,course=node,from='
  • querystring.stringify({name:'scott',course:['jade','node'],from:''},',',':')
    =>'name:scott,course:jade,course:node,from:'
  • querystring.parse('name=scott&course=jade&course=node&from=')
    => { name: 'scott', course: [ 'jade', 'node' ], from: '' }
  • querystring.parse('name=scott,course=jade,course=node,from=',',')
  • querystring.parse('name:scott,course:jade,course:node,from:',',',':')
  • querystring.escape('xxx') // 转义
  • querystring.unescape('xxxxx') //反转义

HTTP知识

• http请求过程

  1. http客户端发起请求，创建端口
  2. http服务器在端口监听客户端请求
  3. http服务器向客户端返回状态和内容

• 浏览器做了哪些操作

  1. chrome搜做自身DNS缓存（chrome://net-internals/#dns）
  2. 如果浏览器没有找到缓存或者缓存已失效，chrome会搜索操作系统自身的DNS缓存
  3. 读取本地的HOST文件
  4. 浏览器发起一个DNS的一个系统调用
  • 宽带运营商服务器查看本身缓存
  • 运营商服务器发一个迭代DNS解析的请求，运营商服务器把结果返回操作系统内核同时缓存起来；操作系统内核把结果返回浏览器；最终浏览器拿到了www.imooc.com对应的ip地址
  5. 浏览器获得域名对应的IP地址后，发起HTTP"三次握手"
  6. TCP/IP连接建立起来后，浏览器就可以向服务器发送HTTP请求了
  7. 服务器端接收到了这个请求，根据路径参数，经过后端的一些处理之后，把处理后的一个结果的数据返回给浏览器
  8. 浏览器进行解析和渲染

• http结构组成
  无论是请求和响应，都由HTTP头和正文组成

  • HTTP头：发送一些附加信息，如内容类型，服务器发送相应的日期，HTTP状态码等
  • 正文：用户提交的表单数据或者返回的数据

• http请求方法

  • get:用于获取或者读取数据
  • post:向指定的资源提交数据

• http状态码

  • 1xx 代表请求已经接收了，正在处理
  • 2xx 表示请求已经接收，并且处理了
  • 3xx 表示重定向，表示请求的时候需要更进一步的重定向页面
  • 4xx 表示请求有错误，请求有语法错误，请求无法实现
  • 5xx 表示服务器端的错误，服务器端接收到请求但是处理出现问题

  常见请求码

  • 200: 客户端请求成功；
  • 400：客户端请求有语法错误；
  • 401：请求没经过授权；
  • 403：服务器收到请求，但拒绝提供服务，可能是没有权限等等；
  • 404：资源没找到；
  • 500：服务器端错误；
  • 503：服务器端当下还不能处理客户端这个请求，过段时间恢复正常。

• node中的http模块

  1. 什么是回调
     
     将后续逻辑封装在函数回调中作为起始函数的参数,逐层去嵌套，通过这种方式让函数按照我们所期望的方式走完整个流程
  2. 什么是异步和同步
     
     同步是程序执行一个任务，后一个任务等待前一个任务完成后再执行，同步的执行顺序和任务的排列顺序是一致的
     
     异步任务的排列顺序和执行顺序无关，程序执行完成后是执行回调函数，常见异步函数setTimeOut和setInterval
  3. 什么是阻塞和非阻塞
     
     阻塞是当你打电话问个请求时，那边说你等等我给你查查，这时候你电话仍然是挂起的，等待等待，直到拿到结果。
     非阻塞是打电话过去问，然后挂电话，等那边找到结果或打电话给你，你该干嘛就干嘛。在node.js里面单线程可以通过回调函数来做异步操作，达到非阻塞的效果。
  4. 什么是单线程和多线程
     
     单线程：只有执行上一个任务完成后，下一个才能执行。优点是安全。
     
     多线程：同时执行多个函数，缺点是容易争抢资源，有管理和分配资源的难度。
  5. 什么是事件和事件驱动
     
     nodeJs中客户端连接到服务器端时会触发事件。打开文件也会触发事件等，所有能够触发事件的都是EventEmitter下的实例；先注册事件，等事件被触发的时候，才执行事件回调。这种形式就是事件驱动。
  6. 什么是事件循环
     
     EventLoop是事件管理机制，当存在很多异步操作、IO操作时，会被压入EventLoop队列，有个单线程不断查询队列中是否有事件

• HTTP性能小测试

使用Apache ab
ab -n1000 -c10 https:www.imooc.com/
// -n 1000 总请求数是1000个
// -c10 并发数为10 

/**
 * 一个初级爬虫Demo
 */
var https = require('https');
var cheerio = require('cheerio');
var url = 'https://www.imooc.com/learn/348';


// 请求url地址,获取页面html
https.get(url,function (res) {
    var html = '';
    res.on('data',function(data){
        html += data;
    });
    res.on('end',function () {
        var courseData = filterCharpter(html);
        printChapter(courseData);
    });
    res.on('error',function () {
        console.log('系统异常');
    })
})

// 获取页面章节的函数
function filterCharpter (html) {
    var $ = cheerio.load(html);
    var chapters =$('.chapter');
    var courseData = [];
    chapters.each(function (value) {
        var chapter = $(this);
        var chapterTitle = chapter.find('strong').text().trim().split('\n')[0];
        var videos = chapter.find('.video').children('li');
        chapter = {
            chapterTitle : chapterTitle,
            videos:[]
        }
        videos.each(function(val){
            var video = $(this).find('a').text().trim();
            var videoName = video.split('\n')[0];
            var videoTime = video.split('\n')[1].trim();
            chapter.videos.push({name:videoName,time:videoTime});

        });
        courseData.push(chapter);
    });
   return courseData;
}
// 格式化打印页面
function printChapter (courseData) {
    courseData.forEach(function (val) {
        var chapterTitle = val.chapterTitle;
        console.log('章节标题:'+chapterTitle+'\n');
        val.videos.forEach(function (value) {
            console.log('  '+value.name+'时长:'+value.time+'\n');
        })
    })
}

promise

针对异步场景的解决方案

• Promise对象三种状态

  • 未完成（pending）
  • 已完成（fulfilled/resolved）
  • 失败（rejected）
  • 只能从pending->resolved或者pending->rejected

• then方法
  
  promise可以保证then的顺序
  
  then方法返回promise对象，两个参数分别是成功回调函数和失败回调函数。

promiseObj.then(onResolved,onRejected);
onResolved = function(value){
    return promiseObj2;//返回一个promise对象
}
onRejected = function(err){}

• 基于promise的进阶版爬虫（一次爬取多个文件）

var https = require('https');
var cheerio = require('cheerio');

var baseUrl = 'https://www.imooc.com/learn/'
var videosArray = [728,637,348,259,197,134,75];
videosArray = videosArray.map(item => baseUrl+item);
// 创建promise
function getPageAsync(url){
    return new Promise(function(resolve,rejecte){
        // 请求url地址,获取页面html
        https.get(url,function (res) {
            var html = '';
            res.on('data',function(data){
                html += data;
            });
            res.on('end',function () {
                resolve(html);
            });
            res.on('error',function (error) {
                rejecte(error);
            })
        })
    })
}

// 获取页面章节的函数
function filterCharpter (html) {
    var $ = cheerio.load(html);
    var title  = $('.course-infos h2').text().trim();
    var page = {
        title:title,
        courseData:[]
    }
    var chapters =$('.chapter');
    var courseData = [];
    chapters.each(function (value) {
        var chapter = $(this);
        var chapterTitle = chapter.find('strong').text().trim().split('\n')[0];
        var videos = chapter.find('.video').children('li');
        chapter = {
            chapterTitle : chapterTitle,
            videos:[]
        }
        videos.each(function(val){
            var video = $(this).find('a').text().trim();
            var videoName = video.split('\n')[0];
            var videoTime = video.split('\n')[1].trim();
            chapter.videos.push({name:videoName,time:videoTime});

        });
        courseData.push(chapter);
    });
    page.courseData = courseData;
    return page;
}

// 打印章节内容
function printCourseData (coursesData) {
    coursesData.forEach(function(item){
        console.log('课程名:'+item.title+'\n');
        item.courseData.forEach(function(val){
            var chapterTitle = val.chapterTitle;
            console.log('   '+chapterTitle+'\n');
            val.videos.forEach(function (value) {
                console.log('      '+value.name+'时长:'+value.time+'\n');
            })
        })
        console.log('\n');
    })
}
// 所有页面的promise数组
var pagesPromiseArray = [];
videosArray.forEach(function(val){
    pagesPromiseArray.push(getPageAsync(val));
})

//promise.all方法
Promise
    .all(pagesPromiseArray)
    .then(function (pages) {
        var coursesData = [];
        pages.forEach(function(html){
            var courses = filterCharpter(html)
            coursesData.push(courses)
        })
        printCourseData(coursesData);
    })
    .catch (function (e) {
        console.log('程序异常');
    })

Node API

• Buffer 处理TCP/图形/文件/网络

  • buffer[index]
  • buffer.length
  • buffer.write(string,[offset,length,encoding])

  var buf = new Buffer('Hello World');
  buf.length//11
  buf.write('Hi World');
  buf.toString()//'Hi Worldrld' 初始化时长度被指定，不会清空后面内容
  buf.write(' Dingsusu lalala',2,16)
  buf.toString()//'Hi Dingsusu'
  

  • buffer.copy(target[,targetStart,sourceStart,sourceEnd])

• Stream 流，用来暂存和移动数据