笔记:记一次解决V8使用内存超过默认限制

起因:

混合TypeScript和javaScript开发,完美升级老项目,这个老项目是一个巨无霸项目,非常庞大,是集团公司的最核心项目


遇到问题:

webpack打包时候遇到

笔记:记一次解决V8使用内存超过默认限制_第1张图片

对于曾经开发过C++,addon的我,熟悉的味道,下面有一些v8的字符出现,感觉应该是v8层面出现了问题


报错解决:

任何报错,先看第一个报错,解决顶部的报错。


问题定位:

JS堆栈跟踪,javaScript heap out of memory ,内存不足


隐约记得,v8对使用内存的限制,64位系统是1.4G,32位系统是0.7G,Buffer属于C++层面,不会被限制。但是长度会被限制,当Buffer被创建时候就会被判断长度

https://github.com/nodejs/node/blob/master/lib/buffer.js#L90-L101

node.js官网对长度的文档描述:

笔记:记一次解决V8使用内存超过默认限制_第2张图片

这种简单问题不做阐述,继续


项目之前纯js开发,现在接入ts,为什么同样的电脑,之前可以运行,现在却内存不足?

答案:

  1. 首先要从内存回收说起,为什么要限制内存使用,因为1.4G普遍够用,再一个,内存回收是会阻塞主线程。300MB大概是0.5s,这里在我开发桌面端即时通讯应用时,经常会遇到这个问题。一个20万人的群,一直以1000条/秒的速度推送消息到桌面端,时间一长,Node接入主进程层面就不行了。CPU和内存占用会飙升,要做很多特殊优化处理

  2. 我在ts中配置允许使用js,那么意味着要增加一个编译ts成js的过程,这个编译过程肯定要占用大部分内存。所以之前纯js项目不会出现这个问题,

  3. 网上大部分都是手动更改webpack的源码文件,达到修改v8使用内存限制的目的,但是作为跨平台的产品来说,必须支持两点:工程化+自动化、可跨平台无感知的情况才能使用

  4. v8的内存回收机制影响,跟上面第二点搭配,当然,现在这套东西,已经被面试官问烂了(就跟考试让你背古诗一样),我面试是不会问这些无聊的问题。作为一个Node.js的深度使用者,我觉得是C++出生的人,可能会在Node.js走得更远,它更像是一个库,一个前端制作工具的库。如果要深入后端,走得更远,建议还是要学习java与c++


解决办法:

Node.js的8.0版本以上可以这样调整

export NODE_OPTIONS=--max_old_space_size=4096

也可以使用自动化、工程化配置插件

increase-memory-limit

笔记:记一次解决V8使用内存超过默认限制_第3张图片

由于一些部署服务器上的配置未知,在测试过后,我选择了后者,编写了新的构建命令,这样达到效果。


难道做API工程师,不可能的,我的原则,使用第三方库,框架必须看它的 源码实现,包括Node.js

increase-memory-limit

源码只有几十行代码

#!/usr/bin/env node
const path = require('path');
const glob = require('glob');
const fs = require('fs');


const maxOldSpaceSize = process.env.LIMIT || 10240;
const cwd = process.cwd() + path.sep;


glob(path.join(cwd, "node_modules", ".bin", "*"), function (err, files) {


  files.forEach(file => {
    // readFileSync will crash on non-files. Skip over these
    let stat = fs.lstatSync(fs.realpathSync(file));
    if (!stat.isFile()) {
      return;
    }
    if (file.indexOf('increase-memory-limit') >= 0) {
      return;
    }
    // build scripts will hand in LIMIT via cross-env
    // avoid updating it while we are running it
    if (file.indexOf('cross-env') >= 0) {
      return;
    }
    let contents = fs.readFileSync(file).toString();
    let lines = contents.split('\n')


    let patchedContents = "";


    for (var index = 0; index < lines.length; index++) {
      var line = lines[index];
      if (line.startsWith("if [") || line.startsWith("@IF") || line.indexOf ('has_node') !== -1) {
        patchedContents += line + "\n";
      } else {
        patchedContents += line.replace(/node(\.exe)?\b(?: \-\-max\-old\-space\-size\=[0-9]+)?/, `node$1 --max-old-space-size=${maxOldSpaceSize}`) + "\n";
      }
    }


    fs.writeFileSync(file, patchedContents);
    console.log(`'${file.replace(cwd, "")}'`, "written successfully.");
  });


});

它依赖glob这个库

https://www.npmjs.com/package/glob

首先读取LIMIT配置

然后拿到node启动的命令路径(配置path.sep针对跨平台,cwd返回的路径做处理分隔)

笔记:记一次解决V8使用内存超过默认限制_第4张图片

var glob = require("glob")
 
// options is optional
glob("**/*.js", options, function (er, files) {
  // files is an array of filenames.
  // If the `nonull` option is set, and nothing
  // was found, then files is ["**/*.js"]
  // er is an error object or null.
})

通过glob这库,传入路径和配置后,拿到包含文件数组,然后读取文件流信息并且toString()

最核心的源码文件就是下面这个

        patchedContents += line + "\n";
      } else {
        patchedContents += line.replace(/node(\.exe)?\b(?: \-\-max\-old\-space\-size\=[0-9]+)?/, `node$1 --max-old-space-size=${maxOldSpaceSize}`) + "\n";
      }
    }


    fs.writeFileSync(file, patchedContents);
    console.log(`'${file.replace(cwd, "")}'`, "written successfully.");

通过正则将读取的文件流信息,匹配相应的配置后,替换内容后同步写入(因为必须同步写入!!!否则项目无法启动,不能异步此处)

最后

  • 欢迎加我微信(winty230),拉你进技术群,长期交流学习...

  • 欢迎关注「前端Q」,认真学前端,做个专业的技术人...

点个在看分享这篇文章吧

你可能感兴趣的:(笔记:记一次解决V8使用内存超过默认限制)