部署企业私有NPM镜像-CNPM

技术选型

目前,市面上用来搭建npm私服的工具有大体三种:

  1. nexus 功能强大,部署和配置较繁琐,多用于搭建内网maven镜像,不适合前端轻量需求;
  2. verdaccio 使用文件存储数据,无需安装数据库并且部署简单,只需要简单配置就可以部署完成,但远程镜像每次安装都需要到到远程同步,安装慢,适合小公司使用,
    我们在150服务器上也已经搭建了一套; http://h5.douyole.com:4873
  3. cnpm 淘宝团队开源,可以选择性的将外网镜像按一定的频率同步到企业内部服务器上,也可以发布私有的NPM包, 不仅NPM包管理方便,也大幅提高了开发同学的安装速度,从而提高开发效率。http://npm.douyole.com/

CNPM简单介绍

1、cnpm概述

cnpm是企业内部搭建npm镜像和私有npm仓库的开源方案。它同时解决了现有npm架构的一些问题。

2、为什么企业需要私有NPM

确保npm服务快速、稳定:对于企业来说,上线生产系统的时候,需要花半小时甚至更久等待npm模块依赖安装完毕,是不可接受的。部署镜像后,可以确保高速、稳定的npm服务。

发布私有模块:官方的npm上的模块全部是开源的。一些与企业业务逻辑相关的模块可能不适合开源。这部分私有的模块放在私有NPM仓库中,使用起来各种方便。

控制npm模块质量和安全:npm上的模块质量参差不齐,搭建私有仓库,可以更严格地控制模块的质量和安全,只有经过审核的模块才允许被加入私有仓库。

3、cnpm的特点

压缩包等文件从数据库中分离,放在CDN上,减轻了数据库的压力,提高了访问速度。

使用MySQL替换了CouchDB,更容易部署。同时由于大部分开发者更熟悉MySQL,因此架设起来更方便。

CDN和MySQL都可以方便地扩展。

CNP部署

  • 部署的宿体,172.20.1.116 CentOS系统;
  • 数据库,支持 MySQL、PostgreSQL、MariaDB,如果使用 SQLite 则无需准备;我们用的是MySQL
  • Git 客户端(推荐)。

安装mySql

参考文档

安装GIT

参考文档

开始部署

克隆 CNPM

首先在本地选择一个目录,比如我将它选择在 /home/cnpm,然后预想 CNPM 的目录为/home/cnpm,那么需要在终端$ cd /home/cnpm。

接下去执行 Git 指令将 CNPM 克隆到相应目录。

$ git clone https://github.com/cnpm/cnpmjs.org.git
$ make install
// 当然也可以用npm install。
$ npm install

创建数据库

// 项目cnpm源码目录
$ cd /home/cnpm/cnpmjs.org
// 服务器上连接mysql,按提示输入密码
$ mysql -u root -p
// 创建cnpmjs数据库
mysql> create database cnpmjs charset utf8;
// 进入cnpmjs库
mysql> use cnpmjs;
// 初始化数据库
mysql> source ./docs/db.sql

修改配置文件 config/config.js 文件


'use strict';
module.exports = {
     database: {
            db: 'cnpmjs',
            username: 'root',
            password: '****',
            // the sql dialect of the database
            // - currently supported: 'mysql', 'sqlite', 'postgres', 'mariadb'
            dialect: 'mysql',
            // custom host; default: 127.0.0.1
            host: '127.0.0.1',
            // custom port; default: 3306
            port: 3306,
            // use pooling in order to reduce db connection overload and to increase speed
            // currently only for mysql and postgresql (since v1.5.0)
            pool: {
                maxConnections: 10000,
                minConnections: 0,
                maxIdleTime: 3000000
            },
            dialectOptions: {
            // if your server run on full cpu load, please set trace to false
                trace: true,
            },
            // the storage engine for 'sqlite'
            // default store into ~/.cnpmjs.org/data.sqlite
            storage: path.join(dataDir, 'data.sqlite'),
            logging: !!process.env.SQL_DEBUG,
            // enable proxy npm audits request or not
            enableNpmAuditsProxy: true,
     },
    ...
};

配置字段参考

enableCluster:是否启用 cluster-worker 模式启动服务,默认false,生产环节推荐为 true;
registryPort:API 专用的 registry 服务端口,默认 7001;
webPort:Web 服务端口,默认 7002;
bindingHost:监听绑定的 Host,默认为127.0.0.1,如果外面架了一层本地的 Nginx 反向代理或者 Apache 反向代理的话推荐不用改;
sessionSecret:session 用的盐;
logdir:日志目录;
uploadDir:临时上传文件目录;
viewCache:视图模板缓存是否开启,默认为 false;
enableCompress:是否开启 gzip 压缩,默认为 false;
admins:管理员们,这是一个JSON Object,对应各键名为各管理员的用户名,键值为其邮箱,默认为 { fengmk2: '[email protected]', admin: '[email protected]', dead_horse: '[email protected]' };
logoURL:Logo 地址,不过对于我这个已经把 CNPM 前端改得面目全非的人来说已经忽略了这个配置了;
adBanner:广告 Banner 的地址;
customReadmeFile:实际上我们看到的 cnpmjs.org 首页中间一大堆冗长的介绍是一个 Markdown 文件转化而成的,你可以设置该项来自行替换这个文件;
customFooter:自定义页脚模板;
npmClientName:默认为cnpm,如果你有自己开发或者 fork 的 npm 客户端的话请改成自己的 CLI 命令,这个应该会在一些页面的说明处替换成你所写的;
backupFilePrefix:备份目录;
database:数据库相关配置,为一个对象,默认如果不配置将会是一个 ~/.cnpmjs.org/data.sqlite 的 SQLite;
db:数据的库名;
username:数据库用户名;
password:数据库密码;
dialect:数据库适配器,可选 "mysql"、"sqlite"、"postgres"、"mariadb",默认为 "sqlite";
hsot:数据库地址;
port:数据库端口;
pool:数据库连接池相关配置,为一个对象;
maxConnections:最大连接数,默认为 10;
minConnections:最小连接数,默认为 0;
maxIdleTime:单条链接最大空闲时间,默认为 30000 毫秒;
storege:仅对 SQLite 配置有效,数据库地址,默认为 ~/.cnpmjs/data.sqlite;
nfs:包文件系统处理对象,为一个 Node.js 对象,默认是 fs-cnpm 这个包,并且配置在 ~/.cnpmjs/nfs 目录下,也就是说默认所有同步的包都会被放在这个目录下;开发者可以使用别的一些文件系统插件(如上传到又拍云等),又或者自己去按接口开发一个逻辑层,这些都是后话了;
registryHost:暂时还未试过,我猜是用于 Web 页面显示用的,默认为 r.cnpmjs.org;
enablePrivate:是否开启私有模式,默认为 false;
如果是私有模式则只有管理员能发布包,其它人只能从源站同步包;
如果是非私有模式则所有登录用户都能发布包;
scopes:非管理员发布包的时候只能用以 scopes 里面列举的命名空间为前缀来发布,如果没设置则无法发布,也就是说这是一个必填项,默认为[ '@cnpm', '@cnpmtest', '@cnpm-test' ],据苏千大大解释是为了便于管理以及让公司的员工自觉按需发布;更多关于 NPM scope 的说明请参见 npm-scope;
privatePackages:就如该配置项的注释所述,出于历史包袱的原因,有些已经存在的私有包(可能之前是用 Git 的方式安装的)并没有以命名空间的形式来命名,而这种包本来是无法上传到 CNPM 的,这个配置项数组就是用来加这些例外白名单的,默认为一个空数组;
sourceNpmRegistry:更新源 NPM 的 registry 地址,默认为 https://registry.npm.taobao.org;
sourceNpmRegistryIsCNpm:源 registry 是否为 CNPM,默认为true,如果你使用的源是官方 NPM 源,请将其设为 false;
syncByInstall:如果安装包的时候发现包不存在,则尝试从更新源同步,默认为 true;
syncModel:更新模式(不过我觉得是个 typo),有下面几种模式可以选择,默认为 "none";
"none":永不同步,只管理私有用户上传的包,其它源包会直接从源站获取;
"exist":定时同步已经存在于数据库的包;
"all":定时同步所有源站的包;
syncInterval:同步间隔,默认为 "10m" 即十分钟;
syncDevDependencies:是否同步每个包里面的 devDependencies 包们,默认为 false;
badgeSubject:包的 badge 显示的名字,默认为 cnpm;
userService:用户验证接口,默认为null,即无用户相关功能也就是无法有用户去上传包,该部分需要自己实现接口功能并配置,如与公司的 Gitlab 相对接,这也是后话了;
alwaysAuth:是否始终需要用户验证,即便是 $ cnpm install 等命令;
httpProxy:代理地址设置,用于你在墙内源站在墙外的情况。

在这里面输入你需要的键值对。

这里将会列举一些常用的配置项,其余的一些配置项请自行参考 config/index.js 文件。

启动应用

cnpm Server端采用eggjs编写,所以启动命令和 eggs 一致

 npm start

遇到的问题及解决方案

  1. cnpm搭建成功,但是包同步报错,出了问题,报如下错误:
sync error: TypeError: Cannot read property 'findAll' of null

解决办法: 是把配置文件 的enableAbbreviatedMetadata: true, 设为true

  // https://github.com/cnpm/cnpmjs.org/issues/1149
  // if enable this option, must create module_abbreviated and package_readme table in database
  enableAbbreviatedMetadata: true,
  1. 同步部分库(如metro),报如下错误:
 [metro:10] tries: 3, delay: 53741593520 ms, sync error, version: 0.25.0, SequelizeDatabaseError: SequelizeDatabaseError: ER_TRUNCATED_WRONG_VALUE_FOR_FIELD: Incorrect string value: '\xF0\x9F\x9A\x87 T...' for column 'description' at row 1
    at Query.formatError (/home/cnpm/cnpmjs.org/node_modules/sequelize/lib/dialects/mysql/query.js:175:14)
    at Query. 

解决办法: 由于失败的这部分库description采用了中文字符或者emoji表情, 需要将description字段设置成utf8mb4编码即可


ALTER TABLE module MODIFY COLUMN description longtext CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
ALTER TABLE module_keyword MODIFY COLUMN description longtext CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

你可能感兴趣的:(部署企业私有NPM镜像-CNPM)