Nodejs如何在一个文件中获取里边的中文字符

Nodejs如何在一个文件中获取里边的中文字符

---

一 . 问题来源

在实际应用中，有时需要对一个包含中文字符的文件进行处理，比如对文本内容进行分词、文本分析、文本挖掘等操作，这些操作需要先从文件中提取中文字符，再进行相应的处理。此外，有些数据来源比如爬取的中文网页、采集的中文文章，也需要提取其中的中文字符，以便进行一些常规处理，例如结合中文关键词进行分析、提取主题等。通常，在进行自然语言处理、文本处理、数据分析和挖掘等操作时，需要从文件中获取中文字符，以便进行下一步的处理。

以上都是比较高级的操作，在项目中如果需要处理多语言国际化，我们一般都会进行去检查项目中是否有中文，因此就会做一些工具，会去检查包含中文字符的位置，打印具体的行数，以便我们做检查或者替换。

二. 解决过程

使用熟悉的工具进行处理，使用 Node.js 中的 fs 模块中的 readFile 方法，读取包含中文字符内容的文件

举个例子，我们创建文件test.js内容为

console.log('测试文件，我是中文');

function onChange() {
  console.log('change');
  console.log('change方法');
}

onChange();

创建执行代码文件parseChinese.js，按照以下步骤复制代码进去验证。

要在Node.js中获取一个文件中的中文字符，可以采用以下步骤：

• 读取文件：使用 Node.js 中的 fs 模块中的 readFile 方法，读取包含中文字符内容的文件。例如：

const fs = require('fs');
// 读取文件内容
fs.readFile('test.js', 'utf8', (error, data) => {
  if (error) {
    console.error(error);
    return;
  }
  console.log(data);
});

上述代码中，‘test.js’ 是包含中文字符的文件名，‘utf8’ 参数表示编码类型为 UTF-8。
执行 node parseChinese.js 后，会打印出test.js文件中的所有内容

• 提取中文字符：可以使用正则表达式，提取其中的中文字符。例如：

const chineseRegex = /[\u4e00-\u9fa5]/g;
const chineseChars = data.match(chineseRegex);
console.log(chineseChars);

上述代码中，chineseRegex 指定了中文字符的 Unicode 码范围，match() 方法将中文字符从读取的文件内容中提取出来，存储在 chineseChars 变量中。

将第二步内容合并到一起，我们就能打印出所有涉及到的中文了，看看目前的结果

const fs = require('fs');

const chineseRegex = /[\u4e00-\u9fa5]/g;
fs.readFile('./test.js', 'utf8', (error, data) => {
  if (error) {
    console.error(error);
    return;
  }
//   console.log(data);
  const chineseChars = data.match(chineseRegex);
  console.log(chineseChars);
});

[
  '测', '试', '文',
  '件', '我', '是',
  '中', '文', '方',
  '法'
]

很明显，这个结果还是离我们预期差了行数，我们还得考虑行数的展示

• 划分中文所在行数

研究资料后，我们发现我们能够通过使用换行符进行区分分割出每一行，以至于出现第二步这种情况将所有的中文打印到一个数组中。

  // 将文件内容按行分割
  const lines = data.split('\n');
  

将区分后的代码整理到我们已有的代码中再次运行就可以看到打印出行数了

const fs = require('fs');

const chineseRegex = /[\u4e00-\u9fa5]/g;
fs.readFile('./test.js', 'utf8', (error, data) => {
  if (error) {
    console.error(error);
    return;
  }

    // 将文件内容按行分割
    const lines = data.split('\n');

  // 遍历每一行，找出所有的中文字符
  for (let i = 0; i < lines.length; i++) {
    const line = lines[i];
    const chineseCharacters = line.match(chineseRegex);
    
    if (chineseCharacters) {
      // 如果这一行包含中文字符，将它们打印出来
      console.log(`Line ${i + 1}: ${chineseCharacters.join('')}`);
    }
  }
});



// Line 1: 测试文件我是中文
// Line 5: 方法

三. 方案总结及延伸思考

• 使用了nodejs中文件处理系统fs处理文件的读取
• 使用正则表达式 /[\u4e00-\u9fa5]/g 匹配对应的中文
• 使用换行符划分了每一个独立的行，也可以通过fs.createReadStream(filePath);进行按行读取

这里只是读取了一个文件的中文字符，但我们项目中包含很多个文件，我们需要遍历整个项目去获取文件名称和对应的行数，这个可以考虑使用fs中readdir进行获取，同时使用递归的方式，有兴趣的小伙伴可以尝试下如何处理

---