数据处理经验总结·大数据文件处理参考值

打印在控制台的字符串类型如果两边带有引号的话,说明字符串存储的时候就有引号。

 

经验:在对大测试数据进行转化前,先自己编写样例数据文件,确保样例数据文件对所有测试对象(数据库)能跑通,本质上是确保1、原始数据能够转换出我们要的各种数据;2、转换出的各种数据能够适用各种对象,关键是1,然后再编程对大测试数据进行统一转化。

三元组语义网数据处理时间和资源估算

4g文本文件,Java按行读写进行简单处理大约需要2.5天。

4g文本文件,56GB系统内存,20GB堆内存。 全部先读入List,一行对应一个String[],读入阶段CPU使用100%,然后所有List里的内容进行简单处理后拼接进入一个StringBuilder(). 在整个过程的某个阶段,会OutOfMemory.

你可能感兴趣的:(数据处理)