npy太大，memory不够怎么办？

搜了一圈，有2条思路出现：

• Way-1:

从制作npy数据集的时候就开始，分批生成npy数据集，在np.load()的时候，分批导入

• Way-2:

研究mmap_mode怎么用，少占用内存

• Way-3:

再申请2块GPU，这样的话，内存又会给quota配到更大

---

Way-1:

X_train是83.4G，太大了，把它分成了7个parts.
X_validate是23G，分成了2parts.

np.load()进来之后，再进行垂直方向的合并。

---

Way-2:

还未开展实验，估计会比较耗时，暂缓学习，尽量用WAY1+WAY2搞定先。
参考：
https://stackoverflow.com/questions/42727412/efficient-way-to-partially-read-large-numpy-file

---

Way-3:

13：20申请了2块k80，等待审批。
===>发现审批在一分钟内通过了。看来付费用户真的很爽。