手搓 自然语言模型 LLM 拆分em结构设计 网络参数对比

手搓 自然语言模型 LLM 拆分em结构设计 网络参数对比_第1张图片
数据

数据集

新的em编码参数表

<
voc_size hidden_size total total B max_len seconds days
65536 512 37486592 0.03749B 1024 256 0.2
65536 1024 82837504 0.08284B 2048 512 0.5
65536 2048

你可能感兴趣的:(NLP,网络,人工智能,AIGC,自然语言处理,rnn)