AI大模型日报#0825：10行代码让大模型数学提升20%、文心日均调用超6亿

导读：AI大模型日报，爬虫+LLM自动生成，一文览尽每日AI大模型要点资讯！

目前采用“文心一言”（ERNIE-4.0-8K-latest）、“智谱AI”（glm-4-0520）生成了今日要点以及每条资讯的摘要。欢迎阅读！

《AI大模型日报》今日要点：首先，一项由独立学者提出的大模型采样改进方案“最小p采样”引起了广泛关注，该方案通过不到10行代码就能显著提升大模型在数学任务上的表现，并已得到包括谷歌在内的多家厂商的关注与测试。同时，Transformer的作者之一警告称，仅依赖模型销售无法与OpenAI竞争，强调了数据和模型创新的重要性，并看好机器人领域的发展。 在商业化应用方面，百度文心大模型的日均调用量半年内增长了超10倍，成为百度最强的加速引擎，推动了AI在多个领域的应用爆发。此外，Emory大学研究团队提出了一种将大语言模型蒸馏到文本图模型的方法，有效提升了性能并解决了数据稀缺问题。 

标题: 10行代码让大模型数学提升20%，“野路子”研究谷歌也测上了
 

摘要: 不到10行代码就能让大模型数学能力（GSM8k）提升20%！几名独立学者提出的大模型采样改进方案“最小p采样（min-p sampling）”引起了广泛关注，已在Mistral-7B上取得成效，旨在平衡生成文本的连贯性和多样性。该方法还受到了Anthropic和谷歌等闭源模型厂商的关注和测试。研究主要作者Minh Nhat Nguyen自学成才，未完成系统CS学习。min-p方法通过动态调整抽样阈值，强化高把握选择或给予更多发挥空间，确保输出连贯性或内容多样性。实验证明，在推理和数学任务中，min-p比top-p更稳定；在创意写作中，min-p表现突出，获得更高人类评判优选率。
网址: 10行代码让大模型数学提升20%，"野路子"研究谷歌也测上了 | 量子位
 
标题: Transformer作者预警：只卖模型玩不过OpenAI！
 

摘要: Transformer作者之一Aidan Gomez警告称，仅依赖模型销售无法与OpenAI竞争。他强调模型性能提升不只依赖规模，数据和模型创新同样重要。Gomez看好机器人领域，预言5年内将有重大突破，同时指出数据质量对模型至关重要。他认为，除了扩大规模，通过数据抓取、合成数据生成、强化学习算法和推理能力的发展，也能提升模型性能。在竞争方面，由于客户数据的私密性，与OpenAI的用户生成内容计划竞争颇具挑战。
网址: Transformer作者预警：只卖模型玩不过OpenAI！ | 量子位
 
标题: 超6亿！文心大模型日调用量半年增长超10倍，AI成百度最强加速引擎
 

摘要: 大模型进入“应用爆发元年”，商业化提速。百度2024年Q2财报显示，总营收339亿元，核心营收267亿元，核心经营利润56亿元，同比增长23%，超市场预期。百度创始人李彦宏表示，生成式AI和基础模型对商业社会及日常生活产生革命性影响。文心大模型日均调用量超6亿次，增长超10倍。百度智能云业务营收同比增长14%，AI收入占比提升至9%。大模型正在重构百度，搜索结果的“含AI量”持续提升，18%搜索结果由AI生成。智能体成为AI应用新方向，搜索是智能体分发最大入口，高考智能体在高考期间被超过1000万用户使用。
网址: 超6亿！文心大模型日调用量半年增长超10倍，AI成百度最强加速引擎 - 智源社区
 
标题: LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图｜CIKM 2024
 

摘要: Emory大学研究团队提出一种创新方法，通过知识蒸馏将大语言模型（LLM）在文本属性图（TAG）学习中的能力转移到本地图模型。该方法通过训练解释器模型理解LLM的推理过程，并优化学生模型，实现了在多个数据集上平均6.2%的性能提升，有效解决了TAG学习中的数据稀缺、隐私保护和成本问题。研究团队通过将LLM的推理依据转化为图模型能理解的信息，结合LLM的推理能力与图神经网络（GNN）的结构化学习能力，实现了高效的TAG学习。这一方法为不依赖LLM的情况下有效利用其能力提供了新思路，对学术界和工业界都具有重要意义。
网址: LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图｜CIKM 2024 - 智源社区