AI大模型日报#0825:10行代码让大模型数学提升20%、文心日均调用超6亿

导读:AI大模型日报,爬虫+LLM自动生成,一文览尽每日AI大模型要点资讯!

目前采用“文心一言”(ERNIE-4.0-8K-latest)、“智谱AI”(glm-4-0520)生成了今日要点以及每条资讯的摘要。欢迎阅读!

《AI大模型日报》今日要点:首先,一项由独立学者提出的大模型采样改进方案“最小p采样”引起了广泛关注,该方案通过不到10行代码就能显著提升大模型在数学任务上的表现,并已得到包括谷歌在内的多家厂商的关注与测试。同时,Transformer的作者之一警告称,仅依赖模型销售无法与OpenAI竞争,强调了数据和模型创新的重要性,并看好机器人领域的发展。 在商业化应用方面,百度文心大模型的日均调用量半年内增长了超10倍,成为百度最强的加速引擎,推动了AI在多个领域的应用爆发。此外,Emory大学研究团队提出了一种将大语言模型蒸馏到文本图模型的方法,有效提升了性能并解决了数据稀缺问题。 


标题: 10行代码让大模型数学提升20%,“野路子”研究谷歌也测上了
 

AI大模型日报#0825:10行代码让大模型数学提升20%、文心日均调用超6亿_第1张图片


摘要: 不到10行代码就能让大模型数学能力(GSM8k)提升20%!几名独立学者提出的大模型采样改进方案“最小p采样(min-p sampling)”引起了广泛关注,已在Mistral-7B上取得成效,旨在平衡生成文本的连贯性和多样性。该方法还受到了Anthropic和谷歌等闭源模型厂商的关注和测试。研究主要作者Minh Nhat Nguyen自学成才,未完成系统CS学习。min-p方法通过动态调整抽样阈值,强化高把握选择或给予更多发挥空间,确保输出连贯性或内容多样性。实验证明,在推理和数学任务中,min-p比top-p更稳定;在创意写作中,min-p表现突出,获得更高人类评判优选率。
网址: 10行代码让大模型数学提升20%,"野路子"研究谷歌也测上了 | 量子位
 
标题: Transformer作者预警:只卖模型玩不过OpenAI!
 

AI大模型日报#0825:10行代码让大模型数学提升20%、文心日均调用超6亿_第2张图片


摘要: Transformer作者之一Aidan Gomez警告称,仅依赖模型销售无法与OpenAI竞争。他强调模型性能提升不只依赖规模,数据和模型创新同样重要。Gomez看好机器人领域,预言5年内将有重大突破,同时指出数据质量对模型至关重要。他认为,除了扩大规模,通过数据抓取、合成数据生成、强化学习算法和推理能力的发展,也能提升模型性能。在竞争方面,由于客户数据的私密性,与OpenAI的用户生成内容计划竞争颇具挑战。
网址: Transformer作者预警:只卖模型玩不过OpenAI! | 量子位
 
标题: 超6亿!文心大模型日调用量半年增长超10倍,AI成百度最强加速引擎
 

AI大模型日报#0825:10行代码让大模型数学提升20%、文心日均调用超6亿_第3张图片


摘要: 大模型进入“应用爆发元年”,商业化提速。百度2024年Q2财报显示,总营收339亿元,核心营收267亿元,核心经营利润56亿元,同比增长23%,超市场预期。百度创始人李彦宏表示,生成式AI和基础模型对商业社会及日常生活产生革命性影响。文心大模型日均调用量超6亿次,增长超10倍。百度智能云业务营收同比增长14%,AI收入占比提升至9%。大模型正在重构百度,搜索结果的“含AI量”持续提升,18%搜索结果由AI生成。智能体成为AI应用新方向,搜索是智能体分发最大入口,高考智能体在高考期间被超过1000万用户使用。
网址: 超6亿!文心大模型日调用量半年增长超10倍,AI成百度最强加速引擎 - 智源社区
 
标题: LLM蒸馏到GNN,性能提升6.2%!Emory提出大模型蒸馏到文本图|CIKM 2024
 

AI大模型日报#0825:10行代码让大模型数学提升20%、文心日均调用超6亿_第4张图片


摘要: Emory大学研究团队提出一种创新方法,通过知识蒸馏将大语言模型(LLM)在文本属性图(TAG)学习中的能力转移到本地图模型。该方法通过训练解释器模型理解LLM的推理过程,并优化学生模型,实现了在多个数据集上平均6.2%的性能提升,有效解决了TAG学习中的数据稀缺、隐私保护和成本问题。研究团队通过将LLM的推理依据转化为图模型能理解的信息,结合LLM的推理能力与图神经网络(GNN)的结构化学习能力,实现了高效的TAG学习。这一方法为不依赖LLM的情况下有效利用其能力提供了新思路,对学术界和工业界都具有重要意义。
网址: LLM蒸馏到GNN,性能提升6.2%!Emory提出大模型蒸馏到文本图|CIKM 2024 - 智源社区
 

你可能感兴趣的:(人工智能,AI大模型日报,大模型,AIGC,AI资讯)