N-gram语言模型第27页

大模型日报-20240109

https://mp.weixin.qq.com/s/_V228WbPr3WKhBtIs7icZQ如今的大语言模型（LLM）仿佛一个全能战士，能进行常识和事实推理、懂得世界知识、生成连贯的文本……在这些基础功能的底座上

程序无涯海·2024-01-09 23:51

循环神经网络语言模型：探索不同的编码器解码器架构

在自然语言处理（NLP）领域，循环神经网络语言模型（RecurrentNeuralNetworkLanguageModels,RNNLMs）是一种常用的方法，用于预测下一个词语在给定上下文中的概率。

OpenChat·2024-01-09 21:46

什么是检索增强生成 (RAG)

什么是RAGRAG，即检索增强生成，是一种将预训练的大型语言模型的功能与外部数据源相结合的技术。

yule.yang·2024-01-09 20:29

Making Large Language Models Perform Better in Knowledge Graph Completion

基本信息博客贡献人鲁智深作者YichiZhang,ZhuoChen,WenZhang,HuajunChen隶属于浙江大学计算机学院和软件学院摘要本文主要探讨了如何将有用的知识图谱结构信息融入大语言模型中

图学习小组·2024-01-09 20:57

BERT 模型是什么

要了解ChatGPT和GoogleBart等大型语言模型（LLM）的成功，我们需要回到过去并谈论BERT。BERT由Google研究人员于2018年开发，是首批LLM之一。

yule.yang·2024-01-09 20:24

Unifying Large Language Models and Knowledge Graphs: A Roadmap

ShiruiPan,SeniorMember,IEEE,LinhaoLuoYufeiWang,ChenChen,JiapuWang,XindongWu,Fellow,IEEE标签人工智能，深度学习，大语言模型

图学习小组·2024-01-09 20:23

自然语言处理中的语言模型

知乎好文章，建议参考学习语言模型语言模型（LanguageModel,LM）是用于计算或预测一系列词语（句子或文本段落）出现概率的统计模型。

天一生水water·2024-01-09 20:23

N-gram 分词

概述本课程作业主要借助python工具，实现了N-gram分词中的Unigram和Bigram分词器，并将前向最大切词FMM和后向最大切词的结果作为Baseline，对比分析N-gram分词器在词语切分正确率

Silence_Dong·2024-01-09 16:23

论文阅读-PaLM-E：多模态语言模型

baidu_huihui·2024-01-09 13:14

预训练模型的分类，以及代表模型介绍

以下是一些主要类型的预训练模型及其代表性模型：自然语言处理（NLP）模型：自回归语言模型：这类模型根据上文内容预测下一个可能的单词或字符。

香至-人生万事须自为，跬步江山即寥廓。·2024-01-09 13:00

re:Invent 2023 技术上新｜利用 Amazon DataZone 新的生成式 AI 功能，进一步简化数据编目和发现...

它由AmazonBedrock的大型语言模型（LLM）提供支持，可生成对数据资产及其架构的详细描述，并提出分析用例建议。您只需单击一下即可生成全面的业务上下文。

亚马逊云开发者·2024-01-09 12:55

AIGC（MLLM、VLM、LLM、SD）系列——论文解读目录

涉及面广：多模态生成模型——MLLM（目前集中在视觉语言模型——VLM）、大语言模型——LLM、生成模型（SD系列）、对比学习的经典模型（CLIP系列）。

TigerZ*·2024-01-09 12:45

用通俗易懂的方式讲解：2024 检索增强生成技术（RAG）研究进展

一、前言在过去的一两年里，人工智能领域目睹了检索增强生成技术（RAG）的迅猛发展，这种技术结合了强大的语言模型与信息检索系统，以期在复杂的问题解决和信息处理任务中提供更加精确和深入的答案。

Python算法实战·2024-01-09 06:10

用通俗易懂的方式讲解：如何提升大模型 Agent 的能力?

大型语言模型（LLM）的出现带火了Agent。利用LLM理解人类意图、生成复杂计划并且能够自主行动的能力。Agent具有无与伦比的能力，能够做出类似于人类复杂性的决策和完成一些复杂的工作。

Python算法实战·2024-01-09 06:37

GPT火了一年了，你还不懂大语言模型吗？

目录一、引言什么是大语言模型，特点是什么？二、大语言模型技术原理1深度学习基础2神经网络结构3语言模型训练与优化三、大语言模型应用场景1自然语言处理2机器翻译3智能问答与对话系统4文本生成

发狂的小花·2024-01-09 03:43

GPT-4：人工智能的新纪元与未来的无限可能

GPT-4的技术革新GPT-4是由OpenAI开发的大型多模态语言模型，它在前代模型GPT-3的基础上进行了显著的改进。GPT-4拥有更大的参数规模，更强的计算能力，以及更

Blind.894·2024-01-09 02:00

第34期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2024-01-09 01:19

关于ChatGPT

前者是一款产品，后者是一个语言模型。ChatGPT是基于GPT的基础之上研发的一款产品。

我只会发热·2024-01-08 20:48

每日一看大模型新闻（2023.11.08）中国研究人员推ControlLLM框架：提升大语言模型处理多模态任务能力；三星宣布明年初推出Galaxy AI；姚班天才开发《完蛋！LLM》游戏爆火

1.产品发布1.1三星宣布明年初推出GalaxyAI发布日期：2023-11-08ANewEraofGalaxyAIisComing—Here’saGlimpse-SamsungUSNewsroom主要内容：三星在其官网上宣布，他们计划在明年初推出GalaxyAI，并将其集成到新的Galaxy旗舰手机中。其中一个功能是AILiveTranslateCall，它将为拥有最新GalaxyAI手机的用户

超爱玩大模型·2024-01-08 20:16

每日一看大模型新闻（2023.11.09）GPT-5爆料:多模态Gobi将在2024年初发布；亚马逊训练比GPT-4参数多两倍的大型语言模型Olympus；GPT-4 Turbo中文基准评测出炉

1.产品发布1.1Snapchat将推集成ChatGPT的AR眼镜发布日期：2023-11-09ChatGPTispoweringanewkindofSnapchatlens-TheVerge主要内容：在年度开发者活动LensFest上，Snapchat宣布推出LensStudio5.0测试版，用于高级AR开发，并提供新的AI功能。Snapchat表示，他们与OpenAI合作，为Lens开发人员提

超爱玩大模型·2024-01-08 20:16

自然语言处理学习笔记

3、N-Gram语言模型：计算概率和最大似然估计来估计参数4、Word2Vec:CBOW(ContinuousBag-of-Word)SG(Skip-Gram)5

追求科技的足球·2024-01-08 19:36

2024程序员必看前端行业分析

从全局视角看IT行业，除了AI领域的大语言模型爆发外，整体都鲜有特别亮眼及突出的技术展现。故而，作为IT领域中细分方向的前端行业，加之整体经济周期的影响，今年的这种形势也算因之有素。

雾岛听风来·2024-01-08 18:55

如何解决大语言模型的幻觉问题

什么是大模型「幻觉」在人类生活中，幻觉表示虚假的但是我们分辨不清楚的事物，在大语言模型中，[幻觉]即代表模型生成的虚假的文本，这中情况很容易导致一些错误的发生造成大模型「幻觉」的原因语言模型的训练数据：

Nowl·2024-01-08 16:16

如何解决大模型的「幻觉」问题？

方向一：什么是大模型「幻觉」大模型「幻觉」（Hallucination）是指在自然语言处理领域中，大型语言模型（如GPT-3、通义千问等）在生成文本或回答问题时，输出的内容虽然看起来合理、流畅甚至极具说服力

划水不带桨·2024-01-08 14:57

基于深度学习大模型实现离线翻译模型私有化部署使用，通过docker打包开源翻译模型，可到内网或者无网络环境下运行使用，可以使用一千多个翻译模型语言模型进行翻译

基于深度学习大模型实现离线翻译模型私有化部署使用，通过docker打包开源翻译模型，可到内网或者无网络环境下运行使用，可以使用一千多个翻译模型语言模型进行翻译，想要什么语种直接进行指定和修改就行。

代码讲故事·2024-01-08 14:33

机器学习周刊第4期：动手实战人工智能、计算机科学热门论文、免费的基于ChatGPT API的安卓端语音助手、每日数学、检索增强 (RAG) 生成技术综述

Hands-onAl2、huggingface的NLP、深度强化学习、语音课3、AwesomeJupyter4、计算机科学热门论文5、LLM开发者必读论文:检索增强(RAG)生成技术综述6、Apple公布了多模态大型语言模型

机器学习算法与Python实战·2024-01-08 13:50

狠人用500行SQL实现GPT大模型

本文介绍了如何在SQL中实现一个大型语言模型。作者解释了生成式大型语言模型的技术原理，并详细讲解了GPT2的实现过程。其中包括分词器的实现和字典的构建。

极道Jdon·2024-01-08 12:54

用通俗易懂的方式讲解：使用 Mistral-7B 和 Langchain 搭建基于PDF文件的聊天机器人

一、LangChain简介LangChain是一个在语言模型之上开发上下文感知应用程序的框架。LangChain使用带prompt和few-shot示例的LLM来提供相关响应和推理。

Python算法实战·2024-01-08 11:50

安装spacy语言模型遇到的问题：OSError: [E050] Can‘t find model；以及解决pycharm命令行安装但import找不到库的问题

即使是放在所使用的Python编译器所在文件夹路径下解压仍然不行2-问题原因：我遇到该原因是因为pycharm命令行安装所在的路径是：意味着语言模型安装在此目录下，而我的Python编译器使用的site-packages

Holmes＇K·2024-01-08 10:12

书生浦语大模型全链路开源体系

目前上海人工智能实验室发布的InternLM大语言模型可分为轻量级InternLM-7B，中量级InternLM-20B，重量级InternLM-123B（千亿级），均为开源可商用。

yestolife123·2024-01-08 09:15

基于多内层神经网络的大语言模型具有内在的先天不足

基于多内层神经网络的大语言模型具有内在的先天不足：1、训练时间长多内层神经网络的大语言模型由于模型参数较多，训练时间较长。这会导致模型的迭代周期较长，限制了模型的实时性和即时应用的能力。

人机与认知实验室·2024-01-08 07:46

【非技术文章】国内AI作图任重道远，我测试了国内主流大模型…

从中可以看出：1.国产大模型任重道远，尽管大型语言模型的发展迅猛，但在作图领域，与国际顶尖的GPT模型相比，我们仍有不小的差距。2.大模型是没有语言壁垒的，中文提示词并不影响GPT的能力。

同学小张·2024-01-08 05:27

AIGC在天猫商品海报生成上的探索

目标拆解GPT部分采用通义千问大语言模型，详见其技术文档。本文重点介

阿里巴巴淘系技术团队官网博客·2024-01-08 03:18

mnn-llm: 大语言模型端侧CPU推理优化

在大语言模型(LLM)端侧部署上，基于MNN实现的mnn-llm项目已经展现出业界领先的性能，特别是在ARM架构的CPU上。

阿里巴巴淘系技术团队官网博客·2024-01-08 03:48

专补大模型短板的检索增强（RAG）有哪些新进展？这篇综述讲明白了

大型语言模型（LLMs）已经成为我们生活和

PaperWeekly·2024-01-08 02:08

大模型日报-20240105

它结合了面向移动设备的架构设计和技术，包括从头开始训练的1.4B和2.7B参数的语言模型、以CLIP方式预训练的多模态视觉模型，以及通过投影实现的高效

程序无涯海·2024-01-08 01:23

浅谈如何解决大模型的「幻觉」问题？

方向一：什么是大模型「幻觉」幻觉(LLM)在大型语言模型中是一个显著的问题，是指输出内容在语法和表达上无懈可击，但其真实性和准确性却难以保证方向二：造成大模型「幻觉」的原因首先，训练数据的质量至关重要。

笛秋白·2024-01-07 21:29

本地部署 Ollama

本地部署Ollama0.Ollama能帮我们做什么1.下载Ollama2.安装Ollama3.使用Ollama4.Ollama和Langchain的集成0.Ollama能帮我们做什么在本地启动并运行大型语言模型

engchina·2024-01-07 20:03

解析大语言模型LLM的幻觉问题：消除错觉、提高认知

文章目录前言一、幻觉介绍二、幻觉产生的原因三、幻觉的现象四、幻觉的分类五、幻觉解决方案六、幻觉待解决问题后记前言在人类的感知和认知过程中，幻觉一直是一个被广泛讨论和研究的问题。幻觉指的是一种虚假的感知或认知经验，使我们看到、听到或感受到不存在的事物或事件。无论是在科学领域还是日常生活中，幻觉都引发了极大的兴趣和好奇心。为了更好地了解幻觉的产生机制和解决方法，我们迫切需要深入探索这个领域。随着人工智

想你依然心痛·2024-01-07 20:32

非工程师指南: 训练 LLaMA 2 聊天机器人

是这样的，机器学习，尤其是LLM(LargeLanguageModels，大语言模型)，已前所未有地普及开来

Hugging Face·2024-01-07 20:39

C#初学者项目代码看不懂怎么办？

AI工具种类一：讯飞星火AI编程助手，诸位可以根据需求找到自己需要的编程助手讯飞星火认知大模型-AI大语言模型-星火大模型-科大讯飞二：CodeGeeX智能编

积德行善.jpg·2024-01-07 17:32

[书生·浦语大模型实战营]——书生·浦语大模型全链路开源体系

2.预训练工具3.微调大语言模型的下游应用中，增量续训和有监督微调是经常会用到的两种方式（1）增量续训使用场景：让基座模型学习到一些新知识，如某个垂类领域知识（垂类领域表示某个行业的某一部分，细分产业

不是吧这都有重名·2024-01-07 16:57

专补大模型短板的RAG有哪些新进展？这篇算是讲明白了

大型语言模型（LLMs）已经成为我们生活和工作的一部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。然而，尽管它们的能力令人印象深刻，但它们并非无懈可击。

机器学习社区·2024-01-07 13:22

PromptCast：基于提示学习的时序预测模型！

受到大语言模型提示工程技术的启发，文章提出了一种时序预测新范式，即通过一定的提示词模版将数值输入转化为语句，利用大语言模型进行预测，把时序预测转变成了一个对话任务，如下图的下半部分所示。

机器学习社区·2024-01-07 13:49

用判断对齐大语言模型

1、写作动机：目前的从反馈中学习方法仅仅使用判断来促使LLMs产生更好的响应，然后将其作为新的示范用于监督训练。这种对判断的间接利用受到无法从错误中学习的限制，这是从反馈中学习的核心精神，并受到LLMs的改进能力的制约。2、主要贡献：•首次系统地探讨了将LLMs与判断对齐的方法。•引入了一个新颖的框架CUT（对比不可能性学习），通过直接和明确地从判断中学习，促进了LLMs的对齐。值得注意的是，CU

Ly大可爱·2024-01-07 13:14

大型语言模型的幻觉问题

在语言模型的背景下，幻觉指的是一本正经的胡说八道：看似流畅自然的表述，实则不符合事实或者是错误的。

IT斜杆青年·2024-01-07 13:14

LLM——检索增强生成RAG

它旨在通过先从一个大型的文档数据库中检索相关信息，然后基于检索到的信息生成回答或内容，从而增强语言模型的能力。

bulingg·2024-01-07 12:39

RAG实战案例：如何基于 LangChain 实现智能检索生成系统

在人工智能领域，如何有效结合大型语言模型（LLM）的常识性知识与特定的专有数据，一直是业界探索的热点。

技术狂潮AI·2024-01-07 12:38

2023春季李宏毅机器学习笔记 03 ：机器如何生成文句

sid=2014800一、大语言模型

女王の专属领地·2024-01-07 11:33

论文解读：P-Tuning v2: Prompt Tuning Can BeComparable to Fine-tuning Universally Across Scales and Tasks

1介绍提示调优只使用冻结的语言模型来调优连续的提示，这大大减少了每次任务的存储和训练时的内存使用。然而，在NLU的背景下，先前的工作表明，对于正常大小的预训练模型，即时调优并不能很好地执行。

智慧医疗探索者·2024-01-07 10:35

推荐频道

N-gram语言模型