Mistral

零基础入门AI：一键本地运行各种开源大语言模型 - Ollama

AI大模型知识分享·2024-09-14 03:16

新款 GPT-4o mini、Llama 3.1、Mistral NeMo 12B 和其他 GenAI 趋势指南

作者使用GPT-4o创建的图像，用于表示不同的模型欢迎来到雲闪世界。自2022年11月推出ChatGPT以来，几乎每周都会出现新的模型、新颖的提示方法、创新的代理框架或其他令人兴奋的GenAI突破。2024年7月也不例外：仅在本月，我们就看到了MistralCodestralMamba、MistralNeMo12B、GPT-4omini和Llama3.1等的发布。这些模型在推理速度、推理能力、编码

数云界·2024-09-13 18:53

LLAMA Factory: 简洁高效的大语言模型训练平台

LLAMAFactory:简洁高效的大语言模型训练平台LLaMA-Factory易于使用的LLM微调框架（LLaMA,BLOOM,Mistral,百川，Qwen,ChatGLM）。

俞纬鉴Joshua·2024-09-11 08:57

微软开源 Phi-3.5 视觉模型

下面是关键总结：Phi3.5Mini:3.8B参数，性能超过Llama3.1(8B)和Mistral7B，接近MistralNeMo12B。支持多种语言，使用了包含32,000个词汇的分词器。

三花AI·2024-09-08 02:19

微软发布Phi-3.5——这个新型小型AI模型优于Gemini和GPT-4o

这个新版本是对上一代的重大升级，在几个重要指标上击败了谷歌、OpenAI、Mistral和Meta等领先公司的小型模型。Phi-3.5有38亿、41.5亿和419亿个参数版本。

AI新智元·2024-08-28 16:06

可商用、性能超强！新开源Mamba架构纯代码模型

7月17日，法国著名开源大模型平台Mistral.ai在官网开源了，基于Mamba架构的纯代码模型——CodestralMamba。

RPA中国·2024-08-27 09:22

AI初识--LLM、ollama、llama都是些个啥？

LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama3、Phi3、Mistral

才艺のblog·2024-08-25 20:51

开源免费大语言模型（LLMs）排行榜

目录一、模型介绍1.1LLaMA(LargeLanguageModelMetaAI)1.2Falcon1.3Mistral1.4GPT-NeoX1.5Bloom1.6OPT(OpenPre-trainedTransformer

张3蜂·2024-08-21 22:37

WhisperFusion：具有超低延迟无缝对话功能的AI系统

WhisperFusion基于WhisperLive和WhisperSpeech的功能而构建，在实时语音到文本管道之上集成了大型语言模型Mistral(LLM)。

语音之家·2024-02-20 11:39

揭秘 LLM 推理：全面解析 LLM 推理性能的关键因素

在短短一年时间内，涌现出了数以百计的LLM模型，包括开源模型如LLaMA、Mistral、Yi、Baichuan、Qwen，以及闭源模型如Claude、Gemini等。

lichunericli·2024-02-12 08:53

LLMs之miqu-1-70b：miqu-1-70b的简介、安装和使用方法、案例应用之详细攻略

“提示格式”以及用户交互方式同Mistral相同。难道是与Mistral-Medium是同一个模

一个处女座的程序猿·2024-02-10 14:10

使用 vLLM 部署本地 LLM 指南

兼容服务器参考资料：vLLMGitHub首页vLLM官方文档vLLM安装与模型下载vLLM安装：直接pipinstall即可我选取了OpenChat-3.5-0106模型，这个模型是由mistralai/Mistral

明月出天山_·2024-02-08 20:31

性能最接近 GPT4，开源AI模型 “泄露”

Mistral公司的C

英智未来·2024-02-08 06:42

使用 LlamaIndex 部署本地 Mistral-7b 大模型实现 RAG

原理LlamaIndex的文档链接：UsingLLMs-LlamaIndex0.9.33LlamaIndex的一般使用模式如下：加载文档（手动或通过数据加载器)将文档解析为节点构建索引（来自节点或文档)（可选，高级）在其他索引之上构建索引查询索引默认情况下，LlamaIndex使用OpenAI的text-davinci-003模型，然而由于OpenAI的网站在国内无法访问，故使用本地下载好的Mis

明月出天山_·2024-02-06 00:26

清华系2B模型杀出，性能吊打LLaMA-13B

在综合性榜单上与Mistral-7B相近，在中文、数学、代码能力表现更优，整体性能超越Llama2-13B、MPT-30B、Falcon-40B等模型。

智慧医疗探索者·2024-02-05 13:28

Serializable与dataclasses结合的作用

一、问题来源：dataclasses和Serializable分别有什么用在研究mistral代码（地址：https://github.com/mistralai/mistral-src/blob/main

Takoony·2024-02-01 22:22

WhisperFusion：与 AI 无缝语音对话（超低延迟），深入理解用户每句话背后的含义

它结合了Mistral模型，增强转录文本的上下文理解，深入理解每句话背后的含义。WhisperFusion带来智能

喜好儿网·2024-02-01 05:24

[论文笔记] PAI-Megatron 源码解读之Mistral的滑动窗口sliding window

这段代码是_make_causal_mask函数中处理滑动窗口局部注意力的部分。这里的目的是创建一个额外的掩码，以便在自注意力机制中只考虑每个位置附近的一定数量的位置，而不是所有之前的位置。这通常用于减少计算复杂性和提高长序列处理的效率。代码分析如下：diagonal=past_key_values_length-sliding_window+1:这里计算的是上三角矩阵（triu）的开始对角线的索

心心喵·2024-01-30 20:08

WhisperBot：整合了Mistral大型语言模型的实时语音转文本系统

WhisperBot基于WhisperLive和WhisperSpeech的功能而构建，在实时语音到文本管道之上集成了大型语言模型Mistral(LLM)。

语音之家·2024-01-30 10:14

Mistral AI社区发布SMoE混合专家模型Mixtral 8x7B性能超越ChatGPT

MistralAI社区发布了Mixtral8x7B混合专家模型。这是一种具有开放权重的高质量稀疏专家混合模型(SMoE)。根据Apache2.0许可。Mixtral在大多数基准测试中都优于Llama270B模型，推理速度提高了6倍。特别是，它在大多数标准基准测试中优于GPT3.5。Mixtral8x7B混合专家模型具有以下几个强大的功能：上下文token数达到32k。可以处理英语、法语、意大利语、

人工智能研究所·2024-01-27 19:57

本周Github上有趣的11个项目

它通过统一的API简化了对OpenAI、Anthropic、Mistral、LLama2、Anyscale、GoogleGemini等的API请求。

极道Jdon·2024-01-26 16:11

读《Mixtral of Experts》

Mixtral具有与Mistral7B相同的架构，不同之处在于每层由8个前馈块（即专家）组成。对于每一个令牌，在每一层，路由器网络都会选择两名专家来处理当前状态并组合他们的输出。尽管每个令牌只能

Mighty_Crane·2024-01-21 01:53

Portkey AI网关：一个用来连接多种人工智能模型的开源工具

包括OpenAI、Anthropic、Mistral、LLama2、Anyscale、GoogleGemini等。安装体积只有45kb，处理速度提升了9.9倍，可以在多个不同的AI模型中来回切换。

AI 研习所·2024-01-20 17:48

一篇综述洞悉医学大型语言模型的原理，应用和挑战

在过去的一年中，随着GPT-4、LLaMA、Mistral，PaLM等先进技术的突飞猛进，大型语言模型（LargeLanguageModels）已经引领全球人工智能进入了一个全新的基础模型时代，这一时代不仅开启了技术创新的新篇章

TechBeat人工智能社区·2024-01-18 14:38

[论文笔记] PAI-Megatron中qwen和mistral合并到Megtron-LM

一、千问关于tokenizer的改动：1.1、更改build_tokenizer中tokenizer类的加载。/mnt/nas/pretrain/code/Megatron-LM/megatron/tokenizer/__init__.py或者tokenizer.py在build_tokenizer.py函数中：elifargs.tokenizer_type=="QwenTokenizer":a

心心喵·2024-01-13 20:08

垂直领域大模型落地思考

通俗易懂讲解大模型系列用通俗易懂的方式讲解：使用Mistral-7B和

Python算法实战·2024-01-08 11:53

用通俗易懂的方式讲解：使用 Mistral-7B 和 Langchain 搭建基于PDF文件的聊天机器人

在本文中，使用LangChain、HuggingFaceEmbeddings和HuggingFace的Mistral-7BLLM创建一个简单的Python程序，可以从任何pdf文件中回答问题。

Python算法实战·2024-01-08 11:50

LLM（九）| 使用LlamaIndex本地运行Mixtral 8x7大模型

MistralAI在一篇博客文章（https://mistral.ai/news/mixtral-of-experts/）介绍了Mixtral8x7b，在许多基准上与GPT-3.5和Llama270b相匹配甚至是超越

wshzd·2024-01-05 12:18

大模型上下文长度的超强扩展：从LongLora到LongQLora

前言本文一开始是《七月论文审稿GPT第2版：从MetaNougat、GPT4审稿到Mistral、LongLoraLlama》中4.3节的内容，但考虑到一方面，LongLora的实用性较高二方面，为了把

v_JULY_v·2024-01-04 15:18

LLM之RAG实战（十一）| 使用Mistral-7B和Langchain搭建基于PDF文件的聊天机器人

在本文中，使用LangChain、HuggingFaceEmbeddings和HuggingFace的Mistral-7BLLM创建一个简单的Python程序，可以从任何pdf文件中回答问题。

wshzd·2023-12-30 20:17

那些看不见的伤

——LaurellK.Hamilton,Mistral'sKiss每个绚烂的生命背后都隐藏着无数的伤痕，每次微笑的背后都是一次次伤痛的隐忍，我们无所畏惧地面对这世界，却越来越难以逃避那个本来软弱的自己。

俪水寒·2023-12-25 00:09

在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现

本文主要比较3个模型:RoBERTa、Mistral-7B及Llama-2-7B。我们用它们来解决一个常见问题——对灾难相关的推文进行分类。

Hugging Face·2023-12-23 19:14

transformer系列之空间复杂度

加载阶段该阶段是指将模型加载进GPU的状态；该阶段仅仅需要计算模型的参数量足以；transformer模型由lll个相同的层组成，每个层分为两部分：self-attention块和MLP块，如图所示：mistral

Takoony·2023-12-23 04:47

LLama Factory 安装部署实操记录（二）

1.项目地址GitHub-hiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan,Qwen

瑾怀轩·2023-12-22 16:13

Mistral AI CEO宣布于2024年开源GPT-4级别模型

法国初创公司MistralAI的首席执行官ArthurMensch在法国国家广播电台宣布，公司计划于2024年开源GPT-4级模型，引发了业界的关注。最近，MistralAI推出了基于MoE架构的8X7B模型，与GPT3.5和Llama270B等其他流行模型相媲美，并在大多数基准测试中以6倍更快的推理速度超越了Llama270B。该模型采用Apache2.0许可，为开发者提供更大的灵活性。这一消息

智云研·2023-12-20 18:46

欧洲版OpenAI疑似将在24年发布并开源GPT-4级别模型！

今天在推特上看到一条振奋人心的消息：“欧洲版OpenAI、法国初创公司Mistral首席执行官ArthurMensch在法国国家广播电台宣布，Mistral将在2024年发布开源GPT-4级别模型。”

夕小瑶·2023-12-20 13:45

音视频技术开发周刊 | 324

还有更强型号的Mistral-medium也已开启内测，性能直追GPT-4。8x7B开源MoE击败Lla

LiveVideoStack_·2023-12-19 23:01

Mistral MOE架构全面解析

从代码角度理解Mistral架构Mistral架构全面解析前言Mistral架构分析分词网络主干MixtralDecoderLayerAttentionMOEMLP下游任务因果推理文本分类Mistral

江小皮不皮·2023-12-18 03:06

使用Pytorch从零开始构建LoRA

这包括BERT和RoBERTa等掩码语言模型，以及GPT、Llama和Mistral等因果（或聊天机器人）模型。LoRA的主要优点之一在于其效率。通过使用更少的参数，LoRA显着降

Garry1248·2023-12-17 07:47

Mistral AI发布行业领先的Mixtral 8x7B专家混合模型&完成4.15亿美元融资

一、前言MistralAI是欧洲最强的LLM大模型公司，团队由来自Google、Meta和HuggingFace的新生代法国科学家们组成。法国是欧洲AI人才最集中的地方，Falcon模型和HuggingFace社区都来自法国团队。他们在多模态、检索增强生成（RAG）等大模型突破方向有着丰富经验，有理由期待MistralAI的下一代新模型成为gamechanger的潜力。企业端使用LLM时考虑的不仅

技术狂潮AI·2023-12-16 13:00

Mistral AI发布开放权重的高质量SMoE模型Mixtral 8x7B

AI新闻开源MoE大模型震惊开源社区摘要：上周末，Mistral开源了一款震惊开源社区的MoE大模型。MoE是一种神经网络架构设计，能够提升大语言模型的性能。

go2coding·2023-12-15 14:11

baichuan-7B-chat微调报错及解决记录使用的仓库：LLaMA-Factory 2023年11月27日

我所使用的代码仓库是LLaMA-Factoryhiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan

ygdzzx·2023-12-15 13:57

Mistral AI 推出高质量的稀疏专家混合AI人工智能模型——SMoE，有望超越ChatGPT3.5

MistralAI（“MistralAI”是一家由前DeepMind和MetaPlatforms（META.US）的研究人员组建的新公司。）继续履行为开发者社区提供最佳开放模型的使命。他们发布了Mixtral8x7B，这是一个高质量的稀疏专家混合模型（SMoE），拥有开放权重，该模型的性能在大多数基准测试中优于Llama270B，推理速度提高了6倍。Mixtral是一个稀疏的专家混合网络，可以处理

喜好儿aigc·2023-12-15 13:22

超越边界：Mistral 7B挑战AI新标准，全面超越Llama 2 13B

近日，一个新的里程碑被设立：MistralAI发布了其最新模型Mistral7B，它在众多基准测试中全面超越了Llama213B模型，标志着AI技术的一个重大进步。

努力犯错·2023-12-15 13:48

Mistral AI 为什么这么火

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/MistralAI是一家成立于2023年的法国创业公司,开发快速、开源且安全的语言模型。

新加坡内哥谈技术·2023-12-15 07:10

只有27亿参数，性能却高25倍！微软发布Phi-2

虽然Phi-2的参数很小，性能却优于130亿参数的Llama-2和70亿参数的Mistral，以及谷歌最新发布的GeminiNano2。

richerg85·2023-12-14 17:45

MistralAI发布全球首个MoE大模型-Mixtral 8x7B，创新超越GPT-4

引言MistralAI，一家法国的初创企业，近期在AI界引发了轰动，刚刚发布了全球首个基于MoE（MixtureofExperts，混合专家）技术的大型语言模型——Mistral-8x7B-MoE。

努力犯错·2023-12-14 13:10

开源类ChatGPT平台Mistral AI，再获巨额融资

MistralAI的开源大语言模型Mistral7B主打参数小、能耗低、性能强等特点，并且允许商业化。支持生成文本/代码、数据微调、总结内容等，目前在github有4500颗星。

RPA中国·2023-12-06 13:01

RoPE旋转位置编码浅析

RoPE旋转位置编码浅析本文介绍了旋转位置编码RoPE在大模型中的广泛应用，包括Llama、Mistral7B、Baichuan、ChatGLM、Qwen、…等。

段智华·2023-12-05 08:47

Mistral 7B 比Llama 2更好的开源大模型（四）

Mistral7B在平衡高性能和保持大型语言模型高效的目标方面迈出了重要的一步。通过我们的工作，我们的目标是帮助社区创建更实惠、更高效、更高性能的语言模型，这些模型可以在广泛的现实世界应用程序中使用。

段智华·2023-11-24 02:56

推荐频道