E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Qwen
阿里开源大模型
Qwen
-72B 私有化部署
Qwen
模型在一系列基准数据集(例如MMLU、C-Eval、GSM8K、MATH、HumanEval、MBPP、等)上优于类似模型大小的基线模型,这些数据集评估了模
机器学习社区
·
2023-12-31 00:35
大模型
自然语言
CV
chatgpt
LLM
多模态
大模型
人工智能
【大模型实践】通义千问
QWen
安装及体验(三)
通义千问,是阿里云推出的一个超大规模的语言模型,功能包括多轮对话、文案创作、逻辑推理、多模态理解、多语言支持。能够跟人类进行多轮的交互,也融入了多模态的知识理解,且有文案创作能力,能够续写小说,编写邮件等。自12月1日阿里云宣布开源,通义千问72B大模型就开启了“屠榜”模式,接连问鼎多个权威排行榜。今天,通义千问又摘得一重要榜单冠军。12月12日,中国权威的大模型评测平台OpenCompass日前
justld
·
2023-12-25 14:24
大模型
深度学习
注意力机制
人工智能
深度学习
langchain
通义千问
LLama Factory 安装部署实操记录(二)
1.项目地址GitHub-hiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan,
Qwen
瑾怀轩
·
2023-12-22 16:13
大模型探索
llama
利用阿里通义千问和Semantic Kernel,10分钟搭建大模型知识助手!
前言**通义千问:**是阿里推出的一个超大规模的语言模型,其中参数模型
Qwen
-72B已经宣布开源,同时还开源了18亿参数模型
Qwen
-1.8B和音频大模型
Qwen
-Audio,至此已经开源了18亿、70
编程乐趣
·
2023-12-22 06:04
.netcore
asp.net
c#
.net
如何对大模型进行评估下
这里分析的源代码是
Qwen
的评估脚本。如何使用选择题类型数据集进行评估下面的代码是
Qwen
大模型提供的evaluate_ceval.py评估脚本的部分代码,原始代码所有信息请查看官网。
taoli-qiao
·
2023-12-21 22:33
LLM
大模型
Triton + HF +
Qwen
推理经验总结
1.简介Triton介绍参考:GitHub-triton-inference-server/tutorials:ThisrepositorycontainstutorialsandexamplesforTritonInferenceServer2.实现方案2.1.docker部署#拉取docker镜像gitclone-br23.10https://github.com/triton-inferen
Charles_yy
·
2023-12-21 21:59
大语言模型
AIGC:阿里开源大模型通义千问部署与实战
1引言通义千问-7B(
Qwen
-7B)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。
Qwen
-7B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。
智慧医疗探索者
·
2023-12-21 06:54
AIGC
AIGC
通义千问
大模型
WebLangChain_ChatGLM:结合 WebLangChain 和 ChatGLM3 的中文 RAG 系统
ChatGLM、Baichuan、
Qwen
等大语言模型针对中文交互场景进行了优化,以提升其对中文理解和问答的能力。所
kebijuelun
·
2023-12-20 12:10
语言模型
人工智能
langchain
chatgpt
AIGC -
Qwen
大模型:
Qwen
-7B模型推理部署
硬件环境作为AIGC方面的小白来说,我抱着非常天真的想法,想让它在我的工作笔记本上用i5的CPU去跑,至于为什么这么想,当然是因为我没有GPU,身边也没有其他的带显卡电脑恰好,在腾讯云看到了GN7的显示优惠活动,60块钱15天,NvidiaT4的AI卡,直接斥巨资购买了15天;不过这段时间准备搭一台自己用的服务器,初步计划是可以插4块GPU,内存上到200G,还是用DeepSpeed做下全量训练啥
有意思科技
·
2023-12-18 02:47
人工智能
AIGC
AIGC
人工智能
pytorch
通义千问
Qwen
-72B-Chat在PAI-DSW的微调推理实践
01引言通义千问-72B(
Qwen
-72B)是阿里云研发的通义千问大模型系列的720亿参数规模模型。
Qwen
-72B的预训练数据类型多样、覆盖广泛,包括大量网络文本、专业书籍、代码等。
Python算法实战
·
2023-12-16 11:04
大模型
大模型理论与实战
深度学习
大模型
语言模型
pytorch
LLM
走向边缘智能,美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型
近日,美格智能发挥软硬件一体协同开发能力,融合阿加犀卓越的AI优化部署技术,在搭载高通QCS8550平台的高算力AI模组上,成功运行了一系列大语言模型,包括LLaMA-2、通义千问
Qwen
、百川大模型、
美格智能
·
2023-12-15 23:38
人工智能
语言模型
自然语言处理
baichuan-7B-chat微调报错及解决记录 使用的仓库:LLaMA-Factory 2023年11月27日
我所使用的代码仓库是LLaMA-Factoryhiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan,
Qwen
ygdzzx
·
2023-12-15 13:57
人工智能
深度学习
神经网络
自然语言处理
nlp
大模型的实践应用13-量化后的通义千问
Qwen
的18亿参数在CPU上的部署,最小2GB显存可跑,并利用两种文本流式方式输出
大家好,我是微学AI,今天给大家介绍大模型的实践应用13-量化后的通义千问
Qwen
的18亿参数在CPU上的部署,最小2GB显存可跑,并利用两种文本流式方式输出。
微学AI
·
2023-12-14 21:01
大模型的实践应用
大模型
nlp
Qwen
通义千问 14B 模型,长文本问答效果测试
千问的config:seq_len=2kmax_position_embedding=8k注意,以下实验结果的字数是token数,不是中文字符数。不使用动态ntk12000字输入:乱码5000字输入:乱码1500字输入:正常不使用动态ntk,使用线性位置插值缩放4倍12000字输入:乱码5000字输入:正常,但废话多,质量低。1500字输入:正常,但答案错误不使用动态ntk,使用线性位置插值缩放2
防搞活机
·
2023-12-07 01:31
深度学习
nlp
2023-12-05 AIGC-阿里通义千问
QWEN
-说明
摘要:2023-12-05AIGC-阿里通义千问
QWEN
-说明代码仓库:GitHub-QwenLM/
Qwen
:TheofficialrepoofQwen(通义千问)chat&pretrainedlargelanguagemodelproposedbyAlibabaCloud
悟世者
·
2023-12-05 21:06
AIGC
AIGC
RoPE旋转位置编码浅析
RoPE旋转位置编码浅析本文介绍了旋转位置编码RoPE在大模型中的广泛应用,包括Llama、Mistral7B、Baichuan、ChatGLM、
Qwen
、…等。
段智华
·
2023-12-05 08:47
ChatGPT学习
RoPE
llama.cpp部署通义千问
Qwen
-14B
今天在github上看到前几天llama.cpp已经支持
Qwen
的推理了,但是由于是近期才开源的,网上还没有太多使用llama.cpp来推理通义千问的实例。本着学习的目的,今天就来实
静待梅花开
·
2023-12-04 01:22
DeepLearning
llama
阿里云
transformer
3090微调多模态模型
Qwen
-VL踩坑
如下:[{"id":"identity_0","conversations":[{"from":"user","value":"你好"},{"from":"assistant","value":"我是
Qwen
-VL
微凉的衣柜
·
2023-12-04 00:34
深度学习
深度学习
语言模型
pytorch
通义千问 模型学习 和 SDK试用
通义千问-14B-Chat-Int4·模型库(modelscope.cn)**通义千问-14B(
Qwen
-14B)**是阿里云研发的通义千问大模型系列的140亿参数规模的模型。
wangqiaowq
·
2023-12-03 21:00
人工智能
自然语言处理
阿里千问
Qwen
-72 b在中文测试中击败了GPT-3.5
2023.11.30我们在ModelScope和HuggingFace上发布了
Qwen
-72B和
Qwen
-72B-Chat,它们在3T令牌上进行训练并支持32k上下文,以及
Qwen
-1.8B和
Qwen
-
极道Jdon
·
2023-12-03 08:00
javascript
reactjs
阿里云开源通义千问720亿参数模型,性能超越大部分商用闭源大模型
12月1日,阿里云举办通义千问发布会,开源通义千问720亿参数模型
Qwen
-72B。
CSDN云计算
·
2023-12-02 17:47
人工智能
阿里云通义千问720亿参数模型开源,适配企业级、科研级高性能应用
12月1日,阿里云举办通义千问发布会,开源通义千问720亿参数模型
Qwen
-72B。
光锥智能
·
2023-12-02 08:06
阿里云
开源
云计算
关于大模型在文本分类上的尝试
文章目录前言所做的尝试总结前言总共25个类别,在BERT上的效果是48%,数据存在不平衡的情况,训练数据分布如下:训练数据不多,4000左右所做的尝试1、基于
Qwen
-14b-base做LoraSFT,
ToTensor
·
2023-11-30 16:13
NLP成长之路
大模型通关打怪之旅
分类
pytorch
深度学习
大模型
手把手教你Autodl平台
Qwen
-7B-Chat FastApi 部署调用
手把手带你在AutoDL上部署
Qwen
-7B-ChatFastApi调用项目地址:https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程
Unicornlyy
·
2023-11-29 23:44
大模型
fastapi
Qwen
人工智能
语言模型
手把手教你在AutoDL上
Qwen
-7B-Chat WebDemo
Qwen
-7B-Chat 网络演示
手把手带你在AutoDL上
Qwen
-7B-ChatWebDemoQwen-7B-Chat网络演示项目地址:https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程
Unicornlyy
·
2023-11-29 23:44
大模型
人工智能
webdemo
Qwen
大模型
手把手教你在AutoDL上部署
Qwen
-7B-hat Transformers 部署调用
手把手带你在AutoDL上部署
Qwen
-7B-hatTransformers调用项目地址:https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程
Unicornlyy
·
2023-11-29 23:10
大模型
人工智能
LLM
transformer
阿里基于
Qwen
-Chat提出
Qwen
-Audio!
论文链接:https://arxiv.org/pdf/2311.07919.pdf开源代码:https://github.com/QwenLM/
Qwen
-Audio引言大型语言模型(LLMs)由于其良好的知识保留能力
希尔贝壳AISHELL
·
2023-11-29 16:20
智能语音
开源
语言模型
人工智能
Langchain-Chatchat学习
参考:Langchain-Chatchat+阿里通义千问
Qwen
保姆级教程|次世代知识管理解决方案-知乎(zhihu.com)中文LLM生态观察模型就开源的部分而言,从一开始的MOSS[1]ChatGLM
wangqiaowq
·
2023-11-29 16:17
langchain
学习
通义千问
Qwen
-7B-Chat-Int4 模型本地化部署
如需在本地或离线环境下运行本项目,需要首先将项目所需的模型下载至本地,通常开源LLM与Embedding模型可以从HuggingFace下载。以本项目中默认使用的LLM模型THUDM/ChatGLM2-6B与Embedding模型moka-ai/m3e-base为例:下载模型需要先安装GitLFS,然后运行参考:通义千问部署搭建_代码浪人的博客-CSDN博客gitclonehttps://www.
wangqiaowq
·
2023-11-29 16:46
人工智能
自然语言处理
开源语音大语言模型——
Qwen
-Audio
论文链接:https://arxiv.org/pdf/2311.07919.pdf开源代码:https://github.com/QwenLM/
Qwen
-Audio一、背景大型语言模型(LLMs)由于其良好的知识保留能力
伪_装
·
2023-11-28 06:39
语音识别
语言模型
人工智能
盘点2023年Q3的开源模型,这些值得推荐!
LLaMA2Baichuan2ChatGLM2-6BQwen-14BInternLM-20BTigerbot-13BTigerbot-70B多模态模型LLaVA1.5VisualGLM-6BVisCPMNexT-GPTMiniGPT-5
Qwen
-VLAgent
快乐小码农
·
2023-11-26 10:57
开源项目
AI
人工智能
大语言模型
LLM
开源模型
阿里基于
Qwen
-Chat提出
Qwen
-Audio!
论文链接:https://arxiv.org/pdf/2311.07919.pdf开源代码:https://github.com/QwenLM/
Qwen
-Audio引言大型语言模型(LLMs)由于其良好的知识保留能力
希尔贝壳AISHELL
·
2023-11-25 07:44
智能语音
开源
语言模型
人工智能
大模型增量预训练参数说明
欢迎关注公众号模型参数model_type模型类型,例如bloom,llama,baichuan,
qwen
等。model_name_or_path模型名称或者路径。
hj_caas
·
2023-11-24 02:32
领域模型三阶段训练
深度学习
人工智能
主流开源大语言模型的微调方法
文章目录模型ChatGLM2网址原生支持微调方式ChatGLM3网址原生支持微调方式Baichuan2网址原生支持微调方式
Qwen
网址原生支持微调方式框架FireflyEfficient-Tuning-LLMsSuperAdapters
羊城迷鹿
·
2023-11-23 19:11
自然语言处理
语言模型
人工智能
自然语言处理
荣耀董事长换帅,辟谣“借壳上市”;传拼多多入局大模型,年薪百万招兵买马;ChatGPT Voice语音聊天免费开放| 极客头条
阿里巴巴发布音频语言模型
Qwen
-Audio荣耀董事长换帅,辟谣“借壳上市”TCL芯片公司摩星宣布解散,有员工签署N+1赔偿小米武汉科技园将于今年年底竣工消息称拼多多入局大模型,年薪百万招兵买马消息称
极客日报
·
2023-11-23 09:47
快讯
极客日报
chatgpt
本地部署
Qwen
-14B-Chat
本地部署
Qwen
-14B-Chat1.
Qwen
-14B概述2.Github地址3.创建虚拟环境4.安装依赖项5.快速使用6.启动web演示7.访问
Qwen
1.
Qwen
-14B概述通义千问-14B(
Qwen
engchina
·
2023-11-20 14:48
LINUX
Qwen-14B-Chat
Qwen
-14B-Chat-Int4推理报错:ImportError: libcudart.so.12: cannot open shared object file
在
Qwen
-14B-Chat-Int4推理时,发现报错,缺少optimum和auto-gptq两个pip包Traceback(mostrecentcalllast):File"test_
qwen
_14b_int4
城南皮卡丘
·
2023-11-20 12:59
#
python
开发语言
qwen
大模型,推理速度慢,单卡/双卡速度慢,flash-attention安装,解决方案
场景阿里的通义千问
qwen
大模型,推理速度慢,单卡/双卡速度慢。
Bean_zx
·
2023-11-20 06:19
python学习记录
人工智能
python
qwen
语言模型
【工程实践】Docker使用记录
1.写Dockerfile1.1全新镜像FROMnvidia/cuda:11.7.1-devel-ubuntu22.04ENVWORKDIR=/data/
Qwen
-14B-ChatWORKDIR$WORKDIRADD
DonngZH
·
2023-11-17 18:57
docker
容器
运维
阿里巴巴将开源720亿参数大模型;开源语言大模型演进史
目前,阿里巴巴已经开源通义千问140亿参数模型
Qwen
-14B和70亿参数模型
Qwen
-7B。
go2coding
·
2023-11-11 05:45
AI日报
开源
LLM系列 | 26:阿里千问
Qwen
模型解读、本地部署
今天这篇小作文主要介绍中文大模型阿里千问
Qwen
,具体包括模型细节解读和实战这2部分。如需与小编进一步交流(包括完整代码获取),可以通过主页添加小编好友。简介
Qwen
是一个全能的语言模型系列,包含各种
JasonLiu1919
·
2023-11-04 18:44
LLM
人工智能
人工智能
LLM
中文大模型
搭建一个自己的学术语音助手(2)
这部分代码实现中LLM服务时符合openai的api标准,也就是说只需要把里面用到LLM地方服务换了可以用chatgpt、本地部署的LLM服务、智谱、
qwen
服
远洋之帆
·
2023-11-01 02:48
人工智能
算法
科技
AIGC
agi
Qwen
7b微调保姆级教程
我们构造了一个修改大模型自我认知的3轮对话的玩具数据集,使用QLoRA算法,只需要5分钟的训练时间,就可以完成微调,并成功修改了LLM模型的自我认知(以
Qwen
7b-Chat为例)。
算法美食屋
·
2023-10-30 03:41
BaiChuan-
QWen
QWenTokenizer选择bytepairencoding(BPE)作为分词方法vacabulary在中文上做了增强,验证增加vocabulary的规模不会为下游任务带来负面影响ModelPositionalembedding:选择RoPE,反向更新时选择FP32的精度而不是FP16或BP16,以提高模型精度Bias:在多数layer中去除了bias,但是在注意力的QKV的layer中,加入了
银晗
·
2023-10-30 03:09
人工智能
深度学习
Qwen
-VL:A versatile vision-language model for understanding,localization,text reading and beyond
1.introductionQwen-VL和
QWen
-VL-chat,
QWen
-VL是一个预训练模型,通过连接一个视觉编码器扩展了
QWen
-7B语言模型的视觉能力,经过三个阶段训练后,
QWen
-VL具有感知和理解多层次尺度视觉信号的能力
Kun Li
·
2023-10-17 18:02
大模型
多模态和生成
语言模型
人工智能
自然语言处理
多模态大语言模型
【通义千问】大模型
Qwen
GitHub开源工程学习笔记(4)-- 模型的量化与离线部署
摘要:量化方案基于AutoGPTQ,提供了Int4量化模型,其中包括
Qwen
-7B-Chat和
Qwen
-14B-Chat。更新承诺在模型评估效果几乎没有损失的情况下,降低存储要求并提高推理速度。
大表哥汽车人
·
2023-10-14 13:11
学习
笔记
语言模型
人工智能
开源
【通义千问】
Qwen
从本地加载分词器报错‘‘tokenizer class not exist‘‘
问题描述:将模型文件下载到本地,模型文件==>https://huggingface.co/
Qwen
/
Qwen
-7B-Chat/tree/main通过【from_pretrained】去加载本地磁盘上的分词器
大表哥汽车人
·
2023-10-08 15:00
Transformers
HuggingFace
学习
笔记
人工智能
语言模型
深度学习
使用4090显卡部署
Qwen
-14B-Chat-Int4
使用4090显卡部署
Qwen
-14B-Chat-Int41.
Qwen
-Agent概述2.Github地址3.创建虚拟环境4.安装依赖项5.快速使用6.启动web演示7.访问
Qwen
1.
Qwen
-Agent
engchina
·
2023-10-06 13:20
LINUX
Qwen-14B
Qwen
ModelScope
【通意千问】大模型GitHub开源工程学习笔记(2)--使用
Qwen
进行推理的示例代码解析,及transformers的库使用
使用Transformers来使用模型如希望使用
Qwen
-chat进行推理,所需要写的只是如下所示的数行代码。
大表哥汽车人
·
2023-10-01 12:04
通意千问大语言模型学习笔记
学习
笔记
人工智能
语言模型
深度学习
【通意千问】大模型GitHub开源工程学习笔记(3)-- 通过
Qwen
预训练语言模型自动完成给定的文本
摘要:本笔记分析了使用预训练的模型生成文本的示例代码。它的步骤如下:使用已加载的分词器tokenizer对输入文本进行处理,转换为模型可以理解的格式。输入文本是国家和首都的信息,最后一句是未完成的,需要模型来生成。将处理后的输入转移到模型所在的设备上(例如GPU或CPU)。使用模型的generate方法对输入进行处理,生成预测的输出。使用分词器的decode方法将生成的输出从模型理解的格式转换回文
大表哥汽车人
·
2023-09-30 05:23
通意千问大语言模型学习笔记
github
学习
笔记
语言模型
人工智能
上一页
1
2
3
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他