通过效果图先看看是不是你想要的.
部署Python项目经常需要通过虚拟环境可以创建多个干净的环境,这里使用的是Conda
在安装Conda之前,你可以选择安装Miniconda(最小化的Conda版本)或Anaconda(包含一系列常用包的版本)。以下是安装Miniconda的步骤: 下载地址
Windows系统:
CONDA_HOME
,值为Conda的安装路径(比如 C:\Users\YourUsername\Miniconda3
)。%CONDA_HOME%\Scripts
和 %CONDA_HOME%
。conda --version
验证配置是否成功。以下是一些常用的Conda命令,包括初始化、激活、创建环境、删除环境、安装包以及设置缓存路径:
在安装完Conda后,可以使用以下命令初始化Conda配置:
conda init
激活一个已存在的Conda环境:
conda activate myenv
创建一个新的Conda环境:
conda create --name myenv python==3.10
删除一个已存在的Conda环境:
conda remove --name myenv --all
在激活的环境中安装包,可以指定版本号:
conda install package_name
conda install package_name=1.0
设置Conda包缓存路径,可以通过以下命令设置:
conda config --set pkgs_dirs /path/to/cache/directory
要列出所有在Conda中创建的虚拟环境,你可以使用以下命令:
conda env list
conda create -n xinf python==3.10
conda activate xinf
pip install "xinference[transformers]"
xinference-local --host 0.0.0.0 --port 9997
根据自己的GPU情况来选择运行那个大模型, 我是8G的显卡内存,选择chatglm3的量化版本可以正常运行,内存比较大的可以选择glm4或者qwen2
运行成功后,可以在浏览器中打开http://127.0.0.1:9997
选择chatglm3
设置chatglm3,点击最下面的按钮,他会自动下载模型,可能需要比较长时间.
后面的RAG需要这个Embedding Model 来完成量化
conda create -n chatchat python==3.10
conda activate chatchat
pip install langchain-chatchat -U
可以到Langchain-Chatchat中查看详细的文档
chatchat-config model --default_llm_model chatglm3
$ chatchat-config model --set_model_platforms "[{
\"platform_name\": \"xinference\",
\"platform_type\": \"xinference\",
\"api_base_url\": \"http://127.0.0.1:9997/v1\",
\"api_key\": \"EMPT\",
\"api_concurrencies\": 5,
\"llm_models\": [
\"chatglm3\"
],
\"embed_models\": [
\"bge-large-zh-v1.5\"
],
\"image_models\": [],
\"reranking_models\": [],
\"speech2text_models\": [],
\"tts_models\": []
}]"
chatchat-kb -r
chatchat -a
运行成功后会调到浏览器打开http://127.0.0.1:8501/
欢迎大家使用和关注
现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。
作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。
一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI大模型视频教程
三、AI大模型各大学习书籍
四、AI大模型各大场景实战案例
五、结束语
学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。
再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。
因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。