6K star! 100%本地运行LLM的AI助手

AI套壳千千万万，你最喜欢哪一款？现在各种ChatGPT替代品层出不穷，但是大部分都是使用OpenAI的API，也就说离不开网络。

今天我们推荐的开源项目它就是要帮你100%在本地运行大模型，进而构建一个属于自己的ChatGPT，本项目目前在GitHub已超过6K Star，它就是：Jan。

Jan是什么?

Jan 是一个开源 ChatGPT 替代品，可以在您的计算机上 100% 离线运行。

Jan支持从 PC 到多 GPU 集群的各种类型环境，以下是Jan支持运行环境类型：

• Nvidia GPU（快速）
• Apple M 系列（快速）
• 苹果英特尔
• Linux Debian
• Windows x64

下面是它的GitHub star历史，进入2024年，Jan就像坐上了火箭，一下子就起飞了。

为什么用 Jan

对比与同类产品，我们整理了一下Jan具备的特点：

• 支持广泛：支持各种开源的LLM（GGUF ，TensorRT）
• 跨平台支持：Windows、Mac、Linux，并通过Llama.cpp使用GPU加速。从本质上讲，Jan 是一个跨平台、本地优先的 AI 原生框架，可用于构建任何东西。在开发中Jan努力遵循 Clean Architecture，努力去构建一个跨平台的应用。

• 本地数据存储：数据存在本地，没有安全风险，并可以导出和迁移。
• 提供本地API server，可以快速提供本地服务。
• 支持扩展，可以自己开发扩展。

安装 Jan

安装包安装：

我的电脑是Mac，可以通过主页https://jan.ai/下载对应的安装包，当然GitHub的release里面也可以下到。

下载完成，只需要点击安装，就可以安装好了。

源码安装：

源码安装首先要确定2个前提：

Node.js 版本： 20.0.0 +
Yarn 版本 1.22.0 +

接下来下载源码：

git clone 
git checkout DESIRED_BRANCH
cd jan

使用yarn来安装依赖：

yarn install

# Build core module
yarn build:core

# Packing base plugins
yarn build:plugins

# Packing uikit
yarn build:uikit

最后启动项目：

yarn dev

使用Jan

打开Jan之后，我们首先要安装模型。Jan里面自带了hub，可以直接找到各种模型。

我直接安装了推荐的Mistral 7B，最近也很火的。

Jan里面thread就相当于是会话。在右侧区域可以快速新建thread开始使用，还可以配置预设参数，以及切换模型等。

Jan当中支持灵活的编辑，比如想针对thread进行编辑，点三个点，就可以直接到JSON里编辑修改。

对于扩展来说，目前除了安装自带的，我还没看到能安什么，看来要等等。

Jan 附带了一个内置 API 服务器，可以用作 OpenAI API 的直接本地替代品。可以在设置中启用API server，默认会在1337端口。这是文档中说的，我装的stable版本里面没找到。

使用上其他就没有，大家自己试试，可以多交流。

项目信息

• 项目名称：Jan
• GitHub 链接：https://github.com/janhq/jan
• Star 数：6.3K+