极客时间：使用本地小型语言模型运行网页浏览器应用程序。

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

许多开源的小型语言模型已经发布，这使得在本地运行由SLMs驱动的客户端应用程序成为可能。有一个来自https://ollama.ai/blog/building-llm-powered-web-apps的有趣博客文章。我在我的M1 Mac上尝试了这个方法，结果是令人鼓舞的。

首先，从以下链接安装Ollama的Mac版本： Ollama

安装完成后，加载Mistral。

$ ollama run mistral

要运行本地模型，请遵循以下指南：

$ OLLAMA_ORIGINS=https://webml-demo.vercel.app OLLAMA_HOST=127.0.0.1:11435 ollama serve

然后，在内外个终端上面

$ OLLAMA_HOST=127.0.0.1:11435 ollama pull mistral

准备好要嵌入的PDF文件，其内容是：

Nedved likes to eat durian a lot.

然后在浏览器中输入网址 https://webml-demo.vercel.app 进行操作，接着上传之前准备好的PDF文件。

问问题 “What does Nedved like to eat?”, 在上传PDF文件后，你会看到基于PDF内容的回复。如果你直接向本地运行的Mistral提出同样的问题，你会得到以下回复。

目前，还不能将SLM（小型语言模型）集成到浏览器应用中。但随着边缘硬件的改进和越来越多的SLM发布，例如llama、Mistra，以及微软最近发布的ORCA 2（参见：https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-language-models-how-to-reason/），未来出现更多基于本地SLM的Web应用是一个令人兴奋的前景。