今天搭建了一个自己的open-webui,实现AI能力的免费和本地

技术专业 · 05-10

通过自己消费级显卡安装了一个本地lama3大模型,同时配置了open webui的交互界面。
安装过程非常简单,按照操作文档使用docker方式一条命令就可以搞定了。
安装后的open webui界面:

后端接入了One API的接口聚合服务,上游配置了cloudflare和groq两个AI服务。

加上本地部署的lama3 8B、70B两个服务,组成了远程+本地的AI的API接口服务。

Theme Jasmine by Kent Liao