通过自己消费级显卡安装了一个本地lama3大模型,同时配置了open webui的交互界面。 安装过程非常简单,按照操作文档使用docker方式一条命令就可以搞定了。 安装后的open webui界面: 后端接入了One API的接口聚合服务,上游配置了cloudflare和groq两个AI服务。
加上本地部署的lama3 8B、70B两个服务,组成了远程+本地的AI的API接口服务。
walker
万事随性而为,因好而研,因趣而学,从心所欲。脱离依赖,谋划将来,避免经济之险,迈向希望之光。