解决安装gamma2模型错误的处理的错误

执行：ollama run gemma2:27b Error: llama runner process has terminated: signal: aborted (core dumped) CUDA error: CUBLAS_STATUS_NOT_INITIALIZED current device: 0, in function cublas_handle at /go/src/github.com/ollama/ollama/llm/llama.cpp/ggml-cuda/common.cuh:826 cublasCreate_v2(&cublas_handles[device]) GGML_ASSERT: /go/src/github.com/ollama/ollama/llm/llama.cpp/ggml-cuda.cu:100: !"CUDA error"解决方式： curl -fsSL https://ollama.com/install.sh | shDownloading ollama... ####################

技术专业 · 07-27

白嫖的GPU算力足以训练一个自己的大模型

前言在本地部署微调模型的过程中，遇到了严重的挫折，为了追求性价比购买的AMD显卡，使用训练好的模型还好，但是尝试在本地部署微调环境时才发现问题比较多。 在支持的生态方面远远落后于NVIDIA显卡，英伟达的cuda实在是太方便了，近乎傻瓜化的安全就可以使用，而AMD的ROCm安装过程中各种报错，查找资料修正颇为费劲。关键是我还准备了一个Ubuntu的24.04的新系统，遇到问题后可供借鉴的资料太少。 费尽力气安装完成后，发现AMD的官网中ROCm不支持我的这个消费级显卡。 再次回首看了一眼NVIDIA的显卡价格，实在超出我的预算。 多重打击下决定使用网络算力进行模型微调，在众多的选择中google的Colab服务，为什么选择Colab？因为免费，其它的都不是考虑的问题了。 暂时放弃本地部署后，网络微调让我重拾信心，可以在完全免费的情况下微调出有一个自己“调教”的大模型出来。前提是你的数据不涉及隐私和数据安全的内容。 部署步骤1. 打开项目unslothhttps://github.com/unslothai/unsloth 选择Llama3进行训练，一键引导到google的Colab上进

技术专业 · 05-10
白嫖的GPU算力足以训练一个自己的大模型

利用开源的Maxkb构建一个本地部署的AI知识库

概要今天安装了一个个人的知识库，使用的Maxkb这个开源的知识软件。为了随时可以获取访问，同时兼顾内部部署的安全性，选择了家中Nas部署的方式。安装过程 在群辉nas上打开docker，搜索Maxkb这个开源项目 下载并配置。需要修改有两个地方，端口我选择使用4444。创建一个工作目录并映射到/var/lib/postgresql/data 创建完成以后就可以通过 http://ip:4444 进行访问，默认用户名: admin 默认密码: MaxKB@123.. 登录后首先需要修改密码。 创建知识库，我这里创建了两个，一个是我的博客地址，配置后会自动获取博客的内容并加入知识库中。 另外一个是本地文档构建的知识库。 5. 然后配置应用。选择前面配置的知识库后，配置AI模型。我这里使用的是通过openai接口转换后的worker AI，因为需要重点处理中文文档，选择使用qwen阿里的大模型。其它地方暂时保留默认值。 6. 看看实际使用效果。

技术专业 · 05-10
利用开源的Maxkb构建一个本地部署的AI知识库

今天搭建了一个自己的open-webui，实现AI能力的免费和本地

通过自己消费级显卡安装了一个本地lama3大模型，同时配置了open webui的交互界面。 安装过程非常简单，按照操作文档使用docker方式一条命令就可以搞定了。 安装后的open webui界面： 后端接入了One API的接口聚合服务，上游配置了cloudflare和groq两个AI服务。 加上本地部署的lama3 8B、70B两个服务，组成了远程+本地的AI的API接口服务。

技术专业 · 05-10
今天搭建了一个自己的open-webui，实现AI能力的免费和本地

免费和开源 iOS 应用列表

| Application name 应用名称 | Description | License | Source | Notes

技术专业 · 05-02

whisper与obsidian的组合，实现了文档中的语音录音与声音识别生成文字的全自动完成

今天完成whisper与obsidian的组合，实现了文档中的语音录音与声音识别生成文字的全自动完成。 涉及的功能包括 安装在obsidian的whisper插件。 需要使用的是前面安装的基于cloudflare ai的openai借口。

技术专业 · 05-01
whisper与obsidian的组合，实现了文档中的语音录音与声音识别生成文字的全自动完成

搭建一个完全免费的通义千问、支持openai接口

如今很多AI大模型已经可以免费使用了，但是稳定一些的API接口服务总是要支付费用。cloudflare这个网络界的慷慨大户，提供了免费的使用额度。其中Beta类是免费的，包括阿里的通义千问在内达量模型居然都是免费的。 下面就来介绍下，如何将cloudflare的AI服务转换为openai的api接口规范，让前端程序在不做任何修改的情况下就可以直接使用？为什么选择这种实现方式？随着技术的发展，未来较小、成本较低的语言模型可能会成为 OpenAI 的 GPT-3.5 和 GPT-4 API 的有力竞争者。许多开发者可能不希望为了使用新兴的模型而重写整个代码库。同时，Cloudflare Workers 提供了一个很好的平台来托管 AI 和 API，因此我选择在此平台上实现了 OpenAI API，这样开发者可以在不修改现有代码的情况下使用新的 LLMs。兼容性与实现的 API已实现或计划实现的 API 包括： 完成创建（Completions） 聊天完成（Chat Completions） 音频转录（Audio Transcription） 嵌入（Embeddings） 音频翻译（Aud

技术专业 · 04-30
搭建一个完全免费的通义千问、支持openai接口

对typecho的jasmine主题进行修改实现首页图片展现

后台obsidian自动同步typecho的过程中，因为xmlrpc不支持自定义字段的接口上传，导致首页图片无法展现，这可害苦了我这强迫症。 考虑后台守护更新和帮着typecho完善xmlrpc接口功能之后，还是决定选择最简单和偷懒的方式，直接将主题修改了，自动将正文中的第一个图片作为首页图片展现处理。付出的代价就是首页图片增多后网站的响应速度下降了，反正自用小网站，不去追求性能极致了，自己看着舒服就行了。下面记录下修改jasmine这个主题，实现首页标题旁边的图片展现的方法：修改后的效果修改内容1. function.php增加一个读取正文中第一张图片的函数，放入到文件的任意为止就可//获取文章中第一个图片 function getFirstImageFromContent($content) { $output = preg_match_all('/<img.+src="([^"]+)"/i', $content, $matches); if ($output && !empty($mat

技术专业 · 04-28
对typecho的jasmine主题进行修改实现首页图片展现

今天对网站进行的几个优化

今天对网站进行了两个优化，一是增加缓存提升网站的打开速度，第二是给blog增加了到访分析功能。启用TpCache插件 1.进入TpCache的Github仓库，2.下载下面的插件：https://github.com/phpgao/TpCache/archive/master.zip 3.放入网站根目录/usr/plugins/文件夹下；4.解压压缩包，将文件夹重命名为TpCache；5.进入网站-控制台-插件-找到TpCache启用； *如未安装Memcache，RedisPHP扩展，可以使用MySQL驱动； 6.设置好后，可以强制刷新下首页试试看效果； 以上，如不想折腾redis则可到此结束。增加google网站分析 打开google分析网站 https://analytics.google.com/ 设置中创建一个新的账号： 创建后再配置代码中打开手工添加： 复制需要添加的代码，找到typecho当前使用主题下面的header.php文件。 将代码找个位置粘贴进去： 就可以了，可以在google analytics网站点击验证。

技术专业 · 04-28
今天对网站进行的几个优化

国际和中国云厂商的大模型布局

这份财经整理的表格还是比较全的

技术专业 · 04-27
国际和中国云厂商的大模型布局
2016 - 2024 自由翱翔：十年学习成长之路. All Rights Reserved.
Theme Jasmine by Kent Liao