解决安装gamma2模型错误的处理的错误

执行：ollama run gemma2:27b Error: llama runner process has terminated: signal: aborted (core dumped) CUDA error: CUBLAS_STATUS_NOT_INITIALIZED current device: 0, in function cublas_handle at /go/src/github.com/ollama/ollama/llm/llama.cpp/ggml-cuda/common.cuh:826 cublasCreate_v2(&cublas_handles[device]) GGML_ASSERT: /go/src/github.com/ollama/ollama/llm/llama.cpp/ggml-cuda.cu:100: !"CUDA error"解决方式： curl -fsSL https://ollama.com/install.sh | shDownloading ollama... ####################

技术专业 · 07-27

再见了陪伴我们9年的“小白”

2024年母亲节和老婆定下了更换电车的决定。一周后的517电信日最终完成了车辆的置换，和飞度（小白）再见了。 相伴9年，内心不舍，记录下她为家作出贡献的九年。 到来2015年还是我们分隔两地的状态，因为我在济南接送孩子，老婆在老家的公司刚刚成立，位于郊区通勤不便，决定再买一辆车。当时因为资金问题，最终选定了7万元左右的飞度，开始的考虑只是市内通勤。 因为工作原因老婆定期记录下了车辆的公里数，看到了“小白”每周的奔波。 守候虽然两地分居，但是老婆坚持每个周末开车往返400公里回来济南家中，所以在儿子成长的过程中，我们和别的家庭没有什么不同，甚至家庭关系更加紧密。 在一周的工作通勤之后，周五晚上带着一车的食材回来，然后静静地在楼下等到周一凌晨，陪着老婆回到工作单位。每个周末、每个节假日从未中断，当时的济青高速只有两车道，堵车几个小时是经常的事情。 规划2017年陪着我们跑了潍坊若干楼盘，买入、卖出的收益让我们在儿子教育规划上也增强了信心。 工作日的通勤、每个周末的奔波，在三周年的时候，她已经奔跑了6万多公里。用老婆的话说小白的辛劳超出的了养尊处优只是负责接送儿子的CRV。 团聚2018年

生活记录 · 05-22
再见了陪伴我们9年的“小白”

思想的财富

人活到一定年纪，最大的财富不是丰厚的存款，体面的工作。而是思考的习惯，坚韧的心态，以及随时都饱满的精力～这个世上只有一种破产，那就是精神储蓄的清零….

思考感悟 · 05-18
思想的财富

白嫖的GPU算力足以训练一个自己的大模型

前言在本地部署微调模型的过程中，遇到了严重的挫折，为了追求性价比购买的AMD显卡，使用训练好的模型还好，但是尝试在本地部署微调环境时才发现问题比较多。 在支持的生态方面远远落后于NVIDIA显卡，英伟达的cuda实在是太方便了，近乎傻瓜化的安全就可以使用，而AMD的ROCm安装过程中各种报错，查找资料修正颇为费劲。关键是我还准备了一个Ubuntu的24.04的新系统，遇到问题后可供借鉴的资料太少。 费尽力气安装完成后，发现AMD的官网中ROCm不支持我的这个消费级显卡。 再次回首看了一眼NVIDIA的显卡价格，实在超出我的预算。 多重打击下决定使用网络算力进行模型微调，在众多的选择中google的Colab服务，为什么选择Colab？因为免费，其它的都不是考虑的问题了。 暂时放弃本地部署后，网络微调让我重拾信心，可以在完全免费的情况下微调出有一个自己“调教”的大模型出来。前提是你的数据不涉及隐私和数据安全的内容。 部署步骤1. 打开项目unslothhttps://github.com/unslothai/unsloth 选择Llama3进行训练，一键引导到google的Colab上进

技术专业 · 05-10
白嫖的GPU算力足以训练一个自己的大模型

利用开源的Maxkb构建一个本地部署的AI知识库

概要今天安装了一个个人的知识库，使用的Maxkb这个开源的知识软件。为了随时可以获取访问，同时兼顾内部部署的安全性，选择了家中Nas部署的方式。安装过程 在群辉nas上打开docker，搜索Maxkb这个开源项目 下载并配置。需要修改有两个地方，端口我选择使用4444。创建一个工作目录并映射到/var/lib/postgresql/data 创建完成以后就可以通过 http://ip:4444 进行访问，默认用户名: admin 默认密码: MaxKB@123.. 登录后首先需要修改密码。 创建知识库，我这里创建了两个，一个是我的博客地址，配置后会自动获取博客的内容并加入知识库中。 另外一个是本地文档构建的知识库。 5. 然后配置应用。选择前面配置的知识库后，配置AI模型。我这里使用的是通过openai接口转换后的worker AI，因为需要重点处理中文文档，选择使用qwen阿里的大模型。其它地方暂时保留默认值。 6. 看看实际使用效果。

技术专业 · 05-10
利用开源的Maxkb构建一个本地部署的AI知识库

今天搭建了一个自己的open-webui，实现AI能力的免费和本地

通过自己消费级显卡安装了一个本地lama3大模型，同时配置了open webui的交互界面。 安装过程非常简单，按照操作文档使用docker方式一条命令就可以搞定了。 安装后的open webui界面： 后端接入了One API的接口聚合服务，上游配置了cloudflare和groq两个AI服务。 加上本地部署的lama3 8B、70B两个服务，组成了远程+本地的AI的API接口服务。

技术专业 · 05-10
今天搭建了一个自己的open-webui，实现AI能力的免费和本地

假期首日刷了德国电影《气球》五星好评

五一假期从3日开始，假期首日刷了德国电影《气球》，身为人父很能体会为了孩子了未来选择逃离的感受。 家庭的前行需要夫妻有共同的价值取向，才可以共同克服困难，失败后重新出发而不是相互的抱怨。 感受了通过头脑和技术达成了心中的目标。

思考感悟 · 05-04
假期首日刷了德国电影《气球》五星好评

免费和开源 iOS 应用列表

| Application name 应用名称 | Description | License | Source | Notes

技术专业 · 05-02

生活就是路边摊

自从开始折腾各种网络服务以后，感觉每天都非常的忙碌。下班回家以后不想动弹，瘫在沙发上。颓废到10点钟反而开始精神起来，别人都要睡觉了，自己跑到电脑边，一不小心就折腾到了12点以后。 第二天的精神不佳，总是告诫自己引以为戒，下不为例。虽然此后仍有突破，但是整体趋势是向着越来越有规律前进。必须保重好身体，特别是脑子，后面我的考试决定的全家的未来。 记录下这周的几件事情： 在前进的道路上，第一阶段由三分之一推进到了三分之二，在漫长的等待之后，成功到来反而没有了之前的喜悦。 这几天济南的风很大，骑行比较累了，本周调整为了骑行一天休息一天。今天又在路边买了这个大爷的辣子鸡。辣子鸡的味道不错，之前就得到了老婆的肯定。大爷也是有故事的人，投资餐馆赶上疫情，把积蓄赔了进去，如今就在路边采取这种低成本的运营模式，经常是排队购买的情况（涨价前）。 这两天还看到了一个帖子，挺有触动的。确实是很多家长的问题，大事上自己都没有活明白更不用说给孩子什么指导了，反而在一些小事情上吹毛求疵。引以为戒吧，给孩子以正确的方向，成为孩子的后盾让其自信前行。 曾经我也动过买一辆电车的想法，不过后来我的观念改变了。汽车的首

生活记录 · 05-02
生活就是路边摊

whisper与obsidian的组合，实现了文档中的语音录音与声音识别生成文字的全自动完成

今天完成whisper与obsidian的组合，实现了文档中的语音录音与声音识别生成文字的全自动完成。 涉及的功能包括 安装在obsidian的whisper插件。 需要使用的是前面安装的基于cloudflare ai的openai借口。

技术专业 · 05-01
whisper与obsidian的组合，实现了文档中的语音录音与声音识别生成文字的全自动完成
2016 - 2024 自由翱翔：十年学习成长之路. All Rights Reserved.
Theme Jasmine by Kent Liao