大模型之agent-基础知识第一部分

什么是agent大模型中的agent是一种基于大型语言模型(LLM)的智能系统,它能够自主执行任务、做出决策并与环境交互。这个概念结合了大语言模型的强大能力和智能代理的自主性。以下是agent的一些主要特点: 自主性: agent能够独立理解任务,制定计划并执行行动,而不需要人类的持续干预。 目标导向: agent被赋予特定的目标或任务,并努力实现这些目标。 环境交互: agent能够感知和理解其操作环境,并根据环境的变化调整其行为。 推理和决策: 利用大语言模型的能力,agent可以进行复杂的推理和决策。 工具使用: 许多agent被设计成能够使用各种外部工具和API来完成任务,如搜索引擎、数据库或其他软件。 持续学习: 一些高级agent具有从经验中学习和改进其性能的能力。 多模态: 某些agent可以处理和生成多种类型的数据,如文本、图像和音频。 主要的agent框架在这些框架中，每一个都有其独特的优势，但对于入门来说，有些可能更加友好。让我们比较一下几个主要的选项，特别关注它们的优势和入门难易度： LangChain: 优势： 灵活性高，支持多种语言模型和工具集成 提供了丰富的

技术专业 · 2024-07-29

安装NVIDIA显示卡

下载驱动和卸载、禁用自带驱动程序 1.1 查看系统显卡型号 lspci | grep -i nvidia 1 1.2 从NVIDIA官网下载相应驱动 官网网址：https://www.nvidia.com/Download/index.aspx?lang=en-us1.3 卸载Ubuntu自带的驱动程序 sudo apt purge nvidia* 1 1.4 禁用自带的nouveau nvidia驱动 打开/etc/modprobe.d/blacklist.confsudo vi /etc/modprobe.d/blacklist.conf 1 如果提示没有vi就执行下面命令安装一下：sudo apt install vi 1 在blacklist.conf文件中最后添加如下内容blacklist nouveau options nouveau modeset=0 1 2 然后保存退出。1.5 更新 sudo update-initramfs -u 1 1.6 重启电脑 sudo reboot 1 1.7 查看是否将自带的驱动屏蔽 lsmod | grep nouveau 1 没有

技术专业 · 2024-07-27

Google gemi ai 收费变化

当此邮件翻译成您帐号的主要语言后，会立即向您发送该语言版本的邮件副本。 我们预计，此流程需要3个工作日的时间。亲爱的双子座API开发人员，从2024年5月14日开始，启用云计费的项目将仅为Gemini API请求计费。这是从最初宣布的2024年5月2日推迟的。我们知道这可能会对您组织的规划产生影响，因此我们在下面提供了详细信息来帮助您。注意：此提醒适用于Google AI for Developers的Gemini API（在云控制台中称为生成语言API），与Vertex AI Gemini API无关。你需要知道的2024年5月2日，以下更改将生效：管理您使用Gemini API和Google AI Studio的Gemini API服务条款将更新。 预览新条款。2024年5月14日，以下更改将生效：将推出Gemini API的现收现付定价。您仍然不会因直接在Google AI Studio中与Gemini模型的交互而被收取费用。如果您从禁用计费的项目中使用Gemini API，您仍然可以免费使用Gemini API，而无需我们的付费计划中提供的福利。如果您从已启用计费的项目中使用G

技术专业 · 2024-07-27

解决安装gamma2模型错误的处理的错误

执行：ollama run gemma2:27b Error: llama runner process has terminated: signal: aborted (core dumped) CUDA error: CUBLAS_STATUS_NOT_INITIALIZED current device: 0, in function cublas_handle at /go/src/github.com/ollama/ollama/llm/llama.cpp/ggml-cuda/common.cuh:826 cublasCreate_v2(&cublas_handles[device]) GGML_ASSERT: /go/src/github.com/ollama/ollama/llm/llama.cpp/ggml-cuda.cu:100: !"CUDA error"解决方式： curl -fsSL https://ollama.com/install.sh | shDownloading ollama... ####################

技术专业 · 2024-07-27

白嫖的GPU算力足以训练一个自己的大模型

前言在本地部署微调模型的过程中，遇到了严重的挫折，为了追求性价比购买的AMD显卡，使用训练好的模型还好，但是尝试在本地部署微调环境时才发现问题比较多。 在支持的生态方面远远落后于NVIDIA显卡，英伟达的cuda实在是太方便了，近乎傻瓜化的安全就可以使用，而AMD的ROCm安装过程中各种报错，查找资料修正颇为费劲。关键是我还准备了一个Ubuntu的24.04的新系统，遇到问题后可供借鉴的资料太少。 费尽力气安装完成后，发现AMD的官网中ROCm不支持我的这个消费级显卡。 再次回首看了一眼NVIDIA的显卡价格，实在超出我的预算。 多重打击下决定使用网络算力进行模型微调，在众多的选择中google的Colab服务，为什么选择Colab？因为免费，其它的都不是考虑的问题了。 暂时放弃本地部署后，网络微调让我重拾信心，可以在完全免费的情况下微调出有一个自己“调教”的大模型出来。前提是你的数据不涉及隐私和数据安全的内容。 部署步骤1. 打开项目unslothhttps://github.com/unslothai/unsloth 选择Llama3进行训练，一键引导到google的Colab上进

技术专业 · 2024-05-10
白嫖的GPU算力足以训练一个自己的大模型

利用开源的Maxkb构建一个本地部署的AI知识库

概要今天安装了一个个人的知识库，使用的Maxkb这个开源的知识软件。为了随时可以获取访问，同时兼顾内部部署的安全性，选择了家中Nas部署的方式。安装过程 在群辉nas上打开docker，搜索Maxkb这个开源项目 下载并配置。需要修改有两个地方，端口我选择使用4444。创建一个工作目录并映射到/var/lib/postgresql/data 创建完成以后就可以通过 http://ip:4444 进行访问，默认用户名: admin 默认密码: MaxKB@123.. 登录后首先需要修改密码。 创建知识库，我这里创建了两个，一个是我的博客地址，配置后会自动获取博客的内容并加入知识库中。 另外一个是本地文档构建的知识库。 5. 然后配置应用。选择前面配置的知识库后，配置AI模型。我这里使用的是通过openai接口转换后的worker AI，因为需要重点处理中文文档，选择使用qwen阿里的大模型。其它地方暂时保留默认值。 6. 看看实际使用效果。

技术专业 · 2024-05-10
利用开源的Maxkb构建一个本地部署的AI知识库

今天搭建了一个自己的open-webui，实现AI能力的免费和本地

通过自己消费级显卡安装了一个本地lama3大模型，同时配置了open webui的交互界面。 安装过程非常简单，按照操作文档使用docker方式一条命令就可以搞定了。 安装后的open webui界面： 后端接入了One API的接口聚合服务，上游配置了cloudflare和groq两个AI服务。 加上本地部署的lama3 8B、70B两个服务，组成了远程+本地的AI的API接口服务。

技术专业 · 2024-05-10
今天搭建了一个自己的open-webui，实现AI能力的免费和本地

免费和开源 iOS 应用列表

| Application name 应用名称 | Description | License | Source | Notes

技术专业 · 2024-05-02

whisper与obsidian的组合，实现了文档中的语音录音与声音识别生成文字的全自动完成

今天完成whisper与obsidian的组合，实现了文档中的语音录音与声音识别生成文字的全自动完成。 涉及的功能包括 安装在obsidian的whisper插件。 需要使用的是前面安装的基于cloudflare ai的openai借口。

技术专业 · 2024-05-01
whisper与obsidian的组合，实现了文档中的语音录音与声音识别生成文字的全自动完成

搭建一个完全免费的通义千问、支持openai接口

如今很多AI大模型已经可以免费使用了，但是稳定一些的API接口服务总是要支付费用。cloudflare这个网络界的慷慨大户，提供了免费的使用额度。其中Beta类是免费的，包括阿里的通义千问在内达量模型居然都是免费的。 下面就来介绍下，如何将cloudflare的AI服务转换为openai的api接口规范，让前端程序在不做任何修改的情况下就可以直接使用？为什么选择这种实现方式？随着技术的发展，未来较小、成本较低的语言模型可能会成为 OpenAI 的 GPT-3.5 和 GPT-4 API 的有力竞争者。许多开发者可能不希望为了使用新兴的模型而重写整个代码库。同时，Cloudflare Workers 提供了一个很好的平台来托管 AI 和 API，因此我选择在此平台上实现了 OpenAI API，这样开发者可以在不修改现有代码的情况下使用新的 LLMs。兼容性与实现的 API已实现或计划实现的 API 包括： 完成创建（Completions） 聊天完成（Chat Completions） 音频转录（Audio Transcription） 嵌入（Embeddings） 音频翻译（Aud

技术专业 · 2024-04-30
搭建一个完全免费的通义千问、支持openai接口
2016 - 2025 自由翱翔：十年学习成长之路. All Rights Reserved.
Theme Jasmine by Kent Liao