使用 Ollama 在 Mac mini M4 上本地运行 AI：对话、工具调用、RAG 与自定义模型部署教程
- 作者
- 姓名
- Nino
- 职业
- Senior Tech Editor
完全在本地个人电脑上脱机运行大语言模型（LLM）早已从技术尝鲜走向生产实用。对于极其看重数据隐私、系统响应延迟以及 API 调用成本的开发者而言，本地部署是极具吸引力的解决方案。特别是苹果 Silicon 架构独特的统一内存设计，使得 Mac 成为运行本地 AI 推理的理想硬件平台。
本文将深入测评一台配备 16 GB 统一内存的基础款 Mac mini M4 在本地 AI 场景下的表现。我们将使用 Ollama 作为推理引擎，逐步完成 5个极具实用价值的本地 AI 项目：
- 使用 Python 原生 SDK 构建具备上下文记忆的交互式终端对话应用；
- 将本地服务无缝接入 OpenAI Python SDK 依赖库；
- 实现模型对本地系统资源（如磁盘、内存）的 Tool Calling 原生工具调用；
- 基于本地文档构建完全离线的知识库检索增强生成（RAG）系统；
- 使用 Ollama
Modelfile自定义模型，并结合苹果 MLX 框架完成 LoRA 微调与模型导出导入。
在最后，我们还将深入探讨本地轻量化模型与云端超级模型（如通过 n1n.ai 调用的 Claude 3.5 Sonnet / OpenAI o3）的混合部署设计模式。
一、Ollama 工作原理与 Mac mini M4 性能实测
Ollama 是一个轻量级且开源的大模型运行框架，专为在个人电脑上快速打包、部署和运行开源权重模型（如 Qwen 2.5/3、Llama 3.2、DeepSeek-R1、Gemma 2 等）而设计。在 Apple Silicon 芯片上，Ollama 能够直接通过 Metal API 调用 GPU 算力，实现对统一内存的高效利用。
系统启动后，Ollama 会在本地后台运行并监听 http://localhost:11434 端口。任何能够发送 HTTP 请求的客户端（包括终端、Python 脚本以及兼容 OpenAI API 的框架）都可以轻松调用。
环境快速搭建步骤
- 访问
ollama.com下载 macOS 安装包，解压后拖入 Applications 文件夹并启动； - 打开终端，拉取并运行针对轻量设备优化的开源模型：
# 拉取最新 Qwen 3 4B 指令微调模型
ollama pull qwen3:4b-instruct
# 带有 --verbose 参数运行以显示推导速度
ollama run qwen3:4b-instruct --verbose
Mac mini M4 (16 GB) 性能基准测试结果
在实际运行中，使用 --verbose 标记可以精准捕获模型推理生成的性能指标：
| 模型名称 | 参数量 | 推理速度 (Tokens/s) | 显存/内存占用 | 上下文窗口大小 | 综合评估与特点 |
|---|---|---|---|---|---|
| Qwen 3 Instruct | 4B | 35.8 tok/s | ~3.2 GB (100% GPU) | 4,096 tokens | 逻辑理解好，指令遵循及工具调用能力强 |
| Llama 3.2 | 3B | 44.8 tok/s | ~2.2 GB (100% GPU) | 4,096 tokens | 速度极快，适合基础对话，但受限于知识截止日期 |
在 M4 芯片上，35 至 45 tokens/s 的输出速度显著快于人类阅读速度（人类正常阅读速度约为 5-8 tokens/s），这意味着完全无需等待，几乎能获得即时的流式文本响应。
常用运维指令
- 查看当前已被加载到统一内存中的模型状态：
ollama ps - 查看具体模型的上下文长度、参数构成及 Prompt 模版：
ollama show qwen3:4b-instruct
注意：模型载入内存后，若连续 5分钟没有任何新请求，Ollama 会自动将其从显存中释放，以归还系统资源。
二、项目一：使用 Python 构建具备上下文记忆的终端助手
在底层算法上，大语言模型本身是无状态的。要实现连续对话，关键在于在每次向模型提交请求时，完整携带历史对话记录。使用官方 ollama Python 官方库可以简洁地实现该功能。
import ollama
# 初始化系统提示词与对话历史数组
messages = [
\{"role": "system