Ollama

项目简介

Ollama 是一个让你在本地轻松运行大型语言模型（LLM）的开源工具。它由 Jeffrey Morgan 和 Michael Yang 于 2023 年创建，旨在简化 LLM 的下载、配置和运行流程。Ollama 将复杂的模型部署过程封装成简单的命令行操作，支持 Llama 3、Mistral、Gemma、Qwen 等主流开源模型，并提供与 OpenAI 兼容的 API 接口。无论是个人开发者还是企业用户，都可以通过 Ollama 在本地设备上快速搭建 AI 应用。

核心特性

• 一键运行 — 无需 GPU 驱动配置、CUDA 设置或 Python 环境，一条命令即可下载并运行模型
• 模型库丰富 — 内置模型仓库包含 Llama 3、Mistral、Gemma、Phi、Qwen 等 200+ 热门开源模型
• Modelfile 自定义 — 通过 Modelfile 配置文件定制系统提示词、温度参数和模型行为
• REST API — 提供与 OpenAI 格式兼容的 API 接口，可无缝接入现有 AI 应用生态
• 跨平台支持 — 同时支持 macOS、Linux 和 Windows，ARM64 和 x86 架构全面适配
• GPU 加速 — 自动检测并利用 NVIDIA GPU、AMD GPU 和 Apple Silicon MPS 进行硬件加速
• 多模态支持 — 支持图像输入模型，可识别图片内容并进行视觉问答
• 量化运行 — 支持多种量化级别（Q4_0、Q4_K_M 等），在性能和显存占用间灵活平衡

安装方法

一键安装脚本（Linux/macOS）：

curl -fsSL https://ollama.com/install.sh | sh

Windows 可直接从官网下载安装包：

winget install Ollama.Ollama

安装后立即运行模型：

ollama run llama3

使用场景

• 本地 AI 助手 — 隐私敏感场景下，在本地运行 AI 聊天助手
• 代码辅助 — 运行 CodeLlama、DeepSeek-Coder 等代码模型，辅助编程
• 离线环境 — 无网络或内网环境中部署 AI 能力
• AI 应用开发 — 通过 API 集成到自定义应用中，替代 OpenAI 接口
• 模型评测 — 快速切换和对比不同模型的表现
• 私有知识库 — 结合 RAG 框架构建基于私有文档的问答系统