linux下的Ollama的详细安装部署流程

Ollama 是一个便捷的本地运行大型语言模型的工具，可简化模型的下载、管理和运行过程。在 Linux 环境下部署 Ollama，可以在本地使用 AI 能力，而无需依赖云端服务。以下为详细安装部署流程。

安装 Ollama

Ollama 的安装通常可以通过官方提供的脚本进行。打开终端，执行以下命令：

curl -fsSL https://ollama.ai/install.sh | sh

这条命令会自动下载并执行安装脚本。安装脚本会检测系统环境，并自动安装所需的依赖项。安装完成后，Ollama 会自动添加到一个名为 ollama 的用户组中。如果希望使用自己的用户运行 Ollama，需要将用户添加到 ollama 组中：

sudo usermod -aG ollama $USER
newgrp ollama # 使组变更生效

重点：安装脚本会自动处理大部分依赖项；如果出现问题，比如缺少 fuse 或 curl 等，请手动安装这些依赖项。同时确保系统满足 Ollama 的最低硬件要求，例如足够的内存和存储空间。

下载和运行模型

安装完成后，就可以下载并运行需要的模型。Ollama Hub 上有多种模型可供选择。例如，要下载并运行 llama2 模型，可以使用以下命令：

ollama pull llama2
ollama run llama2

ollama pull 命令会从 Ollama Hub 下载 llama2 模型。下载完成后，ollama run 命令会启动模型，随后即可与模型进行交互。

重点：不同的模型对硬件要求不同。运行大型模型可能需要大量内存和 GPU 资源；如果硬件资源有限，可以选择较小的模型。Ollama 也允许自定义模型，可以创建自己的 Modelfile 来定义模型的行为和参数。

Ollama 的配置和管理

Ollama 的配置文件通常位于 ~/.ollama 目录下。可以在该目录下修改 Ollama 的配置，例如设置代理、调整资源限制等。

Ollama 还提供了一些管理命令：

• ollama list：列出所有已下载的模型。
• ollama rm <模型名>：删除指定的模型。
• ollama serve：启动 Ollama 服务（通常在安装后会自动启动）。

重点：可以通过环境变量来配置 Ollama 的行为。例如，可以使用 OLLAMA_HOST 环境变量来指定 Ollama 监听的地址。使用 ollama serve 命令可以手动启动 Ollama 服务，并可以指定端口和允许的来源。

使用 API 进行交互

Ollama 提供了一个 API，可以通过编程方式与模型进行交互。可以使用任何支持 HTTP 请求的编程语言来调用 Ollama 的 API。例如，可以使用 curl 命令发送一个简单的请求：

curl http://localhost:11434/api/generate -d '{
  "prompt": "写一段关于Ollama的介绍",
  "model": "llama2"
}'

重点：Ollama 的 API 非常灵活，可以用于构建各种应用，也可以将 AI 功能集成到程序中。了解 Ollama API 的详细文档是充分利用 Ollama 的关键。

卸载 Ollama

目前官方并没有提供专门的卸载脚本，可以通过手动清理相关文件、服务和配置来完成卸载。

手动删除相关文件和目录

• 删除 Ollama 的安装目录。如果没有修改过安装路径，通常在 /usr/local/bin/ollama。
• 删除模型文件。默认情况下，模型文件存储在 ~/.ollama 目录下。删除这个目录可以移除所有已下载的模型。
• 删除 ollama 用户组，可以使用 sudo groupdel ollama 命令。
• 如果之前将用户添加到了 ollama 组，需要将用户从该组中移除：sudo gpasswd -d $USER ollama。

查找并删除相关服务

• 检查是否有 ollama 相关的 systemd 服务。使用 systemctl status ollama 或 systemctl list-units --type=service | grep ollama 命令。如果有，可以使用 sudo systemctl stop ollama 停止服务，然后使用 sudo systemctl disable ollama 禁用服务，最后删除对应的 service 文件（通常位于 /etc/systemd/system/ 目录下）。

清理环境变量和配置文件

• 检查 .bashrc 或 .zshrc 等 shell 配置文件，看看是否有 Ollama 相关的环境变量设置，并将其删除。

注意：在执行任何删除操作之前，请务必备份重要数据，并仔细确认要删除的文件和目录，以避免误删其他文件。

小结

Ollama 在 Linux 上的安装部署较为简单，而且功能强大。通过以上步骤，可以在本地快速搭建一个 AI 环境，并体验多种语言模型。遇到问题时，可以参考 Ollama 的官方文档或在社区中寻求帮助。