Chemmy's Blog

chengming0916@outlook.com

Ollama 作为轻量级本地大语言模型(LLM)管理工具,能够便捷地实现本地模型的部署、调度与交互。本文将从环境变量配置、CLI 核心命令、安装部署优化等维度,全方位讲解 Ollama 的使用方法,同时涵盖 WebUI 部署、Python/Java 客户端 API 集成等实战场景,帮助开发者高效管理和使用本地大模型。

一、核心环境变量配置

环境变量是定制 Ollama 运行行为的核心,通过合理配置可优化网络访问、模型管理、性能调度等关键环节,以下为高频实用的环境变量分类说明:

1. 网络配置:控制服务访问范围

环境变量 默认值 功能与使用示例
OLLAMA_HOST 127.0.0.1:11434 定义服务监听地址/端口,支持 HTTP/HTTPS 协议。示例:0.0.0.0:8080(允许局域网访问)、https://0.0.0.0:443(HTTPS 协议)
OLLAMA_ORIGINS localhost/127.0.0.1 配置跨域请求允许来源,示例:OLLAMA_ORIGINS=*,https://example.com(允许所有来源+指定域名)

2. 模型管理:优化存储与加载策略

环境变量 默认值 功能与使用示例
OLLAMA_MODELS ~/.ollama/models 自定义模型存储路径,示例:OLLAMA_MODELS=/data/ollama/models(Linux)、OLLAMA_MODELS=D:\OllamaModels(Windows)
OLLAMA_KEEP_ALIVE 5m 模型内存存活时间,示例:30m(30分钟)、24h(24小时)、-1(永久存活)、0(立即卸载)
OLLAMA_LOAD_TIMEOUT 5m 模型加载超时时间,示例:10m(超时10分钟终止加载)
OLLAMA_MAX_LOADED_MODELS 0(无限制) 限制同时加载模型数,示例:4(最多加载4个模型)
OLLAMA_MAX_QUEUE 512 请求队列最大长度,示例:1024(支持1024个并发请求排队)
OLLAMA_MAX_VRAM 0(无限制) GPU 显存最大使用量(字节),示例:8589934592(限制8GB显存)
OLLAMA_GPU_OVERHEAD 0 单GPU显存预留量(字节),示例:1073741824(预留1GB显存)

3. 性能与调度:提升并发与资源利用率

环境变量 默认值 功能与使用示例
OLLAMA_NUM_PARALLEL 0(无限制) 并行处理请求数,示例:8(同时处理8个请求)
OLLAMA_SCHED_SPREAD false 启用模型跨GPU调度,示例:OLLAMA_SCHED_SPREAD=1(开启跨GPU调度)

4. 调试与日志:辅助问题排查

环境变量 默认值 功能与使用示例
OLLAMA_DEBUG false 启用调试日志,示例:OLLAMA_DEBUG=1(输出详细调试信息)
OLLAMA_NOHISTORY false 禁用命令行历史记录,示例:OLLAMA_NOHISTORY=1(不保存run命令历史)
OLLAMA_NOPRUNE false 启动时不清理模型文件,示例:OLLAMA_NOPRUNE=1(保留所有模型缓存)

5. 特性开关:尝鲜实验性功能

环境变量 默认值 功能与使用示例
OLLAMA_FLASH_ATTENTION false 启用Flash Attention注意力机制,示例:OLLAMA_FLASH_ATTENTION=1
OLLAMA_MULTIUSER_CACHE false 优化多用户场景提示缓存,示例:OLLAMA_MULTIUSER_CACHE=1

6. 代理设置:适配网络访问场景

环境变量 功能与使用示例
HTTP_PROXY 设置HTTP代理,示例:HTTP_PROXY=http://proxy.example.com:8080
HTTPS_PROXY 设置HTTPS代理,示例:HTTPS_PROXY=https://proxy.example.com:8080
NO_PROXY 排除代理地址,示例:NO_PROXY=localhost,192.168.1.0/24,example.com

二、CLI 核心命令详解

Ollama 提供简洁的命令行工具(CLI)实现模型全生命周期管理,所有命令均可通过-h/--help查看详细用法,核心命令如下:

1. 基础命令速览

命令 核心用途
ollama serve/start 启动 Ollama 服务(两者为别名关系)
ollama create 基于现有模型创建自定义模型(支持定制/微调)
ollama show 查看模型详情(配置、许可证、系统提示等)
ollama run 启动模型交互(终端直连,支持参数定制)
ollama pull 从远程仓库拉取模型(支持私有仓库)
ollama list/ls 列出本地已下载的所有模型(两者为别名关系)
ollama ps 查看当前正在运行的模型进程
ollama stop 停止指定运行中的模型
ollama rm 删除本地指定模型(支持批量删除)

2. 高频命令实战

(1)启动服务:定制化启动参数

1
2
3
4
5
# 基础启动(默认配置)
ollama serve

# 带调试日志+自定义监听地址启动
OLLAMA_DEBUG=1 OLLAMA_HOST=0.0.0.0:8080 ollama serve

启动命令支持结合任意环境变量,实现服务的个性化配置。

(2)模型管理:从拉取到删除全流程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 拉取模型(例如Llama 3 8B)
ollama pull llama3:8b

# 查看模型参数
ollama show llama3:8b --parameters

# 列出本地模型
ollama list

# 查看运行中的模型
ollama ps

# 停止运行中的模型
ollama stop llama3:8b

# 删除本地模型
ollama rm llama3:8b

(3)模型交互:终端高效验证

ollama run是终端验证模型的核心命令,支持直接传参或交互式对话:

1
2
3
4
5
6
7
8
# 基础运行模型
ollama run llama3:8b

# 带参数运行(指定响应格式为JSON+保持模型存活1小时)
ollama run llama3:8b --format json --keepalive 1h "请介绍Ollama的核心功能"

# 禁用自动换行+显示响应耗时
ollama run llama3:8b --nowordwrap --verbose

核心优势

  • 轻量化验证:无需依赖WebUI,终端直连模型快速验证响应效果;

  • 可记录输出:通过>将响应写入文件(如ollama run llama3:8b "提问内容" > response.txt);

  • 自动化适配:可嵌入脚本实现定时交互、批量问答等自动化流程。

三、Ollama 安装与系统参数最佳实践

1. 快速安装

Ollama 支持全平台部署,可从官方官网下载对应系统安装包(Windows/MacOS/Linux),安装流程与常规软件一致,无额外依赖。

2. 必配系统环境变量(优化体验)

安装完成后,建议配置以下环境变量提升使用体验:

环境变量 推荐配置(示例) 配置原因
OLLAMA_MODELS D:\OllamaModels(Windows)
/data/ollama/models(Linux)
避免系统盘(C盘)空间占用,统一管理模型文件
OLLAMA_HOST 0.0.0.0 允许局域网内其他设备访问Ollama服务(默认仅本机可访问)
OLLAMA_PORT 8080(按需修改) 规避11434端口冲突,适配现有网络环境
OLLAMA_ORIGINS * 本地使用场景下解除跨域限制,简化WebUI/API调用
OLLAMA_KEEP_ALIVE 24h 模型常驻内存,避免重复加载耗时(提升访问速度)
OLLAMA_NUM_PARALLEL 4-8(按CPU/GPU调整) 提升并发处理能力,适配多请求场景
OLLAMA_MAX_QUEUE 1024 扩大请求队列,避免高并发下请求被丢弃
OLLAMA_DEBUG 1(研发阶段) 输出详细日志,辅助排查模型加载/交互异常
OLLAMA_MAX_LOADED_MODELS 2-4 限制同时加载模型数,避免内存/GPU显存耗尽

总结

Ollama 凭借轻量化、易配置、跨平台的特性,成为本地大模型管理的首选工具。通过合理配置环境变量,可精准控制服务的网络、性能、资源使用;借助 CLI 命令,可高效完成模型的全生命周期管理;结合 WebUI 或多语言 API,还能进一步扩展交互形式与应用场景。无论是本地验证模型效果,还是搭建私有化大模型服务,Ollama 都能通过灵活的配置和简洁的操作满足多样化需求。

Longhorn 单机部署指南

Longhorn 支持单机部署,它是一款基于 Kubernetes 的分布式块存储系统,同时也可以在单节点 Kubernetes 集群中完成部署和使用,适合开发测试、边缘计算等轻量场景。

一、单机部署的核心前提

  1. 环境要求

    1. 单节点 Kubernetes 集群(如 Minikube、k3s、MicroK8s 或手动搭建的单节点集群)

    2. 节点满足 Longhorn 基础条件:

      • 操作系统:Linux(内核 4.14+)

      • 容器运行时:Docker、containerd 等

      • 磁盘:至少 1 块空闲磁盘或目录(用于存储数据)

      • 依赖工具:open-iscsi(必须安装并启动)

  2. 网络要求

    1. 节点能访问互联网(用于拉取 Longhorn 镜像)

    2. Kubernetes 集群网络插件正常运行(如 Calico、Flannel)

二、单机部署的具体步骤(以 k3s 为例)

1. 部署单节点 k3s 集群

1
2
3
4
# 安装 k3s(禁用默认存储,避免冲突)
curl -sfL https://get.k3s.io | sh -s - --disable local-storage
# 配置 kubectl 环境变量
export KUBECONFIG=/etc/rancher/k3s/k3s.yaml

2. 安装依赖组件 open-iscsi

1
2
3
4
5
6
7
# Ubuntu/Debian
sudo apt update && sudo apt install -y open-iscsi
sudo systemctl enable --now iscsid

# CentOS/RHEL
sudo yum install -y iscsi-initiator-utils
sudo systemctl enable --now iscsid

3. 部署 Longhorn

推荐使用 Helm 部署(更易管理):

1
2
3
4
5
6
7
8
9
# 安装 Helm 3
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

# 添加 Longhorn Helm 仓库
helm repo add longhorn https://charts.longhorn.io
helm repo update

# 部署 Longhorn 到 longhorn-system 命名空间
helm install longhorn longhorn/longhorn --namespace longhorn-system --create-namespace

4. 验证部署状态

1
2
3
4
5
6
# 检查 Pod 是否全部 Running
kubectl -n longhorn-system get pods

# 检查 Longhorn 存储类是否创建
kubectl get sc
# 正常会看到 longhorn 存储类,且标注为 default

三、单机部署的注意事项

  1. 高可用限制

    1. 单机部署下,Longhorn 无法提供数据冗余(默认副本数为 3,需手动调整为 1),节点故障会导致数据丢失,仅适合非生产环境。

    2. 修改副本数:在 Longhorn UI 中设置默认副本数为 1,或在 PVC 注解中指定 numberOfReplicas: 1

  2. 存储路径配置

    1. 如果节点没有空闲磁盘,可以指定目录作为存储后端:

      1
      2
      3
      4
      5
      6
      # 创建本地目录
      sudo mkdir -p /data/longhorn
      sudo chmod 777 /data/longhorn
      # 部署时通过 Helm 参数指定
      helm install longhorn longhorn/longhorn --namespace longhorn-system --create-namespace \
      --set defaultSettings.defaultDataPath=/data/longhorn
  3. 访问 Longhorn UI

    1. 单机环境下可通过 NodePort 访问 UI:

      1
      2
      kubectl -n longhorn-system get svc longhorn-frontend
      # 访问 http://<节点IP>:<NodePort>

四、单机部署的适用场景

  • 开发/测试环境:快速验证 Longhorn 功能、测试存储与应用的兼容性。

  • 边缘节点:资源受限的边缘设备,仅需单节点提供块存储。

  • 个人学习:熟悉 Kubernetes 存储编排和 Longhorn 运维操作。

是否需要我为你整理单机部署 Longhorn 后的测试用例,比如创建 PVC 并挂载到 Nginx 容器进行验证?

在Windows 10中搭建Qt 4.8.7 ARM32交叉编译环境,核心是获取ARM32交叉编译工具链编译Qt 4.8.7源码适配ARM架构配置环境变量与编译规则,以下是分步实操指南(全程需管理员权限,建议关闭杀毒软件避免文件拦截)。

一、前置准备:确定核心依赖与下载清单

Qt 4.8.7本身不提供预编译的ARM32交叉编译包,需手动编译源码,需下载以下组件(版本需严格匹配,避免兼容性问题):

组件名称 用途 下载地址/获取方式
MinGW-w64(8.1.0) Windows下的GCC编译环境 SourceForge(选x86_64-posix-seh)
ARM32交叉编译工具链 编译ARM32架构程序 推荐Linaro 7.5.0(arm-linux-gnueabihf):Linaro官网
Qt 4.8.7源码 Qt核心源码(需适配ARM) Qt Archive
Python 2.7.x Qt 4.8.7编译依赖(必须2.7) Python官网(选Windows x86-64 MSI)
Perl 5.28+ Qt编译脚本依赖 Strawberry Perl(选64位版本)
CMake 3.10+ 辅助编译(可选但建议) CMake官网(选Windows x64 Installer)
7-Zip 解压tar.gz/压缩包 7-Zip官网

二、步骤1:安装基础编译环境(Windows侧)

1.1 安装MinGW-w64

  • 下载MinGW-w64后解压到固定路径(如D:\mingw64),将D:\mingw64\bin添加到系统环境变量Path(优先级高于系统自带MinGW)。

  • 验证:打开CMD,输入gcc -v,输出MinGW-w64 8.1.0版本信息则成功。

1.2 安装Python 2.7 + Perl + CMake

  • Python 2.7:安装时勾选“Add Python to PATH”,验证python --version输出2.7.x。

  • Strawberry Perl:默认安装即可,验证perl -v输出5.28+版本。

  • CMake:安装时勾选“Add CMake to the system PATH for all users”,验证cmake --version输出3.10+。

三、步骤2:配置ARM32交叉编译工具链

2.1 解压并配置Linaro工具链

  • 下载Linaro工具链(如gcc-linaro-7.5.0-2019.12-i686-mingw32_arm-linux-gnueabihf.tar.xz),解压到固定路径(如D:\arm-linux-gnueabihf-7.5.0)。

  • 将工具链bin目录(D:\arm-linux-gnueabihf-7.5.0\bin)添加到系统环境变量Path

  • 验证:CMD输入arm-linux-gnueabihf-gcc -v,输出Linaro 7.5.0版本信息则成功。

四、步骤3:修改Qt 4.8.7源码适配ARM交叉编译

Qt 4.8.7默认不支持Windows下ARM交叉编译,需手动修改配置文件:

4.1 解压Qt源码

qt-everywhere-opensource-src-4.8.7.tar.gz用7-Zip解压到固定路径(如D:\qt-4.8.7-arm),避免路径含中文/空格。

4.2 修改交叉编译配置文件

Qt 4.8.7的交叉编译需通过mkspecs目录下的配置文件定义,步骤:

  1. 复制D:\qt-4.8.7-arm\mkspecs\qws\linux-arm-gnueabi-g++目录,重命名为linux-arm-gnueabihf-g++(匹配Linaro工具链的hf(硬件浮点))。

  2. 编辑新目录下的qmake.conf,替换内容为:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
# 基础配置
MAKEFILE_GENERATOR = UNIX
TEMPLATE = app
CONFIG += qt warn_on release incremental link_prl gdb_dwarf_index
QT += core gui
QMAKE_INCREMENTAL_STYLE = sublib

# 交叉编译工具链前缀(匹配Linaro工具链)
CROSS_COMPILE = arm-linux-gnueabihf-
CC = $$CROSS_COMPILE gcc
CXX = $$CROSS_COMPILE g++
LINK = $$CROSS_COMPILE g++
AR = $$CROSS_COMPILE ar cqs
RANLIB = $$CROSS_COMPILE ranlib
STRIP = $$CROSS_COMPILE strip
RC = $$CROSS_COMPILE windres

# ARM架构参数(适配ARM32,如ARMv7)
QMAKE_CFLAGS = -march=armv7-a -mtune=cortex-a9 -mfpu=neon -mfloat-abi=hard -O2
QMAKE_CXXFLAGS = $$QMAKE_CFLAGS
QMAKE_LFLAGS = -march=armv7-a -mtune=cortex-a9 -mfpu=neon -mfloat-abi=hard

# Qt运行环境(QWS是Qt 4的嵌入式窗口系统)
QMAKE_INCDIR =
QMAKE_LIBDIR =
QMAKE_INCDIR_QT = $$[QT_INSTALL_HEADERS]
QMAKE_LIBDIR_QT = $$[QT_INSTALL_LIBS]
QMAKE_INCDIR_OPENGL_ES2 =
QMAKE_LIBDIR_OPENGL_ES2 =
QMAKE_INCDIR_EGL =
QMAKE_LIBDIR_EGL =
QMAKE_INCDIR_OPENVG =
QMAKE_LIBDIR_OPENVG =

# 系统库
QMAKE_LIBS = -lrt -ldl -lpthread
QMAKE_LIBS_QT_ENTRY = -lQtCore -lQtGui
QMAKE_LIBS_GUI = -lX11 -lXext -lXt -lm -lSM -lICE -lfontconfig -lfreetype
QMAKE_LIBS_CORE = -lz -lm -ldl -lpthread

# 输出目录
DESTDIR = ../bin

注:-march=armv7-a/-mtune=cortex-a9需根据目标ARM芯片调整(如ARMv6则改-march=armv6)。

五、步骤4:配置并编译Qt 4.8.7 ARM版本

5.1 生成编译配置(关键:避免Qt默认编译Windows版本)

打开MinGW-w64的CMD窗口(必须用MinGW的终端,而非系统CMD),执行以下命令:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
# 进入Qt源码根目录
cd /d D:\qt-4.8.7-arm

# 清理旧配置(首次编译可跳过)
mingw32-make distclean

# 配置交叉编译参数(核心命令)
configure -prefix D:\qt-4.8.7-arm-build \
-opensource \
-confirm-license \
-release \
-shared \
-embedded arm \
-xplatform qws/linux-arm-gnueabihf-g++ \
-no-webkit \
-no-phonon \
-no-phonon-backend \
-no-qt3support \
-no-multimedia \
-no-ltcg \
-no-dbus \
-no-opengl \
-no-openvg \
-no-svg \
-no-javascript-jit \
-no-script \
-no-scripttools \
-no-declarative \
-no-declarative-debug \
-nomake demos \
-nomake examples \
-nomake docs \
-qt-libpng \
-qt-libjpeg \
-qt-zlib \
-little-endian \
-host-little-endian \
-verbose

参数说明:

  • -prefix:指定Qt ARM版本安装路径;

  • -embedded arm:启用嵌入式ARM支持(Qt 4的QWS);

  • -xplatform:指定步骤4.2中修改的交叉编译配置;

  • 禁用webkit/phonon等非必需模块,减少编译时间和报错。

5.2 编译Qt源码

配置成功后(无error),执行编译命令:

1
2
# 多核编译(-j后接CPU核心数,如8核则-j8)
mingw32-make -j8

⚠️ 编译耗时(1-2小时),若报错:

  • 检查工具链路径是否正确;

  • 检查qmake.conf中工具链前缀是否匹配;

  • 若提示“python找不到”,确保Python 2.7在PATH最前(Qt 4不兼容Python 3)。

5.3 安装编译后的Qt ARM版本

编译完成后执行:

1
mingw32-make install

安装完成后,D:\qt-4.8.7-arm-build即为可用于ARM32交叉编译的Qt环境。

六、步骤5:验证交叉编译环境

编写简单Qt测试程序,验证能否编译出ARM32可执行文件:

6.1 新建测试工程

在任意目录新建test.pro

1
2
3
4
QT += core gui
TARGET = test
TEMPLATE = app
SOURCES += main.cpp

新建main.cpp

1
2
3
4
5
6
7
8
9
10
#include <QApplication>
#include <QLabel>

int main(int argc, char *argv[])
{
QApplication a(argc, argv);
QLabel lbl("Hello ARM32 Qt 4.8.7!");
lbl.show();
return a.exec();
}

6.2 用Qt ARM版本的qmake生成Makefile

打开MinGW终端,执行:

1
2
# 指定ARM版本的qmake路径
D:\qt-4.8.7-arm-build\bin\qmake.exe test.pro -spec qws/linux-arm-gnueabihf-g++

6.3 编译生成ARM32程序

执行:

1
mingw32-make

编译完成后生成test可执行文件,用file命令(需安装Git for Windows,或复制到Linux)验证:

1
2
# Git Bash中执行
file test

输出类似test: ELF 32-bit LSB executable, ARM, EABI5 version 1 (SYSV), dynamically linked,说明成功生成ARM32程序。

七、常见问题与解决

  1. configure阶段提示“无法找到arm-linux-gnueabihf-gcc”

    1. 检查工具链bin目录是否在PATH中,重启终端生效;

    2. 确认工具链解压完整,无文件缺失。

  2. 编译阶段提示“undefined reference to xxx”

    1. 禁用非必需模块(如webkit),Qt 4.8.7部分模块对ARM交叉编译支持差;

    2. 检查qmake.conf中链接库参数(QMAKE_LIBS)是否完整。

  3. Python版本错误

    1. 卸载Python 3,仅保留Python 2.7,或在PATH中优先放置Python 2.7路径。

总结

Win10下Qt 4.8.7 ARM32交叉编译的核心是:

  1. 搭建MinGW+ARM交叉工具链环境;

  2. 修改Qt源码的交叉编译配置文件;

  3. 通过configure指定ARM编译参数,编译源码;

  4. 验证生成的程序为ARM32架构。

若追求效率,也可在Linux虚拟机中完成Qt 4.8.7 ARM交叉编译(Linux下交叉编译兼容性更好),再将编译结果复制到Windows使用。

0%