分类目录归档:经验分享

采用 podman 或 docker 打包 Ollama 模型服务


采用 ollama封装服务,独立作为一个服务来支持完成 NLP 相关的模型推理/编码等问题。

依赖基础镜像:debian, 详见[[基础镜像]], 根据系统环境下载不同架构的基础镜像。

# macOS 操作系统
podman load -i debian.v12.arm.tar

检验是否加载成功,命令如下所示:

[ 10:24上午 ]  [ yu@yu:~/Downloads ]
$ podman images | grep debian
localhost/debian          latest      5852ca45f7bf  3 years ago  123 MB
...

read more