网站建设公司发展前景网络营销公司怎么注册
本文系统环境
Windows 10
Ollama 0.5.7
Ollama 是什么？
Ollama 可以让你快速集成和部署本地 AI 模型。它支持各种不同的 AI 模型，并允许用户通过简单的 API 进行调用
Ollama 的安装
Ollama 官网 有其下载及安装方法，非常简便
但如果希望不占用系统盘大量空间，可以参考 Ollama Windows 文档 这样安装
1. 把 Ollama 安装到其它磁盘
命令行定位到 Ollama 安装包 OllamaSetup.exe 的目录下，运行如下命令，指定你希望的安装目录
OllamaSetup.exe /DIR="D:\Program Files\Ollama"
2. 更改 Ollama 的模型存放位置
Ollama 后续下载安装的模型默认存放在系统盘，会非常占用位置
设置 OLLAMA_MODELS 系统变量，指定希望的模型存放目录
设置完后，如果 Ollama 服务已在运行，要重启一下 Ollama 服务方能生效
从 ModelScope 下载模型并加载
Ollama 官方安装模型的方法很简单
例如：
ollama run qwen2.5但下载速度一般非常慢
我们可以从 ModelScope 先下载模型，再通过 Ollama 加载模型
1. 下载 GGUF 格式模型
Ollama 能轻易加载 GGUF 格式的模型，检索 GGUF 模型进行下载
推荐用官方命令行方式下载，下载过程中有进度条，可指定下载目录
modelscope download --model 'Qwen/Qwen1.5-0.5B-Chat-GGUF' --local_dir 'D:\Models\Qwen1.5-0.5B-Chat-GGUF'
下载完成后，目录类似这样：
关于 gguf 文件，简单理解就是体积越大的回答准确率就越高
2. 加载 GGUF 模型
参考 Ollama 关于加载 GGUF 的说明 和 Qwen 官网关于 Ollama 加载 GGUF 模型 的文档
在上述下载 gguf 模型的目录中新建一个名为 Modelfile 的文件
Modelfile 文件内容如下
FROM ./qwen1_5-0_5b-chat-q5_0.gguf在 gguf 模型的目录下运行 Ollama 加载 gguf 的命令
ollama create qwen1.5:0.5b -f Modelfile
至此，在上面 OLLAMA_MODELS 系统变量对应的目录下会生成 Ollama 的模型数据
Ollama 运行模型
由于 Ollama 已安装，因此 ollama 命令可用
ollama run qwen1.5:0.5b