modelscope下载gguf格式模型
ollama加载模型

模型地址
https://www.modelscope.cn/models/okwinds/CompassJudger-1-7B-Instruct-GGUF-V3-LOT

pip install modelscope
modelscope download --model=okwinds/CompassJudger-1-7B-Instruct-GGUF-V3-LOT --include "CompassJudger-1-7B-It-Q4_K_M-LOT.gguf" --local_dir .vi ModelFile
/path/to/CompassJudger-1-7B-It-Q4_K_M-LOT.gguf
:wqollama create cj-1-7b-q4 --file ./ModelFile

Ollama Modelfile官方文档(最新)