2025.01.31
尝试本地部署DS R1绕开联网限制，之后用本地训练完之后可以考虑云端部署。目前想要尝试训练一个人物模型。
框架 & 模型：
a) 使用Ollama。 https://ollama.com/ ****在ollama官网搜索想要的模型**** //4090单显存可以使用R1 32B 搭配大内存可以使用70B 速度没有测试，之后测试。 先前搭配LLAMA2 24B ****安装完成 // 进CMD // ollama // 粘贴官网代码 ollama run deepseek-r1:32b // ollama run deepseek-r1:70b**** b) Run. ****在CMD环境中调用 Ollama list // ollama run + 模型名 （E.X. ollama run deepseek-r1:32b即运行 R1-32B模型，70B或LLAMA3.2等更换名字即可，简单命令符。） // **** c) 个性化定制角色卡及其使用。 ****VScode创建文件 // 按照下列规范编写完后保存 // 使用CMD命令进入保存的位置 cd /d 盘符:\文件名 // ollama create 文件名 -X小写 ./文件名 //X为盘符，文件名需一致 // ollama run YYYYY**** ****文件内不能含有空格**** Line 1 -- FROM + 模型名 //调用哪个模型 Line 2 -- PARAMETER temperature ****X**** (0~1 回答随机性，和SD的seed相似。代表回答严谨程度) // 模型 回答随机性 Line 3 -- SYSTEM """ //此行下为传统的角色卡内容 Line 4 -- 此处开始为传统角色卡内容。""" ****注意符号使用规则**** d) 在chrome中安装pageassist插件方便ollama管理。此处应用商店直接搜索安装即可。 RAG管理中更改为想要使用的模型即可。 推荐使用pageassist，有联网功能。
e) 以下为Ollama命令以及备注
-ollama rm +模型名 //删除新建的模型 缓存需要自己手动清理，默认C盘下 C:\Users\Username\.ollama
- 1.5B 4G / 8B 8G / 14B 12G / 32B 24G / 70B 80G