|
|
用本地Qwen+Deepseek大模型写的，自己也修改了一部分
想用来测试一下离线模型的效率~~~~~~
主要用来主动提前加载大模型，以节省首次和大模型交互的响应时间
或者手动从显存中卸载大模型，以便快速释放显存
**程序主要用于Ollama且基于默认的11434端口**
其他大模型调试软件，或者非Ollama默认端口的，请忽略！！
使用时注意点：
1.需要Ollama主程序正常运行中；
2.预加载大模型后还需要在交互客户端选择预加载的模型名称；
重申：本程序只时起到将模型提前载入显存或卸载出显存而已！！！
考虑到已经是手动操作了，就直接默认是永久加载，再设闲置时效好像意义不大！！！
https://120439037.lanzoum.com/iqhne3p0j8xe
    |
|
发表于 