登录

64 GB就能Token自由DeepSeek V 4.1 Flash可本地部署:3倍速度


2026年10月30日 23:37

快科技10月30日消息,本地部署AI大模型是很多人期待的方案,等于Token自由,以前都只能部署小参数模型,现在DeepSeek V4.1 Flash-1017这样的大模型也能本地部署了。

Unsloth一直在搞本地部署DeepSeek V4.1 Flash-1017优化, 今天又放出了Dynamic V3.1 量化号称可以在最低64GB内存设备上本地部署 ,而且相比前版性能更强、任务完成更快、输出更短,性价比全面提升。

根据他们公布的数据,Dynamic V3.1的性能非常强,在GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider等基准测试上排名第一。

更重要的是,速度也更快了,Unsloth Desktop + llama.cpp相比其他专注于 CPU/VRAM/n-gram的仓库可实现 约快3倍的DeepSeek-V4.1 推理。

不过Unsloth的文章中提到了可以在64GB内存的设备上运行,但没有提供具体的测试数据,而最小量化的IQ1_S版本也需要122.4GB内存,不知道他们是怎么做到在64GB内存上跑的。

主题:64GB