一张 RTX 3090 加 192GB 内存,跑完整的 DeepSeek V4.1 Flash 1017,生成 41 tok/s。 552B 参数全在,专家权重压到 2 bit,在 Windows 上原生跑。配置是 i5-13600K、4 条 48GB DDR5-5600、NVMe 固态。 换了配置以后的速度: 1. 内存降到 128GB,生成 33 tok/s 2. 25K 到 64K 的长 prompt,prefill https://t.co/VVh4HrgKbe
一张 RTX 3090 加 192GB 内存,跑完整的 DeepSeek V4.1 Flash 1017,生成 41 tok/s。 552B 参数全在,专家权重压到 2 bit,在 Windows 上原生跑。配置是 i5-13600K、4 条 48GB DDR5-5600、NVMe 固态。 换了配置以后的速度: 1. 内存降到 128GB,生成 33 tok/s 2. 25K 到 64K 的长 prompt,prefill https://t.co/VVh4HrgKbe