多台 Spark 跑大模型，我现在最看重的一个数是长 prompt 在 prefill 的时候，别的请求要等多久。单路 tok/s 反而排在后面。 DeepSeek V4.1 Flash 的 Spark 配方这两天连着更新了两次： 1. 四台 Spark：51K token 的长 prompt 跑着的时候插一个短问题，等待从约 13 秒降到 0.3 秒 2. 两台 Spark：70K https://t.co/jIt7p0bKAO
多台 Spark 跑大模型，我现在最看重的一个数是长 prompt 在 prefill 的时候，别的请求要等多久。单路 tok/s 反而排在后面。 DeepSeek V4.1 Flash 的 Spark 配方这两天连着更新了两次： 1. 四台 Spark：51K token 的长 prompt 跑着的时候插一个短问题，等待从约 13 秒降到 0.3 秒 2. 两台 Spark：70K https://t.co/jIt7p0bKAO