Mistral Large 4(Le Chonk)放出权重了,总参数 1T,每个 token 激活约 52B。 这个级别的开源模型在家里到底要多少内存、能跑多快,我把 config 和 Hugging Face 上几份权重文件都过了一遍。 1. 结构 1. 72 层 MoE,128 个路由专家每个 token 选 4 个,另有 1 个共享专家,第 1 层是 dense 2. https://t.co/nZZNnkZeAH
Mistral Large 4(Le Chonk)放出权重了,总参数 1T,每个 token 激活约 52B。 这个级别的开源模型在家里到底要多少内存、能跑多快,我把 config 和 Hugging Face 上几份权重文件都过了一遍。 1. 结构 1. 72 层 MoE,128 个路由专家每个 token 选 4 个,另有 1 个共享专家,第 1 层是 dense 2. https://t.co/nZZNnkZeAH