样例版:数据未取尽,仅供预览
AIHOT

未取尽:本期 X 数据尚未采集完整。

Mistral Large 4(Le Chonk)放出权重了,总参数 1T,每个 token 激活约 52B。 这个级别的开源模型在家里到底要多少内存、能跑多快,我把 config 和 Hugging Face 上几份权重文件都过了一遍。 1. 结构 1. 72 层 MoE,128 个路由专家每个 token 选 4 个,另有 1 个共享专家,第 1 层是 dense 2. https://t.co/nZZNnkZeAH

X 离线原帖 · · Codex 精选

Mistral Large 4(Le Chonk)放出权重了,总参数 1T,每个 token 激活约 52B。 这个级别的开源模型在家里到底要多少内存、能跑多快,我把 config 和 Hugging Face 上几份权重文件都过了一遍。 1. 结构 1. 72 层 MoE,128 个路由专家每个 token 选 4 个,另有 1 个共享专家,第 1 层是 dense 2. https://t.co/nZZNnkZeAH

Mistral Large 4(Le Chonk)放出权重了,总参数 1T,每个 token 激活约 52B。 这个级别的开源模型在家里到底要多少内存、能跑多快,我把 config 和 Hugging Face 上几份权重文件都过了一遍。 1. 结构 1. 72 层 MoE,128 个路由专家每个 token 选 4 个,另有 1 个共享专家,第 1 层是 dense 2. https://t.co/nZZNnkZeAH