Articles liés

Mélange d'experts

Architecture used by Mistral Large 4 in which a router selects a small group of experts per token; the model uses four of 128 experts plus one shared expert in most layers.

• Mistral dévoile 'Le Chonk' : Mistral Large 4 fait ses débuts sur Hugging Face avec des capacités massives en cybersécurité et en codage
• LRMoE introduit une recalibration de la charge côté demande pour un entraînement MoE efficace sur des nœuds contraints en mémoire