Verwandte Artikel

Last-Rekalibrierungsmetrik

Metric used during backpropagation to estimate each token-expert pair's contribution to the expert update before selecting retained pairs.

• LRMoE führt eine Nachkalibrierung der Last auf der Nachfrageseite für ein effizientes MoE-Training auf speicherbeschränkten Knoten ein