LRMoE

Memory-aware training system for sparse Mixture-of-Experts models that jointly recalibrates backward demand and balances retained workload under GPU memory constraints.

LRMoE presenta la recalibración de la carga del lado de la demanda para un entrenamiento eficiente de MoE en nodos con limitaciones de memoria