rsnt_translations
56,573
edits
No edit summary |
No edit summary |
||
Line 180: | Line 180: | ||
===Replicated=== | ===Replicated=== | ||
Chaque GPU possède sa propre copie des variables. Les gradients sont copiés sur toutes les tours par | Chaque GPU possède sa propre copie des variables. Les gradients sont copiés sur toutes les tours par agrégation du contenu des appareils ou par un algorithme ''all reduce'' (dépendant de la valeur du paramètre all_reduce_spec). | ||
Avec la méthode ''all reduce'' par défaut ː | Avec la méthode ''all reduce'' par défaut ː |