Qu’est-ce que Horovod ?
Horovod est un framework open source d’entraînement distribué de modèles d’apprentissage profond sur de nombreux GPU ou machines. Développé à l’origine chez Uber, il prend en charge TensorFlow, Keras, PyTorch et MXNet et synchronise les gradients calculés par les machines participantes via ring-allreduce, sans serveur de paramètres central. Le projet est hébergé par la LF AI & Data Foundation ; la dernière version stable, 0.28.1, date de 2023 (état : octobre 2026).