fr.wedoany.com Rapport : Dans le post-entraînement par apprentissage par renforcement des grands modèles de langage, le processus de rollout générant un grand nombre de réponses de raisonnement s’accompagne souvent de coûts de calcul élevés, mais une grande partie de ces échantillons peut ne pas fournir de signaux d’entraînement efficaces. Pour résoudre ce problème, une équipe de recherche du Département d’Automatique de l’Université Tsinghua a proposé un cadre d’optimisation nommé POPO (Group Prioritized Off-Policy Optimization), visant à réduire considérablement la consommation d’échantillons inefficaces dans l’entraînement RLVR (Reinforcement Learning with Verifiable Rewards) grâce à une optimisation hors politique au niveau du groupe.
L’avantage principal du RLVR réside dans le fait que ses signaux de récompense peuvent être automatiquement vérifiés par des règles. Cependant, lors de l’entraînement avec des méthodes comme GRPO (Group Relative Policy Optimization), le modèle génère un ensemble de réponses pour une même invite. Si toutes les réponses de cet ensemble sont correctes ou toutes incorrectes, la variance de la récompense est nulle, ce qui annule l’avantage relatif au sein du groupe, et les échantillons ne contribuent presque pas à la mise à jour des paramètres. Cette situation, définie comme « échantillons inefficaces », est très courante dans le RLVR, en particulier pour des questions trop simples ou trop difficiles, où le modèle consomme d’importantes ressources de calcul sans obtenir de gradient utile.
Les méthodes existantes pour y remédier incluent principalement : DAPO, qui filtre les groupes inefficaces en élargissant le batch candidat et en effectuant des rollouts supplémentaires, mais au prix d’une augmentation des coûts de génération ; les méthodes d’échantillonnage prédictif, qui estiment le taux de réussite de l’invite avant le rollout, mais manquent de stabilité sur des données à grande échelle ou avec un faible nombre d’époques d’entraînement ; et les méthodes de rejeu de trajectoires, qui conservent les réponses réussies historiques mais ne peuvent pas gérer les défis liés à la validation de l’efficacité au sein du groupe et aux biais hors politique.
L’idée centrale de POPO est de maintenir un petit tampon de rejeu (replay buffer) qui stocke les groupes de réponses efficaces rencontrés lors de l’entraînement récent. À chaque étape d’entraînement, le modèle effectue d’abord un rollout sur le batch actuel, puis divise les groupes de réponses en groupes efficaces (variance non nulle) et inefficaces (variance nulle) en fonction de la variance de la récompense. POPO conserve les groupes efficaces et, pour les positions des groupes inefficaces, ne refait pas de rollout, mais les complète en extrayant du tampon les groupes efficaces les plus récents. Cette stratégie permet, sans augmenter le coût de nouveaux rollouts, de composer le batch d’entraînement principalement d’échantillons efficaces.
Contrairement au rejeu de trajectoires courant, POPO choisit d’effectuer le rejeu au niveau du groupe. Un groupe contient une invite et son ensemble correspondant de réponses, et l’ensemble des données provient de la même politique historique, préservant ainsi la cohérence intra-groupe, ce qui facilite la correction hors politique ultérieure. Pour la sélection des groupes à rejouer, POPO se base principalement sur deux critères : la « qualité » (variance de récompense non nulle) et la « distance par rapport à la politique actuelle » (priorité aux groupes efficaces les plus récemment stockés).
Pour traiter le problème de biais des données rejouées, POPO introduit une optimisation hors politique découplée, séparant les rôles de la « politique de comportement » et de la « politique de contrainte proximale ». Pour les échantillons rejoués, l’algorithme utilise un échantillonnage d’importance pour corriger le biais hors politique, tout en maintenant des contraintes de région de confiance cohérentes avec les échantillons en politique, conciliant ainsi correction du biais et stabilité de l’entraînement.
L’article évalue les performances de POPO sur trois types de tâches : le raisonnement mathématique, la planification numérique et la géométrie visuelle. Pour le raisonnement mathématique, les modèles DeepSeek-R1-Distill-Qwen-1.5B et 7B sont entraînés sur l’ensemble de données DeepScaleR ; pour la planification numérique, le modèle Qwen2.5-3B est entraîné sur le sous-ensemble Countdown-34 ; pour la géométrie visuelle, le modèle Qwen2.5-VL-3B-Instruct est entraîné et testé sur Geometry3k. Les méthodes de comparaison incluent les bases GRPO, DAPO, MoPPS, ARPO, etc.
D’après les courbes d’entraînement, POPO converge plus rapidement que GRPO, ARPO et MoPPS sur plusieurs tâches, avec des performances globales proches de DAPO, mais avec un coût de rollout considérablement réduit. Sur DSR-1.5B, POPO obtient un score moyen intra-distribution de 55,1, égal à DAPO, et un score moyen hors distribution de 32,9, légèrement supérieur à celui de DAPO (32,7), tandis que le temps d’entraînement passe de 30 heures pour DAPO à 16 heures. Sur DSR-7B, POPO obtient un score moyen intra-distribution de 63,3, supérieur à celui de DAPO (63,2), et un score moyen hors distribution de 51,2, supérieur à celui de DAPO (50,8), avec un temps d’entraînement réduit de 55 à 34 heures. Sur la tâche Countdown, POPO atteint une précision moyenne de 60,4, proche des 61,5 de DAPO, mais avec seulement 205 000 rollouts (contre 877 000 pour DAPO), et un temps d’entraînement réduit de 5,6 à 3,2 heures. Sur la tâche Geometry, POPO obtient un score de 50,0, proche des 50,6 de DAPO, avec 492 000 rollouts (contre 1 438 000 pour DAPO), et un temps d’entraînement réduit de 11,2 à 6,8 heures.
Les expériences d’ablation confirment la nécessité de chaque composant de POPO. La méthode utilisant la divergence KL pour trouver les groupes de rejeu (POPO-KL) a des performances proches mais une efficacité de calcul inférieure ; la méthode filtrant uniquement les groupes inefficaces sans compléter le batch (GRPO-filter) est moins performante que POPO ; le rejeu sans distinction des groupes efficaces (POPO-ineff) entraîne une baisse significative des performances ; et le rejeu d’échantillons provenant d’un historique lointain (POPO-stale) provoque un effondrement des performances. En ce qui concerne l’objectif d’optimisation, traiter simplement les données rejouées comme des données en politique actuelles conduit à un effondrement des performances, tandis que l’objectif hors politique découplé donne les meilleurs résultats.
Une analyse plus approfondie montre que POPO est systématiquement plus performant que GRPO et proche de DAPO pour différentes tailles de groupes de réponses (k=4, 8, 16, 32), et peut être appliqué à d’autres algorithmes RLVR de base comme RLOO et PPO, ainsi que combiné avec des méthodes d’échantillonnage actif comme MoPPS.
L’article souligne que la valeur fondamentale de POPO est de faire passer l’entraînement RLVR d’une approche « générer beaucoup, filtrer beaucoup » à une approche « réduire le gaspillage », en mettant en cache et en réutilisant les échantillons efficaces de haute qualité déjà produits, réduisant ainsi le gaspillage des rollouts inefficaces tout en maintenant la stabilité de l’entraînement. À titre d’exemple, sur la tâche DeepScaleR-7B, POPO atteint des performances proches de DAPO en utilisant seulement environ 30 % du budget de rollout. À l’avenir, l’équipe prévoit d’explorer une stratégie hybride combinant un cache FIFO à court terme et un réservoir à long terme pour réduire davantage le nombre de rollouts en ligne et augmenter l’utilisation contrôlée de données hors ligne.
L’article est réalisé par l’équipe du professeur Ji Xiangyang du Département d’Automatique de l’Université Tsinghua, avec les auteurs Yixiu Mao, Yun Qu, Cheems Wang, Heming Zou et Xiangyang Ji (毛逸休, 曲韵, 王, 邹赫明, 季向阳). Le premier auteur, Yixiu Mao, est doctorant au Département d’Automatique de l’Université Tsinghua et actuellement stagiaire dans l’équipe du grand modèle de langage Tongyi Qianwen d’Alibaba. L’article est publié sur arXiv sous le numéro 2606.01281v1.
