L'IA ne bat pas encore les ingénieurs dans la gestion des pannes informatiques

Les outils d’IA progressent rapidement dans la surveillance des systèmes informatiques. Pourtant, une nouvelle étude menée par Datadog et l’université Carnegie Mellon montre que les ingénieurs gardent une avance importante dans la gestion des incidents complexes. Basé sur des pannes réelles observées en production, ce test compare plusieurs modèles avancés à des spécialistes humains. Les résultats révèlent surtout les limites actuelles des modèles face aux situations critiques et imprévues.

L’IA progresse, mais reste limitée face aux incidents complexes

Les entreprises technologiques présentent désormais des agents d’IA capables d’analyser automatiquement des incidents de production, malgré les progrès récents réalisés par ces modèles. Ces systèmes doivent aider les équipes à détecter des anomalies et à identifier l’origine des pannes. Cependant, le benchmark ARFBench montre que cette automatisation reste encore imparfaite. Le projet repose sur des incidents réels observés pendant des situations d’urgence, avec des données validées manuellement afin d’éviter les scénarios artificiels.

L’étude s’appuie notamment sur plusieurs chiffres clés :

• 63 incidents réels analysés à partir d’échanges Slack en situation d’urgence ;
• 750 questions créées autour des incidents étudiés ;
• 142 indicateurs de surveillance utilisés dans le benchmark ;
• Plus de 5 millions de points de données examinés.

Les tests évaluent aussi bien la détection d’anomalies que la capacité des modèles à comprendre des relations complexes entre plusieurs métriques. GPT-5 obtient un score F1 de 47,5 % sur les questions les plus difficiles, tout en conservant une précision globale de 62,7 %. Les chercheurs rappellent également que des milliers de milliards de dollars sont perdus chaque année à cause des pannes systèmes, ce qui renforce l’importance stratégique des outils d’IA dans les infrastructures numériques modernes.

Les ingénieurs gardent une avance claire sur les modèles actuels

Face aux résultats des modèles, les ingénieurs humains conservent une meilleure précision globale. Les experts du domaine ont obtenu un score de 72,7 %, largement supérieur aux meilleurs modèles testés. Même les non-experts de Datadog ont atteint 69,7 %, soit davantage que les systèmes automatisés.

Ces résultats montrent que les ingénieurs interprètent encore mieux le contexte global d’un incident. Ils comprennent plus facilement les interactions entre plusieurs signaux techniques et les comportements inhabituels des infrastructures.

Aucun modèle d’IA n’a réussi à dépasser les performances humaines de référence. Toutefois, certains systèmes spécialisés réduisent progressivement l’écart. Le modèle hybride Toto-1.0-QA-Experimental, développé par Datadog, atteint une précision de 63,9 %. Ce système combine un modèle interne de prévision avec Qwen3-VL 32B.

Dans la détection d’anomalies, Toto obtient même un score F1 supérieur d’au moins 8,8 points par rapport aux autres modèles concurrents. Ce résultat confirme qu’un modèle spécialisé sur les données d’observabilité peut mieux répondre à une tâche technique précise qu’un système généraliste.

Malgré ces avancées, les ingénieurs restent essentiels lors des incidents critiques. Les modèles perdent parfois le contexte métier, ignorent certaines métadonnées ou interprètent mal plusieurs indicateurs simultanément.

Une collaboration entre IA et humains devient le scénario le plus crédible

L’étude souligne surtout que les erreurs des humains et celles des modèles sont différentes. Les systèmes d’IA détectent certaines anomalies rapidement, tandis que les humains comprennent mieux les situations ambiguës et les contraintes opérationnelles.

Les chercheurs expliquent que ces différences créent des compétences complémentaires. Les modèles ratent parfois des détails de contexte, alors que les humains commettent davantage d’erreurs sur les horodatages précis ou les consignes complexes.

Pour mesurer ce potentiel, les chercheurs ont imaginé un “oracle expert” capable de choisir systématiquement la meilleure réponse entre un humain et une IA. Dans ce scénario théorique, la précision grimpe à 87,2 %, avec un score F1 de 82,8 %.

Ce résultat ne représente pas encore un produit concret. Cependant, il montre qu’une collaboration entre intelligence artificielle et ingénieurs pourrait fortement améliorer la gestion des incidents informatiques dans les prochaines années. Les systèmes automatisés semblent donc destinés à assister les équipes humaines plutôt qu’à les remplacer complètement à court terme.