A IA ainda não supera os engenheiros na gestão de falhas de TI

As ferramentas de IA avançam rapidamente na monitoração dos sistemas de TI. No entanto, um novo estudo conduzido pela Datadog e pela Universidade Carnegie Mellon mostra que os engenheiros mantêm uma vantagem significativa na gestão de incidentes complexos. Baseado em falhas reais observadas em produção, este teste compara vários modelos avançados a especialistas humanos. Os resultados revelam principalmente as limitações atuais dos modelos frente a situações críticas e imprevistas.

A IA avança, mas permanece limitada frente a incidentes complexos

As empresas de tecnologia apresentam agora agentes de IA capazes de analisar automaticamente incidentes de produção, apesar dos progressos recentes desses modelos. Esses sistemas devem ajudar as equipes a detectar anomalias e identificar a origem das falhas. Entretanto, o benchmark ARFBench mostra que essa automação ainda é imperfeita. O projeto baseia-se em incidentes reais observados durante situações de emergência, com dados validados manualmente para evitar cenários artificiais.

O estudo fundamenta-se principalmente nos seguintes números-chave:

• 63 incidentes reais analisados a partir de trocas no Slack em situação de emergência.
• 750 perguntas criadas em torno dos incidentes estudados.
• 142 indicadores de monitoração usados no benchmark.
• Mais de 5 milhões de pontos de dados examinados.

Os testes avaliam tanto a detecção de anomalias quanto a capacidade dos modelos em entender relações complexas entre várias métricas. O GPT-5 obtém um score F1 de 47,5% nas perguntas mais desafiadoras, mantendo uma precisão global de 62,7%. Os pesquisadores também lembram que trilhões de dólares são perdidos anualmente devido a falhas nos sistemas, reforçando a importância estratégica das ferramentas de IA nas infraestruturas digitais modernas.

Os engenheiros mantêm uma vantagem clara sobre os modelos atuais

Apesar dos resultados dos modelos, os engenheiros humanos mantêm uma melhor precisão global. Os especialistas da área obtiveram um score de 72,7%, muito superior aos melhores modelos testados. Mesmo os não especialistas da Datadog chegaram a 69,7%, mais do que os sistemas automatizados.

Esses resultados mostram que os engenheiros ainda interpretam melhor o contexto global de um incidente. Eles compreendem com mais facilidade as interações entre vários sinais técnicos e os comportamentos incomuns das infraestruturas.

Nenhum modelo de IA conseguiu superar o desempenho humano de referência. Contudo, alguns sistemas especializados reduzem progressivamente essa diferença. O modelo híbrido Toto-1.0-QA-Experimental, desenvolvido pela Datadog, alcança uma precisão de 63,9%. Esse sistema combina um modelo interno de previsão com Qwen3-VL 32B.

Na detecção de anomalias, o Toto obtém até um score F1 pelo menos 8,8 pontos superior aos outros modelos concorrentes. Esse resultado confirma que um modelo especializado em dados de observabilidade pode responder melhor a uma tarefa técnica específica do que um sistema generalista.

Apesar desses avanços, os engenheiros continuam essenciais em incidentes críticos. Os modelos às vezes perdem o contexto do negócio, ignoram certos metadados ou interpretam mal vários indicadores simultaneamente.

Uma colaboração entre IA e humanos torna-se o cenário mais provável

O estudo destaca principalmente que os erros dos humanos e dos modelos são diferentes. Os sistemas de IA detectam certas anomalias rapidamente, enquanto os humanos entendem melhor situações ambíguas e as restrições operacionais.

Os pesquisadores explicam que essas diferenças criam competências complementares. Os modelos às vezes deixam passar detalhes do contexto, enquanto os humanos cometem mais erros em timestamps precisos ou instruções complexas.

Para medir esse potencial, os pesquisadores imaginaram um “oráculo especialista” capaz de escolher sistematicamente a melhor resposta entre um humano e uma IA. Nesse cenário teórico, a precisão sobe para 87,2%, com um score F1 de 82,8%.

Esse resultado ainda não representa um produto concreto. No entanto, indica que uma colaboração entre inteligência artificial e engenheiros pode melhorar consideravelmente a gestão de incidentes de TI nos próximos anos. Os sistemas automatizados parecem, portanto, destinados a assistir às equipes humanas, em vez de substituí-las completamente em curto prazo.