Métricas de desempenho que importam no mundo da IA

A inteligência artificial está transformando a maneira como as empresas trabalham, mas também coloca em xeque a forma como o desempenho dos profissionais é avaliado. Métricas tradicionais, como produtividade, cumprimento de metas e eficiência, podem não ser suficientes para medir o valor gerado por colaboradores que utilizam IA em suas atividades. 

Em alguns casos, entregar mais e mais rápido pode esconder uma dependência excessiva da tecnologia, enquanto dedicar tempo para revisar informações, questionar resultados e corrigir erros pode representar uma contribuição ainda mais relevante. 

Esse cenário cria um novo desafio para as lideranças: como medir desempenho em uma realidade na qual produtividade e qualidade nem sempre caminham juntas? O alerta é feito por Randy Bean, Erik Strauss e Randeep Singh em artigo publicado na Harvard Business Review, que defende a necessidade de repensar as métricas de performance na era da IA. Saiba mais a seguir!

Índice:

• Métricas tradicionais não fazem mais sentido
• Workslop: mais trabalho entregue com menos qualidade
  • Confira: KPIs: o que é e como medir?

Métricas tradicionais não fazem mais sentido

As métricas tradicionais de desempenho foram desenvolvidas para acompanhar atividades muitas vezes repetitivas e individuais, justamente um tipo de tarefa que a inteligência artificial consegue automatizar em grande escala. Um experimento de campo com mais de 750 trabalhadores, citado pelos autores, mostrou esse efeito: o acesso ao GPT-4 aumentou a velocidade das tarefas em mais de 25%, elevou em 12,2% a taxa de conclusão e também melhorou significativamente a qualidade das soluções em atividades que estavam dentro das capacidades do modelo.

O problema aparece quando a tarefa ultrapassa, ainda que pouco, aquilo que a IA consegue fazer. Na mesma pesquisa, os participantes que tinham acesso à ferramenta apresentaram 19% menos chances de chegar à resposta correta do que aqueles que não utilizaram a IA. Isso indica que uma avaliação baseada somente na quantidade ou na velocidade das entregas pode criar incentivos equivocados, estimulando a produtividade a qualquer custo e deixando a precisão dos resultados em segundo plano.

Os autores também destacam que as métricas convencionais podem não identificar corretamente onde está sendo gerado o valor do trabalho. Outro estudo apontou um aumento médio de aproximadamente 14% na produtividade com o uso da IA, mas os maiores ganhos ocorreram entre profissionais menos experientes. Entre os mais experientes, os ganhos de velocidade foram pequenos e houve uma leve redução na qualidade das entregas.

Isso acontece porque parte importante da contribuição desses profissionais está justamente em atividades que os indicadores tradicionais nem sempre conseguem capturar: diagnosticar problemas, reconhecer situações fora do padrão, questionar premissas, validar resultados e orientar outras pessoas sobre quando é melhor não confiar na IA.

Workslop: mais trabalho entregue com menos qualidade

Outro ponto de atenção é o crescimento do chamado “workslop”, termo usado para descrever conteúdos produzidos com rapidez com auxílio de IA, mas que apresentam baixa qualidade, erros, informações redundantes ou pouco valor agregado. A busca excessiva por produtividade pode, portanto, aumentar o volume de entregas sem necessariamente melhorar seus resultados.

A expansão da chamada IA agêntica torna essa questão ainda mais complexa. Até recentemente, muitas empresas consideravam a inteligência artificial uma ferramenta utilizada individualmente pelos profissionais. Porém, à medida que os resultados passam a ser construídos por sistemas que combinam pessoas e IA, também será necessário repensar a maneira como o desempenho é medido e atribuído.

Além disso, o problema não está apenas nas métricas utilizadas. Os próprios modelos tradicionais de gestão de desempenho já apresentavam limitações antes da popularização da IA generativa. A combinação entre indicadores inadequados e sistemas de avaliação que já enfrentavam dificuldades pode ampliar a falta de confiança entre empresas, gestores e colaboradores.

Confira: KPIs: o que é e como medir?

Um novo jeito de avaliar o desempenho

A partir de pesquisas recentes e da experiência na implementação de inteligência artificial em empresas, os autores sugerem uma nova abordagem para medir performance. O modelo é dividido em três dimensões, que permitem analisar separadamente a contribuição dos profissionais, o desempenho dos sistemas e agentes de IA e os resultados obtidos pela combinação entre humanos e tecnologia.

Em cada dimensão, a recomendação é trabalhar com um número limitado de indicadores, revisados regularmente, mensal ou trimestralmente, e relacionados a decisões práticas, como promoções, desenvolvimento de carreira, composição das equipes e governança das ferramentas de IA.

Julgamento sobre os limites da IA

Para avaliar de maneira mais precisa a contribuição humana, é importante reduzir o peso de indicadores que podem ser artificialmente elevados pelo uso da IA e observar competências que dependem da atuação do profissional. Uma delas é a capacidade de reconhecer quando a tecnologia ultrapassa seus limites e decidir como agir diante disso.

Alguns indicadores podem ajudar nessa avaliação:

• Taxa de encaminhamentos corretos: mede quantas vezes o profissional identifica adequadamente que uma resposta da IA está incorreta, incompleta ou fora do escopo de confiabilidade da ferramenta. A avaliação pode ser feita por meio de auditorias posteriores.
• Índice de rastreabilidade das fontes: verifica se informações como origem dos dados, data de criação e modelo de IA utilizado estão devidamente registradas. A empresa pode definir previamente uma amostra dos resultados que será auditada.
• Qualidade das correções realizadas: considera se as intervenções feitas pelo profissional são justificadas e acompanhadas de uma explicação, como a identificação de um erro, dados desatualizados ou ausência de contexto. Correções sem justificativa podem impactar negativamente a avaliação.

Capacidade de coordenação

Outro aspecto importante é verificar se o profissional consegue utilizar a IA para potencializar o desempenho de toda a equipe, e não apenas aumentar sua própria produtividade. Nesse caso, alguns indicadores possíveis são:

• Adoção da IA pela equipe: acompanha a frequência com que os demais integrantes utilizam as ferramentas, diferenciando usos esporádicos, regulares e integrados à rotina.
• Contribuição para os fluxos de trabalho: avalia como o profissional contribuiu para criar ou aperfeiçoar processos. Um fluxo desenvolvido do zero pode receber maior peso, enquanto a otimização de um processo existente recebe uma pontuação menor. A documentação e o compartilhamento da melhoria podem gerar uma pontuação adicional.
• Relação entre produtividade e tamanho da equipe: acompanha a evolução da produtividade ao longo do tempo considerando também o número de profissionais envolvidos. Um aumento da produtividade sem crescimento proporcional da equipe pode indicar que o uso coordenado da IA está gerando ganhos de eficiência.

Avalie o resultado da parceria entre pessoas e IA

Além de analisar separadamente humanos e sistemas de inteligência artificial, é fundamental verificar o que acontece quando os dois trabalham em conjunto. A questão central é entender se essa combinação produz resultados superiores aos que seriam alcançados individualmente por pessoas ou pela tecnologia.

Essa avaliação pode ser mais complexa e exige uma quantidade significativa de dados. Para empresas que possuem capacidade analítica suficiente, os autores sugerem observar indicadores como a parcela de atividades em que a participação humana praticamente desapareceu e, principalmente, os casos em que a intervenção de uma pessoa gerou um impacto comprovável.

Isso pode acontecer quando o profissional identifica um erro cometido pela IA, reformula o problema apresentado à ferramenta ou utiliza seu conhecimento e contexto para melhorar o resultado final.

Curtiu esse conteúdo? Navegue pelo Acrescenta e veja mais artigos sobre colaboradores no mercado de trabalho. Aproveite para conhecer o cartão de alimentação e vale-refeição do iFood, que já é utilizado por milhares de empresas em todo o Brasil e aceito em mais de 11 milhões de estabelecimentos, agilizando a vida dos colaboradores e do RH. 

Também não se esqueça de seguir o iFood Benefícios nas redes sociais e ficar sempre por dentro das nossas últimas novidades:

📸 Instagram: @ifood.beneficios
🎵 TikTok: @ifoodbeneficios
💼 LinkedIn: iFood Benefícios