Notas de Campo 05 · EVIDÊNCIA

Não se prova ROI com um inquérito

O CFO pergunta o que é que o programa rendeu. Mostra-lhe uma linha de NPS a subir. Ele pergunta o que teria acontecido na mesma. Essa pergunta é a disciplina toda.

Magicalia9 min de leitura2026

Eis uma reunião que acontece todos os anos, em todos os grandes retalhistas, mais ou menos com as mesmas palavras.

O CFO pergunta o que é que o programa de experiência do cliente rendeu. O diretor de CX apresenta um gráfico: a satisfação subiu onze pontos desde o arranque. É um bom gráfico. E depois o CFO faz a única pergunta que alguma vez ia fazer.

"E o que teria acontecido se não tivéssemos feito nada?"

A resposta honesta, em quase todos os casos, é que ninguém sabe. E o gráfico não ajuda.

O ponto cego

Quase todos os business cases de VoC assentam numa comparação antes-e-depois. Corremos o programa; o número melhorou; a melhoria é o retorno.

É o erro mais antigo do trabalho empírico e — esta é a parte incómoda — o seu CFO já sabe que é um erro. Já viu números subirem porque um concorrente fechou. Porque o tempo esteve ameno. Porque a app de um rival avariou. Porque a categoria inteira derivou para cima e levou toda a gente com ela. Ele não desconfia do seu gráfico porque desconfia de si. Desconfia porque uma linha de tendência não tem grupo de controlo, e aprendeu a exigir um muito antes de o senhor entrar na sala.

Um gráfico antes-e-depois não distingue um programa que resultou de um ano que ia ser bom de qualquer maneira. O senhor também não. Nem o fornecedor que lho vendeu.

O princípio

A reformulação

Provar que uma intervenção resultou não é um problema de analytics. É um problema de inferência causal, e a inferência causal exige uma coisa acima de todas as outras: um contrafactual credível. Uma versão do mundo em que não agiu, a correr em paralelo, contra a qual a versão em que agiu possa ser medida.

O que parece impossível — até se reparar que uma grande rede de retalho é uma das melhores experiências naturais da vida comercial, e que está por usar em quase todas as empresas que têm uma.

Quinhentas lojas. Formatos amplamente comparáveis, sortidos comparáveis, clientes comparáveis, todas a absorver o mesmo clima macroeconómico ao mesmo tempo. Não tem um negócio. Tem quinhentas quase-réplicas do mesmo negócio — ou seja, tem um laboratório.

Então corra a correção como uma experiência. Aplique-a a cem lojas e não às outras quatrocentas. Escalone o lançamento por região ao longo de oito semanas. Compare tratadas com não tratadas. A diferença-em-diferenças não é matemática exótica — é uma técnica que um analista competente executa numa tarde, e converte "a satisfação subiu" em "a satisfação subiu por nossa causa, nesta medida, com este intervalo de confiança." São frases diferentes. Só uma delas sobrevive ao contacto com um CFO.

Figura 5 — A única comparação que significa alguma coisa

Antes da intervenção, as lojas tratadas e as de controlo movem-se juntas — e é esse movimento paralelo que lhe dá o direito de fazer a afirmação, para começar. Depois dela, separam-se. A linha tracejada é o contrafactual: o que as lojas tratadas teriam feito se as tivesse deixado em paz, inferido a partir do que as de controlo fizeram de facto. A área sombreada entre elas é o efeito. É a única parte da melhoria de que tem direito a reclamar crédito — e, não por coincidência, a única parte que o seu CFO voltará a financiar.

A condição incómoda

Há um preço de entrada, e seria desonesto enterrá-lo numa nota de rodapé.

Isto só funciona se estiver disposto a partilhar a variável de resultado — receita, tráfego, cesto, retenção, por loja, por semana. Uma pontuação de satisfação não se valida a si própria. Alguma coisa tem de estar do outro lado da equação, e tem de ser alguma coisa com que o negócio já se importe.

A maioria das organizações recua perante isto, e o recuo é compreensível. Mas repare no que custa. Recusar ligar dados de experiência a dados comerciais é exatamente o que condena a experiência do cliente a ser uma função mole para sempre: eternamente a pedir orçamento com base numa linha de tendência, eternamente incapaz de responder à única pergunta que resolveria a discussão a seu favor.

O que isto significa nas decisões do dia a dia

Três consequências

Nunca lance uma correção em todo o lado ao mesmo tempo. Um lançamento total e simultâneo é a destruição deliberada do seu único grupo de controlo. Escalone-o, e a evidência vem de graça.
A sua rede é o ativo. Centenas de locais comparáveis não são apenas um fardo operacional — são a máquina de contrafactuais que os negócios de um só local pagariam quase tudo para ter.
Insista na variável de resultado. Se os dados de experiência nunca tocarem nos dados comerciais, a pergunta do ROI ficará sem resposta para sempre — e ficará sem resposta por construção.

A conclusão

A função de CX passou vinte anos a tentar provar o seu valor com melhores inquéritos, e perdeu essa discussão vinte vezes, porque o problema nunca foi o inquérito. Foi a ausência de uma comparação.

O contrafactual é invisível. É o mundo em que não fez nada, e é a única coisa contra a qual a sua melhoria pode ser honestamente medida. Não chega lá com um inquérito. Mas se tem uma rede, pode construí-lo.

Método e âmbito

Posição A Magicalia trata o ROI de VoC como um problema de inferência causal. Sempre que a rede do cliente o permita, recomendamos lançamento escalonado e diferença-em-diferenças em vez de reporting antes/depois.

Condição Este método exige que o cliente partilhe uma variável de resultado. Declaramos esse requisito à partida, em vez de o descobrir na fase do business case.

Figura 5 Ilustrativa, desenhada para demonstrar o método. As tendências paralelas prévias são um pressuposto que tem de ser testado, não afirmado, em qualquer aplicação real.