Pare de fazer médias das avaliações
Algures no seu negócio existe um slide com um único número. Sentimento global do cliente: 3,9. Foi produzido pegando em tudo o que os clientes disseram — os casos de apoio, as respostas aos inquéritos, as avaliações públicas — e fazendo a média.
É um número arrumado. É também, num sentido preciso e demonstrável, um número que descreve uma pessoa que não existe.
O ponto cego
Cada canal de feedback é um instrumento, e cada instrumento seleciona a sua própria população.
As pessoas abrem um caso de apoio porque algo correu mal e precisavam que fosse resolvido. Esse canal está selecionado, quase por definição, para o atrito. Sobre-amostra problemas, porque ter um problema é a condição de entrada.
As pessoas publicam uma avaliação pública pela razão oposta: sentiram algo com força suficiente para o contar a estranhos. Esse canal está selecionado para a intensidade, nos dois sentidos. Sobre-amostra os extremos — os encantados e os furiosos — e quase não ouve o vasto meio silencioso, o que teve uma experiência perfeitamente aceitável e nunca mais pensou em si.
Não são duas amostras da mesma coisa. São duas medições diferentes, de duas populações diferentes, com dois enviesamentos diferentes. Fazer a média não é agregar. É um erro de categoria.
O mesmo operador, o mesmo período: 1,2 na plataforma pública de avaliações, 4,2 nas app stores, 4,1 a 4,6 entre os utilizadores locais das suas próprias cidades. Três instrumentos. Três verdades. A média não é verdadeira para ninguém.
Essa dispersão não é ruído, nem é um problema de qualidade de dados para limpar. Cada instrumento está fielmente a medir uma população diferente. A plataforma pública de avaliações apanhou as pessoas cuja confiança tinha sido quebrada — uma coorte específica e furiosa, com uma queixa específica. As app stores apanharam os utilizadores diários, para quem o produto principal funciona bem. As classificações locais apanharam os residentes que o usam como infraestrutura banal e nem pensam nisso. Cada um destes números está correto. A média deles é a única cifra do conjunto que não corresponde a nenhum cliente vivo.
A reformulação
Mantenha os instrumentos separados. Sempre. Reporte-os lado a lado e deixe que a divergência entre eles se torne a conclusão — porque a distância entre o que os seus clientes lhe dizem em privado e o que dizem ao mundo é um dos sinais mais diagnósticos que possui, e a média é a forma mais eficiente de o destruir.
Um operador cujos casos internos parecem saudáveis e cujas avaliações públicas são selvagens tem um problema muito específico: os mais zangados não se estão sequer a dar ao trabalho de se queixar a si. Vão diretos à internet. É uma doença diferente, com um tratamento diferente, da de um operador com o perfil inverso — e ambos podem dar 3,9 de média.
O que isto significa nas decisões do dia a dia
- Nunca faça médias entre fontes. Uma pontuação por instrumento, reportada ao lado das outras. Se um dashboard lhe mostra um único número de sentimento combinado, está a esconder-lhe alguma coisa.
- Leia a diferença, não a média. A distância entre o seu sinal privado e o público é uma conclusão por direito próprio — muitas vezes a mais acionável da página.
- Distribuições em vez de médias. Um 3,9 bimodal e um 3,9 plano exigem respostas opostas. A média não os distingue. O histograma leva dois segundos.
A conclusão
Fazer médias parece rigor. Tem a forma do rigor — reduz, resume, produz um número único e de aspeto defensável para o topo da apresentação. Mas uma média só significa alguma coisa quando as coisas que se estão a mediar são a mesma espécie de coisa.
Os seus canais não são a mesma espécie de coisa. A mistura não é um resumo dos seus clientes. É um resumo dos seus instrumentos.
Posição A separação por proveniência da fonte é uma decisão de desenho fechada no Magicalia Insights: sinais de instrumentos distintos nunca são fundidos numa pontuação compósita.
Fundamentação A dispersão 1,2 / 4,2 / 4,1–4,6 é uma observação real de um diagnóstico em Modo A sobre um operador europeu de estacionamento — construído inteiramente a partir de sinais públicos (372 avaliações numa plataforma pública, 764+ avaliações em app stores, um portal nacional de reclamações), no mesmo período de medição. O operador não é identificado: a conclusão é estrutural, e a identidade não é nossa para publicar.
Figura 2 Distribuições ilustrativas, desenhadas para demonstrar o mecanismo.