El ROI no se demuestra con una encuesta
He aquí una reunión que ocurre todos los años, en todos los grandes minoristas, más o menos con las mismas palabras.
El CFO pregunta qué ha devuelto el programa de experiencia de cliente. El director de CX presenta un gráfico: la satisfacción ha subido once puntos desde que arrancó. Es un buen gráfico. Y entonces el CFO hace la única pregunta que iba a hacer.
"¿Y qué habría pasado si no hubiéramos hecho nada?"
La respuesta honesta, en casi todos los casos, es que nadie lo sabe. Y el gráfico no ayuda.
El punto ciego
Casi todos los business cases de VoC descansan sobre una comparación antes-y-después. Ejecutamos el programa; el número mejoró; la mejora es el retorno.
Es el error más antiguo del trabajo empírico y — esta es la parte incómoda — su CFO ya sabe que es un error. Ha visto números subir porque un competidor cerró. Porque el tiempo fue benigno. Porque la app de un rival se rompió. Porque la categoría entera derivó hacia arriba y arrastró a todos. No desconfía de su gráfico porque desconfíe de usted. Desconfía porque una línea de tendencia no tiene grupo de control, y aprendió a exigir uno mucho antes de que usted entrara.
Un gráfico antes-y-después no distingue entre un programa que funcionó y un año que iba a ser bueno de todos modos. Usted tampoco. Ni el proveedor que se lo vendió.
El replanteamiento
Demostrar que una intervención funcionó no es un problema de analítica. Es un problema de inferencia causal, y la inferencia causal exige una cosa por encima de todas: un contrafactual creíble. Una versión del mundo en la que no actuó, corriendo en paralelo, contra la que medir la versión en la que sí.
Lo cual suena imposible — hasta que uno se da cuenta de que una gran red minorista es uno de los mejores experimentos naturales de la vida comercial, y que está sin usar en casi todas las empresas que tienen una.
Quinientas tiendas. Formatos ampliamente comparables, surtidos comparables, clientes comparables, todas absorbiendo el mismo clima macroeconómico al mismo tiempo. No tiene un negocio. Tiene quinientas casi-réplicas del mismo negocio — es decir, tiene un laboratorio.
Así que ejecute la mejora como un experimento. Despliéguela en cien tiendas y no en las otras cuatrocientas. Escalone el despliegue por región a lo largo de ocho semanas. Compare tratadas contra no tratadas. La diferencia-en-diferencias no es matemática exótica — es una técnica que un analista competente ejecuta en una tarde, y convierte "la satisfacción subió" en "la satisfacción subió por nuestra causa, en esta magnitud, con este intervalo de confianza." Son frases distintas. Solo una sobrevive al contacto con un CFO.
La condición incómoda
Hay un precio de entrada, y sería deshonesto enterrarlo en una nota al pie.
Esto solo funciona si está dispuesto a compartir la variable de resultado — ingresos, tráfico, cesta, retención, por tienda, por semana. Una puntuación de satisfacción no se valida a sí misma. Algo tiene que estar al otro lado de la ecuación, y tiene que ser algo que al negocio ya le importe.
La mayoría de las organizaciones se echa atrás ante esto, y el reparo es comprensible. Pero fíjese en lo que cuesta. Negarse a conectar los datos de experiencia con los datos comerciales es exactamente lo que condena a la experiencia de cliente a ser una función blanda para siempre: pidiendo presupuesto eternamente sobre la base de una línea de tendencia, eternamente incapaz de responder a la única pregunta que zanjaría la discusión a su favor.
Qué significa esto en las decisiones del día a día
- Nunca despliegue una mejora en todas partes a la vez. Un despliegue total y simultáneo es la destrucción deliberada de su único grupo de control. Escalónelo, y la evidencia sale gratis.
- Su red es el activo. Cientos de emplazamientos comparables no son solo una carga operativa — son la máquina de contrafactuales que los negocios de un solo local pagarían casi cualquier cosa por tener.
- Exija la variable de resultado. Si los datos de experiencia nunca tocan los datos comerciales, la pregunta del ROI quedará sin respuesta para siempre — y quedará sin respuesta por diseño.
La conclusión
La función de CX ha pasado veinte años intentando demostrar su valor con mejores encuestas, y ha perdido esa discusión veinte veces, porque el problema nunca fue la encuesta. Fue la ausencia de una comparación.
El contrafactual es invisible. Es el mundo en el que no hizo nada, y es lo único contra lo que su mejora puede medirse honestamente. No se llega ahí con una encuesta. Pero si tiene una red, puede construirlo.
Posición Magicalia trata el ROI de VoC como un problema de inferencia causal. Cuando la red del cliente lo permite, recomendamos despliegue escalonado y diferencia-en-diferencias en lugar de reporting antes/después.
Condición Este método exige que el cliente comparta una variable de resultado. Declaramos ese requisito de entrada, en vez de descubrirlo en la fase del business case.
Figura 5 Ilustrativa, trazada para demostrar el método. Las tendencias paralelas previas son un supuesto que debe comprobarse, no afirmarse, en cualquier aplicación real.