Guía esencial para el proceso de experimentación

¿Cuáles son los KPI de la experimentación ?

Los experimentos pueden medir diversos KPI, dependiendo de la iniciativa y del tipo de empresa que los lleve a cabo. Por ejemplo, un restaurante que está construyendo un nuevo carril de autoservicio puede centrarse en medir el impacto sobre las transacciones y las ventas. En cambio, un gestor de programas de fidelización puede estar más interesado en el valor del ciclo de vida del cliente.

¿Qué términos clave se utilizan en la experimentación?

• Sesgo - Los factores externos pueden distorsionar los resultados y llevar a conclusiones inexactas.

• Grupo de control: ubicaciones o clientes excluidos intencionadamente del tratamiento de prueba. Esto servirá de referencia para determinar la eficacia de la prueba.

Pasos clave en un experimento

El proceso de experimentación consta de cinco pasos:

Paso 1: Crear una hipótesis

Las hipótesis pueden girar en torno a la resolución de un problema o a la capitalización de una oportunidad emergente. Para crear las hipótesis más eficaces, las organizaciones deben conocer a fondo las últimas tendencias del sector y las pautas de compra de los clientes.

Paso 2: Diseñar e implementar una prueba

Para medir con precisión el impacto de cualquier acción, las organizaciones deben, en primer lugar, minimizar el sesgo en la publico objetivo, y luego, aislar el segmento de prueba de influencias externas. Esto puede lograrse con un riguroso dimensionamiento y selección de pruebas y controles mediante simulaciones avanzadas.

Paso 3: Medir el impacto en todos los canales

Luego, las organizaciones deben medir el rendimiento antes y después de una iniciativa en todos los canales, tanto para el grupo de prueba como para el de control. Con un experimento bien diseñado, cualquier diferencia de desempeño entre los grupos de "prueba" y "control" pueden atribuirse directamente a la iniciativa.

Paso 4: Poner en marcha la iniciativa 

Profundizando aún más y analizando cientos de atributos, las organizaciones pueden identificar los factores más determinantes del desempeño. Estos factores pueden combinarse en un modelo predictivo que sirva de guía para la aplicación y así maximizar los beneficios.

Paso 5: Aprender y repetir

Las organizaciones deben utilizar las lecciones aprendidas de los experimentos actuales para inspirar nuevas ideas e hipótesis para futuros ensayos.

Obstáculos y retos

Hay algunos retos a los que se enfrentan las empresas en el proceso de experimentación:

Veamos algunos ejemplos de experimentación en distintos sectores que muestran cómo las marcas líderes están superando estos retos.

Ejemplos de experimentos exitosos

Por experimento:

• Análisis de los anuncios del día de partido de la NFL
• Medición de la efectividad del programa de fidelización
• Mejorar la eficiencia operativa
• Entender si las ofertas de retención funcionan
• Calcular el retorno de la inversión de la promoción de un restaurante
• Evaluar el impacto de la remodelación de tiendas

Por industria:

• Bienes de consumo empacados
• Comercios de conveniencia
• Banca
• Telecomunicaciones
• Restaurantes de servicio rápido (QSRs)
• Comercios de ropa

Experimentación para empresas de bienes de consumo envasados (CPG)

Una marca de bebidas de Norteamérica trabajó con Mastercard para analizar la eficacia de sus anuncios televisivos de los días de partido de la NFL. Aunque la forma más precisa de medir el impacto de una iniciativa es con una prueba diseñada y un grupo de control, los anuncios del día de partido de la NFL se difundieron a todo el mercado y no había ningún control para comparar.

Mediante el uso de Test & Learn® con SpendingPulse™ Modeling, la marca de productos envasados pudo analizar la eficacia de sus anuncios. En lugar de un enfoque de prueba con grupo de control, esta metodología predijo el desempeño esperado de la marca en ausencia de los anuncios utilizando aprendizaje automático, información propia de Mastercard y conjuntos de datos correlacionados. El análisis mostró qué productos se beneficiaron más de los anuncios y qué horas funcionaron mejor. Con estos datos clave, la marca hizo inversiones de marketing más eficaces.

Experimentación para comercios de conveniencia

Un comercio de conveniencia introdujo SessionM para potenciar su programa de fidelización. Sin embargo, tuvieron dificultades para comprobar el verdadero desempeño del programa de fidelización debido a sus limitadas capacidades de comparación de controles.

Mediante el uso de datos de origen recopilados en la plataforma SessionM, el comercio fue capaz de crear un experimento bien diseñado con Mastercard Test & Learn®, reduciendo el sesgo de prueba y control del 22 % a menos del 6 %. La prueba del programa de fidelización reveló que las ofertas de fidelización SessionM del comercio incrementaron las ventas en un 8,8 %.

Para mejorar aún más su programa de fidelización con tecnología SessionM, el comercio utiliza ahora Test & Learn® para optimizar de manera permanente las tácticas de difusión, dirigir las promociones a segmentos de clientes de alto potencial y enviar ofertas de recuperación a los clientes que ya no compran.

Experimentación para bancos

Un banco de alcance mundial quería instalar cajeros automáticos inteligentes para ahorrar costos de personal y procesamiento de transacciones, pero a algunos ejecutivos les preocupaba que el cambio no fuera bien recibido por determinados grupos de clientes.

Test & Learn® ayudó al banco a utilizar las mejores prácticas, como la configuración de pruebas con período de análisis y la eliminación de valores atípicos. También utilizó algoritmos propios de emparejamiento de controles para eliminar el sesgo, haciendo coincidir las ramas de control con las sucursales de prueba.

La herramienta determinó que las sucursales situadas en zonas con población más joven y de menos competencia, y las situadas en zonas con hogares más numerosas, respondieron mejor al cambio. El banco calculó en 17 millones de dólares la mejora anual de sus ganancias gracias a las recomendaciones de Test & Learn® para orientar la implantación de los cajeros automáticos inteligentes.

Experimentación para telecomunicaciones

Un proveedor de telecomunicaciones estadounidense tenía problemas para medir eficazmente el impacto de las ofertas de retención. Algunos ejecutivos creían que las ofertas de retención reducirían la deserción. Sin embargo, otros argumentaban que algunos clientes nunca corrían el riesgo de darse de baja y que otros se limitaban a seleccionar las ofertas más atractivas y a darse de baja una vez que éstas finalizaban.

Uno de los retos de esta situación era que no había un grupo de control inicial. El proveedor utilizó Test & Learn® para crear grupos de control sintéticos basados en perfiles de clientes. La metodología de control sintético es el proceso de identificación retroactiva de grupos de control bien emparejados en situaciones en las que no existía un grupo de control aleatorio inicial. Como resultado, Test & Learn® pudo evaluar las ofertas y descubrió que las ofertas de retención eran eficaces, lo que provocó un descenso del 3,3 % en las bajas.

Experimentación para restaurantes de servicio rápido (QSR)

Una gran cadena de restaurantes de servicio rápido quería saber hasta qué punto funcionaba bien su estrategia de promoción de restaurantes y qué pasaría si invirtieran más en ella. Había muchas influencias externas que podían afectar al desempeño, lo que dificultaba aislar qué había cambiado con la promoción.

Test & Learn® ayudó a diseñar un experimento en el que algunos restaurantes lanzaron la promoción y otros no. Se comparó el rendimiento de ambos, evaluando características como el artículo promocionado, el monto del descuento y la duración de la promoción. La cadena de restaurantes descubrió que la promoción generaba un aumento de las ventas del 1,3 % por cliente y que las promociones más cortas con mayores descuentos eran las más eficaces.

Maximizar la estrategia de promociones con experimentación 

En general, los consumidores de hoy buscan las mejores ofertas, por lo que las promociones y las rebajas son herramientas valiosas para conseguir más ventas. Para ver más información sobre cómo maximizar su estrategia de promociones con la experimentación, puede acceder a un ejemplo del comercio J.Crew, consulte este blog.

Experimentación para comercios de ropa

Una gran cadena de comercios de ropa estaba remodelando tiendas para mejorar las ventas de su nueva línea de ropa deportiva. Antes de invertir en toda la cadena, la empresa quería conocer el impacto incremental de la remodelación.

Su primer análisis mostró que las tiendas remodeladas tuvieron un aumento del 3,6 % en las ventas totales, pero este aumento no fue suficiente para cubrir los costos de remodelación de los establecimientos. Antes de decidir cancelar todo el proyecto, la cadena decidió realizar un análisis más sólido utilizando Test & Learn®.

El análisis Test & Learn® examinó cientos de atributos para encontrar los factores que más influyen en el rendimiento. Por ejemplo, los datos mostraron que los nuevos apliques de luz impulsaron las ventas y que las tiendas situadas en zonas con un mayor porcentaje de adultos jóvenes respondieron de forma más positiva a la remodelación.

En lugar de ver la remodelación como una decisión de "sí o no", la cadena utilizó los conocimientos de Test & Learn® para crear un enfoque personalizado y específico. Obtuvo más de 9 millones de dólares de valor actual neto (VAN) en el primer año del programa de remodelación.

3 consejos para experimentos exitosos

Consejo 1: Explore más allá de la hipótesis

Es importante elaborar y evaluar una hipótesis como parte del proceso de experimentación, pero como Procter & Gamble compartió en la Cumbre de Excelencia en Analítica de Bentonville, a veces los hallazgos más interesantes no se relacionan directamente con su hipótesis. ¡Esté atento a las lecciones!

Consejo 2: Elimine los sesgos

Muchos experimentos comienzan con un sesgo natural de prueba frente al grupo de control, pero eso dificulta la medición del impacto incremental de una iniciativa. Para superarlo, asegúrese de utilizar estrategias de concordancia de control precisas en todos los atributos relevantes.

Consejo 3: Escale rápidamente

Realizar experimentos puede llevar tiempo y consumir muchos recursos. Para algunos equipos, esto significa elegir entre el número de análisis, la profundidad de los datos clave que produce cada uno y la velocidad de obtención de respuestas para los responsables de la toma de decisiones. Para optimizar la forma en que realiza sus experimentos, asóciese con una empresa de experimentación.

Conclusión

La experimentación es la única forma de saber realmente qué ocurrirá cuando se implemente una iniciativa. Otros métodos analíticos, como los análisis de regresión, son útiles a la hora de elaborar hipótesis, pero sólo un experimento que observe el rendimiento real puede indicarle el verdadero impacto causa-efecto de una iniciativa en todos los canales.