O guia essencial para a experimentação

Quais KPIs estão envolvidos na experimentação empresarial?

Os experimentos empresariais podem medir vários KPIs, dependendo da iniciativa e do tipo de empresa que está realizando o experimento. Por exemplo, um restaurante que está implementando um novo drive-thru pode focar em medir o impacto nas transações e nas vendas. Um gerente de programa de fidelidade, por outro lado, pode estar mais interessado no valor do tempo de vida do cliente.

Quais são os principais termos usados em experimentação empresarial?

• Viés - Fatores externos podem gerar resultados distorcidos e conclusões imprecisas.

• Grupo controle - Locais ou clientes que foram intencionalmente excluídos do tratamento de teste. Isso servirá como uma linha de base para determinar a eficácia do teste.

Principais etapas em um experimento empresarial

O processo de experimentação empresarial tem cinco etapas:

Etapa 1: Criar uma hipótese

As hipóteses do negócio podem ser centradas na solução de um problema ou na capitalização de uma oportunidade emergente. Para criar hipóteses mais eficazes, as organizações devem entender profundamente as últimas tendências do setor e dos padrões de compra dos clientes.

Etapa 2 Projetar e implementar um teste

Para medir com precisão o impacto de qualquer ação, as organizações primeiro precisam minimizar o viés na população-alvo e, em seguida, isolar o segmento de teste de influências externas. Isso pode ser obtido com testes rigorosos e seleção e controle de dimensionamento usando simulações avançadas.

Etapa 3: Medir o impacto em todos os canais

As organizações devem então medir o desempenho antes e depois de uma iniciativa em todos os canais, nos grupos de teste e controle. Com um experimento bem projetado, as diferenças de desempenho entre os grupos de "teste" e "controle" podem ser atribuídas diretamente à iniciativa.

Etapa 4: Implementar sua iniciativa pretendida

Ao aprofundar ainda mais e examinar centenas de atributos, as organizações podem identificar os fatores de desempenho mais eficazes. Esses fatores podem ser combinados em um modelo preditivo, que pode mostrar como direcionar a distribuição para maximizar o benefício.

Etapa 5: Aprender e repetir

As organizações devem usar os atuais aprendizados dos experimentos empresariais para inspirar novas ideias e hipóteses para testes futuros.

Bloqueios e desafios

As empresas enfrentam alguns desafios no processo de experimentação:

Vamos analisar alguns exemplos de experimentação empresarial em diferentes setores,mostrando como as principais marcas estão superando esses desafios.

Exemplos de experimentos bem-sucedidos

Por experimento:

• Analisar anúncios de dias de jogos da NFL
• Medir a eficácia do programa de fidelidade
• Melhorar a eficiência operacional
• Entender se as ofertas de retenção funcionam
• Calcular o ROI da promoção de um restaurante
• Avaliar o impacto da reforma de uma loja

Por setor:

• Bens de consumo embalados
• Varejistas de conveniência
• Bancos
• Telecomunicações
• Restaurantes de serviço rápido (QSRs)
• Varejistas de roupas

Experimentação empresarial para empresas de bens de consumo embalados (CPG)

Uma marca de bebidas na América do Norte trabalhou com a Mastercard para analisar a eficácia dos seus anúncios de TV em um dia de jogo da NFL. Embora a maneira mais precisa de medir o impacto de uma iniciativa seja com um grupo de teste e controle projetado, os anúncios do dia de jogo da NFL foram lançados para todo o mercado, sem controle para comparação.

Ao usar o Test & Learn® with SpendingPulse™ Modeling, a marca de CPG conseguiu analisar a eficácia dos seus anúncios. Em vez de uma abordagem de teste vs. controle, essa metodologia previu o desempenho esperado da marca na ausência dos anúncios usando aprendizado de máquina, insights próprios da Mastercard e conjuntos de dados correlacionados. A análise mostrou quais produtos mais se beneficiaram dos anúncios e quais cronogramas funcionaram melhor. Com esses insights, a marca desenvolveu investimentos em marketing mais eficazes.

Experimentação empresarial para varejistas de conveniência

Um varejista de conveniência introduziu o SessionM para potencializar seu programa de fidelidade. No entanto, ele teve dificuldades para mensurar o desempenho real do programa de fidelidade graças à sua capacidade limitada de fazer a correspondência com o controle.

Ao usar dados internos coletados com permissão do consumidor na plataforma SessionM, o varejista conseguiu criar um experimento bem elaborado com o Mastercard Test & Learn®, reduzindo o viés de teste e controle de 22% para menos de 6%. O teste do programa de fidelidade descobriu que as ofertas de fidelidade do SessionM do varejista geraram uma alavancagem de 8,8% nas vendas incrementais.

Para aprimorar ainda mais o programa de fidelidade com o SessionM, o varejista agora está usando o Test & Learn® para otimizar de forma consistente suas táticas de alcance, direcionar promoções a segmentos de clientes de alto potencial e enviar ofertas de recuperação de clientes inativos.

Experimentação empresarial para bancos

Um banco de varejo global queria instalar caixas eletrônicos inteligentes para economizar custos com mão de obra e processamento de transações, mas alguns executivos estavam preocupados que a mudança não seria bem recebida por certos grupos de clientes.

O Test & Learn® ajudou o banco de varejo a usar as melhores práticas, como configurações de teste com período de análise e remoção de valores discrepantes. Também utilizou algoritmos próprios de correspondência de controle para remover vieses, correspondendo agências controle a unidades de teste.

A ferramenta identificou que as agências localizadas em áreas com populações mais jovens e menos concorrência e as agências localizadas em áreas com famílias maiores responderam melhor à mudança. O banco estimou uma melhoria do lucro anual de US$ 17 milhões usando as recomendações do Test & Learn® para orientar a implantação dos caixas eletrônicos inteligentes.

Experimentação empresarial para telecomunicações

Uma provedora de telecomunicações dos EUA enfrentava dificuldades para medir efetivamente o impacto das ofertas de retenção. Alguns executivos acreditavam que as ofertas de retenção reduziriam o atrito. No entanto, outros argumentavam que alguns clientes nunca estariam em risco de sair e outros clientes simplesmente selecionavam as ofertas mais atrativas e cancelavam quando fossem encerradas.

Um desafio desse cenário era que não havia grupo de controle inicial. A provedora usou o Test & Learn® para criar grupos controle sintéticos com base no perfil dos clientes. A metodologia de controle sintético é o processo de identificação retroativa de grupos de controle com boa correspondência em situações que não havia grupo controle randomizado inicial. Como resultado, o Test & Learn® conseguiu avaliar as ofertas e descobriu que as ofertas de retenção eram eficazes, resultando em uma diminuição de 3,3% na taxa de cancelamento.

Experimentação empresarial para restaurantes de serviço rápido (QSR)

Uma grande rede de QSR queria entender como sua estratégia de promoção para restaurantes funcionava e o que poderia acontecer se ela investisse mais na estratégia. Muitas influências externas poderiam afetar o desempenho, o que dificultava identificar o que a promoção mudou.

O Test & Learn® ajudou a projetar um experimento no qual alguns restaurantes lançariam a promoção e outros, não. O desempenho foi comparado entre ambos, avaliando recursos como o item promovido, o valor do desconto e a duração. A rede de restaurantes descobriu que a promoção resultou em um aumento de vendas de 1,3% por cliente e que promoções mais curtas com descontos maiores foram as mais eficazes.

Maximizar a estratégia de promoção com a experimentação empresarial

No geral, os consumidores de hoje buscam as melhores ofertas; portanto, promoções e cortes de preços são ferramentas valiosas para obter mais negócios. Para saber melhor como maximizar sua estratégia de promoção com experimentação empresarial, incluindo um exemplo do varejista americano J.Crew, confira este blog.

Experimentação empresarial para varejistas de roupas

Um varejista de roupas estava reformando as lojas para impulsionar as vendas da sua nova linha de roupas esportivas. Antes de investir em toda a rede, o varejista queria isolar o impacto incremental da reforma.

A primeira análise mostrou que as lojas reformadas tiveram um aumento de 3,6% na venda total, mas essa alavancagem não foi suficiente para cobrir os custos da reforma das lojas. Antes de decidir cancelar o projeto todo, o varejista decidiu fazer uma análise mais robusta usando o Test & Learn®.

A análise do Test & Learn® examinou centenas de atributos para encontrar os impulsionadores de desempenho mais fortes. Por exemplo, os dados mostraram que as novas luminárias impulsionaram as vendas e que as lojas localizadas em áreas com uma porcentagem maior de jovens adultos responderam de forma mais positiva à reforma.

Em vez de ver a reforma como uma decisão absoluta, o varejista usou os insights do Test & Learn® para criar uma abordagem personalizada e direcionada. Ele gerou mais de US$ 9 milhões em valor líquido atual (VPL) no primeiro ano do programa de reforma.

Três dicas para experimentos de sucesso

Dica 1: Ir além da sua hipótese

É importante desenvolver e avaliar uma hipótese como parte do processo de experimentação empresarial mas, como a Proctor & Gamble compartilhou no Bentonville Excellence in Analytics Summit, às vezes as descobertas mais interessantes não se relacionam diretamente com sua a hipótese. Preste atenção aos aprendizados!

Dica 2: Eliminar os vieses

Muitos experimentos empresariais começam com um viés natural de teste vs. controle, mas isso dificulta mensurar o impacto incremental de uma iniciativa. Para contornar isso, certifique-se de usar estratégias de correspondência de controle precisas em todos os atributos relevantes.

Dica 3: Escalar rapidamente

A realização de experimentos empresariais pode levar tempo e consumir muitos recursos. Para algumas equipes, isso significa escolher entre o número de análises, a profundidade dos insights que cada uma produz e a rapidez na obtenção de respostas para os tomadores de decisão. Para otimizar a forma como você executa os experimentos, faça parceria com uma empresa de experimentação empresarial.

Conclusão

A experimentação empresarial é a única forma de realmente saber o que acontecerá quando uma iniciativa for implantada. Outros métodos analíticos, como análises de regressão, são úteis na criação de hipóteses, mas apenas um experimento empresarial que observa o desempenho real pode dizer qual é o verdadeiro impacto de causa e efeito de uma iniciativa em todos os canais.