Como o processo experimentação de negócios possibilita a inovação

Quais são os desafios comuns na determinação de relações de causa e efeito?

Como o processo de experimentação de negócio é diferente de outras metodologias analíticas?

O processo de experimentação de negócio envolve a implementação de uma alteração para grupos de teste selecionados, bem como a retenção dessa alteração para grupos de controle correspondentes. Uma instituição financeira, por exemplo, pode decidir enviar uma promoção de um determinado cartão de crédito apenas para clientes selecionados; já um varejista, por sua vez, pode optar por implementar uma nova organização comercial em alguns locais, mas não em todos.  

A experimentação de teste em comparação com o controle é o principal padrão analítico para determinar relações casuais. Outros métodos analíticos (como, por exemplo, análises de regressão) resultam em hipóteses úteis, mas apenas um experimento de negócios que observa o desempenho real pode isolar as verdadeiras causas e efeitos de uma iniciativa. 

Incontáveis fatores externos podem afetar o desempenho em um ambiente não controlado, o que dificulta muito o isolamento do verdadeiro impacto incremental de uma ação. Uma análise interna da Mastercard descobriu que 45% das campanhas têm viés natural de teste versus controle, o que significa que há uma margem considerável para melhorias na estruturação da análise.

Segue o passo a passo do processo de experimentação de negócio, da hipótese à execução.

Etapa 1: Gerar a hipótese 

O processo sempre começa com a criação de uma hipótese plausível.

Exemplo: Um varejista acredita que uma mudança na organização da loja resultará em uma movimentação maior de clientes, aumentando assim as vendas.

Considerações importantes:

• Uma hipótese deve ser passível de testes e ter critérios de sucesso realistas que sejam definidos e mensuráveis.

• Os objetivos mensuráveis da hipótese devem ser critérios plausíveis para a avaliação do resultado do teste.

• As partes interessadas devem se alinhar internamente sobre a necessidade de um determinado teste.

O que uma empresa deve se perguntar antes de realizar uma experimentação de negócio:

• O experimento tem um propósito claro?

• O experimento é possível?

• As partes interessadas se comprometem a respeitar o resultado?

• Como garantir resultados confiáveis?

• Como extrair o maior valor possível experimento?

Etapa 2: Projetar e implementar testes

Esta etapa garante que o teste seja projetado corretamente e que as variáveis sejam identificadas com antecedência. 

Exemplo: O varejista identifica operações de "controle" consideravelmente semelhantes, onde a mudança na organização da loja não ocorreu, e os usa como uma linha de base de desempenho.

Considerações importantes:

• A definição de variáveis de teste e critérios de sucesso garante um aprendizado conclusivo e possibilita uma decisão por parte da empresa. O teste deve ser configurado para abordar as metas de negócios e minimizar o viés. 

• A definição adequada do tamanho e escopo do teste pode gerar resultados mais precisos. Uma empresa deve garantir:
  • Uma amostra grande o suficiente para formar grupos de teste e controle robustos
  • Uma duração de teste adequada para suplantar ruídos aleatórios
  • Um cronograma de teste finalizado para evitar sobreposição com outras iniciativas
     

Em uma experimentação de negócio, a iniciativa definida será implementada em alguns locais (ou com alguns clientes) e não em outros.

Etapa 3: Medir o impacto em todos os canais

O rastreamento e o monitoramento rigorosos dos principais indicadores de desempenho permitem que as empresas se sintam confiantes de que o impacto está diretamente relacionado à sua iniciativa e não a uma simples coincidência. 

Exemplo: Usando a metodologia de teste em comparação com o controle, o varejista mede o verdadeiro impacto incremental das vendas impulsionado pela mudança na organização da loja. 

Considerações importantes:

• O impacto real é quantificado através de uma avaliação do desempenho antes e depois de uma iniciativa para os grupos de teste e controle seguida do cálculo da mudança no desempenho que pode ser atribuída à iniciativa. 

• O resultado deve ser analisado a fim de garantir a ausência de um efeito halo ou da canibalização em outras áreas de negócios.

• Uma análise completa é capaz de identificar os aspectos mais eficazes da iniciativa e os tipos de clientes ou mercados que respondem melhor a ela.

O teste responde a duas perguntas principais: "A iniciativa funcionou?" e "Por que ou por que não?"

Etapa 4: Implementar uma iniciativa direcionada

Com o sucesso da iniciativa, a empresa pode implementá-la nos locais ou com os clientes com quem projeta o melhor desempenho.

Exemplo: O varejista implementa as mudanças de organização nas lojas nas quais um melhor desempenho é esperado. 

Considerações importantes:

• A tomada de decisão é relativamente simples para testes nos quais o sucesso ou o fracassos ficaram evidentes. Para outros casos, no entanto, as implementações direcionadas podem viabilizar informações valiosas.

• As organizações podem otimizar o desempenho modificando a iniciativa com base em seus aspectos mais eficazes e implementando-a de maneira direcionada a um grupo de clientes ou locais onde se espera uma melhor resposta. 

• A comunicação eficaz do resultado do teste pode ajudar a alinhar as partes interessadas no que diz respeito a implementações futuras.

Etapa 5: Aprender e repetir

Os resultados e aprendizados de um teste não devem ser descartados depois de sua execução. O ideal é que sejam registrados, para que outras pessoas possam consultá-los, evitando a repetição e proporcionando inspiração futura para contribuir com a institucionalização do processo de teste e aprendizagem dentro das organizações.

Exemplo: O aprendizado com a alteração da organização da loja do varejista pode informar as melhores práticas para futuras iniciativas de organização comercial. 

Considerações importantes:

• O registro dos resultados dos testes permite que outros membros da organização obtenham informações sobre os testes anteriores, evitando repetições e desperdício de recursos.

• Todas as medidas são valiosas. Eles podem possibilitar novos insights, bem como parâmetros iniciais de teste que podem ser usados para a formulação de novas hipóteses.

• Executivos podem optar por adiar a implementação de uma iniciativa até que mais testes sejam feitos. A organização pode usar testes anteriores para identificar os aspectos de melhor desempenho e isolar estas variáveis em um novo teste. 

Conclusão

O processo de experimentação de negócio ajuda as empresas a otimizar novas estratégias, minimizar riscos e inovar mais rapidamente. Ao institucionalizar uma cultura de testes, as organizações podem entender melhor a relação causal entre as decisões de negócios e suas consequências financeiras, permitindo-lhes agir das formas mais eficazes possíveis.

Para saber como o Mastercard Test & Learn® ajuda as empresas a tomar decisões de negócios mais confiantes, analisando e otimizando novas ideias e iniciativas em andamento de forma precisa, entre em contato conosco. 

Quer ler mais sobre o processo de experimentação de negócio? Acesse O guia essencial para experimentação de negócios para ver exemplos e dicas.