Um teste multi-armed bandit mostra várias versões de uma criação ao mesmo tempo e move a verba para a que está ganhando enquanto o teste ainda está rodando. Um teste A/B comum espera o fim para só então escolher. Para times de social com uma janela curta de lançamento e verba paga, o bandit desperdiça menos dinheiro com as perdedoras.
TLDR: Use um bandit quando você tiver 3 ou mais variações, verba paga e uma janela de uma a duas semanas. Escolha um único número como meta, dê a todas as variações um começo justo e só deixe a divisão mudar depois que cada uma tiver impressões suficientes. Para posts orgânicos, use a mesma lógica como regra de repetir o que funciona, não como teste rigoroso.
Quando um bandit ganha de um teste A/B, e quando não ganha
O nome vem dos caça-níqueis: cada "braço" é uma variação, e você quer achar o melhor braço sem perder fichas demais nos ruins.
| Situação | Melhor escolha |
|---|---|
| 2 variações, muito tempo pela frente, você quer uma resposta limpa | Teste A/B |
| 3 a 8 variações, verba paga, lançamento em 10 dias | Bandit |
| Posts orgânicos, sem controle de quem vê o quê | Regra de repetir o que funciona |
| Uma marca, um mercado, volume baixo | Deixe o teste de lado, publique e revise todo mês |
Um bandit é uma ferramenta para gastar, não para estudar teoria. Se nada está em jogo enquanto o teste roda, um teste A/B te dá uma leitura mais limpa.
O problema do ruído que quase todo time de social encontra primeiro
Os resultados nas redes sociais são barulhentos. Nos dados do Mydrop, a metade central dos posts do Instagram ficou entre 1,1% e 6,7% de taxa de engajamento. Uma variação que faz 4% no primeiro dia não é vencedora. Pode ser que ela só tenha sido mostrada para uma audiência mais engajada.
Por isso um bandit precisa de um começo justo. Dê a todas as variações o mesmo mínimo antes de a divisão poder mudar. Uma boa regra de partida é 1.000 impressões por variação, ou três dias, o que vier depois.
Um plano de bandit em quatro passos para uma campanha
- Escolha um número. Cliques no link, salvamentos ou custo por resultado. Não vale "desempenho". Se você escolher três números, vai acabar elegendo a vencedora que já gostava.
- Monte os braços. Mude uma coisa por braço: o gancho, a primeira imagem ou a linha da oferta. Quatro braços já é bastante. Oito braços exigem mais verba do que a maioria dos times tem.
- Defina o começo justo e a regra de migração. Depois do mínimo, mova 20% da verba do braço mais fraco para o mais forte a cada dia. Nunca zere um braço na primeira semana.
- Escreva a regra de parada antes de começar. Por exemplo: pare quando um braço liderar por 3 dias seguidos, ou quando a janela terminar.
Mantenha uma pequena fatia de "exploração", em torno de 10% da verba, nos braços mais fracos até o fim. Isso te protege de um líder que só teve sorte no começo.
Rode em várias marcas sem misturar os dados
O resultado de um bandit só vale para a audiência em que ele foi testado. Um gancho que vence para a Marca A nos EUA pode perder para a Marca B no Brasil.
Três hábitos mantêm os testes com várias marcas honestos:
- Teste dentro de uma marca e de uma região, não entre elas. Junte resultados só depois de ver o mesmo vencedor duas vezes.
- Nomeie toda variação do mesmo jeito. Marca, região, ID do teste, braço. Uma regra de nomes economiza horas na hora de ler os resultados.
- Registre o teste no calendário. Se o teste não aparece ao lado dos posts que ele afeta, alguém vai agendar por cima.
No Mydrop, cada marca fica no seu próprio Workspace, com o seu próprio calendário, então um teste de uma marca fica na agenda daquela marca. O calendário multi-marca mostra todas as variações como posts agendados, e os analytics por plataforma te dão o número do passo 1.
O que fazer com posts orgânicos
Você não consegue dividir o alcance orgânico em braços limpos, mas pode pegar a ideia emprestada. Publique duas ou três versões de um tema em semanas diferentes e compare cada uma com o post típico da conta. Os analytics do Mydrop mostram como um post se saiu em relação à sua própria mediana, o que é uma régua mais justa do que a contagem bruta de likes.
A regra é simples: repita duas vezes a estrutura que bateu a sua mediana, aposente a que perdeu duas vezes e guarde um espaço por semana para algo novo.
Comece com uma campanha pequena esta semana
Escolha o seu próximo lançamento pago, selecione três ganchos e anote o número único, o começo justo e a regra de parada em uma nota só no calendário. Rode uma vez. Depois disso, você vai saber se o seu volume é alto o bastante para bandits ou se um teste A/B simples encaixa melhor. Você pode planejar os posts e ver os resultados em um só lugar com uma conta gratuita no Mydrop.
Avaliação do Google
Avaliação no Trustpilot
Product Hunt comment
