Para fazer testes A/B de social media em várias marcas, junte marcas com o mesmo tipo de público, combine em pares, rode a mesma variável na mesma janela e avalie cada post contra a mediana da própria conta. Assim, seis testes pequenos que não provavam nada viram um teste que prova. O resto deste post explica como fazer isso na prática.
TLDR: Uma conta sozinha raramente publica o suficiente para ler um teste. Agrupe marcas parecidas em uma célula, divida as variantes por igual entre elas, normalize os resultados pela mediana de cada conta e publique um veredito por teste.
Por que testes de uma marca só travam
A maioria das contas de marca publica de três a cinco vezes por semana. Um teste justo pede de 8 a 10 posts por variante, então uma conta sozinha precisa de um mês ou mais por teste, e a essa altura a temporada já mudou.
O ruído é o outro problema. Nos dados do Mydrop, a metade central dos posts do Instagram ficou entre 1,1% e 6,7% de engajamento. Comparar dois posts de uma conta só quase nunca passa disso.
Juntar contas resolve os dois lados: cinco marcas publicando três vezes por semana te dão 15 posts por semana para dividir.
Monte uma célula de teste
Uma célula é um grupo de marcas que dá para comparar de forma justa.
| Decisão | Regra |
|---|---|
| Quem entra na célula | Marcas com tipo de público e mix de plataformas parecidos |
| Variantes | Duas, talvez três, nunca mais |
| Distribuição | Alterne as variantes por marca, para que cada marca rode as duas |
| Janela | As mesmas datas para todas as marcas da célula |
| O que fica fixo | Formato, horário, regra de hashtag e regra de link |
| Como medir | Resultado do post dividido pela mediana daquela conta |
Dividir pela mediana de cada conta é o que torna a junção honesta. Uma conta pequena com 7% e uma grande com 1% podem ficar no mesmo teste, porque as duas são medidas contra o próprio normal. Os números entre contas do próprio Mydrop usam a mesma ideia.
Trate regiões e idiomas como células separadas
Não misture uma conta de Madri e uma de Chicago na mesma célula só para chegar a um tamanho de amostra. Idioma, cultura e fuso horário mudam o que funciona. Rode uma célula por região e depois compare os vereditos, não os números brutos. Para testes em 20 mercados ou mais, veja como automatizar testes A/B localizados.
Coloque todos os testes em um calendário compartilhado
Em escala, a principal falha é dois times testando coisas diferentes na mesma conta ao mesmo tempo. Mantenha um calendário único de testes que lista cada célula, variável e janela, e dê a cada teste um responsável que pode dizer não a um conflito.
No Mydrop, um calendário multi-marca deixa você ver os posts agendados de todas as marcas em uma só tela e marcar os posts de variante. Já os Workspaces mantêm os dados e as permissões de cada marca separados, enquanto o responsável pelo teste enxerga tudo. Os resultados por post ficam em analytics, e uma visão de benchmark multi-perfil ajuda a comparar cada conta com a própria base.
O que não testar em escala
Não gaste uma célula com alavancas que quase não mexem no resultado. Nos dados de setembro do Mydrop, a quantidade de hashtags mudou a mediana de engajamento em no máximo 5%, e o dia da semana ficou dentro de 2% da mediana. Células custam caro, então teste formato, primeira linha, oferta e chamada para ação.
Publique um veredito por teste
Quem lidera as marcas não quer doze gráficos. Dê a cada teste um veredito de uma linha:
- O vencedor e o tamanho do ganho em relação à mediana.
- Em quantos posts e marcas ele se apoia.
- O que muda no playbook por causa disso.
Guarde o veredito em uma biblioteca compartilhada para que uma marca nova comece pelo que já funcionou. Veja uma biblioteca de experimentos reutilizável.
Três problemas que você vai encontrar na primeira célula
- Uma marca publica menos que as outras. Pondere por posts, não por marca, ou limite a contribuição de cada marca para que a conta mais ativa não decida o resultado.
- Uma marca tem um evento especial no meio do teste. Marque esses posts e tire eles do veredito.
- A liderança quer parar antes da hora. Combine a data de fim desde o começo e deixe a janela terminar.
Regras pequenas e sem graça como essas mantêm um teste conjunto honesto.
Monte sua primeira célula este mês
Escolha três marcas com públicos parecidos, uma variável e uma janela de cinco semanas. Agende os posts em um calendário e escreva a regra do veredito antes de o primeiro post ir ao ar. Para configurar várias marcas em um só workspace, comece grátis no Mydrop.
Avaliação do Google
Avaliação no Trustpilot
Product Hunt comment
