Pare de confiar nas pontuações de sentimento automáticas sempre que uma decisão depender delas e você não as tiver conferido com comentários reais. Classifique 50 dos seus próprios comentários na mão: se a ferramenta discordar de você em mais de 10, a porcentagem não é segura para agir.
TLDR: As pontuações de sentimento servem para identificar um pico, mas não são confiáveis para julgar o que ele significa. Confira na mão em cinco casos: sarcasmo, gírias e emoji, respostas curtas, comentários em vários idiomas e qualquer momento de crise. Um teste de amostra de 30 minutos mostra até onde você pode confiar na sua ferramenta.
Cinco casos em que a pontuação engana você
Uma ferramenta de sentimento conta palavras e padrões. Ela não conhece a sua audiência, a sua piada nem o seu produto. Estes são os pontos em que ela mais erra.
- Sarcasmo. "Amo esperar três dias por uma resposta" tem uma palavra positiva e um sentido negativo. Muitos classificadores leem como positivo.
- Gírias e emoji. "Isso é doentio" e um emoji de caveira podem ser elogio. As gírias da sua audiência podem não bater com o treinamento da ferramenta.
- Respostas curtas. "ok", "lol" e "beleza" carregam pouco sinal. As ferramentas muitas vezes jogam tudo em neutro, o que pode esconder irritação de verdade.
- Vários idiomas. Comentários que alternam entre dois idiomas, ou usam transliteração, são mal classificados por ferramentas feitas para um idioma só.
- Momentos de crise. Quando um post dá errado, os comentários se acumulam rápido e um cita o outro. A ferramenta pode contar uma citação raivosa como positiva porque ela repete o nome do produto.
Se você reconhece a sua audiência em dois ou mais desses casos, trate a pontuação como um alerta aproximado, não como um resultado.
Para que a pontuação serve
Não jogue a ferramenta fora. Use-a para o trabalho que ela dá conta.
| Uso | Nível de confiança | Por quê |
|---|---|---|
| Perceber uma mudança repentina de volume ou tom | Alto | Uma oscilação grande fica visível mesmo que as pontuações individuais sejam ruidosas |
| Separar uma caixa de entrada enorme em grupos gerais | Médio | Serve para triagem, erra no julgamento |
| Reportar uma porcentagem mensal de sentimento para um cliente | Baixo | O número parece exato e não é |
| Decidir como responder a uma reclamação | Nenhum | Leia o comentário |
| Julgar o impacto emocional de uma campanha | Baixo | Combine com salvamentos, compartilhamentos e comentários que você leu |
O padrão é este: a pontuação mostra onde olhar. Ela nunca deve dizer o que você encontrou.
O teste de 30 minutos: avalie sua ferramenta com 50 comentários
Faça isso uma vez por marca e repita se a sua audiência ou o seu produto mudar.
- Exporte ou copie 50 comentários recentes. Pegue 25 do seu post de melhor desempenho e 25 do de pior, para testar os dois extremos.
- Esconda a pontuação da ferramenta. Classifique cada comentário você mesmo como positivo, neutro ou negativo.
- Compare com a ferramenta, comentário por comentário.
- Conte as discordâncias.
Leia o resultado assim: menos de 5 discordâncias, a ferramenta é confiável para esta audiência. De 5 a 10, use só para triagem. Mais de 10, não use a porcentagem em nenhum relatório.
Olhe os comentários que a ferramenta errou. Se a maioria for sarcasmo, você não resolve isso nas configurações. Se a maioria for uma gíria só, talvez dê para corrigir esse caso específico.
Uma medida mais simples e confiável
Se a pontuação falhar no seu teste, troque por uma contagem que você controla. Depois de cada semana de posts, leia os comentários dos seus três posts de melhor e dos três de pior desempenho e classifique cada um como:
- Elogio, um cumprimento ou agradecimento
- Dúvida, alguém quer uma resposta
- Reclamação, algo deu errado
- Outro
Quatro contagens, cinco minutos por marca. Elogios subindo enquanto as reclamações caem é um resultado que você consegue explicar para um cliente. Uma porcentagem de sentimento que variou quatro pontos não é.
O sentimento também combina mal com alcance: um post pode alcançar muita gente e deixar uma sensação ruim, que é o tema da auditoria de variação de sentimento.
Mantenha as pessoas na caixa de entrada
A maior parte do estrago de uma pontuação errada acontece quando ela substitui a leitura. Se um comentário negativo é marcado automaticamente como neutro, ninguém responde. A solução é deixar as respostas e os alertas com uma pessoa.
Na caixa de entrada social do Mydrop, os comentários e as mensagens dos seus perfis chegam em um só lugar, onde o seu time lê e responde diretamente. Uma reclamação nunca depende de uma pontuação para ser notada. O guia de ferramentas de moderação de caixa de entrada compara as opções se você estiver escolhendo.
Do lado dos números, os analytics do Mydrop mostram o engajamento por post em relação à mediana da sua própria conta, o que te dá uma base mensurável que não depende de ler emoção no texto.
Faça o teste dos 50 comentários esta semana
Escolha a sua marca mais ativa, pegue 50 comentários e classifique antes de olhar a ferramenta. Anote o número de discordâncias no topo do seu próximo relatório. Se passar de 10, avise o cliente e mude para a contagem das quatro categorias. Quando você quiser comentários, respostas e desempenho dos posts em um só lugar, comece de graça com o Mydrop.
Avaliação do Google
Avaliação no Trustpilot
Product Hunt comment
