自動の感情スコアだけで意思決定するのは、実際のコメントと照らし合わせて確かめるまではやめておきましょう。自分のコメント50件を手作業でスコアリングしてみてください。10件を超えてツールの判定が食い違うなら、そのパーセンテージを判断材料にするのは危険です。
TLDR： 感情スコアは急な変化を見つけるのには向いていますが、その中身を判断するのには頼りになりません。手作業で確認すべきなのは5つのケースです。皮肉、スラングや絵文字、短い返信、複数言語が混ざったコメント、そして危機的なタイミング。30分のサンプルテストで、自分のツールをどこまで信じていいかがわかります。
スコアが誤解を招く5つのケース
感情分析ツールは単語とパターンを数えるだけです。皆さんのオーディエンスやジョーク、製品のことは知りません。失敗が起きやすいのは、次のような場面です。
- 皮肉。 「返信を3日も待てて最高」にはポジティブな単語が含まれていますが、意味はネガティブです。多くのスコアラーはこれをポジティブと読み取ります。
- スラングと絵文字。 「This is sick」やドクロの絵文字が称賛を意味することもあります。皆さんのオーディエンスのスラングは、ツールの学習データと一致しないかもしれません。
- 短い返信。 「ok」「lol」「fine」にはほとんどシグナルがありません。ツールはこれらをニュートラルに寄せがちで、本当のイライラが隠れてしまうことがあります。
- 複数言語。 2つの言語を行き来するコメントや、翻字を使ったコメントは、単一言語向けに作られたツールではうまく判定できません。
- 危機的なタイミング。 投稿が炎上すると、コメントが一気に積み上がり、互いに引用し合います。怒りの引用が製品名を繰り返すせいで、ツールがポジティブと数えてしまうことがあります。
このうち2つ以上が皆さんのオーディエンスに当てはまるなら、スコアは結果ではなく、ざっくりした警告サインとして扱ってください。
スコアが役立つ場面
ツールを捨てる必要はありません。できる仕事に使えばいいのです。
| 用途 | 信頼度 | 理由 |
|---|---|---|
| 投稿量や口調の急な変化を見つける | 高 | 個々のスコアがノイズを含んでいても、大きな変化は見えてくる |
| 大量のインボックスをざっくり仕分ける | 中 | トリアージには十分、判断には不向き |
| クライアントに月次の感情パーセンテージを報告する | 低 | 数字は正確に見えるが、実際はそうではない |
| 苦情への対応を決める | なし | コメントを読むべき |
| キャンペーンの感情的インパクトを判断する | 低 | 保存数やシェア数、実際に読んだコメントと組み合わせる |
共通するのは、スコアはどこを見るべきかを教えてくれるということ。何が見つかったかを教えてくれるものではありません。
30分チェック：50件のコメントでツールを試す
ブランドごとに1回、オーディエンスや製品が変わったらもう一度行ってください。
- 直近のコメントを50件、エクスポートするかコピーします。最も反応が良かった投稿から25件、最も弱かった投稿から25件を選び、両極端をテストしましょう。
- ツールのスコアは隠します。各コメントを自分でポジティブ・ニュートラル・ネガティブに分類してください。
- ツールの判定と1件ずつ比べます。
- 食い違いの数を数えます。
結果の読み方はこうです。食い違いが5件未満なら、このオーディエンスに対してツールは信頼できます。5〜10件なら、トリアージにだけ使いましょう。10件超なら、そのパーセンテージはどのレポートにも使わないでください。
ツールが間違えたコメントを見てみましょう。ほとんどが皮肉なら、設定では直せません。ほとんどが1つのスラングなら、そのケースだけ修正できるかもしれません。
もっとシンプルで信頼できる指標
スコアがテストに合格しなかったら、自分でコントロールできる件数に置き換えましょう。毎週の投稿が終わったら、上位3件と下位3件の投稿についたコメントを読んで、それぞれにタグを付けます。
- 称賛： ほめ言葉やお礼
- 質問： 答えを求めている
- 苦情： 何か問題が起きた
- その他
4つの件数だけで、ブランドごとに5分。称賛が増えて苦情が減っていれば、それはクライアントに説明できる結果です。4ポイント動いた感情パーセンテージは、そうではありません。
感情はリーチとも相性が悪いものです。多くの人に届きながら、嫌な印象を残す投稿もあります。詳しくは感情デルタ監査で解説しています。
インボックスには人を残す
誤ったスコアによる被害のほとんどは、スコアが「読むこと」を置き換えてしまうときに起きます。ネガティブなコメントが自動でニュートラルとラベル付けされれば、誰も返信しません。解決策は、返信とフラグを人に任せることです。
Mydropのソーシャルインボックスなら、各プロフィールへのコメントやメッセージが1か所に集まり、チームが直接読んで返信できます。苦情がスコア頼みで見逃されることはありません。ツール選びで迷っているなら、インボックス管理ツールのガイドで各選択肢を比較できます。
数字の面では、Mydropのアナリティクスが投稿ごとのエンゲージメントをアカウント自身の中央値と比べて表示します。テキストから感情を読み取ることに頼らない、測定可能な基準が手に入ります。
今週、50コメントテストをやってみましょう
最も活発なブランドを選び、コメントを50件抜き出して、ツールを見る前に自分でスコアリングしてください。食い違いの数を次のレポートの冒頭に書きましょう。10件を超えていたら、そのことをクライアントに伝えて4タグの件数に切り替えてください。コメント、返信、投稿パフォーマンスを1か所でまとめたいなら、Mydropを無料で始めましょう。
Google review
Trustpilot review
Product Hunt comment
