人間関係にあったことのある人なら誰でも言うように、人間の感情は複雑な概念です。これは、製品やサービスの定性的なメリット、つまり基本的な機能を超える価値を理解しようとしているマーケターに特に当てはまります。あなたの製品が何をしているのかを理解するのは難しいことではありませんが、それがあなたの消費者にどのように感じさせるか知っていますか？



ソーシャルリスニング感情分析を使用して、ターゲットオーディエンスのフィルタリングされていないソーシャルメディアの考えを実用的な戦略的洞察に抽出するとします。すべてを取る Twitterで利用可能なソーシャルデータ そして、それをポジティブ、ネガティブ、またはニュートラルな感情に分類することは主要な仕事であり、2つの方法が同じように作成されることはありません。そのため、HASHTAGSは、ルールリストと機械学習という2つの主要なアプローチを組み合わせたハイブリッド感情分析システムを構築しました。



ルールリスト

感情分析に取り組む最も簡単な方法の1つは、人間が作成したルールまたは辞書を使用することです。このアプローチでは、システムは特定の感情に直接マッピングされる単語またはフレーズのリストに依存します。たとえば、「ハイファイブ」という単語を含むツイートには肯定的なラベルが付けられ、「恐ろしい」という単語を含むツイートには否定的なラベルが付けられます。このようなシステムは高度にカスタマイズ可能であり、何千もの単語やフレーズのルールを含めるように拡張できます。

欠点として、ルールシステムは、「映画は思ったほどひどいものではなかった」など、矛盾するルールに一致するツイートに苦労しています。ここで、「恐ろしい」はネガティブとラベル付けされ、「予想される」はポジティブとラベル付けされる場合があります。矛盾するルールはツイートをニュートラルとしてラベル付けしますが、一部の人間の読者はそれをわずかにポジティブと解釈し、他の読者はわずかにネガティブと解釈します。

ルールベースのシステムの追加の制限は、人間の努力と理解への依存です。言語は急速に進化し（特にTwitterで）、ルールベースのシステムでは、誰かが新しい用語やフレーズを安定して提供する必要があります。感情システムの更新が常に最優先事項であるとは限らず、システムはすぐに時代遅れになる可能性があります。注意深い監視を行っても、変化する言語の傾向を特定し、新しいルールをいつ追加する必要があるかを判断するのは難しい場合があります。

エンジェルナンバー846

機械学習

より高度な感情分析システムは 機械学習 （ML）技術（人工知能または 自然言語処理 ）。機械学習は、統計と確率を使用して、アイテムのラベル付けに使用できる複雑なパターンを識別する一連の手法です。

ルールベースのシステムとは異なり、MLシステムは、人間にはすぐにはわからない類似点を検出するのに十分な柔軟性を備えています。多くの例を見ると、システムは通常、ポジティブ、ネガティブ、またはニュートラルな感情に関連するパターンを学習します。



たとえば、ML感情分析システムでは、「rain」という単語を含み、感嘆符が1つで終わるツイートは否定的であり、「rain」と感嘆符が2つあるツイートは肯定的であることがわかります。人間はこのパターンに気づかないか、なぜ発生するのか理解できないかもしれませんが、MLシステムはそれを使用して非常に正確な予測を行うことができます。

機械学習システムは素晴らしい結果を生み出すことができますが、いくつかの欠点があります。言語に多様性がある場合、MLシステムがノイズをふるいにかけてパターンを選択するのは難しい場合があります。強いパターンが存在する場合、それらはあまり一般的でないパターンを覆い隠し、MLシステムに微妙な手がかりを無視させる可能性があります。

スプラウトのアプローチ

感情分析システムを構築するために、ルールベースのアプローチと機械学習アプローチの両方の長所を組み合わせたハイブリッドシステムを設計しました。何万ものツイートを分析してMLモデルが苦労している場所を特定し、それらの欠点を克服するのに役立つルールベースの戦略を導入しました。



統計モデルを人間の理解で補完することにより、さまざまな設定で適切に機能する堅牢なシステムを構築しました。

芽の感情分析

精度のすべて

一見すると、感情分析は非常に簡単に思えます。ツイートがポジティブ、ネガティブ、ニュートラルのいずれであるかを判断するだけです。ただし、人間の言語と感情は複雑であり、ツイート内の感情の検出はこの複雑さを反映しています。

これらのツイートを検討してください。それらはポジティブ、ネガティブ、またはニュートラルですか？

https://twitter.com/alex/status/917406154321420289

エンジェルナンバー919の意味

あなたは自分の答えに自信を持っていると感じるかもしれませんが、誰もがあなたに同意するわけではない可能性は十分にあります。調査によると、人々はツイートの感情にのみ同意します 60〜80％ 当時の。

あなたは懐疑的かもしれません。私たちもそうだった。

4444の意味

それをテストするために、データサイエンスチームの2人のメンバーが、まったく同じ1,000件のツイートのセットにポジティブ、ネガティブ、またはニュートラルのラベルを付けました。私たちは「私たちは毎日ツイートを扱っています。おそらく、2人の間でほぼ完全に合意するでしょう。」

結果を計算し、ダブルチェックとトリプルチェックを行いました。調査は的を射たものでした。ツイートの73％にしか同意しませんでした。

感情分析の課題

調査（および私たちの小さな実験）は、感情分析が単純ではないことを示しています。なぜそんなにトリッキーなのですか？最大の課題のいくつかを見ていきましょう。

環境

ツイートは時間の小さなスナップショットです。一部はスタンドアロンですが、ツイートは進行中の会話または参照情報の一部であることが多く、作成者を知っている場合にのみ意味があります。これらの手がかりがなければ、作者の気持ちを解釈するのは難しいかもしれません。

皮肉

皮肉の検出は、コンテキストチャレンジのもう1つのフレーバーです。追加情報がないと、感情分析システムは単語の文字通りの意味と意図された方法を混同することがよくあります。皮肉は学術研究の活発な分野であるため、近い将来、スナークを理解するシステムが見られる可能性があります。

比較

ツイートが比較を行うときも、感情はトリッキーになります。野菜の市場調査を行っているときに、「ニンジンはカボチャよりも優れている」とツイートした場合、このツイートはポジティブですか、それともネガティブですか。それはあなたの視点に依存します。同様に、誰かが「A社はB社よりも優れている」とツイートするかもしれません。私がA社で働いている場合、このツイートは肯定的ですが、B社で働いている場合、それは否定的です。

絵文字

絵文字はすべて独自の言語です 。のような絵文字はかなり明白な感情を表現しますが、他の絵文字はそれほど普遍的ではありません。感情分析システムを構築する際に、人々が絵文字をどのように使用しているかを詳しく調べたところ、一般的な絵文字でさえ混乱を引き起こす可能性があることがわかりました。 「泣いているのがとても幸せ」または「泣いているのがとても悲しい」を意味するのとほぼ同じように使用されます。人間が絵文字の意味に同意できない場合、感情分析システムも同意できません。

ニュートラルの定義

「中立的な」感情でさえ、必ずしも単純ではありません。悲劇的な出来事についてのニュースの見出しを考えてみましょう。イベントがひどいものであることに私たちは皆同意しますが、ほとんどのニュースの見出しは事実に基づいた有益な発言を意図しています。感情分析システムは、読者の反応ではなく、コンテンツの作者の感情を特定するように設計されています。 「ニュートラル」というラベルの付いたひどいニュースを見るのは奇妙に思えるかもしれませんが、それは事実情報を伝えるという作者の意図を反映しています。

感情分析システムは、ニュートラルの定義方法も異なります。ニュートラルは、システムがポジティブかネガティブかを判断できないツイートの包括的なカテゴリであると考える人もいます。これらのシステムでは、「ニュートラル」は「わからない」と同義です。ただし、実際には、以下の例のように、感情を表さないツイートがたくさんあります。

1123の意味

私たちのシステムは、あいまいなツイートのデフォルトラベルとしてニュートラルを使用するのではなく、感情的でないツイートをニュートラルとして明示的に分類します。

感情分析の評価

感情分析には非常に多くの課題があるため、新しいツールに投資する前に宿題をすることにはお金がかかります。ベンダーは、製品の精度に関する統計に焦点を当てることで、複雑さを解消しようとしています。ただし、精度は必ずしもリンゴとリンゴの比較ではありません。精度を測定棒として使用する場合は、次のことを確認してください。

1017とはどういう意味ですか

報告された精度は80％を超えていますか？
人間は60〜80％の確率でしか同意しないため、「正しい」感情ラベルが含まれていることに誰もが同意するテストデータセットを作成する方法はありません。感情に関して言えば、「正しい」は主観的です。言い換えれば、精度のテストに使用するゴールドスタンダードはありません。

感情分析システムの精度の上限は、常に人間レベルの合意であり、約80％です。ベンダーが80％を超える精度を主張している場合は、懐疑的になることをお勧めします。現在の研究では、80％の精度でさえありそうもないことが示唆されています。この分野のトップエキスパートは通常、60代半ばから上半期に精度を達成します。

いくつの感情カテゴリが予測されていますか？
一部のベンダーは、すべての中立的なツイートを除き、人間の評価者によって明確に肯定的または否定的であると識別されたツイートについてのみ正確性を評価します。非常に感情的なツイートと2つの可能な結果（ポジティブまたはネガティブ）のみを処理する場合、システムの精度が非常に高く表示されるのははるかに簡単です。

ただし、実際には、ほとんどのツイートは中立またはあいまいです。システムがポジティブとネガティブのみに対して評価される場合、システムがニュートラルなツイートにどれだけうまく対処しているかを知ることは不可能です。実際に表示されるものの大部分です。

テストセットにはどのような種類のツイートが含まれていますか？
感情分析システムを構築し、実際の状況を表すツイートでテストする必要があります。一部の感情分析システムは、システムが理解しやすいようにフィルタリングおよびクリーンアップされたドメイン固有のツイートを使用して作成されます。

たとえば、ベンダーは、スパムやトピック外のツイートを除外して、航空業界に関する非常に感情的なツイートのみを含む既存のデータセットを見つけた可能性があります。これにより精度が高くなりますが、非常によく似たツイートで使用した場合に限ります。別のドメインで作業している場合、またはトピック外のツイートやスパムツイートを受信した場合は、精度が大幅に低下します。

テストデータセットの大きさはどれくらいですか？
感情分析システムは、さまざまなシナリオでシステムのパフォーマンスを測定するために、数千のツイートで評価する必要があります。システムが数百のツイートでのみテストされている場合、システムの精度を正確に測定することはできません。

ここスプラウトでは、Twitterのランダムサンプルから抽出された50,000件のツイートのコレクションに基づいてモデルを構築しました。ツイートはドメイン固有ではないため、感情分析システムは幅広いドメインで適切に機能します。

さらに、ポジティブ、ネガティブ、ニュートラルのカテゴリについて個別に予測します。他の予測が失敗したときにニュートラルを適用するだけではありません。私たちの精度は10,000ツイートでテストされましたが、システムの構築には使用されませんでした。

SproutのSentimentAnalysis Live WithListenersをご覧ください

世界のすべての研究は、システムを直接評価することに代わるものではありません。最新のソーシャルリスニングツールセット内で、新しい感情分析システムを試してみてください。 リスナー 、そしてそれがあなたのためにどのように機能するかを見てください。究極的には、最高のソーシャルリスニングツールは、あなたのニーズを満たし、ソーシャルからより大きな価値を得るのに役立つツールです。今日から始めましょう。

友達と共有してください: