تجزیه و تحلیل احساسات: شیرجه عمیق به تئوری ، روش ها و برنامه ها

طبقه بندی احساسات یکی از مبتدی ترین مشکلات در علوم داده است. این کار را آسان نمی کند.

مدلهای مختلفی برای انجام تجزیه و تحلیل احساسات در مجموعه داده ها وجود دارد. این مهم است که درک کنیم که چگونه آنها به وجود آمده اند و چگونه آنها عملکرد دارند ، تا اطمینان حاصل شود که مدلی که انتخاب می کنید بیشتر برای داده های مورد نظر شما مناسب است.

در این مقاله ، من تئوری پشت تجزیه و تحلیل احساسات را خلاصه می کنم ، دلیل منطقی در پشت آن را توضیح می دهم و برخی از برنامه های کاربردی از طبقه بندی احساسات موفق را نشان می دهم. این مقاله در نتیجه بررسی ادبیات سیستماتیک در مورد مدل سازی موضوع و تجزیه و تحلیل احساسات من انجام شده است.

تجزیه و تحلیل احساسات در NLP چیست؟

تجزیه و تحلیل احساسات به عنوان زیر مجموعه پردازش زبان طبیعی (NLP).

NLP یک زمینه تحقیق است که توانایی رمزگشایی داده ها از زبان طبیعی را با استفاده از وسایل محاسباتی بررسی می کند. NLP همچنین بررسی می کند که چگونه می توان این داده های رمزگشایی شده را در یادگیری ماشین و نرم افزار برنامه نویسی آماری گنجانید.

از طریق NLP ، برنامه های رایانه ای می توانند تجزیه و تحلیل داده ها را با استفاده از الگوریتم های یادگیری ماشین بر روی داده های متنی انجام دهند ، که در قالب منبع عمومی فراوان است. علاوه بر این ، آنها می توانند معنی را از داده ها یا موارد دیگر - معناشناسی استخراج کنند.

هدف اصلی میدان NLP ، ایجاد شکاف در ارتباط بین برنامه های رایانه ای و انسان است. برنامه ها به طور مداوم برای رمزگشایی داده های زبان و گفتار به بینش معنایی معنی دار از طریق پردازش ، تجزیه و تحلیل و سنتز بهبود می یابند.

چگونه می توان تجزیه و تحلیل احساسات را تعریف کرد؟

تجزیه و تحلیل احساسات یک رشته است که هدف آن استخراج خصوصیات کیفی از داده های متن کاربر ، مانند احساسات ، نظرات ، افکار و قصد رفتاری با استفاده از روش های پردازش زبان طبیعی است.

همانطور که در مطالعه ژانگ و همکاران (2018) در مورد تجزیه و تحلیل احساسات توضیح داده شده است ، متون رسانه های اجتماعی به ویژه برای تحقیقات تجزیه و تحلیل احساسات همانطور که هستند مفید هستند:

• برای بیان یک دیدگاه استفاده می شود
• پر از متن ذهنی.

متون رسانه های اجتماعی در ادبیات دانشگاهی به عنوان متون کوتاه تعریف می شوند. این نوع متن برای انجام تجزیه و تحلیل احساسات چالش برانگیزتر است ، زیرا زمینه کمتری برای کار با مدل وجود دارد. در مقایسه ، تجزیه و تحلیل احساسات انجام شده بر روی متن طولانی ، مانند مقالات خبری ، کمتر چالش برانگیز است.

اثربخشی استخراج احساسات در متن کوتاه متکی به استفاده از روشهای پیشرفته تر ، مانند شبکه های عصبی عمیق است.

به طور خاص داده های رسانه های اجتماعی به دلیل استفاده از زبان خلاق ، عامیانه و اختصارات ، به روشهای پیچیده تری در بازیابی اطلاعات نیاز دارند. حضور اینها می تواند بر کارآیی مدل تجزیه و تحلیل احساسات تأثیر بگذارد ، در صورت عدم حساب.

تجزیه و تحلیل احساسات چگونه انجام می شود؟

این نیاز به طبقه بندی یکی از محدودیت های اصلی تجزیه و تحلیل احساسات سنتی در نظر گرفته می شود. برخی از دانشگاهیان استدلال می کنند که تجزیه و تحلیل احساسات به شکل سنتی خود قادر به پرداختن به پیچیدگی های بیان امروزی نیست ، زیرا نتوانسته است عینیت و ذهنیت را ضبط کند. به عنوان مثال ، اگر یک مدل وظیفه داشته باشد بین اخبار جعلی یا نظرات و حقایق شخصی طبقه بندی شود ، تجزیه و تحلیل احساسات سنتی کافی نخواهد بود.

روشهای پیشرفته تر سعی در تشخیص تظاهرات عاطفی متمایز در متن دارند ، که نشان دهنده احساسات و نظرات از طریق تجزیه و تحلیل زبان مورد استفاده برای بیان خود است.

چنین روشهایی اغلب با هدف تشخیص همزمان و استخراج مدلهای موضوع انجام می شود. به همین دلیل ، اغلب از رویکردهای یادگیری عمیق مانند شبکه های عصبی حلقوی (CNN) استفاده می شود. CNN ها همچنین در تجزیه و تحلیل احساسات متون با فرم کوتاه استفاده می شوند ، همانطور که در مقالات تحقیقاتی متعدد نشان داده شده است (به عنوان مثال Dos Santos and Gatti (2014) ، Kale et al. (2018) و Tang et al. (2015)).

از چه مدل هایی می توان برای تجزیه و تحلیل احساسات استفاده کرد؟

تجزیه و تحلیل احساسات را می توان از طریق الگوریتم های یادگیری دستگاه تحت نظارت ، نیمه تحت نظارت و بدون نظارت انجام داد.

مدل های یادگیری ماشین نظارت شده برای دستیابی به تجزیه و تحلیل احساسات دشوارترین است ، زیرا به برچسب هایی برای زیر مجموعه داده ها نیاز دارد ، که با استفاده از آنها می توان مدل را آموزش داد.

رویکردهای نیمه تحت نظارت از تعداد کمی از نمونه های برچسب زده شده به عنوان داده های آموزش به عنوان وسیله ای برای بهبود دقت طبقه بندی استفاده می کنند ، و به عنوان مثال مدل منتشر شده توسط دا سیلوا و همکاران.(2016) ، که در آن داده های توییتر با استفاده از طبقه بندی کننده دستگاه های بردار پشتیبانی (SVM) طبقه بندی می شوند.

تجزیه و تحلیل احساسات می تواند روی چه متنی انجام شود؟

متون کوتاه ، مانند محتوای رسانه های اجتماعی به بهترین وجه با تجزیه و تحلیل احساسات در سطح جمله مورد تجزیه و تحلیل قرار می گیرند زیرا معمولاً از یک جمله یا چند جمله تشکیل شده است.

همچنین مدلهایی وجود دارند که کلمات فردی را با این فرض که کلمات در همان جمله همان احساسات را دارند ، تجزیه و تحلیل می کنند. چنین رویکردی مدل انتقال موضوعی و حرکتی پنهان (2019) است که مباحث و عواطف را در جملات پی در پی به عنوان زنجیره مارکوف مدل می کند.

این رویکرد امکان تشخیص همزمان احساسات در سطح اسناد و جمله را فراهم می کند.

آیا می توان علاوه بر متن ، تجزیه و تحلیل احساسات را بر روی نوع دیگری از داده ها انجام داد؟

تجزیه و تحلیل احساسات چند حالته در سالهای اخیر به عنوان یک زمینه رشد کرده است ، با مدل های ارائه شده در منطقه از تحولات اخیر در رویکردهای یادگیری عمیق تحت نظارت.

مدل سازی موضوع چند حالته نیز ظهور کرده است ، که به عنوان امیدوار کننده برای حوزه تجزیه و تحلیل پیش بینی کننده رفتار مصرف کننده و جامعه شناسی نشان داده شده است.

با هم ، مدل سازی موضوع و تجزیه و تحلیل احساسات در یک زمینه چند حالته به عنوان روشی برای بهبود تعامل انسان و عامل شناخته می شوند. نمونه ای از نحوه استفاده از این ، حوزه تشخیص خودکار گفتار است.

دو روش اصلی برای انجام تجزیه و تحلیل احساسات چیست؟

شماره 1 با استفاده از یک واژگان احساساتی از قبل توسعه یافته و ساخته شده.

تجزیه و تحلیل احساسات در ابتدا با استفاده از واژگان احساسات از قبل توسعه یافته و ساخته شده انجام شده است.

چنین واژگان عبارتند از:

هر یک از این موارد دارای مقیاس مختلف رتبه بندی و تعداد کلمات مختلف است.

چنین واژگان به عنوان پایه ای برای توسعه مدل استفاده شده است که نمونه هایی از آنها وجود دارد

• الگوریتم طبقه بندی قطبیت (PCA) ، که احساسات توییت را طبقه بندی می کند
• طبقه بندی کننده شکلک پیشرفته (EEC)
• طبقه بندی کننده قطبیت بهبود یافته (IPC)
• طبقه بندی کننده Sentiwordnet (SWNC).

در میان اینها ، عملکرد برتر توسط PCA نشان داده شده است.

مزایا و محدودیت های این رویکرد

این رویکردها در:

• متمایز گفتار ذهنی یا عینی
• طبقه بندی احساسات به عنوان مثبت ، منفی یا خنثی.

به عنوان یک محدودیت ، آنها فقط محققان را قادر می سازند تا در درجه اول از منظر نویسنده بر خلاف خواننده ، احساساتی را استخراج کنند.

شماره 2 با استفاده از رویکرد یادگیری ماشین

به جز رویکردهای مبتنی بر واژگان ، تجزیه و تحلیل احساسات می تواند با استفاده از یک رویکرد یادگیری ماشین انجام شود.

این کار می تواند از طریق مدلهای آماری آموزش داده شده بر روی مجموعه داده های بشر ، از این رو-با استفاده از یادگیری نیمه نظارت انجام شود.

راه دیگر ترکیب چندین رویکرد یادگیری ماشین کم عمق است. به عنوان مثال ، برای تجزیه و تحلیل احساسات توییت ها ، Ahuja و همکاران.(2019) نتیجه می گیرد که TF-IDF نسبت به N-GRAM از نظر استخراج ویژگی عملکرد بهتری دارد. ترکیبی از TF-IDF با رگرسیون لجستیک در بین نمونه مطالعات مقاله آنها کارآمدترین است.

طبقه بندی کننده های گروه نیز نشان داده شده است که روش خوبی برای حل یکی از محدودیت های رویکردهای واژگان است. به طور خاص ، یک مطالعه 2018 به مشکل طبقه بندی احساسات چند برچسب از منظر خواننده نزدیک می شود و یک مدل را در یک مجموعه داده خبری به کار می برد. این مطالعه برتری طبقه بندی کننده های گروه را در مقایسه با سایر روش ها نشان می دهد.

همانطور که قبلاً نیز ذکر شد ، تکنیک های یادگیری عمیق نیز می توانند در تجزیه و تحلیل احساسات استفاده شوند.

مزایا و محدودیت های این رویکرد

هر دیدگاه محدودیت های خاص خود را ارائه می دهد و برای به خطر انداختن دقت یا کلی بودن تجزیه و تحلیل ، انتخاب می کند. در اینجا خلاصه ای از مزایا و محدودیت های رویکردهای یادگیری ماشین آنالیز احساسات مشترک:

• مدل های N-Gram (یا زمینه های تصادفی مشروط) از طریق برچسب زدن توالی (به عنوان مثال بخشی از برچسب زدن گفتار یا تجزیه کم عمق) کار می کنند. آنها نظم کار و دستور زبان را به خوبی ضبط می کنند. ضرر آنها ابعاد بالایی است.
• رویکردهای یادگیری نیمه تحت نظارت برای تعیین سریع و آسان قطبیت متن مناسب است. آنها در تعیین ذهنیت یا عینیت در متن چندان خوب نیستند.
• رویکردهای یادگیری عمیق در استخراج ویژگی های سطح متا با مجموعه داده های بزرگ خوب هستند و به طور معمول عملکرد بهتری نسبت به مدل های N-GRAM دارند. آنها وقتی سر و صدای زیادی در داده ها وجود دارد ، مانند عامیانه ، اختصارات یا حتی ایموجی ها ، عملکرد خوبی ندارند. این امر باعث می شود که آنها از تجزیه و تحلیل احساسات رسانه های اجتماعی متناسب باشند.
• چندین مدل یادگیری هسته وقتی ویژگی ها در گروه ها سازماندهی می شوند کار می کنند. این کار تجزیه و تحلیل احساسات چندمودالی را امکان پذیر می کند ، اما محاسبه کند است.

چالش اصلی در تجزیه و تحلیل احساسات ابهام زبان یا این واقعیت است که بارها و بارها در زبان صحبت می شود ، ممکن است وجود ویژگی های معنایی مختلط وجود داشته باشد. این کار را برای الگوریتم طبقه بندی دشوار می کند تا عملکرد خود را انجام دهد.

همچنین برای افرادی که خروجی و طبقه بندی برنامه را مشاهده می کنند ، طبقه بندی زمینه ای که در آن معناشناسی داده می شود ، دشوار است ، که ممکن است مانع از اثربخشی طبقه بندی به طور کلی و قابلیت استفاده آن در یک زمینه در دنیای واقعی شود.

با این وجود ، در نظر گرفته می شود که این موانع از مزایایی که طبقه بندی احساسات از نظر سرعت در مقایسه با ارزیابی انسان و بینش ارائه می دهد ، پیشی گرفته است.

چرا شرکت ها چه تجزیه و تحلیل احساسات را اجرا می کنند؟

دلایل زیادی وجود دارد که چرا شرکت ها دوست دارند به تجزیه و تحلیل احساسات و فناوری های پردازش زبان طبیعی بپردازند.

براساس تحقیقات من ، من پنج دلیل اصلی را خلاصه کرده ام ، که برای آن نمونه هایی از نحوه انجام این کار در زندگی واقعی نیز ارائه خواهم داد.

شماره 1 مزیت رقابتی را افزایش دهید

اجرای تجزیه و تحلیل احساسات و تکنیک های مدل سازی رفتار پیش بینی کننده منبع مزیت رقابتی برای سازمانها در نظر گرفته شده و توسط محققان توصیه می شود.

شماره 2 قدرت شبکه مصرف کننده یک شرکت را ارزیابی کنید

از تجزیه و تحلیل احساسات نیز می توان در اندازه گیری قدرت شبکه مصرف کننده استفاده کرد. این مربوط به اندازه گیری چقدر کارآمد بازاریابی کلمه دهان است.

همچنین می تواند برای ردیابی توصیه های فردی که بین اعضای گروه های اجتماعی آنلاین ارائه شده است ، استفاده شود. این امر می تواند براساس توصیه ای که توسط همسالان خود ارائه شده است ، شرکت ها را قادر به هدف قرار دادن مصرف کنندگان با ADS شخصی شخصی کند.

شماره 3 از داده های عمومی ، تولید شده توسط کاربر و به راحتی در دسترس استفاده می کند

داده های متنی نیز بیشتر از عددی در دسترس است و می توان ادعا کرد که زبان انسانی سطح بالا حاوی مقدار زیادی پیچیدگی و ظرافت است.

این امر باعث شده است تا تجزیه و تحلیل احساسات به عنوان یک راه حل بالقوه برای انواع مشکلات تجاری در زمینه های مختلف مانند تشخیص الگوی رسانه های اجتماعی برای تشخیص حوادث جاده ای یا پیش بینی بازار سهام مورد بررسی قرار گیرد.

شماره 4 الگوهای را مشخص کنید و پیش بینی های دقیق و داده ای را در مورد تغییرات بازار انجام دهید

آسو و هوبرمن استدلال می کنند که درک عمیق از ارتباطات رسانه های اجتماعی می تواند به پیش بینی های دقیق نتیجه وقایع آینده کمک کند. مثالی که آنها ارائه می دهند ، در حال بررسی نرم افزار تحلیلی در زمان واقعی با استفاده از داده های فید توییتر برای پیش بینی موفقیت گیشه است. این از اطلاعات بورس اوراق بهادار هالیوود بهتر است.

از داده های توییتر همچنین برای تجزیه و تحلیل خوشه ای توسط یک سیستم تشخیص الگوی شناختی استفاده شده است ، که قبل از هر کانال گزارشگری اصلی ، اطلاعات زمان واقعی را در مورد وقایع جاده ای در حال وقوع انتخاب کرده است.

مطالعات مشابه به تأیید اینكه بسترهای رسانه های اجتماعی مجموعه ای از خرد جمعی هستند ، كمك می كنند. بنابراین ، شرکت ها برای استفاده از یادگیری ماشین برای داده کاوی و پیش بینی رفتاری برای اطلاع دقیق اقدامات آینده کاربران تجاری برای اهداف مختلف ، انگیزه می شوند:

• - به عنوان مثال. بورس سهام
• پیش بینی نتیجه - به عنوان مثالبرای مدیریت انتخابات سیاسی
• درک ارتباطات پاسخ عاطفی فردی و جمعی - یک رویکرد مشابه در یکی از کمپین های رسانه های اجتماعی LIDL اجرا شد

همه این مطالعات پیش بینی خطاها در پیش بینی در انجام فرآیندهای تحلیلی هوشمند بر روی احساسات ، پاسخ و رفتار اجتماعی انسان را به دلیل ماهیت غیرقابل پیش بینی ما ، انسان ها پیش بینی می کنند و این را به عنوان یک محدودیت مدل ذکر کرده اند.

#5 راندمان ، سرعت پردازش و کاهش خطاهای انسانی

با توجه به محدودیت های موجود در نرم افزار یادگیری ماشین در انجام تجزیه و تحلیل متن ، شرکت ها در حال حاضر هزینه های شدید مربوط به منابع انسانی را برای کارکنان دارند تا بتوانند به صورت دستی داده ها را تأیید کنند. با این وجود ، وقتی انسان این کارها را انجام می دهد ، بیشتر مربوط به زمان مورد نیاز برای تغییر داده ها است.

فقط تصور کنید که هرکسی هزاران توییت را طی کرده و آنها را طبقه بندی کند ، چقدر ناکارآمد خواهد بود!

این فرصتی برای ایجاد ارزش با حل مشکلات تجاری موجود از طریق بهبود مداوم مدل ها ، فعالیت در صنعت است. اجرای یک راه حل خودمختار می تواند خطر خطای انسانی را در تفسیر داده ها کاهش دهد.

افکار نهایی

یکی از چالش هایی که به طور کلی با پردازش زبان طبیعی و یادگیری ماشین روبرو است ، این است که اطلاعات مفید و مرتبط با مشکل اغلب در استخر بزرگی از داده های خوشه ای هرج و مرج قرار می گیرد. چالش دیگر این است که داده ها ممکن است بینشی ارائه ندهند یا ممکن است در رابطه با مشکل تجارت بی فایده تلقی شوند.

این چالش ها همچنین در تجزیه و تحلیل احساسات منعکس می شوند ، که زیر مجموعه ای از NLP است.

این امر موجی از تحقیقات را برای درک سازه های زبان و معدن از آن برانگیخته است: هدف کاربر ، احساسات و ذهنیت.

چنین مدل هایی به دلیل پتانسیل: اهداف سازمانها هستند:

• افزایش مزیت رقابتی ،
• توانایی پیش بینی رفتار و پاسخ ،
• امکان هدف قرار دادن بهتر مصرف کنندگان در مراحل مختلف سفر مصرف کننده خود
• پتانسیل کاهش نیاز به درگیری انسان ، در نتیجه راندمان بیشتر و کاهش هزینه های عملیاتی.

از طریق نظارت بر احساسات عمومی ، شرکت ها می توانند با بازار سازگارتر شوند.