به کارگیری یادگیری عمیق برای بهبود نتایج تحلیل احساسات نظرات فارسی فروشگاههای خردهفروشی آنلاین
محورهای موضوعی : فناوری اطلاعات و ارتباطات
فائزه فروتن
1
(کاندیدای دکتری)
محمد ربیعی
2
(استادیار)
کلید واژه: تحلیل احساسات, زبان فارسی, CNN-BiLSTM, BERT, بازارخردهفروشی,
چکیده مقاله :
صنعت بازار خردهفروشی از جمله صنایع اثرگذار بر اقتصاد کشورها است که حیات آن وابسته به میزان رضایت و اعتماد مشتریان برای خرید از این بازارها میباشد. در چنین شرایطی صنعت بازار خردهفروشی در تلاش است تا بر اساس صفحات وب و پلتفرمهای آنلاین شرایطی را برای ثبت نظرات و تعامل مشتریان با خردهفروشان فراهم آورد. زیرا تحلیل نظرات منتشر شده نه تنها در تعیین میزان رضایت مشتریان بلکه در بهبود و ارتقا محصولات نقش دارند. ازاینرو در سالهای اخیر تکنیکهای تحلیل احساسات به منظور تحلیل و خلاصهسازی نظرات، مورد توجه پژوهشگران در حوزههای مختلف بهویژه صنعت بازار خردهفروشی قرار گرفته است. ازاینرو در این پژوهش با هدف بهبود در نتایج استخراج ویژگیها از متن نظرات فارسی و افزایش دقت تحلیل احساسات فارسی، یک چارچوب جدید برای تحلیل احساسات در سطح جمله، بر اساس BERT، مدل استخراج ویژگی CNN-BiLSTM و مدل طبقهبندی XGBoost پیشنهاد شده است. در نهایت نتایج پژوهش دقت 93.74% را برای طبقهبندی احساسات متن نظرات فارسی؛ بر اساس چارچوب پیشنهادی نشان میدهد که بر اساس آن میتوان اذعان داشت، CNN-BiLSTM از جمله روشهای قدرتمند در استخراج ویژگیها از متن فارسی است که ضمن استخراج دقیق ویژگیها، باعث افزایش دقت تحلیل احساسات فارسی نیز میگردد.
چكيده انگليسيThe retail market industry is one of the industries that affects the economies of countries, the life of which depends on the level of satisfaction and trust of customers to buy from these markets. In such a situation, the retail market industry is trying to provide conditions for customer feedback and interaction with retailers based on web pages and online platforms. Because the analysis of published opinions play a role not only in determining customer satisfaction but also in improving products. Therefore, in recent years, sentiment analysis techniques in order to analyze and summarize opinions, has been considered by researchers in various fields, especially the retail market industry.
]“2020-21 Annual Report | Digikala newsroom.” https://www.digikala.com/mag/lp/report-2020-21/ (accessed Apr. 13, 2022).
[2] S. T K and J. Shetty, “Sentiment Analysis of Product Reviews,” Encycl. Data Warehous. Mining, 2nd Ed., no. Icicct, pp. 1794–1799, 2017, doi: 10.5281/zenodo.264151.
[3] Q. Shen, Z. Wang, and Y. Sun, “Sentiment analysis of movie reviews based on machine learning,” Int. Conf. Intell. Sci. (pp. 164-171). Springer, Cham., 2017, doi: 10.1145/3447490.3447491.
[4] M. Rhanoui, M. Mikram, S. Yousfi, and S. Barzali, “A CNN-BiLSTM Model for Document-Level Sentiment Analysis,” Mach. Learn. Knowl. Extr., vol. 1, no. 3, pp. 832–847, 2019, doi: 10.3390/make1030048.
[5] A. H. Ombabi, W. Ouarda, and A. M. Alimi, “Deep learning CNN–LSTM framework for Arabic sentiment analysis using textual information shared in social networks,” Soc. Netw. Anal. Min., vol. 10, no. 1, pp. 1–13, 2020.
[6] J. P. R. Sharami, P. A. Sarabestani, and S. A. Mirroshandel, “DeepSentiPers: Novel Deep Learning Models Trained Over Proposed Augmented Persian Sentiment Corpus,” 2020, [Online]. Available: http://arxiv.org/abs/2004.05328.
[7] K. Dashtipour, M. Gogate, E. Cambria, and A. Hussain, “A novel context-aware multimodal framework for persian sentiment analysis,” Neurocomputing, vol. 457, pp. 377–388, 2021, doi: 10.1016/j.neucom.2021.02.020.
[8] “All about Persian Language (Farsi) | ASPIRANTUM.” https://aspirantum.com/blog/all-you-need-to-know-about-persian-language (accessed Apr. 13, 2022).
[9] S. Sarmady and E. Rahmani, “Word representation or word embedding in Persian texts,” arXiv, 2017.
[10] E. Asgarian, M. Kahani, and S. Sharifi, “The Impact of Sentiment Features on the Sentiment Polarity Classification in Persian Reviews,” Cognit. Comput., vol. 10, no. 1, pp. 117–135, 2018, doi: 10.1007/s12559-017-9513-1.
[11] R. Ahuja, A. Chug, S. Kohli, S. Gupta, and P. Ahuja, “The impact of features extraction on the sentiment analysis,” Procedia Comput. Sci., vol. 152, pp. 341–348, 2019, doi: 10.1016/j.procs.2019.05.008.
[12] H. Saif, M. Fernandez, Y. He, and H. Alani, “On stopwords, filtering and data sparsity for sentiment analysis of twitter,” Proc. 9th Int. Conf. Lang. Resour. Eval. Lr. 2014, pp. 810–817, 2014.
[13] J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding,” NAACL HLT 2019 - 2019 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. - Proc. Conf., vol. 1, no. Mlm, pp. 4171–4186, 2019.
[14] H. Liang, X. Sun, Y. Sun, and Y. Gao, “Text feature extraction based on deep learning: a review,” Eurasip J. Wirel. Commun. Netw., vol. 2017, no. 1, pp. 1–12, 2017, doi: 10.1186/s13638-017-0993-1.
[15] Y. Cheng, L. Yao, G. Xiang, G. Zhang, T. Tang, and L. Zhong, “Text Sentiment Orientation Analysis Based on Multi-Channel CNN and Bidirectional GRU with Attention Mechanism,” IEEE Access, vol. 8, pp. 134964–134975, 2020, doi: 10.1109/ACCESS.2020.3005823.
[16] B. Liu, “Sentiment Analysis and Opinion Mining,” Lang. Arts Discip., no. May, p. 167, 2012.
[17] F. I. Rustam et al., “A performance comparison of supervised machine learning models for Covid-19 tweets sentiment analysis,” 2021, doi: 10.1371/journal.pone.0245909.
دو فصلنامه علمي فناوري اطلاعات و ارتباطات ایران | سال پانزدهم، شماره 57 و58 ، پاییز و زمستان 1402 صفحات:122 الی 137 |
|
Applying deep learning for improving the results of Persian comments' sentiment analysis in online retail stores
Faezeh Forootan*, Mohammad Rabiei**
*Ph.D. student in Information Technology Engineering, Faculty of Computer Engineering and Information Technology, Shiraz University of Technology, Shiraz, Iran
**Assistant Professor, Faculty of Electrical and Computer Engineering and Mechanics, Eivanekei Non-Profit University, Eivanekei, Iran
Abstract
The retail market industry is one of the industries that affects the economies of countries, the life of which depends on the level of satisfaction and trust of customers to buy from these markets. In such a situation, the retail market industry is trying to provide conditions for customer feedback and interaction with retailers based on web pages and online platforms. Because the analysis of published opinions play a role not only in determining customer satisfaction but also in improving products. Therefore, in recent years, sentiment analysis techniques in order to analyze and summarize opinions, has been considered by researchers in various fields, especially the retail market industry.
Therefore, in this study, with the aim of improving the results of extracting features from the text of Persian comments and increasing the accuracy of Persian sentiment analysis, a new framework for sentiment analysis at sentence level, based on BERT, CNN-BiLSTM feature extraction model and XGBoost classification model is proposed. Finally, the research results show 95.02% accuracy for classifying the sentiment of the text of Persian comments; Based on the proposed framework, according to which it can be acknowledged, CNN-BiLSTM is one of the powerful methods in extracting features from Persian text, which, while accurately extracting features, also increases increases the accuracy of Persian sentiment analysis.
Keywords: Sentiment Analysis, Persian Language, CNN-BiLSTM, BERT, Retail Market
به کارگیری یادگیری عمیق برای بهبود نتایج تحلیل احساسات نظرات فارسی فروشگاههای خردهفروشی آنلاین
فائزه فروتن*×، محمد ربیعی**
*دانشجوی دکتری مهندسی فناوری اطلاعات، دانشکده مهندسی کامپیوتر و فناوری اطلاعات، دانشگاه صنعتی شیراز
**استادیار، دانشکده مهندسی برق و کامپیوتر و مکانیک، دانشگاه غیرانتفاعی ایوانکی
تاریخ دریافت: 03/04/1401 تاریخ پذیرش: 14/10/1401
نوع مقاله: پژوهشی
چكیده
در این پژوهش با هدف بهبود در نتایج استخراج ویژگیها از متن نظرات فارسی و افزایش دقت تحلیل احساسات فارسی، یک چارچوب جدید برای تحلیل احساسات در سطح جمله، بر اساس BERT، مدل استخراج ویژگی CNN-BiLSTM و مدل طبقهبندی XGBoost پیشنهاد شده است. در نهایت نتایج پژوهش دقت 95.02% را برای طبقهبندی احساسات متن نظرات فارسی بر اساس چارچوب پیشنهادی نشان میدهد که بر اساس آن میتوان اذعان داشت، CNN-BiLSTM از جمله روشهای قدرتمند در استخراج ویژگیها از متن فارسی است که ضمن استخراج دقیق ویژگیها، باعث افزایش دقت تحلیل احساسات فارسی نیز میگردد.
واژگان کلیدی: تحلیل احساسات، زبان فارسی، CNN-BiLSTM، BERT، بازار خردهفروشی
1. مقدمه
ظهور ویروس کرونا و لزوم به حداقل رساندن حضور مردم در اماکن عمومی و بازارها برای کاهش انتشار کرونا، موجب گردیده تا صنعت بازار خردهفروشی، در طی چند سال اخیر به شکل گستردهتری، دستخوش تغییر و تحول گردد. به گونهای که تقریبا تمام فرآیندهای این بازار برای ارائه خدماتی مانند فروش
×نویسنده مسئول: فائزه فروتن Forootan_faezeh@yahoo.com
آنلاین محصولات و ایجاد شرایطی برای ثبت نظرات مشتریان، در زمانی کوتاه و با سرعتی چشمگیر تغییر پیدا کردهاند. در چنین شرایطی بازارهای خردهفروشی آنلاین در کشورهای مختلف به ویژه در کشور ایران به سرعت گسترش یافتند و با استقبال زیادی از سوی کاربران مواجه شدند. همین مسئله موجب گردید تا فروشگاههای خردهفروشی آنلاین در ایران با
عرضه اقلام و محصولات متنوع، باعث افزایش تمایل عموم
مردم به ویژه قشر جوان نسبت به خرید آنلاین شوند. دیجیکالا از جمله وبسایتهای خردهفروشی آنلاین در ایران است؛ که به واسطه فروش بیش از 4 میلیون محصول متنوع و بازدید ماهانه 30 میلیون کاربر یکتا، نقش مهمی را در تجارت آنلاین و اقتصاد دیجیتال ایران، ایفا میکند و هم اکنون به عنوان بزرگترین و محبوبترین وبسایت خردهفروشی آنلاین در ایران و خاورمیانه محسوب میشود ]2-1[. دیجیکالا در کنار عرضه محصولات، این امکان را برای کاربران فراهم آورده تا در طی فرآیند خرید، نظرات خود را به صورت متن با دیگران به اشتراک بگذارند. به همین دلیل در حال حاضر دیجیکالا به عنوان یکی از غنیترین منابع متنی زبان فارسی در زمینه متنکاوی1 و پردازش زبان طبیعی2 محسوب میگردد؛ زیرا توانسته است در سال 2021-2020 بیش از ۱۲ میلیون و ۵۶۰ هزار نظر متنی کاربران در زمینه محصولات را، منتشر نماید [1]. تحلیل این دادههای متنی و دستیابی به نتایج آنها برای حوزههای مختلفی با ارزش و حیاتی است. به همین دلیل پژوهشگران در حوزههای مختلف اقتصادی، تجاری، بازاریابی و غیره در تلاشند تا از تکنیکهای تحلیل احساسات3، که به عنوان تحلیل ذهنیت4 نیز شناخته میشود، برای خلاصهسازی، تحلیل و طبقهبندی نظرات استفاده کنند [2]. این در حالیست که تحلیل نظرات فارسی به علت کمبود ابزارهای پردازشی برای این زبان، به عنوان یکی از دشوارترین کارها در زمینه تحلیل احساسات، محسوب میگردد. از این رو پژوهشگران در حوزه زبان فارسی، همواره در تلاشند؛ تا با استفاده از روشها و تکنیکهای جدید تحلیل احساسات، به نتایج معتبری در این زمینه دست یابند.
در این پژوهش با هدف بهبود در نتایج استخراج ویژگیها از متن نظرات فارسی و افزایش دقت تحلیل احساسات، چارچوبی در سطح جمله و بر اساس روش تعبیهسازی5 BERT، مدل استخراج ویژگی 6CNN-BiLSTM و الگوریتم XGBoost، پیشنهاد شده است. بر همین اساس مهمترین نوآوریهای این چارچوب عبارتند از:
1. به کارگیری مدل ترکیبی یادگیری عمیق CNN-BiLSTM با هدف بهبود نتایج در مرحله استخراج ویژگیها از متن نظرات فارسی.
2. به کارگیری مدل طبقهبندی XGBoost، در حالیکه استخراج ویژگیها بر اساس CNN-BiLSTM انجام گردیده است.
3. مقایسه عملکرد و نتایج مدلهای CNN-BiLSTM و CNN-LSTM، در حالیکه برای استخراج ویژگیها از متن نظرات فارسی استفاده شدهاند.
لازم به ذکر است که تا به امروز، هیچ یک از پژوهشگران فارسی زبان، از موارد فوق برای تحلیل احساسات متون نظرات فارسی استفاده نکردهاند. همچنین ساختار مقاله در ادامه بدین صورت تنظیم شده است:
در بخش دوم با عنوان "کارهای مرتبط"، پژوهشهای صورت گرفته در حوزه تحلیل احساسات بررسی شدهاند. مراحل چارچوب پیشنهادی و نتایج هر یک از این مراحل، به ترتیب در بخشهای سوم و چهارم با عنوانهای "چارچوب پیشنهادی" و "پیادهسازی و تحلیل نتایج" مطرح شدهاند. در نهایت مقاله براساس بخش پنجم و با عنوان "نتیجهگیری" به پایان رسیده است.
2. کارهای مرتبط
تا به امروز، پژوهشهای بسیاری در زمینه تحلیل احساسات و بر اساس روشهای مختلف، صورت پذیرفته است. با این حال آنچه امروزه از سوی پژوهشگران، بیش از پیش مورد توجه قرار گرفته است؛ استفاده از مدلهای ترکیبی یادگیری عمیق7 برای بهبود عملکرد تحلیل احساسات میباشد. از این رو با توجه به هدف اصلی پژوهش، مبنی بر استفاده از مدل CNN-BiLSTM برای بهبود عملکرد استخراج ویژگیها، در این بخش تنها به بررسی کارهایی پرداخته شده است، که از مدل ترکیبی CNN-BiLSTM به منظور بهبود عملکرد در استخراج ویژگیها و طبقهبندی احساسات استفاده کردهاند.
2-1. پژوهشهای صورت گرفته بر اساس CNN-BiLSTM در مرحله طبقهبندی احساسات
شن و همکاران8 در 2017 برای بهبود دقت طبقهبندی احساسات از CNN-BiLSTM، استفاده کردهاند [3]. آنها بعد از پیشپردازش مجموعه نظرات فیلم IMDB، از روش GloVe برای تبدیل نظرات به بردارهای عددی استفاده کردهاند. سپس CNN-BiLSTM را بر روی نظرات اعمال کردهاند، که در نهایت نتایج نشان میدهد روش پیشنهادی آنها توانسته است متون نظرات را با دقت 70/89% در دو گروه مثبت و منفی طبقهبندی نماید.
رانویی و همکاران9 در 2019 بعد از پیشپردازش نظرات پیرامون محصولات، از روش Doc2vec برای تعبیهسازی استفاده کردهاند [4]. سپس مدل CNN-BiLSTM را برای طبقهبندی نظرات در سه گروه احساسات مثبت، منفی و خنثی به کار بردهاند. آنها در ادامه به مقایسه عملکرد روش پیشنهادی خود با مدلهای CNN، LSTM، BiLSTM و CNN-LSTM پرداختهاند. نتایج نشان میدهد مدل CNN-BiLSTM با دقت 66/90% نسبت به دیگر مدلها عملکرد بهتری را برای طبقهبندی احساسات داشته است.
سالور و ایدین10 در 2020 برای تعبیهسازی توییتهای پیرامون محصولات، از روشهای FastText، جاسازی در سطح کاراکتر11 و Word2Vec استفاده کردهاند [5]. سپس هر یک از مدلهای یادگیری عمیق CNN و LSTM، BiLSTM،GRU12 و همچنین مدل ترکیبی CNN-BiLSTM را بر مبنای هر سه روش تعبیهسازی بر روی نظرات اعمال کردهاند؛ که در نهایت نتایج نشان میدهد CNN-BiLSTM بر مبنای FastText و با دقت 14/82%، عملکرد بهتری را برای طبقهبندی نظرات در دو گروه مثبت و منفی داشته است.
لی و همکاران13 در 2020 بعد از پیشپردازش توییتهای گردشگران چینی، از روش Word2Vec برای تعبیهسازی استفاده کردهاند [6]. سپس مدلهای ترکیبی CNN-LSTM و CNN-BiLSTM را به صورت موازی بر روی نظرات اعمال کردهاند؛ که نتایج نشان میدهد CNN-BiLSTM با دقت 01/95% عملکرد مناسبتری را