Analiza sentymentu – metoda analizy danych jakościowych. Przykład zastosowania oraz ewaluacja słownika RID i metody klasyfikacji Bayesa w analizie danych jakościowych

• Authors: Krzysztof Tomanek

Title variants

EN

Sentiment analysis. An example of application and evaluation of RID dictionary and Bayesian classification methods in qualitative data analysis approach

• Languages of publication: PL

Abstracts

PL

Celem artykułu jest prezentacja podstawowych metod klasyfikacji jakościowych danych tekstowych. Metody te korzystają z osiągnięć wypracowanych w takich obszarach, jak przetwarzanie języka naturalnego i analiza danych nieustrukturalizowanych. Przedstawiam i porównuję dwie techniki analityczne stosowane wobec danych tekstowych. Pierwsza to analiza z zastosowaniem słownika tematycznego. Druga technika oparta jest na idei klasyfikacji Bayesa i opiera się na rozwiązaniu zwanym naiwnym klasyfikatorem Bayesa. Porównuję efektywność dwóch wspomnianych technik analitycznych w ramach analizy sentymentu. Akcentuję rozwiązania mające na celu zbudowanie trafnego, w kontekście klasyfikacji tekstów, słownika. Porównuję skuteczność tak zwanych analiz nadzorowanych do skuteczności analiz zautomatyzowanych. Wyniki, które prezentuję, wzmacniają wniosek, którego treść brzmi: słownik, który w przeszłości uzyskał dobrą ocenę jako narzędzie klasyfikacyjne, gdy stosowany jest wobec nowego materiału empirycznego, powinien przejść fazę ewaluacji. Jest to, w proponowanym przeze mnie podejściu, podstawowy proces adaptacji słownika analitycznego, traktowanego jako narzędzie klasyfikacji tekstów.

EN

The purpose of this article is to present the basic methods for classifying text data. These methods make use of achievements earned in areas such as: natural language processing, the analysis of unstructured data. I introduce and compare two analytical techniques applied to text data. The first analysis makes use of thematic vocabulary tool (sentiment analysis). The second technique uses the idea of Bayesian classification and applies, so-called, naive Bayes algorithm. My comparison goes towards grading the efficiency of use of these two analytical techniques. I emphasize solutions that are to be used to build dictionary accurate for the task of text classification. Then, I compare supervised classification to automated unsupervised analysis’ effectiveness. These results reinforce the conclusion that a dictionary which has received good evaluation as a tool for classification should be subjected to review and modification procedures if is to be applied to new empirical material. Adaptation procedures used for analytical dictionary become, in my proposed approach, the basic step in the methodology of textual data analysis.

Keywords

PL

analiza danych jakościowych; analiza sentymentu; analiza treści; text mining; kodowanie tekstów; przetwarzanie języka naturalnego słownik RID; naiwny klasyfikator Bayesa; CAQDAS

EN

qualitative data analysis; sentiment analysis; content analysis; text mining; coding techniques; natural language processing; RID dictionary; naive Bayes; CAQDAS

• Publisher: Uniwersytet Łódzki. Wydawnictwo Uniwersytetu Łódzkiego
• Journal: Przegląd Socjologii Jakościowej
• Year: 2014
• Volume: 10
• Issue: 2
• Pages: 118-136

Contributors

author

Krzysztof Tomanek

• Instytut Socjologii, Uniwersytet Jagielloński

References

• Acerbi Alberto i in. (2013) The Expression of Emotions in 20th Century Books. „PLoS ONE”, vol. 8, no. 3
• Cardie Claire i in. (2003) Combining low-level and summary representations of opinions for multi-perspective question answering [w:] Proceedings of the AAAI Spring Symposium on New Directions in Question Answering, s. 20–27.
• Das Sanjiv R., Chen Mike J. (2001) Yahoo! for Amazon: Extracting market sentiment from stock message boards [w:] Proceedings of the Asia Pacific Finance Association Annual Conference (APFA).
• Dave Kushal, Lawrence Steve, Pennock David M. (2003) Mining the peanut gallery: Opinion extraction and semantic classification of product reviews [w:] Proceedings of WWW, s. 519–528.
• DeWall Nathan C. i in. (2011) Tuning in to psychological change: Linguistic markers of psychological traits and emotions over time in popular U.S. song lyrics. „Psychology of Aesthetics, Creativity, and the Arts”, vol. 5, no. 3, s. 200–207.
• Dini Luca, Mazzini Giampaolo (2002) Opinion classification through information extraction [w:] Proceedings of the Conference on Data Mining Methods and Databases for Engineering, Finance and Other Fields (Data Mining), s. 299–310.
• Domingos Pedro, Pazzani Michael (1997) On the optimality of the simple Bayesian classifier under zero-one loss. Machine Learning”, vol. 29, no. 2/3, s. 103–130.
• Esuli Andrea, Sebastiani Fabrizio (2006) SENTIWORDNET: A Publicly Available Lexical Resource for Opinion Mining [w:] Proceedings of the 5th Conference on Language Resources and Evaluation, LREC’06, s. 417–422.
• Hogenraad Robert, Orianne Emilie (1986) Imagery, regressive thinking, and verbal performance in internal monologue. „Imagination, Cognition, and Personality”, vol. 5, no. 2, s. 127–145.
• Hopkins Daniel, King Gary (2010) Extracting systematic social science meaning from text. „American Journal of Political Science”, vol. 54, no. 1, s. 229–247.
• Hotho Andreas, Nürnberger Andreas, Paaß Gerhard (2005) A Brief Survey of Text Mining. „German Journal for Computer Linguistics and Speech Technology”, vol. 20, no. 1, s. 19–62.
• Jurafsky Dan, Martin James H. (2009) Speech and natural language processing: An introduction to natural language processing, computational linguistics, and speech recognition. Upper Saddle River, NJ: Prentice Hall.
• Lieberman Erez i in. (2007) Quantifying the evolutionary dynamics of language. „Nature”, vol. 449, no. 7163, s. 713–716.
• Loughran Tim, McDonald Bill (2011) When is a Liability not a Liability? Textual Analysis, Dictionaries, and 10-Ks. „The Journal of Finance”, vol. 66, no. 1, s. 35–65.
• Martindale Colin (1976) Primitive mentality and the relationship between art and society. „Scientific Aesthetics”, vol. 1, s. 5–18.
• Martindale Colin (1977) Syntactic and semantic correlates of verbal tics in Gilles de la Tourette's syndrome: A quantitative case study. „Brain and Language”, vol. 4, s. 231–247.
• Martindale Colin (1990) The clockwork muse: The predictability of artistic change. New York: Basic Books.
• Michel Jean-Baptistei in. (2011) Quantitative Analysis of Culture Using Millions of Digitized Books. „Science”, vol. 331, s. 176–182.
• Nasukawa Tetsuya, Yi Jeonghee (2003) Sentiment analysis: Capturing favorability using natural language processing [w:] Proceedings of the Conference on Knowledge Capture (K-CAP).
• Nielsen Finn Å. (2011) A new ANEW: Evaluation of a word list for sentiment analysis in microblogs [w:] Rowe Matthew I in., eds., Proceedings of the ESWC2011 Workshop on 'Making Sense of Microposts': Big things come in small packages 718 in CEUR Workshop Proceedings, MIASTO WYDANIA: Heraklion, s. 93–98.
• Pagel Mark, Atkinson Quentin D., Meade Andrew (2007) Frequency of word-use predicts rates of lexical evolution throughout IndoEuropean history. „Nature”, vol. 449, s. 717–720.
• Pang Bo, Lee Lillian (2002) Thumbs up? Sentiment Classification using Machine Learning Techniques. „EMNLP ‘02 Proceedings of the ACL-02 conference on Empirical methods in natural language processing”, vol. 10, s. 79–86.
• Pang Bo, Lee Lillian (2008) Opinion Mining and Sentiment Analysis. „Foundations and Trends in Information Retrieval”, vol. 2, s. 1–135.
• Rorty Richard (1996) Przygodność, ironia i solidarność. Przełożył W. J. Popowski. Warszawa: Spacja.
• Rorty Richard (1999) Obiektywność, relatywizm i prawda. Przełożył J. Margański. Warszawa: Aletheia.
• Tong Richard M. (2001) An operational system for detecting and tracking opinions in on-line discussion [w:] Working Notes of the SIGIR Workshop on Operational Text Classification. New Orleans, s. 1–6.
• Yi Jeonghee i in. (2003) Sentiment analyzer: Extracting sentiments about a given topic using natural language processing techniques [w:] Proceedings of the Third IEEE International Conference on Data Mining (ICDM’03) IEEE Computer Society Washington, s. 427–434.