Zastosowanie gier skierowanych na cel do anotacji korpusów językowych

• Authors: Włodarczyk Wojciech

Title variants

EN

The applications of games with a purpose used for obtaining annotated language resources

• Languages of publication: PL

Abstracts

PL

Istnienie problemów AI-zupełnych przyczyniło się do poszukiwań alternatywnych sposobów rozwiązywania problemów sztucznej inteligencji, nie opartych wyłącznie na pracy komputera. Pomimo że komunikacja jest dla ludzi czymś oczywistym, nadal nie istnieje sposób jej automatyzacji. Aktualnie powszechnie stosowanym podejściem w rozwiązywaniu problemów NLP jest podejście statystyczne, którego powodzenie zależy od wielkości korpusu językowego. Przygotowanie rzetelnego zbioru danych jest zatem kluczowym aspektem tworzenia statystycznego systemu sztucznej inteligencji. Z uwagi na zaangażowanie specjalistów jest to proces czasochłonny i kosztowny. Jednym z obiecujących podejść, pomagających zredukować czas i koszt tworzenia otagowanego korpusu, jest korzystanie z gier skierowanych na cel. Ambicją niniejszej pracy jest przybliżenie poszczególnych etapów tworzenia gry przeznaczonej do pozyskania zasobów językowych oraz omówienie skuteczności jej działania. Analiza ta zostanie przeprowadzona na podstawie kolekcji gier Wordrobe wspierających anotacje korpusu języka naturalnego.

EN

The existence of AI-complete problems has led to a growth in research of alternative ways of solving artificial intelligence problems, which are not based solely on the computer. Although for us communication is obvious, there is still no way automate it. The current widely-used approach to solving the problems of NLP is a statistical one, whose success depends on the size of the training corpus. The preparation of a reliable set of data is therefore a key aspect in creating an artificial intelligence statistical system. Due to the involvement of a large number of specialists this is a very time-consuming and expensive process. One promising approache in helping reduce the time and cost of creating a tagged corpus is the use of games with a purpose. The objective of this paper is to present the stages of creating games with a purpose used for obtaining annotated language resources and to discuss its effectiveness. This analysis will be done based on the Wordrobe project, a collection of games created to support the gathering of an annotated corpus of natural language.

Keywords

PL

gry skierowane na cel; GWAP; crowdsourcing; human computation; przetwarzanie języka naturalnego; sztuczna inteligencja, AI-zupełne; anotacja korpusu; Wordrobe

EN

game with a purpose; GWAP; crowdsourcing; human computation; natural language processing; artificial intelligence, AI-complete; corpus annotation; Wordrobe

• Publisher: Fundacja Pro Scientia Publica
• Journal: Ogrody Nauk i Sztuk
• Year: 2015
• Issue: 5
• Pages: 112-220

Dates

published

2015

Contributors

author

Włodarczyk Wojciech

• Uniwersytet im. Adama Mickiewicza w Poznaniu Ul. Wieniawskiego 1, 61-712 Poznań

References

• Bibliografia:
• [1] von Ahn L., Games With a Purpose, „Institute of Electrical and Electronics Engineers Computer Magazine” 2006.
• [2] von Ahn L., Dabbish L., Designing Games with a Purpose, „Communications of the Association for Computing Machinery” 2008, no. 51 (8).
• [3] Aker A., El-Haj M., Albakour M., Kruschwitz U., Assessing Crowdsourcing Quality through Objective Tasks, „Language Resources and Evaluation Conference” 2012.
• [4] Bolshakov I. A., Gelbukh A., Computational Linguistics: Models, Resources, Applications, Mexico 2004.
• [5] Goutte C., Gaussier E., A Probabilistic Interpretation of Precision, Recall and F-Score, with Implication for Evaluation, „The European Conference on Information Retrieval” 2005.
• [6] Grier D. A., Foundational Issues in Human Computing and Crowdsourcing, „Conference on Human Factors in Computing Systems” 2011.
• [7] Grytczuk J., Czy wszystko można obliczyć. Łagodne wprowadzenie do złożoności obliczeniowej, [w:] Sysło M. M. (red.), Homo Informaticus, Warszawa 2012.
• [8] Howe J., The Rise of Crowdsourcing, „Wired Magazine” 2006, no. 14 (6).
• [9] Jones K. S., Natural Language Processing: a Historical Review, „Artificial Intelligence Review” 2001.
• [10] McCreadie R., Macdonald C., Ounis I., Identifying Top News Using Crowdsourcing, „Information Retrieval” 2012, no. 16 (2).
• [11] Nadkarni P. M., Ohno-Machado L., Chapman W. W., Natural Language Processing: an Introduction, „The Journal of the American Medical Informatics Association” 2011, no. 18 (5).
• [12] Paroubek P., Chaudiron S., Hirschman L., Principles of Evaluation in Natural Language Processing, „French Association for Natural Language Processing” 2007, no. 48 (1).
• [13] Quinn J., Bederson B. B., Human Computation: a Survey and Taxonomy of a Growing Field, „Conference on Human Factors in Computing Systems” 2011.
• [14] Resnik P., Klavans J., The Balancing Act: Combining Symbolic and Statistical Approaches to Language, New Mexico 1994.
• [15] Sabou M., Bontcheva K., Derczynski L., Scharl A., Corpus Annotation through Crowdsourcing: Towards Best Practice Guidelines, „Language Resources and Evaluation Conference” 2014.
• [16] Samuel K., The Gold Standard and the Origins of the Modern International Monetary System, „Centre Études internationales et Mondialisation” 2003, no. 3(1).
• [17] Surowiecki J., The Wisdom of Crowds, New York 2005.
• [18] Sysło M. M., Historia rachowania – ludzie, idee, maszyny. Historia mechanicznych kalkulatorów, [w:] Sysło M. M. (red.), Homo Informaticus, Warszawa 2012.
• [19] Szymański J., Duch W., Annotating Words Using WordNet Semantic Glosses, [w:] Huang T., Zeng Z., Li C., Leung C. S. (red.), Neural Information Processing, Doha 2012.
• [20] Tkaczyk P., Grywalizacja. Jak zastosować mechanizmy gier w działaniach marketingowych, Gliwice 2012.
• [21] Venhuizen N. J., Basilem K., Evang V., Bos J., Gamification for Word Sense Labeling, „IWCS” 2013.
• [22] Yampolskiy R. V., AI-Complete, AI-Hard, or AI-Easy – Classification of Problems in AI, [w:] Visa S., Inoue A., Ralescu A. (red.), Proceedings of the 23rd Midwest Artificial Intelligence and Cognitive Science Conference, Cincinnati 2012.
• Netografia:
• [21] Adami A. G., Automatic Speech Recognition: from the Beginning to Portuguese Language, Materiały konferencyjne, International Conference on Computational Processing of Portuguese 2010, https://www.inf.pucrs.br/~propor2010/proceedings/tutorials/Adami.pdf, 31.12.2014.
• [22] von Ahn L., Human Computation. Rozprawa doktorska, http://reports-archive.adm.cs.cmu.edu/anon/2005/CMU-CS-05-193.pdf, Carnegie Mellon University 2005, 31.12.2014.
• [23] Amazon Mechanical Turk, https://www.mturk.com , 30.12.2014.
• [24] Howe J., Crowdsourcing: A Definition, http://crowdsourcing.typepad.com, 31.12.2014.
• [25] Gra Eterna, http://eternagame.org/, 30.12.2014.
• [26] Gra Eyewire, http://eyewire.org, 30.12.2014.
• [27] Gra Phylo, http://phylo.cs.mcgill.ca/, 30.12.2014.
• [28] Gra Wordrobe, www.wordrobe.org, 30.12.2014.
• [29] The Groningen Meaning Bank, http://gmb.let.rug.nl/, 30.12.2014.

Identifiers

ISSN

2299-2014

DOI

10.15503/onis2015.212.220