Ewaluacja skuteczności systemów wyszukiwania informacji. Wyniki eksperymentu Polish Task realizowanego w ramach Conference and Labs of the Evaluation Forum (CLEF) 2012

• Authors: Malak Piotr , Pawłowski Adam

Title variants

EN

Evaluation of IR Systems Efficiency. Results of Experiment Polish Task within Conference and Labs of the Evaluation Forum (CLEF) 2012

• Languages of publication: PL

Abstracts

PL

W niniejszym artykule prezentujemy realizację laboratorium ewaluacyjnego CLEF (Conference and Labs of the Evaluation Forum) ze specjalnym uwzględnieniem kampanii CHiC (Cultural Heritage in CLEF). Opisujemy realizację oraz wyniki zadania Polish Task in ChiC. W artykule zaprezentowano wnioski z realzacji zadania. Zostały omówione wyniki uzyskane przez uczestników zadania przy użyciu różnych strategii indeksowania oraz wyszukiwania zasobów. Porównaliśmy efektywność metod tf-idf, OKAPI, DFR oraz data fusion.

EN

The article presents the design of CLEF (Conference and Labs of the Evaluation Forum) evaluation labs with special attention paid to CHiC (Cultural Heritage in CLEF). We describe design of Polish Task in CHiClab and discuss conclusions from lab realisation. We discuss results achieved by different participants using different indexing and matching approaches. Efficiency of tf-idf, OKAPI, DFR and data fusion was compared and analysed.

Keywords

PL

CLEF; ewaluacja systemów informacyjno-wyszukiwawczych; laboratorium ewaluacyjne CLEF; wyszukiwanie informacji w języku polskim

EN

CLEF evaluation lab; IR in Polish; IR systems evaluation

• Publisher: Uniwersytet Mikołaja Kopernika w Toruniu. Wydawnictwo UMK
• Journal: Toruńskie Studia Bibliologiczne
• Year: 2016
• Volume: 9
• Issue: 1(16)
• Pages: 193-210

Dates

published

2016-06

Contributors

author

Malak Piotr

• Instytut Informacji Naukowej i Bibliologii, Uniwersytet Mikołaja Kopernika w Toruniu

author

Pawłowski Adam

• Instytut Informacji Naukowej i Bibliotekoznawstwa, Uniwersytet Wrocławski

References

• Akasereh Mitra, Malak Piotr, Pawłowski Adam, Evaluation of IR Strategies for Polish, [w:] Advances in Natural Language Processing. 9th International Conference on NLP, PolTAL 2014,Warsaw, Poland, September 17–19, 2014. Proceedings, ed. by Adam Przepiórkowski, Maciej Ogrodniczuk, Heidelberg [et al.] 2014, s. 384–391 (Lecture Notes in Computer Science; vol. 8686).
• CHIC 2012. Tasks [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.promise-noe.eu/tasks.
• CHiC 2013.CHiC: Cultural Heritage in CLEF [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.promise-noe.eu/chic-2013/home.
• CHiC 2013. Polish Task [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.promise-noe.eu/chic-2013/tasks/polish-task.
• Elektroniczny słownik języka polskiego XVII i XVIII wieku [online]. Polska Akademia Nauk, Instytut Języka Polskiego, 2008 [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://sxvii.pl/index.php?strona=haslo&id_hasla=9516&forma=RZE%C5%B9BA#9516.
• Europeana: think culture [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.europeana.eu/portal/.
• Fautsch Claire, Savoy Jacques, Algorithmic Stemmers or Morphological Analysis: An Evaluation, „Journal of American Society for Information Science and Technology” 2009, vol. 60, iss. 8, s. 1616–1624.
• Feldstein Ron F., A Concise Polish Grammar [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.seelrc.org:8080/grammar/mainframe.jsp?nLanguageID=4.
• Głowacka Ewa, Badania efektywności języków informacyjno-wyszukiwawczych (komunikat z badań),[w:] Komputeryzacja bibliotek: materiały konferencji 24–26 maja 1993 r., Toruń, pod red. B. Ryszewskiego, Toruń 1994, s. 209–213.
• Guidelines for Participation and Submission [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/Participation.html.
• Jagodzinski Grzegorz, A Grammar of the Polish Language [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://grzegorj.w.interia.pl/gram/en/gram00.html.
• Malak Piotr, Information searching over Cultural Heritage objects, and press news, [w:] Human language technologies as a challenge for computer science and linguistics: 6th Language & Technology Conference, December 7–9, 2013, Poznań, Poland: proceedings, ed. by Zygmunt Vetulani, Hans Uszkoreit, Poznań 2013, s. 434–438.
• Malak Piotr, The Polish Task within Cultural Heritage in CLEF (CHiC) 2013. Torun Runs, [w:] Working Notes for CLEF 2013 Conference, Valencia, Spain, September 23–26, 2013, ed. by P. Forner, R. Navigli, D. Tufis [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.clef-initiative.eu/documents/71612/b00f7561-fadb-47a8-ab67-74f116ce062a.
• Mykowiecka Agnieszka, Inżynieria lingwistyczna. Komputerowe przetwarzanie tekstów w języku naturalnym, Warszawa 2007.
• Petras Vivien, Bogers Toine, Toms Elaine, Hall Mark, Savoy Jacques, Malak Piotr, Pawłowski Adam, Ferro Nicola, Masiero Ivano, Cultural Heritage in CLEF (CHiC) 2013, [w:] Information Access Evaluation. Multilinguality, Multimodality, and Visualization, Information Access Evaluation. Multilinguality, Multimodality, and Visualization – 4th International Conference of the CLEF Initiative, CLEF 2013, Valencia, Spain, September 2013, Proceedings, ed. by P. Forner [et. al.], Berlin – Heidelberg 2013, s. 192–211.
• Petras Vivien, Ferro Nicola, Gäde Maria, Isaac Antoine, Kleineberg Michael, Masiero Ivano, Nicchio Mattia, Stiller Juliane, Cultural Heritage in CLEF (CHiC) Overview 2012 [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.clef-initiative.eu/documents/71612/0cadb163-3e32-4f16-a659-b457480c2a29.
• Polish Track at CLEF 2013 [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/.
• Savoy Jacques, Light Stemming Approaches for the French, Portuguese, German and Hungarian Languages, [w:] Proceedings. SAC ‘06 Proceedings of the 2006 ACM symposium on Applied computing, New York 2006, s. 1031–1035.
• Słownik encyklopedyczny informacji, języków i systemów informacyjno-wyszukiwawczych, pod red. Bożenny Bojar, Warszawa 2002.
• Słownik poprawnej polszczyzny PWN, red. Witold Doroszewski; oprac. i red. Czesław Pankowski Warszawa 1995.
• Szałkiewicz Łukasz, Przepiórkowski Adam, Anotacja morfo składniowa, [w:] Narodowy Korpus Języka Polskiego, red. Adam Przepiórkowski, Mirosław Bańko, Rafał L. Górski, Barbara Lewandowska-Tomaszczyk, Warszawa 2012, s. 59–96.
• TREC: Experiment and Evaluation in Information Retrieval (Digital Libraries and Electronic Publishing),ed. by Ellen M. Vorhees, Donna K. Harman, Cambridge 2005.
• Woźniak Jadwiga, Kategoryzacja. Studium z teorii języków informacyjno-wyszukiwawczych, Warszawa 2000.

Identifiers

DOI

10.12775/TSB.2016.010