PL EN


2015 | 8 | 2(15) | 137-156
Article title

Ewaluacja skuteczności systemów wyszukiwania informacji. Od eksperymentu Cranfield do laboratoriów TREC i CLEF. Geneza i metody

Content
Title variants
EN
Evaluation of IR systems efficiency. From Cranfield to TREC and CLEF labs. Genesis and methods
Languages of publication
PL
Abstracts
PL
W artykule prezentujemy rozwój metod i miar służących do oceny efektywności systemów informacyjno-wyszukiwawczych. Zostały w nim opisane założenia eksperymentu Cranfield, jako długoletniego wyznacznika metodologii ewaluacyjnej, oraz zarzuty stawiane organizacji samego eksperymentu. Ważną częścią artykułu jest także opis ewolucji powszechnie dziś stosowanej metodologii ewaluacji systemów informacyjno-wyszukiwawczych, wypracowanej podczas dorocznych konferencji TREC (Text REtrieval Conference), a także omówienie najpowszechniej obecnie stosowanych miar ewaluacyjnych w tym zakresie. Artykuł przedstawia również organizację laboratoriów ewaluacyjnych CLEF (Conference and Labs of the Evaluation Forum) ze szczególnym uwzględnieniem panelu CHiC (Cultural Heritage in CLEF), a na gruncie języka polskiego – Polish Task in CHiC.
EN
We present the genesis and evolution of methods and measures of IR systems evaluation. The design of the Cranfield experiment, a long-term model for evaluation methodology, is described. Evolution of current methodology of IR systems evaluation, developed at the annual TREC (Text REtrieval Conference) is provided, and the most popular and current measures described. The article presents also design of the CLEF (Conference and Labs of the Evaluation Forum) evaluation labs with special attention paid to CHiC (Cultural Heritage in CLEF). We describe the design of Polish Task in CHiClab and discuss conclusions from lab realisation.
Year
Volume
8
Issue
Pages
137-156
Physical description
Dates
published
2015-12-31
Contributors
author
  • Instytut Informacji Naukowej i Bibliologii, Uniwersytet Mikołaja Kopernika w Toruniu, piomk@umk.pl
References
  • Akasereh Mitra, Malak Piotr, Pawłowski Adam, Evaluation of IR Strategies for Polish, [w:] Advances in Natural Language Processing. 9th International Conference on NLP, PolTAL 2014,Warsaw, Poland, September 17–19, 2014. Proceedings, ed. by Adam Przepiórkowski, Maciej Ogrodniczuk, Heidelberg [et al.] 2014, s. 384–391 (Lecture Notes in Computer Science; vol. 8686).
  • CHIC 2012.Tasks [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.promise-noe.eu/tasks.
  • CHiC 2013.CHiC: Cultural Heritage in CLEF [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.promise-noe.eu/chic-2013/home.
  • CHiC 2013. Polish Task [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.promise-noe.eu/chic-2013/tasks/polish-task.
  • Elektroniczny słownik języka polskiego XVII i XVIII wieku [online]. Polska Akademia Nauk, Instytut Języka Polskiego, 2008 [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://sxvii.pl/index.php?strona=haslo&id_hasla=9516&forma=RZE%C5%B9BA#9516.
  • Europeana: think culture[online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.europeana.eu/portal/.
  • Fautsch Claire, Savoy Jacques, Algorithmic Stemmers or Morphological Analysis: An Evaluation, „Journal of American Society for Information Science and Technology” 2009, vol. 60, iss. 8, s. 1616–1624.
  • Feldstein Ron F., A Concise Polish Grammar [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.seelrc.org:8080/grammar/mainframe.jsp?nLanguageID=4.
  • Głowacka Ewa,Badania efektywności języków informacyjno-wyszukiwawczych (komunikat z badań),[w:] Komputeryzacja bibliotek: materiały konferencji 24–26 maja 1993 r., Toruń, pod red. Bohdana Ryszewskiego, Toruń 1994, s. 209–213.
  • Guidelines for Participation and Submission [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/Participation.html.
  • Jagodzinski Grzegorz, A Grammar of the Polish Language [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://grzegorj.w.interia.pl/gram/en/gram00.html.
  • Malak Piotr, Information searching over Cultural Heritage objects, and press news, [w:] Human language technologies as a challenge for computer science and linguistics: 6th Language & Technology Conference, December 7–9, 2013, Poznań, Poland: proceedings, ed. by Zygmunt Vetulani, Hans Uszkoreit, Poznań 2013, s. 434–438.
  • Malak Piotr, The Polish Task within Cultural Heritage in CLEF (CHiC) 2013. Torun Runs, [w:] Working Notes for CLEF 2013 Conference, Valencia, Spain, September 23–26, 2013, ed. by Pamela Forner, Roberto Navigli, Dun Tufis [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.clef-initiative.eu/documents/71612/b00f7561-fadb-47a8-ab67-74f116ce062a.
  • Mykowiecka Agnieszka, Inżynieria lingwistyczna. Komputerowe przetwarzanie tekstów w języku naturalnym, Warszawa 2007.
  • Petras Vivien, Bogers Toine, Toms Elaine, Hall Mark, Savoy Jacques, Malak Piotr, Pawłowski Adam, Ferro Nicola, Masiero Ivano, Cultural Heritage in CLEF (CHiC) 2013, [w:] Information Access Evaluation. Multilinguality, Multimodality, and Visualization, Information Access Evaluation. Multilinguality, Multimodality, and Visualization – 4th International Conference of the CLEF Initiative, CLEF 2013, Valencia, Spain, September 2013, Proceedings, ed. by Pamela Forner [et. al.], Berlin–Heidelberg 2013, s. 192–211.
  • Petras Vivien, Ferro Nicola, Gäde Maria, Isaac Antoine, Kleineberg Michael, Masiero Ivano, Nicchio Mattia, Stiller Juliane, Cultural Heritage in CLEF (CHiC) Overview 2012 [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.clef-initiative.eu/documents/71612/0cadb163-3e32-4f16-a659-b457480c2a29.
  • Polish Track at CLEF 2013 [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/.
  • Polish Track at CLEF 2013 [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/.
  • Savoy Jacques, Light Stemming Approaches for the French, Portuguese, German and Hungarian Languages, [w:] Proceedings. SAC ‘06 Proceedings of the 2006 ACM symposium on Applied computing, New York 2006, s. 1031–1035.
  • Słownik encyklopedyczny informacji, języków i systemów informacyjno-wyszukiwawczych, pod red. Bożenny Bojar, Warszawa 2002.
  • Słownik poprawnej polszczyzny PWN, pod red. Witolda Doroszewskiego; oprac. i red. Czesław Pankowski Warszawa 1995.
  • Swan Oskar E., Polish Grammar in a Nutshell [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://polish.slavic.pitt.edu/firstyear/nutshell.pdf.
  • Szałkiewicz Łukasz, Przepiórkowski Adam, Anotacja morfo składniowa, [w:] Narodowy Korpus Języka Polskiego, pod red. Adama Przepiórkowskiego, Mirosława Bańki, Rafała L. Górskiego, Barbary Lewandowskiej-Tomaszczyk, Warszawa 2012, s. 59–96.
  • TREC: Experiment and Evaluation in Information Retrieval (Digital Libraries and Electronic Publishing),ed. by Ellen M. Vorhees, Donna K. Harman, Cambridge 2005.
  • Woliński Marcin, System znaczników morfosyntaktycznych w korpusie IPI PAN, „Polonica” 2003, t. XXII-XXIII, s. 39–55.
  • Woźniak Jadwiga, Kategoryzacja. Studium z teorii języków informacyjno-wyszukiwawczych, Warszawa 2000.
Document Type
Publication order reference
Identifiers
YADDA identifier
bwmeta1.element.desklight-2d0d03e0-3956-4c17-91bd-7ce7afe95398
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.