PL EN


2013 | 51 | 2(102) | 78-97
Article title

Skuteczność metod i technik badania użyteczności naukowych serwisów WWW. Wnioski z testów funkcjonalnych platformy PASSIM

Content
Title variants
EN
The effectiveness of Methods and Techniques Used in Research on the Usability of Scientific Websites. Conclusions from the Usability Tests of the PASSIM Platform
Languages of publication
PL EN
Abstracts
PL
CEL/TEZA: Celem artykułu jest prezentacja wyników badań dotyczących skuteczności metod oceny użyteczności serwisów WWW. Przedmiotem badań była platforma PASSIM, prototyp internetowego systemu informacyjnego dla studentów i naukowców w Polsce. KONCEPCJA/METODY BADAŃ: Wykorzystano analizę i krytykę piśmiennictwa oraz przeprowadzono badania użyteczności platformy PASSIM wykorzystując: klasyczne testy funkcjonalne, Indirect Oral Operational Method, zogniskowany wywiad grupowy, wywiad oparty na modelu Kano, ankietę User Experience. WYNIKI I WNIOSKI: Badania wykazały skuteczność zastosowanego narzędzia badawczego, złożonego z wzajemnie uzupełniających się metod i technik. Pozwala ono na wnioskowanie na różnym poziomie szczegółowości, począwszy od wykazu błędów i usterek (testy funkcjonalne) poprzez sugestie stosownych rozwiązań usprawniających system (IOOM), ocenę heurystyczną (focus), ocenę poziomu innowacyjności (model Kano), aż do poziomu ogólnego – odczuć i wrażeń, jakie na użytkowniku wywołuje praca z serwisem (User Experience). Wyniki wykazały nieskuteczność badań ankietowych oraz dużą efektywność ankiety User Experience wyłącznie w odniesieniu do grupy ekspertów. ZASTOSOWANIE PRAKTYCZNE: Skonstruowane narzędzie badawcze może być wykorzystane w badaniach użyteczności serwisów naukowych. ORYGINALNOŚĆ/WARTOŚĆ POZNAWCZA: Przeprowadzone badania pozwoliły uzupełnić niedostatecznie reprezentowaną w polskiej literaturze przedmiotu problematykę badania użyteczności serwisów naukowych.
EN
PURPOSE/THESIS: The aim of this paper is to present the results of the research on the effectiveness of evaluation methods used for website usability assessment. The website assessed is PASSIM platform – a prototype of online information system addressed to Polish students and scientists. APPROACH/METHODS: The authors use the critical analysis of the literature and test PASSIM platform with classic usability tests, Indirect Oral Operational Method, focused group interviews, interviews based on Kano Model and User Experience survey. RESULTS AND CONCLUSIONS: The study proves the effectiveness of the research tool consisting of complementary methods and techniques. The tool in question enables inferring at various specificity levels, starting from the lists of errors and flaws (usability testing) through improvement suggestions (IOOM), heuristic evaluation (focused group interviews) and innovation level assessment (Kano model) to the general level of experience and impressions gained by the users while working with the website (User Experience). The results of the research show a general ineffectiveness of surveys and considerable efficiency of User Experience survey only when applied to the group of experts. PRACTICAL IMPLICATIONS: The research tool used in this case may be applied in the usability tests of other scientific websites. ORIGINALITY/VALUE: The study significantly supplements the discussion on scientific website usability testing, the issue largely underrepresented in Polish literature.
Year
Volume
51
Issue
Pages
78-97
Physical description
Dates
received
2013-09-10
revised
2013-12-04
accepted
2013-12-09
Contributors
  • Instytut Informacji Naukowej i Bibliotekoznawstwa, Uniwersytet Jagielloński
  • Instytut Informacji Naukowej i Bibliotekoznawstwa, Uniwersytet Jagielloński
References
  • Andrzejczak, Ch.; Liu, D. (2010). The effect of testing location on usability testing performance, participant stress levels, and subjective testing experience. Journal of Systems and Software, 83(7), 1258–1266.
  • Bastion, Ch. (2010). Usability testing: a review of some methodological and technical aspects of the method. International Journal of Medical Informatics, 79, 18–23.
  • Bellwood, P.; Neuhaus, P.; Juhra, C. (2011). Adapting usability testing techniques to gather user requirements: An illustrative proposal. Studies in Health Technology and Informatics, 164, 213–218.
  • Berg, G.; Thomaschewski, J. (2010). Joy-of-Use in wissenschaftlichen Portalen. In: J. Hellmers; T. Wriedt; J. Thomaschewski (eds.) Symposium Wissenschaftliche Portale und Informationsnetz-werke. Bremen: Institut für Werkstofftechnik, 8–15.
  • Choi, J.; Bakkenb, S. (2010). Web-based education for low-literate parents in Neonatal Intensive Care Unit: Development of a website and heuristic evaluation and usability testing. International Journal of Medical Informatics, 79(8), 565–575.
  • Ekşioglu, M. et. al. (2011). Heuristic evaluation and usability testing: case study. Internationalization, Design and Global Development, 6775, 143–151.
  • Eysenbach, G.; Köhler, Ch. (2002). How do consumers search for and appraise health information on the world wide web? Qualitative study using focus groups, usability tests, and in-depth interviews. British Medical Journal, 324, 573–577.
  • Federici, S.; Borsci, S.; Stamerra, G. (2010). Web usability evaluation with screen reader users: implementation of the partial concurrent thinking aloud technique. Cognitive Processing, 11(3), 263–272.
  • Følstada, A.; Hornbækb, K. (2010). Work-domain knowledge in usability evaluation: Experiences with Cooperative Usability Testing. Journal of Systems and Software, 83(11), 2019–2030.
  • Garmera, K.; Ylvénb, J.; Karlsson, M. (2004). User participation in requirements elicitation comparing focus group interviews and usability tests for eliciting usability requirements for medical equipment: a case study. International Journal of Industrial Ergonomics, 33(2), 85–98.
  • Grudowski, P.; Dębowski, J. (2012). Metoda Kano w ocenie i analizie satysfakcji klienta. Pieniądze i Więź, 1(54), 82–87.
  • Hellmers, J.; Thomaschewski, J.; Holt, E-M.; Wriedt, T. (2012). Usability evaluation methods for a scientific internet information portal. Journal of Universal Computer Science, 8(10), 1308–1322.
  • Hori, M.; Kihara, Y.; Kato, T. (2011). Investigation of indirect oral operation method for think aloud usability testing. In: M. Kurosu (ed.) Human Centered Design: Second International Conference, HCD 2011,held as part of HCI International 2011, Orlando, Fl, USA, July 9–14, 2011 : proceedings. Heidelberg: Springer, 38–46.
  • Jardanowski, P. (2010). Badanie użyteczności a badanie rynku [online], Blog Symetria [15.06.2013], http://symetria.pl/blog/artykuly/badanie-uzytecznosci-a-badanie-rynku/
  • Kasperski, M.; Boguska-Torbicz, A. (2008). Projektowanie stron WWW. Użyteczność w Praktyce. Gliwice: Helion.
  • Khajouei, R.; Hasman, A.; Jaspers, M.W.M. (2011). Determination of the effectiveness of two methods for usability evaluation using a CPOE medication ordering system. International Journal of Medical Informatics, 80(5), 341–350.
  • Kozłowska, M. (2007). Testy użyteczności to nie fokusy, naprawdę! [online], Web Usability. Użyteczność i dostępność [15.06.2013], http://www.webusability.pl/2007/01/24/testy-uzytecznosci-to-nie-fokusy-naprawde/
  • Krug, S. (2005). Nie każ mi myśleć: o życiowym podejściu do funkcjonalności stron internetowych. Gliwice: Helion.
  • Krug, S. (2010). Przetestuj ją sam! O funkcjonalności stron internetowych. Gliwice: Helion.
  • Laugwitz, B.; Held, T.; Schrepp, M. (2008). Construction and evaluation of a user experience questionnaire. In: A. Holzinger (ed.) HCI and Usability for Education and Work: 4th Symposium of the Workgroup Human-Computer Interaction and Usability Engineering of the Austrian Computer Society, USAB 2008, Graz, Austria, November 20–21, 2008: proceedings. Berlin: Springer-Verlag, 63–76.
  • Lipiec, M. (2010). Problemy z terminologią – User Experience Design: Projektowanie Interakcjii Użyteczność [online]. User experience design [7.07.2013], http://uxdesign.pl/problemy-z-terminologia/
  • Lisek-Michalska, J.; Daniłowicz, P., red. (2007). Zogniskowany wywiad grupowy. Studia nad metodą. Łódź: Wydaw. UŁ.
  • Maison, D. (2001). Zogniskowane wywiady grupowe: jakościowa metoda badań marketingowych. Warszawa: Wydaw. Naukowe PWN.
  • Marzec, P. (2007). Testy użyteczności w ocenianiu jakości serwisów internetowych bibliotek akademickich. Zagadnienia Informacji Naukowej, 1(89), 15–25.
  • Marzec, P. (2008). Testy użyteczności serwisu internetowego Biblioteki Uniwersyteckiej w Toruniu. Przegląd Biblioteczny, 76(2), 260–275.
  • Marzec, P. (2009). Możliwości wykorzystania oceny użyteczności w jakościowych badaniach serwisów internetowych bibliotek akademickich. W: M. Fedorowicz & D. Degen (red.) Od książki dawnej do biblioteki wirtualnej: przeobrażenia bibliologii polskiej: na marginesie trzydziestolecia Instytutu Informacji Naukowej Bibliologii UMK w Toruniu. Toruń: Wydaw. Naukowe UMK, 265–278.
  • Nagle, M.; Zietlow, E. (2012). An Exploratory Comparison of Two Website Usability Testing Methods: Concurrent Think-Aloud and Eye-Tracking with Retrospective Think-Aloud. Baltimore, MD: University of Baltimore.
  • Nielsen, J.; Loranger, H. (2007). Optymalizacja funkcjonalności serwisów internetowych. Gliwice: Helion.
  • Niezgódka, M. (2012). Otwartość w nauce: szanse, wyzwania – sytuacja w Polsce 2012 [online], [09.07.2013], http://www.icm.edu.pl/c/document_library/get_file?uuid=4efcb61e-be45-4484-a72f-2b87e93c3a9c&groupId=10128
  • SYNAT (2013). O projekcie [online]. SYNAT. System Nauki i Techniki [15.06.2013], http://www.synat.pl/osynat
  • Oztekin, A.; Nikov, A.; Zaim, S. (2009). UWIS: An assessment methodology for usability of web-based information systems. Journal of Systems and Software, 82(12), 2038–2050.
  • Sapa, R. (2002). Jakość serwisów WWW bibliotek akademickich – usability test. Biuletyn EBIB 31(2) [online], [21.07.2013], http://www.nowyebib.info/biuletyn-ebib/31/a.php?sapa
  • Schrepp, M. (2010). GOMS analysis as a tool to investigate the usability of web units for disabled users. Universal Access in the Information Society, 9(1), 77–86.
  • Słownik wyrażeń związanych z testowaniem. Wersja 2.2. (2012). [online], [10.07.2013], http://testerzy.pl/materialy/AKTUALNY_slownik_testerski_PL.pdf
  • Smilgin, R. (2012). Typy testów [online]. Testerzy.pl [02.12.2012], http://www.testerzy.pl/artykuly/typy-testow
  • Troll Covey, D. (2002). Usage and Usability Assessment: Library Practices and Concerns. Washington: Digital Library Federation Council on Library and Information Resources.
  • Turner, N.B. (2011). Librarians do it differently: comparative usability testing with students and library staff. Journal of Web Librarianship, 5(4), 286–298.
  • Usability Body of Knowledge (2012). User Experience Professionals’ Association [online], [27.12.2012], http://www.usabilitybok.org/
  • Wawak, S. (2009). Skuteczność. W: Encyklopedia Zarządzania. [online], [21.07.2013], http://mfiles.pl/pl/index.php/Skuteczność
  • Wittel, L.; Löfgren, M.; Dahlgaard, J. J. (2013). Theory of attractivequality and theKano methodology – the past, the present, and the future. Total Quality Management & BusinessExcellence, 24(11), 1241–1252.
  • Zhang, T.; Maron, D. J.; Charles, Ch. C. (2013). Usability evaluation of a research repository and collaboration web site. Journal of Web Librarianship, 1, 58–82.
Notes
PL
Badania będące przedmiotem artykułu zostały przeprowadzone w ramach projektu „Utworzenie uniwersalnej, otwartej, repozytoryjnej platformy hostingowej i komunikacyjnej dla sieciowych zasobów wiedzy dla nauki, edukacji i otwartego społeczeństwa wiedzy”, realizowanego w ramach strategicznego programu badań naukowych i prac rozwojowych pt. „Interdyscyplinarny system interaktywnej informacji naukowej i naukowo-technicznej”. Czas trwania projektu: 2010–2013. Nazwa instytucji finansującej: Narodowe Centrum Badań i Rozwoju, w ramach kosztów bezpośrednich przewidzianych w budżecie K/PBR/000008.
EN
The research discussed in this paper was conducted as a part of the project: „Utworzenie uniwersalnej, otwartej, repozytoryjnej platformy hostingowej i komunikacyjnej dla sieciowych zasobów wiedzy dla nauki, edukacji i otwartego społeczeństwa wiedzy (Creating universal, open hosting and communication repository platform for web knowledge resources for science, education and open society of knowledge)” implemented within the strategic research and development program “Interdyscyplinarny system interaktywnej informacji naukowej i naukowo-technicznej (Interdisciplinary system of interactive scientific and technical information)”. Project duration: 2010-2013. Financing institution: Narodowe Centrum Badań i Rozwoju (Polish National Center for Research and Development), within direct costs included in the budget K/PBR/000008.
Document Type
Publication order reference
Identifiers
YADDA identifier
bwmeta1.element.desklight-05a6972d-d461-4f17-9414-12b342700543
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.