Mixed Mode Survey Design: problem efektu techniki

• Authors: Franciszek Sztabiński , Teresa Żmijewska-Jędrzejczyk

Title variants

EN

Mixed Mode Survey Design: Mode Effect Problem

• Languages of publication: PL

Abstracts

PL

W sytuacji pogarszających się warunków realizacji badań surveyowych poszukuje się sposobów ograniczenia błędu pomiaru (Total Survey Error), związanego z nieuczestniczeniem wylosowanych jednostek w wywiadzie (Non Response Error). Jedno z rozwiązań stanowi procedura Mixed Mode Survey Design, która polega na uzyskiwaniu tych samych informacji od różnych osób, przy wykorzystaniu odmiennych technik badawczych, np. wywiad PAPI (Paper and Pencil Interviewing), CATI (Computer Assisted Telephone Interviewing), CAWI (Computer Assisted Web Interviewing). Jednakże wykorzystanie tej procedury może powodować wystąpienie efektu techniki (tzw. Mode Effects). W artykule analizujemy efekt techniki na płaszczyźnie: (i) sformułowania pytania; (ii) sposobu kontaktowania oraz (iii) sposobu komunikowania się z respondentem, poddając ocenie wskaźnik realizacji (tzw. Response Rate) oraz porównując odpowiedzi respondentów na te same pytania, uzyskane przy zastosowaniu różnych technik. W analizach wykorzystano materiały zebrane w projektach realizowanych techniką PAPI (badanie European Social Survey, round 3) oraz CATI (badanie w ramach metodologicznego grantu ESS Infrastructure: i3.). Wyniki przeprowadzonych analiz potwierdzają istnienie poważnych różnic związanych z efektem techniki (w przypadku wywiadu PAPI i CATI). Stawia to pod znakiem zapytania ideę ich łączenia celem ograniczenia błędu braku odpowiedzi.

EN

The fieldwork conditions for surveys becomes progressively worse so methods are being sought to reduce the total survey error arising from non-response error. One solution is the mixed mode survey design procedure whereby the same information is obtained from different respondents, using different data collecting modes (e.g. PAPI, CATI, Web survey). However, this procedure may produce the so-called mode effect. In this paper, we analyse the mode effect from the following perspectives: (i) wording of questions, (ii) contacting mode, and (iii) mode of communication with the respondent. We assess response rates and compare respondents’ answers to the same questions obtained through different techniques. Our analysis is based on materials collected in research projects employing two modes PAPI (the European Social Survey, Round 3) and CATI (ESS Infrastructure: i3, a study funded under a methodological grant). The findings from our analysis confirm the existence of significant differences related to the mode effect (in the case of PAPI and CAPI). Those findings challenge the idea of combining those modes to reduce non-response error.

Keywords

PL

Total Survey Error; błąd braku odpowiedzi; efekt techniki; Mixed Mode Survey Design; Europejski Sondaż Społeczny

EN

Total Survey Error; Non-Response Error; Mode Effect; Mixed Mode Survey Design; European Social Survey

• Publisher: Łódzkie Towarzystwo Naukowe, Stowarzyszenie
• Journal: Przegląd Socjologiczny
• Year: 2012
• Volume: 61
• Issue: 1
• Pages: 31 - 63

Dates

published

2012

Contributors

author

Franciszek Sztabiński

• ORBS IFiS PAN

author

Teresa Żmijewska-Jędrzejczyk

• ORBS IFiS PAN/MillwardBrown SMG/KRC

References

• American Association for Public Opinion Research [2011], http://aapor.org/Content/StandardDefinitions.pdf [dostęp 5.08.2011].
• Bassler A., Tchaoussoglou C. [2001], Searching for best CASI practices: experiments for a new data collection method, 10th Worldwide Readership Research Symposium, Venice.
• Biemer P., Caspar R. [1994], Continuous Quality Improvement for Survey Operations: Some General Principles and Applications, “Journal of Official Statistics”, vol. 10, no. 3.
• Bowling A. [2005], Mode of questionnaire administration can have serious effects on data quality, “Journal of Public Health”, vol. 27.
• Cichomski B., Jerzyński T., Zieliński M. [2009], Polskie Generalne Sondaże Społeczne: struktura skumulowanych wyników badań 1992–2008, Warszawa: Wydawnictwo ISS UW.
• Czaja R., Blair J. [2005], Designing surveys: A guide to decisions and procedures, Thousand Oaks, CA: Sage Publications.
• de Leeuw E.D. [2008], Choosing the method of data collection, [w:] E.D. de Leeuw, J. Hox, D.A. Dillman (eds), International Handbook of Survey Methodology, New York–London: Lawrence Erlbaum Associates.
• de Leeuw E.D. [2009], Mixed Mode Surveys – 6th ESS Training Course, 30 April–1 May, Ljubljana, Slovenia.
• de Leeuw E.D., de Heer W. [2002], Trends in Household Survey Nonresponse: A Longitudinal and International Comparison, [w:] R.M. Groves, D.A. Dillman, J. L. Eltinge, R.J.A. Little (eds), Survey Nonresponse, New York: John Wiley & Sons.
• de Leeuw E.D., Hox J.J., Dillman D.A., [2008a], The Cornerstones of Survey Research, [w:] E.D. de Leeuw, J.J. Hox, D.A. Dillman (eds), International Handbook of Survey Methodology, New York–London: Lawrence Erlbaum Associates.
• de Leeuw E.D., Hox J.J., Dillman D.A., [2008b], Mixed Mode Surveys: When and Why, [w:] E.D. de Leeuw, J.J. Hox, D.A. Dillman (eds), International Handbook of Survey Methodology, New York–London: Lawrence Erlbaum Associates.
• de Maris A. [1992], Logit Modeling. Practical Applications, Thousand Oaks, CA: Sage Publications.
• Dillman D.A. [1978], Mail and Telephone Surveys: The Total Design Method, New York: John Wiley & Sons.
• Dillman D.A. [2000], Mail and Internet Surveys: The Tailored Design Method, New York: John Wiley & Sons.
• Dillman D.A., Smith J., Christian L. [2009], Internet, Mail and Mixed-Mode Surveys: The Tailored Design Method, New York: John Wiley & Sons.
• European Social Survey, Round 5. Specification for participating countries [2011], http://www.europeansocialsurvey.org [dostęp 5.08.2011].
• Eva G., Widdop S. [2007], Mixed Mode Data Collection in Europe, 2nd European Survey Research Association Conference, Prague, June.
• Gostkowski Z. [1965], Badania adekwatności technik badawczych w krajach na drodze rozwoju, „Przegląd Socjologiczny”, t. XIX/2.
• Gostkowski Z. [1966], O założeniach i potrzebie empirycznych badań nad technikami i procedurami badawczymi w socjologii, [w:] Z. Gostkowski (red.), Analizy i próby technik badawczych w socjologii, t. 1, Wrocław: Zakład Narodowy im. Ossolińskich.
• Goyder J.C. [1987], The Silent Minority, Boulder, CO: Westview Press.
• Groves R.M. [1989], Survey Errors and Survey Costs, New York: John Wiley & Sons.
• Groves R.M. [1991], Measurement Error Across the Disciplines, [w:] P.P. Biemer, R.M. Goves, L.E. Lyberg, N. A. Mathiowetz, S. Sudman (eds), Measurement Errors in Surveys, New York: John Wiley & Sons.
• Groves R.M., Couper M. P. [1998], Nonresponse in household interview surveys, New York: John Wiley & Sons.
• Groves R.M., McGonagle K. [2001], A theory-guided interviewer training protocol regarding survey participation, “Journal of Official Statistics”, vol. 17.
• Groves R.M., Fowler F.J. Jr., Couper M.P., Lepkowski J.M., Singer E., Tourangeau R. [2004], Survey Methodology, Hoboken, New Jersey: John Wiley& Sons, Inc.
• Grzeszkiewicz-Radulska K. [2009], Respondenci niedostępni w badaniach sondażowych, [w:] Z. Gostkowski, J. Lutyński (red.), Analizy i próby technik badawczych w socjologii, t. 12, Łódź: Wydawnictwo Uniwersytetu Łódzkiego.
• Haeder S., Lehnhoff I., Mardian I. [2010], Mobile Phone Surveys: Empirical Findings from a Research Project, “ASK. Research and Methods”, vol. 19.
• Lutyńska K. [1978], Ankieterzy i badacze. Z badań nad wpływem ankieterskim, „Przegląd Socjologiczny”, t. XXX.
• Lutyński J. [1968], Ankieta i jej rodzaje na tle podziału technik otrzymywania materiałów, [w:] Z. Gostkowski, J. Lutyński (red.), Analizy i próby technik badawczych w socjologii, t. 2, Wrocław: Zakład Narodowy im. Ossolińskich.
• Lutyński J. [1972], Analiza procesu otrzymywania informacji w badaniach z zastosowaniem wywiadu kwestionariuszowego, [w:] Z. Gostkowski, J. Lutyński (red.), Analizy i próby technik badawczych w socjologii, t. 4, Wrocław: Zakład Narodowy im. Ossolińskich.
• Lynn P. [2009], Mixed or Muddled? Combining Survey Modes in The 21st Century, Keynote Presentation, 3rd European Survey Research Association Conference, Warsaw, June.
• Martin P. [2010], Podejście mieszane (Mixed Mode) – możliwości i ograniczenia, http://www.konferencja-ewaluacja.pl/2010/materialy.php [dostęp 5.08.2011].
• Parten M. [1950], Surveys, Polls and Samples, New York: Harper & Brothers.
• Roberts C. [2007], Mixing Modes of Data Collection in Surveys, 2nd European Survey Research Association Conference, Prague, June.
• Roberts C., Eva G., Lynn P., Johnson J. [2010], Measuring the effect of interview length on response propensity and response quality in a telephone survey – Final report of the ESS CATI experiment, Centre for Comparative Social Surveys, City University, London.
• Saris W.E. [1991], Computer-Assisted Interviewing, Newbury Park: Sage Publications.
• Słomczyński K.M. [1968], Granice stosowalności ankiety audytoryjnej w środowisku robotniczym, [w:] Z. Gostkowski, J. Lutyński (red.), Analizy i próby technik badawczych w socjologii, t. 2, Wrocław: Zakład Narodowy im. Ossolińskich.
• Stoop I. [2005], The Hunt for the Last Respondent: Nonresponse in Sample Surveys, The Hague: Social and Cultural Planning Office of the Netherlands.
• Stoop I., Billiet J., Koch A., Fitzgerald R. [2010], Improving Survey Response. Lessons learned from the European Social Survey, New York: John Wiley & Sons.
• Sztabiński F. [1997], Ankieta pocztowa i wywiad kwestionariuszowy, Warszawa: Wydawnictwo IFiS PAN.
• Sztabiński F. [2003], Logika badacza i logika respondenta. Problem adekwatności narzędzia badawczego, „ASK. Społeczeństwo, Badania, Metody”, vol. 12.
• Sztabiński F. [2009], Ankieta internetowa (CAWI): czy rzeczywiście idealna technika?, [w:] A. Haber, M. Szałaj (red.), Ewaluacja wobec wyzwań stojących przed sektorem finansów publicznych, Warszawa: PARP.
• Sztabiński F. [2011], Ocena jakości danych w badaniach surveyowych, Warszawa: Wydawnictwo IFiS PAN.
• Sztabiński F., Sztabiński P.B. [1994], Polscy respondenci początku lat 90. Stosunek do badań i jego uwarunkowanie, „Studia Socjologiczne”, nr 2.
• Sztabiński F., Sztabiński P.B. [1997], Wartość odpowiedzi w wywiadach telefonicznych ze wspomaganiem komputerowym (CATI), „ASK. Społeczeństwo, Badania, Metody”, vol. 1–2 (5–6).
• Sztabiński P.B. [1997], Ankieterzy i ich respondenci. Od kogo zależą wyniki badań ankietowych?, Warszawa: Wydawnictwo IFiS PAN.
• Sztabiński P.B. [1999a], Wywiad telefoniczny ze wspomaganiem komputerowym (CATI) a wywiad kwestionariuszowy. Problem porównywalności wyników, [w:] H. Domański, K. Lutyńska, A. W. Rostocki (red.), Spojrzenie na metodę. Studia z metodologii badań socjologicznych, Warszawa: Wydawnictwo IFiS PAN.
• Sztabiński P.B. [1999b], Wywiad telefoniczny ze wspomaganiem komputerowym (CATI): co zyskujemy, co tracimy?, „ASK. Społeczeństwo, Badania, Metody”, vol. 8.
• Sztabiński P.B. [2001], Wywiad osobisty ze wspomaganiem komputerowym (CAPI): czy rzeczywiście idealna technika?, „ASK. Społeczeństwo, Badania, Metody”, vol. 10.
• Sztabiński P.B., Dyjas-Pokorska A., Żmijewska-Jędrzejczyk T. [2008], Understanding Refusals, „ASK. Research and Methods”, vol. 17.
• Sztabiński P.B., Sztabiński F., Przybysz D. [2007], Are non-respondents similar to respondents? Findings from the ESS-2004 in Poland. „ASK. Społeczeństwo, Badania, Metody”, vol. 16.
• Weisberg H.F. [2005], The Total Survey Error Approach. A Guide to the New Science of Survey Research, Chicago–London: The University of Chicago Press.
• Żmijewska-Jędrzejczyk T. [2004], Badania internetowe, [w:] P.B. Sztabiński, F. Sztabiński, Z. Sawiński (red.), Nowe metody, nowe podejścia badawcze w naukach społecznych, Warszawa: Wydawnictwo IFiS PAN.

Identifiers

ISSN

0033-2356