Zróżnicowanie praktyk sondażowych w międzykrajowych badaniach porównawczych na podstawie archiwizacji 1537 surveyów zrealizowanych w krajach europejskich w latach 1981–2017

• Authors: Jabkowski Piotr

Title variants

EN

The differentiation of survey procedures in cross-country comparative studies on the basis of 1537 surveys conducted in European countries in the period from 1981 to 2017

• Languages of publication: PL EN

Abstracts

PL

W artykule scharakteryzowano procedury doboru oraz terenowej realizacji prób sondażowych w międzykrajowych badaniach porównawczych. Podstawą analiz była metodologiczna archiwizacja 1537 surveyów – zrealizowanych w latach 1981–2017 na reprezentatywnych próbach populacji obywateli państw europejskich. Pod uwagę wzięto pięć wiodących programów porównawczych, w tym: Eurobarometer & Candidate Countries Eurobarometer, European Quality of Life Survey, European Social Survey, European Values Study, International Social Survey Programme. Autor wyszedł od ogólnej charakterystyki projektów, by następnie przedstawić szczegółowy zakres archiwizacji krajowych surveyów oraz opisać międzyprojektowe oraz wzdłuż czasowe różnice w jakości dokumentacji procedur badawczych. Główną część analiz poświęcono opisowi między- oraz wewnątrzprojektowych różnic w zakresie: 1) sposobów definiowania populacji docelowych, 2) rodzajów operatów doboru prób badawczych, 3) typów prób sondażowych i schematów losowania jednostek, 4) procedur wewnątrzzespołowej selekcji respondentów docelowych w adresowych próbach osób, 5) procedur terenowych (w tym: czasu trwania badania, zastosowanych technik badawczych, stosowania substytucji jednostek niedostępnych innymi respondentami, listów zapowiednich, gratyfikacji respondentów, konwersji odmów oraz procedur kontrolnych), a także 6) raportowania o wskaźnikach terenowej realizacji prób badawczych.

EN

This article presents differences in sampling procedures and fieldwork execution of national surveys within five major comparative cross-country projects, i.e., Eurobarometer/Candidate Countries Eurobarometer, the European Quality of Life Survey, the European Social Survey, the European Values Study and the International Social Survey Programme. The main part of the analysis is based on a dataset describing the methodology of 1537 surveys that were carried out in the period from 1981 to 2017 on representative samples of the populations of European countries. The author starts with a short overview of a cross-country project and then presents the scope of methodological archivisation of sampling and fieldwork procedures. Cross-projects and longitudinal differences in the quality of survey documentation are also explained. The main analysis describes the cross- and within-project differences in survey procedures with respect to 1) target populations, 2) sampling frames, 3) types of survey samples and sampling designs, 4) within-household selection of target persons in address-based samples, 5) fieldwork execution (e.g., length of fieldwork, modes of data collection, presence or absence of substitutions, use of advance letters and respondents’ incentives, presence of refusal conversions or back-checking procedures), and 6) fieldwork outcome rates.

Keywords

PL

sondaże międzykrajowe; badania porównawcze; procedury doboru próby; terenowa realizacja badań

EN

cross-country surveys; comparative studies; sampling procedures; fieldwork procedures

• Publisher: Łódzkie Towarzystwo Naukowe, Stowarzyszenie
• Journal: Przegląd Socjologiczny
• Year: 2019
• Volume: LXVIII (68)
• Issue: 1
• Pages: 9-38

Contributors

author

Jabkowski Piotr

• Uniwersytet im. Adama Mickiewicza w Poznaniu, Instytut Socjologii

References

• Bethlehem Jelke, Fannie Cobben, Barry Schouten. 2011. Handbook of nonresponse in household surveys. New Jersey: John Wiley & Sons, Inc.
• Biemer Paul P., Lars E. Lyberg. 2003. Introduction to survey quality. New Jersey: John Wiley & Sons, Inc.
• Biemer Paul P., Edith de Leeuw, Stephanie Eckman, Brad Edwards, Frauke Kreuter, Lars E. Lyberg, N. Clyde Tucker, Brady T. West. 2017. Total survey error in practice. New Jersey: John Wiley & Sons.
• Brick Michael J., Jill M. Montaquila. 2009. Nonresponse and weighting. In: Sample surveys: Design, methods and applications. Handbook of statistics, Nr 29A, D. Pfeffermann, C. Rao (eds.), 163–246, Amsterdam: Elsevier.
• Bryant Barbara E. 1975. “Respondent selection in a time of changing household composition”. Journal of Marketing Research 12(1): 29–135.
• Cox Brenda G. 2008. Target Population. In: Encyclopaedia of survey research methods, P. Lavrakas (ed.), 875–876. Londyn: SAGE Publications, Inc.
• Czaja Ronald, Johnny Blair, Jutta P. Sebestik. 1982. “Respondent selection in a telephone survey: A comparison of three techniques”. Journal of Marketing Research 19(3): 381–385.
• Denk Charles E., John W. Hall. 2000. Respondent selection in RDD surveys: A randomized trial of selection performance. Annual Meeting of the American Association for Public Opinion Research. Poriland, OR.
• Domański Henryk. 2006. „Liczba wizyt i czas trwania badania”. ASK. Społeczeństwo. Badania. Metody 15: 29–49.
• Dubrow Joshua K., Irina Tomescu-Dubrow. 2016. “The rise of cross-national survey data harmonization in the social sciences: Emergence of an interdisciplinary methodological field”. Quality & Quantity 50(4): 1449–1467.
• Elliot Duncan. 1993. “The use of substitution in sampling”. Survey Methodology Bulletin 33: 8–11.
• Gaziano Cecilie. 2005. “Comparative analysis of within-household respondent selection techniques”. Public Opinion Quarterly 69(1): 124–157.
• Grauenhorst Thomas, Michael Blohm, Achim Koch. 2016. “Respondent incentives in a national face-to-face survey: Do they affect response quality?”. Field Methods 28(3): 266–283.
• Groves Robert M. 1989. Survey errors and survey costs. New Jersey: John Wiley & Sons, Inc.
• Groves Robert M., Robert L. Kahn. 1979. Surveys by telephone: A national comparison with personal interviews. New York: Academic Press.
• Grzeszkiewicz-Radulska Katarzyna. 2009. Respondenci niedostępni w badaniach sondażowych. Łódź: Wydawnictwo Uniwersytetu Łódzkiego.
• Hagan Dan E., Charlotte M. Collier. 1983. “Must respondent selection procedures for telephone surveys be invasive?”. Public Opinion Quarterly 47(4): 547–556.
• Hall John. 2008. Area Probability Sample. In: Encyclopaedia of survey research methods, P. Lavrakas (ed.), 33–36. Londyn: SAGE Publications, Inc.
• Harkness Janet A., Michael Braun, Brad Edwards, Timothy P. Johnson, Lars E. Lyberg,
• Peter P. Mohler, Beth-Ellen Pennel, Tom W. Smith (eds.). 2010. Survey methods in multinational, multiregional, and multicultural contexts. New Jersey: John Wiley & Sons Inc.
• Heer Wim de. 1999. “International response trends: Results of an international survey”. Journal of Official Statistics 15(2): 129–142.
• Jabkowski Piotr. 2007. „Wpływ niezrealizowania części wywiadów na trafność wnioskowania statystycznego w badaniach społecznych. Technika wywiadu kwestionariuszowego oraz telefonicznego w świetle błędów nielosowych”. ASK. Społeczeństwo. Badania. Metody 16: 67–86.
• Jabkowski Piotr. 2011. “Do more contact-attempts reduce non-response bias in representative face-to-face interviews? Findings from a PAPI survey with a low response rate”. ASK. Research& Methods 20(1): 27–58.
• Jabkowski Piotr. 2015. Reprezentatywność badań reprezentatywnych. Analiza wybranych problemów metodologicznych oraz praktycznych w paradygmacie całkowitego błędu pomiaru. Poznań: Wydawnictwo Naukowe UAM.
• Japec Lilli, Frauke Kreuter, Marcus Berg, Paul Biemer, Paul Decker, Cliff Lampe, Julia Lane, Cathy O’Neil, Abe Usher. “Big data in survey researchAAPOR task force report”. Public Opinion Quarterly 79(4): 839–880.
• Kalsbeek William D. 2008. Stratified sampling. In: Encyclopaedia of survey research methods, P. Lavrakas (ed.), 849–850. Londyn: SAGE Publications, Inc.
• Kasprzyk Daniel, Lee Giesbrecht. 2003. “Reporting sources of error in I.S. Federal Government surveys”. Journal of Official Statistics 19(4): 343–363.
• Keeter Scott, Kevin Fisher. 1997. A comparison of ‘last birthday’ and ‘youngest male/oldest female’ respondent selection procedures. Annual meeting of the American Association for Public Opinion Research. St. Petersburg, FL.
• Kish Leslie. 1949. “A procedure for objective respondent selection within the household”. Journal of the American Statistical Association 44(247): 380–387.
• Kish Leslie. 1979. “Populations for survey sampling”. Survey Statistician 1: 14–15.
• Kohler Ulrich. 2007. “Survey from inside: An assessment of unit nonresponse bias with internal criteria”. Survey Research Methods 2(1): 55–67.
• Kołczyńska Marta. 2014. “Representation of Southeast European countries in international survey projects: Assessing data quality”. ASK: Research & Methods 23(1): 57–78.
• Krzewińska Aneta, Katarzyna Grzeszkiewicz-Radulska. 2013. „Klasyfikacja sondażowych technik otrzymywania materiałów”. Przegląd Socjologiczny 62(1): 9–31.
• Le Kien T., Michael Brick, Abdoulaye Diop, Darwish Alemadi. 2013. “Within-household sampling conditioning on household size”. International Journal of Public Opinion Research 25(1): 108–118.
• Lippe Elena von der, Patrick Schmich, Cornelia Lange, Robert Koch. 2011. “Advance letters as a way of reducing non-response in a National Health Telephone Survey: Differences between listed and unlisted numbers”. Survey Research Methods 5(3): 103–116.
• Lissowski Grzegorz, Jacek Haman, Mikołaj Jasiński. 2008. Podstawy statystyki dla socjologów. Warszawa: Wydawnictwo Naukowe Scholar.
• Lynn Peter, Siegfried Gabler, Sabine Häder, Seppo Laaksonen. 2007. “Methods for achieving equivalence of samples in cross-national surveys”. Journal of Official Statistics 27(1): 107–124.
• Marker David A., Don L. Stevens Jr. 2009. Sampling and inference in environmental surveys. In: Sample Surveys: Design, Methods and Applications. Handbook of statistics, Nr 29A, D. Pfeffermann, C. Rao (eds.), 487–512, Amsterdam: Elsevier.
• O’Rourke Diane, Johnny Blair. 1983. “Improving random respondent selection in telephone surveys”. Journal of Marketing Research 20: 428–432.
• Paisley William J., Edwin B. Parker. 1965. “A computer-generated sampling table for selecting respondents within households”. Public Opinion Quarterly 29(3): 431–436.
• Pokropek Artur. 2012. Porównania międzynarodowe. W: Metodologia badań nad stratyfikacją społeczną, H. Domański (red.), 261–283. Warszawa: Scholar.
• Salmon Charles T., John S. Nichols. 1983. “The next-birthday method of respondent selection”. Public Opinion Quarterly 47(2): 270–276.
• Sawiński Zbigniew. 2005. Metody doboru respondentów. W: Fieldwork jest sztuką, P.B. Sztabiński, Z. Sawiński, F. Sztabiński (red.), 79–118. Warszawa: Wydawnictwo IFiS PAN.
• Słomczyński Kaziemierz M. 2004. „Europejski sondaż społeczny a inne międzynarodowe badania surveyowe. Czego można nauczyć się z analiz porównawczych?”. ASK. Społeczeństwo. Badania. Metody 13: 9–26.
• Smith Tom W. 2002. Developing nonresponse standards. In: Survey nonresponse, R. Groves, D.A. Dillman, J.L. Eltinge, R.J.A. Little (eds.), 27–40. New Jersey: John Wiley & Sons, Inc.
• Stoop Ineke, Jaak Billiet, Achim Koch, Rory Fitzegarald. 2010. Improving survey response. Lessons learned from the European Social Survey. New Jersey: John Wiley & Sons, Inc.
• Sztabiński Paweł B., Franciszek Sztabiński, Dariusz Przybysz. 2009. “How does lenght of fieldwork period influence non-response? Findings from ESS2 in Poland”. ASK Research & Methods 18(1): 67–95.
• Tomescu-Dubrow Irina, Kazimierz M. Slomczyński. 2016. „Harmonization of cross-national survey projects on political behavior: developing the analytic framework of survey data recycling”. International Journal of Sociology 46(1): 58–72.
• Tomescu-Dubrow Irina, Kazimierz M. Slomczyński. 2016. “Democratic values and protest behavior: Data harmonization, measurement comparability, and multi-level modeling in crossnational perspective”. ASK Research & Methods 23(1): 103–114.
• Troldahl Verling C., Roy E. Carter Jr. 1964. “Random selection of respondents within household in phone surveys”. Journal of Marketing Research 1(1): 71–76.
• Weisberg Herbert F. 2005. The total survey error approach. A guide to the new science of survey research. Chicago: The University of Chicago Press.
• AAPOR. 2016. Standard definitions: Final dispositions of case codes and outcome rates for surveys. 9th edition. https://www.aapor.org/AAPOR_Main/media/publications/Standard-Definitions20169theditionfinal.
• pdf [dostęp: 23.10.2018].EQLS. 2014. European Quality of Life Survey, 2011–2012. http://dx.doi.org/10.5255/UKDASN-7316-2 [dostęp: 12.01.2018].
• ISSP. 2017. International Social Survey Programme: Work Orientations IV – ISSP 2015.doi:10.4232/1.12848 [dostęp: 09.01.2018].
• EVS. 2015. European Values Study longitudinal data file 19812008 (EVS 19812008). doi:10.4232/1.12253 [dostęp: 10.01.2018].
• European Commission. 2004. Candidate countries Eurobarometer 2003.4. doi:10.4232/1.3986 [dostęp: 13.01.2018].
• European Commission. 2017. Eurobarometer 87.3. doi: 10.4232/1.1284 [dostęp: 12.01.2018].
• European Social Survey. 2017. ESS Round 8 (2016/2017). Technical Report. London: ESS ERIC.