PL EN


2018 | 27 | 3-22
Article title

Panel Survey Dilemma: How to Implement the REsults of Pre-Testing in Consecutive Waves?

Content
Title variants
Languages of publication
EN
Abstracts
EN
The paper discusses the role of pre-testing in consecutive waves of a panel survey, investigating how attitudes and opinions change over long periods of time. On one hand, accounting for this change requires that the phrasing of questions should remain unaltered. On the other, pre-testing may reveal that respondents experience difficulty in understanding some items, for instance due to the possible shifts in meaning that occurred over time. The paper discusses the issue of implementing the results of a pretest, presenting experiences gained during pre-testing of the Polish Panel Survey POLPAN 1988–2018, conducted in March 2018. Questionnaire items selected for analysis deal with the determinants of life success, the intensity of social-group conflicts, and the self-evaluation of social position. The main conclusion is that the questionnaire items should undergo minor modifications, but only if necessary, while the feedback from pre-testing should be used in fieldwork instructions for interviewers and should also be taken into account in the interpretation of the results of the main survey.
Year
Volume
27
Pages
3-22
Physical description
Dates
published
2018
Contributors
  • Institute of Philosophy and Sociology, Polish Academy of Sciences
  • Institute of Philosophy and Sociology, Polish Academy of Sciences
References
  • Alwin, Duane F. and Jon A. Krosnick. 1985. “The Measurement of Values in Surveys: A Comparison of Ratings and Rankings.” Public Opinion Quarterly 49: 535–52. Andrejuk, Katarzyna. 2014. Postrzeganie konfliktów społecznych. Co się zmieniało i dlaczego? [research report]. Warszawa: Zespół Porównawczych Analiz Nierówności Społecznych, Instytut Filozofii i Socjologii Polskiej Akademii Nauk.Baczko-Dombi, Anna and Ilona Wysmułek. 2017. „Czynniki sukcesu w świadomości społecznej: uwarunkowania, kierunki i dynamika zmian.” Pp. 301–20 in Rozwarstwienie społeczne: zasoby, szanse i bariery. Polskie Badanie Panelowe POLPAN 1998–2013, edited by A. Kiersztyn, D. Życzyńska-Ciołek, and K. M. Słomczyński. Warszawa: Wydawnictwo IFiS PAN.Baczko-Dombi, Anna and Ilona Wysmułek. 2016. “Perceived Determinants of Success: Factors and Dynamics of Change.” Pp. 251–69 in Dynamics of Social Structure: Poland’s Transformative Years 1988–2013, edited by K. M. Slomczynski, I. Tomescu-Dubrow, with D. Życzyńska-Ciołek and I. Wysmułek. Warsaw: IFiS Publishers.Baczko-Dombi, Anna and Ilona Wysmułek. 2015. “Determinants of Success in Public Opinion in Poland: Factors, Directions and Dynamics of Change.” Polish Sociological Review 3(191): 277–93.Baczko-Dombi, Anna and Ilona Wysmułek. 2014. Czynniki sukcesu. Ciężka praca i talent czy pochodzenie i szczęście? [research report]. Warszawa: Zespół Porównawczych Analiz Nierówności Społecznych, Instytut Filozofii i Socjologii Polskiej Akademii Nauk.Beatty, Paul C. and Gordon B. Willis. 2007. “Research Synthesis: The Practice of Cognitive Interviewing.” Public Opinion Quarterly 71 (2): 287–311.Blair, Johnny, Ronald F. Czaja, and Edward A. Blair. 2014. Designing Surveys: A Guide to Decisions and Procedures. Los Angeles: SAGE Publications Ltd. Campanelli, Pamela. 1997. “Testing Survey Questions: New Directions in Cognitive Interviewing.” Bulletin of Sociological Methodology/Bulletin de Méthodologie Sociologique 55 (1): 5–17.Caspar, Rachel, Emilia Peytcheva, Ting Yan, Sunghee Lee, Mingnan Liu, and Mengyao Hu. 2016. “Pretesting.” Pp. 392–418 in Guidelines for Best Practice in Cross-Cultural Surveys. Survey Research Center, Institute for Social Research, University of Michigan. http://ccsg.isr.umich.edu/index.php/chapters/pretesting-chapter. Collins, Debbie. 2003. “Pretesting survey instruments: An overview of cognitive methods.” Quality of Life Research 12 (3): 229–38, https://doi.org/10.1023/A:1023254226592. Collins, Debbie. 2015. Cognitive Interviewing Practice. Los Angeles: SAGE Publications Ltd. http://dx.doi.org/10.4135/9781473910102.Converse, Jean M. and Stanley Presser. 1986. Survey questions: Handcrafting the standardized questionnaire. Newbury Park, CA: Sage Publications, Inc.Foddy William. 1996. “The in-depth testing of survey questions: a critical appraisal of methods.” Quality and Quantity 30 (4): 361–70. Gobo, Giampietro and Sergio Mauceri. 2014. Constructing Survey Data: An Interactional Approach. London: SAGE Publications Ltd.Godlewski, Tomasz. 2008. Lewica i prawica w świadomości społeczeństwa polskiego. Warszawa: Dom Wydawniczy Elipsa.Godlewski, Tomasz. 2012. „Identyfikacje ideologiczne społeczeństwa polskiego.” Preferencje Polityczne 3: 47–76.Grzeszkiewicz-Radulska, Katarzyna. 2012. „Metody badań pilotażowych.” Folia Sociologica 42: 113–41.Grzeszkiewicz-Radulska, Katarzyna and Aneta Krzewińska. 2015. „O tym, jak napisać biografię naukową (łódzka szkoła metodologiczna).” Przegląd Socjologiczny 64 (4): 27–49.ISSP Research Group 1989. International Social Survey Programme: Social Inequality I - ISSP 1987. GESIS Data Archive, Cologne. ZA1680 Data file Version 1.0.0, doi:10.4232/1.1680.Janicka, Krystyna and Kazimierz M. Słomczyński. 2017. „Klasy społeczne a wizje powodzenia w życiu.” Pp. 345–56 in Strukturalizacja społeczeństwa polskiego: ewolucja paradygmatu, edited by W. Wesołowski, K. Janicka, and K. M. Słomczyński. Warszawa: Wydawnictwo IFiS PAN.Janicka, Krystyna. 2014. „Podziały społeczne a wizja konfliktów: przełom czy ewolucja percepcji.” Pp. 368–81 in Transgraniczność w perspektywie socjologicznej: pogranicza i centra współczesnej Europy, edited by M. Zielińska, B. Trzop. Zielona Góra: Lubuskie Towarzystwo Naukowe.Janicka, Krystyna. 2007. „Linie podziałów i konflikty społeczne w opinii mieszkańców województwa lubuskiego i w badaniach ogólnopolskich.” Pp. 145–58 in Transgraniczność w perspektywie socjologicznej. Pogranicza Polski w integrującej się Europie, edited by M. Zielińska, B. Trzop, and K. Lisowski. Zielona Góra: Lubuskie Towarzystwo Naukowe.Janicka, Krystyna and Kazimierz M. Słomczyński. 2007. „Co ludzie myślą o szansach powodzenia w życiu?” Pp. 247–58 in Kariera i sukces: analizy socjologiczne, edited by K. M. Słomczyński. Zielona Góra: Wydawnictwo Uniwersytetu Zielonogórskiego.Janicka, Krystyna. 2003a. „Die Perzeption der Konfliktanfälligkeit der sozialen Struktur – eine dynamische Analyse.” Pp. 69–81 in Langsschnittuntersuchungen in den Sozialwissenschaften, edited by E. Hajduk and H. Merkens. Berlin – Zielona Góra: Uniwersytet Zielonogórski.Janicka, Krystyna. 2003b. „Percepcja konfliktów społecznych w latach 1988–1998: analiza panelowa. Polskie i niemieckie badania podłużne (Longitudinal study).” Pp. 193–207 in Człowiek i społeczeństwo w perspektywie zmiany społecznej, edited by E. Narkiewicz-Niedbalec, E. Hajduk, and B. Idzikowski. Zielona Góra: Oficyna Wydawnicza Uniwersytetu Zielonogórskiego.Janicka, Krystyna. 2002. “Dynamics of Social Conflict Perception: Dimensions and Relations.” Pp. 221–30 in Social Structure: Changes and Linkages: The Advanced Phase of the Post-Communist Transition in Poland, edited by K. M. Slomczynski. Warsaw: IFiS Publishers.Janicka, Krystyna. 2000. “Social Conflicts in the Social Structure: Changes in Popular Beliefs Over Time.” Pp. 69–77 in Social Patterns of Being Political: The Initial Phase of the Post-Communist Transition in Poland, edited by K. M. Slomczynski. Warsaw: IFiS Publishers.Kalmijn, Wim. 2013. “From Discrete 1 to 10 Towards Continuous 0 to 10: The Continuum Approach to Estimating the Distribution of Happiness in a Nation.” Social Indicators Research 110 (2): 549–57.Krosnick, Jon A. and Duane F. Alwin. 1988. “A Test of Form-Resistant Correlation Hypothesis: Ratings, Rankings, and the Measurement of Values.” Public Opinion Quarterly, 52: 526–38. Kwiatkowska, Agnieszka, Mikołaj Cześnik, Marta Żerkowska-Balas, Ben Stanley. 2016. „Ideologiczna treść wymiaru lewica–prawica w Polsce w latach 1997–2015.” Studia Socjologiczne 4 (223): 97–129.Lutyńska, Krystyna. 1976. “Relevance analysis of respondents’ answers obtained in an in-depth pilot study.” Quality and Quantity 10(3): 209–33.Lutyńska, Krystyna. 1978. „Pilotaż „pogłębiony”. Koncepcja, realizacja i analiza materiałów pilotażowych” in Analizy i próby technik badawczych w socjologii (Vol. 5) edited by Z. Gostkowski and J. Lutyński, Wrocław–Warszawa–Kraków–Gdańsk: Ossolineum.Lutyńska Krystyna. 1984. Wywiad kwestionariuszowy. Przygotowanie i sprawdzanie narzędzia badawczego. Wrocław: Ossolineum. Lutyński, Jan. 1990. “Methodological Studies in Lodz Sociological Center.” The Polish Sociological Bulletin 92: 5–13.Ng, Sik Hung. 1982. “Choosing between the ranking and rating procedures for the comparison of values across cultures.” European Journal of Social Psychology 12 (2): 169–72. Oksenberg, Lois, Charles Cannell, and Graham Kalton. 1991. “New strategies for pretesting survey questions.” Journal of Official Statistics 7 (3): 349–65.Ornstein, Michael. 2013. A Companion to Survey Research. London: SAGE Publications Ltd.Presser, Stanley, Jennifer M. Rothgeb, Mick P. Couper, Judith T. Lessler, Elizabeth Martin, Jean Martin, and Eleanor Singer. 2004a. Methods for Testing and Evaluating Survey Questionnaires. Wiley Series in Survey Methodology. Hoboken, New Jersey, NJ: Wiley. Presser, Stanley, Mick P. Couper, Judith T. Lessler, Elizabeth Martin, Jean Martin, Jennifer M. Rothgeb, and Eleanor Singer. 2004b. “Methods for pretesting and evaluating survey questions” Public Opinion Quarterly 68 (1): 109–30.Rothgeb, Jennifer M., Gordon Willis, and Barbara Forsyth. 2007. “Questionnaire Pretesting Methods.” Bulletin de méthodologie sociologique 96: 5–31.Sadowski Ireneusz, Wojciech Łukowski. 2013. „Podział społeczno-polityczny w Polsce. Kilka uwag teoretycznych.” Studia Politologiczne 29: 11–36.Słomczyński, Kazimierz M. and Grażyna Kacprowicz. 2017. „Subiektywna ocena pozycji społecznej.” Pp. 201–19 in Strukturalizacja społeczeństwa polskiego: ewolucja paradygmatu, edited by W. Wesołowski, K. Janicka, and K. M. Słomczyński. Warszawa: Wydawnictwo IFiS PAN.Słomczyński, Kazimierz M., Irina Tomescu-Dubrow, and Joshua K. Dubrow. 2015. “Changes in Social Structure, Class, and Stratification: The Polish Panel Survey (POLPAN)”. ASK Research & Methods 24 (1): 19–37.Słomczyński, Kazimierz M. and Krystyna Janicka. 2016. „Sukces po polsku: co ludzie myślą o szansach powodzenia w życiu?” Pp. 551–68 in Wobec wyzwań jutra. Co myślą Polacy i jak działają?, edited by W. Morawski. Warszawa: Wolters Kluwer.Słomczyński, Kazimierz M., Ireneusz Białecki, Henryk Domański, Krystyna Janicka, Bogdan Mach, Zbigniew Sawiński, Joanna Sikorska, and Wojciech Zaborowski. 1989. Struktura społeczna: schemat teoretyczny i warsztat badawczy. Warszawa: IFiS PAN.Sprumont, Yves. 2018. “Ranking by rating.” Theoretical Economics 13 (1): 1–18. Sztabiński, Paweł B., and Franciszek Sztabiński. 2005. „Jak połączyć pilotaż z badaniem próbnym? Przykład Europejskiego Sondażu Społecznego 2004.” ASK Research & Methods 14: 55–75. Tourangeau, Roger, Lance J. Rips, and Kenneth Rasinski. 2000. The Psychology of Survey Response. Cambridge: Cambridge University Press.Tourangeau, Roger. 1984. “Cognitive Sciences and Survey Methodology.” Pp. 73–100 in Cognitive Aspects of Survey Methodology: Building a Bridge Between Disciplines, edited by T. B. Jabine, M. L. Straf, J. M. Tanur and R. Tourangeau. Washington, DC: The National Academies Press. Willis, Gordon B. and Susan Schechter. 1997. “Evaluation of Cognitive Interviewing Techniques: Do the Results Generalize to the Field?”. Bulletin of Sociological Methodology/Bulletin de Méthodologie Sociologique 55 (1): 40–66. Willis, Gordon B. 2016. “Questionnaire Pretesting.” Pp. 359–81 in The SAGE Handbook of Survey Methodology, edited by Ch. Wolf, D. Joye, T. W Smith, and Y. Fu. London: SAGE Publications Ltd. http://dx.doi.org/10.4135/9781473957893.Zuell, Cornelia and Evi Scholz. 2016. “10 points versus 11 points? Effects of Left-right Scale Design in a Cross-national Perspective.” ASK Research & Methods 25 (1): 3–16.
Document Type
Publication order reference
Identifiers
YADDA identifier
bwmeta1.element.desklight-1dc09c9c-423e-4ff1-9f6e-dbc0a74dc55c
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.