In the context of flourishing cross-national and multi-level research, the variety of macro and micro data sources available to researchers have evolved into an interdependent ecosystem of social indicators. Focusing on four comparative social surveys, this paper examines the extent to which secondary data users take advantage of a range of complementary data sources to broaden the breadth or strengthen the robustness of their research. Using two Google Scholar-based datasets of 2789 and 796 publications, we find that, despite the complex equivalence issues in comparative survey research, users combine data to a considerable extent, aiming to increase conceptual, geographic, and temporal coverage and cross-validate findings. Selecting the example of the European Social Survey, 183 journal articles are qualitatively examined to identify specific epistemic gains attained by analysts when combining ESS survey data with data from other comparative programmes. The strategy involves risks, emanating from either analysts' own misjudgements or arising from the wider issues of comparability and transparency in cross-national survey research. However, a number of data harmonisation platforms have recently emerged that may facilitate the standardisation of measures across surveys, augmenting the possibilities for future theory development and research.
Methodological documentation serves as the primary source of information about sampling schemes, fieldwork procedures and related sources of potential measurement error in survey research. The quality of such documentation, including its completeness and standardization, is crucial for conducting methodological analyses based on inventories of multiple comparative survey programmes. Individual examples and quantitative summaries of historical development, as well as current methodological reports, serve as a foundation for reflecting on potential future analyses based on large methodological inventories. Therefore, the aim of this paper was to thoroughly analyse the gathered data, identify critical issues, and prepare proposals for a standardized report format suitable for automatic processing. The implementation of these proposals could enhance the capacity to conduct extensive methodological analyses. Given the increasing costs and labour intensity of survey research, both substantial and methodological data should be thoroughly utilized. The analysis is based on a methodological inventory of 10,493 surveys from 30 comparative programmes, spanning all inhabited continents. The paper demonstrates the challenges encountered during data collection and presents completeness indicators for both selected programmes and the complete dataset. The findings reveal that low levels of standardization between analysed methodological reports necessitate a critical evaluation of current practices. This situation impedes the development of future methodological inventories. The paper identifies critical barriers to creating quantitative comparisons of documentation quality and proposes solutions. Additionally, it presents a standardized report format addressing existing issues and potentially facilitating harmonization efforts.
PL
Podstawowym źródłem informacji o schematach losowania próby i procedurach terenowych badań sondażowych oraz związanych z nimi potencjalnych źródłach błędów pomiaru jest dokumentacja metodologiczna. Jej szeroko pojęta jakość, której istotny element stanowią kompletność i standaryzacja, jest czynnikiem determinującym możliwość prowadzenia badań metodologicznych na dużych zbiorach danych pochodzących z międzykrajowych programów porównawczych. Za punkt wyjścia do poprawy jakości dokumentacji metodologicznej powinno służyć dokładne rozpoznanie dotychczasowego stanu rzeczy. Stanowi to pierwszy cel poniższego badania. Kolejnym celem była analiza problemów obecnych w tym obszarze, która umożliwiła sformułowanie zaleceń dążących do zwiększenia standaryzacji tworzonych raportów i tym samym możliwości lepszego wykorzystania danych pochodzących z badań sondażowych. Analiza zawarta w artykule opiera się na inwentaryzacji danych metodologicznych z 30 międzykrajowych porównawczych programów sondażowych z całego świata. Podsumowuję całość zbioru opartego na 10 493 realizacjach krajowych, poszczególne programy, a także przedstawiam problematyczne praktyki na podstawie konkretnych raportów metodologicznych. Przykłady i zestawienia ukazują rozwój i obecny stan jakości opracowanej dokumentacji. Efektem badania jest krytyczna ocena obecnych praktyk dokumentacyjnych, które ze względu na niewielki poziom standaryzacji pomiędzy projektami bardzo utrudniają praktyczną inwentaryzację informacji na temat przyjętych procedur badawczych. Przedstawiam zestawienia problematycznych praktyk oraz propozycję standaryzacji formy raportów, która rozwiązałaby większość trudności pojawiających się obecnie w procesie harmonizacji danych metodologicznych.
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.