Szanse i iluzje dotyczące korzystania z dużych prób we wnioskowaniu statystycznym

• Authors: Mirosław Szreder

Title variants

EN

Opportunities and illusions of using large samples in statistical inference

Abstracts

EN

The theory of statistical inference clearly describes the benefits of large samples. The larger the sample size, the fewer standard errors of the estimated population parameters (the precision of the estimation improves) and the values of the power of statistical tests in hypothesis testing increase. Today’s easy access not only to large samples (e.g. web panels) but also to more advanced and user-friendly statistical software may obscure the potential threats faced by statistical inference based on large samples. Some researchers seem to be under the illusion that large samples can reduce both random errors, typical for any sampling technique, as well as non-random errors. Additionally, the role of a large sample size is an important aspect of the much discussed in the recent years issue of statistical significance (p-value) and the problems related to its determination and interpretation. The aim of the paper is to present and discuss the consequences of focusing solely on the advantages of large samples and ignoring any threats and challenges they pose to statistical inference. The study shows that a large-size sample collected using one of the non-random sampling techniques cannot be an alternative to random sampling. This particularly applies to online panels of volunteers willing to participate in a survey. The paper also shows that the sampling error may contain a non-random component which should not be regarded as a function of the sample size. As for the contemporary challenges related to testing hypotheses, the study discusses and exemplifies the scientific and ethical aspects of searching for statistical significance using large samples or multiple sampling.

PL

Teoria wnioskowania statystycznego jasno określa korzyści związane z dużą liczebnością próby badawczej. Wraz ze wzrostem wielkości próby maleje ilość błędów ocen szacowanych parametrów populacji (zwiększa się precyzja estymacji), a także rosną wartości mocy testów wykorzystywanych do weryfikacji hipotez statystycznych. Współczesne możliwości łatwego dotarcia do dużych prób badawczych (np. paneli internetowych), a także korzystania z coraz bardziej zaawansowanego i przyjaznego dla użytkownika oprogramowania statystycznego sprzyjają niedostrzeganiu zagrożeń dla wnioskowania statystycznego, jakie wiążą się z dużymi liczebnie próbami. Część badaczy ulega iluzji, że duża próba jest w stanie zniwelować i rozproszyć nie tylko błąd losowy, charakterystyczny dla każdej techniki losowania próby, lecz także błędy nielosowe. Znaczenie dużej liczebności próby jest ponadto jednym z ważnych aspektów toczącej się od kilkunastu lat dyskusji na temat istotności statystycznej (p-value) oraz problemów z jej rozstrzyganiem i interpretowaniem. Celem opracowania jest wskazanie i omówienie konsekwencji dostrzegania w dużych próbach statystycznych jedynie szans, a pomijanie wyzwań i zagrożeń wynikających z ich stosowania. W artykule pokazano, że duża liczebność próby, której doboru dokonano za pomocą techniki nieprobabilistycznej, nie może stanowić alternatywy dla wyboru losowego. W szczególności dotyczy to internetowych paneli wolontariuszy deklarujących chęć udziału w badaniu. Wskazano ponadto na znaczenie komponentu nielosowego w błędzie próbkowania, który nie jest malejącą funkcją liczebności próby. W odniesieniu zaś do współczesnych problemów weryfikacji hipotez nakreślono i zilustrowano przykładem naukowy i etyczny wymiar podążania za istotnością statystyczną z wykorzystaniem dużych liczebnie prób lub wielokrotnego próbkowania.

Keywords

PL

wnioskowanie statystyczne; błąd próbkowania; błąd losowy; liczebność próby; istotność statystyczna; p-value

EN

statistical inference; sampling error; random error; sample size; statistical significance; p-value

• Publisher: Główny Urząd Statystyczny
• Journal: Wiadomości Statystyczne. The Polish Statistician
• Year: 2022
• Volume: 67
• Issue: 8
• Pages: 1-16

Dates

published

2022

Contributors

author

Mirosław Szreder

• https://orcid.org/0000000275970816

References

• American Association for Public Opinion Research. (2010, czerwiec). AAPOR Report on Online Panels. https://www.aapor.org/Education-Resources/Reports/Report-on-Online-Panels.aspx.
• Amrhein, V., Greenland, S., McShane, B. (2019, 20 marca). Scientists rise up against statistical significance. https://www.nature.com/articles/d41586-019-00857-9.
• Amrhein, V., Trafimow, D., Greenland, S. (2019). Inferential Statistics as Descriptive Statistics: There Is No Replication Crisis if We Don’t Expect Replication. The American Statistician, 73(Sup1), 262–270. https://doi.org/10.1080/00031305.2018.1543137.
• Barnett, V. (1991). Sample Survey. Principles and Methods (2nd edition). Edward Arnold.
• Benjamin, D. J., Berger, J. O., Johannesson, M., Nosek, B. A., Wagenmakers, E.-J., Berk, R., Bollen, K. A., Brembs, B., Brown, L., Camerer, C., Cesarini, D., Chambers, C. D., Clyde, M., Cook, T. D., De Boeck, P., Dienes, Z., Dreber, A., Easwaran, K., Eferson, C., ... Johnson, V. E. (2018). Redefine statistical significance. Nature Human Behaviour, 2(1), 6–10. https://doi.org/10.1038/s41562-017-0189-z.
• Bracha, C. (1998). Metoda reprezentacyjna w badaniu opinii publicznej i marketingu. Efekt.
• Cochran, J. (2015, 1 lutego). ASA Leaders Reminisce. Peter (Tony) Lachenbruch. http://magazine.amstat.org/blog/2015/02/01/peterlachenbruch_feb2015/.
• Curtice, J. (2016). The Benefits of Random Sampling. Lessons from the 2015 UK General Election. NatCen Social Research. https://www.bsa.natcen.ac.uk/media/39018/random-sampling.pdf.
• Fricker Jr., R. D., Burke, K., Han, X., Woodall, W. H. (2019). Assessing the Statistical Analyses Used in Basic and Applied Social Psychology After Their p-Value Ban. The American Statistician, 73(Sup1), 374–384. https://doi.org/10.1080/00031305.2018.1537892.
• Gelman, A. (2013). P values and statistical practice. Epidemiology, 24(1), 69–72. https://doi.org/10.1097/EDE.0b013e31827886f7.
• Gelman, A., Stern, H. (2006). The Difference Between “Significant” and “Not Significant” is not Itself Statistically Significant. The American Statistician, 60(4), 328–331. https://doi.org/10.1198/000313006X152649.
• Guo, S., Fraser, M. W. (2015). Propensity Score Analysis. Statistical Methods and Applications (2nd edition). Sage Publications.
• Hirschauer, N., Grüner, S., Mußhoff, O., Becker, C., Jantsch, A. (2020). Can p-values be meaningfully interpreted without random sampling?. Statistics Surveys, 14, 71–91. https://doi.org/10.1214/20-SS129.
• Hirschauer, N., Grüner, S., Mußhoff, O., Becker, C., Jantsch, A. (2021). Inference using non- -random samples? Stop right there!. Significance, 18(5), 20–24. https://doi.org/10.1111/1740-9713.01568.
• Kordos, J. (2014). Od twierdzenia Jakuba Bernoulliego do współczesnych badań reprezentacyjnych. Wiadomości Statystyczne, 59(3), 1–23. https://ws.stat.gov.pl/Article/2014/3/001-023.
• Kozłowski, A., Szreder, M. (2020). Informacje spoza próby w badaniach statystycznych. Wydawnictwo Uniwersytetu Gdańskiego.
• Lempert, R. (2009). The Significance of Statistical Significance: Two Authors Restate An Incontrovertible Caution. Why A Book?. Law & Social Inquiry, 34(1), 225–249. https://doi.org/10.1111/j.1747-4469.2009.01144.x.
• Lin, M., Lucas Jr., H. C., Shmueli, G. (2013). Too Big to fail: Large Samples and the p-Value Problem. Information Systems Research, 24(4), 906–917. http://doi.org/10.1287/isre.2013.0480.
• Mahalanobis, P. C. (1951). Professional Training in Statistics. Bulletin of the International Statistical Institute, 33(5), 335–342.
• Mellon, J., Prosser, C. (2017). Missing nonvoters and misweighted samples. Explaining the 2015 great British polling miss. Public Opinion Quarterly, 81(3), 661–687. https://doi.org/10.1093/poq/nfx015.
• Mercer, A. W., Kreuter, F., Keeter, S., Stuart, E. A. (2017). Theory and practice in nonprobability surveys. Parallels between causal inference and survey inference. Public Opinion Quarterly, 81(1), 250–271. https://doi.org/10.1093/poq/nfw060.
• Platek, R., Särndal, C. E. (2001). Czy statystyk może dostarczyć dane wysokiej jakości?. Wiadomości Statystyczne, 46(4), 1–21.
• Rosenbaum, P. R., Rubin, D. B. (1983). The central role of the propensity score in observational studies for causal effects. Biometrika, 70(1), 41–55. https://doi.org/10.1093/biomet/70.1.41.
• Sauvé, J.-M. (2021). Sexual Violence in the Catholic Church France 1950–2020. Summary of the Final Report Independent Commission on Sexual Abuse in the Catholic Church (CIASE). https://www.ciase.fr/medias/Ciase-Summary-of-the-Final-Report-5-october-2021.pdf.
• Särndal, C. E., Lundström, S. (2006). Estimation in Surveys with Nonresponse. John Wiley & Sons. Sturgis, P., Baker, N., Callegaro, M., Fisher, S., Green, J., Jennings, W., Kuha, J., Lauderdale, B., Smith, P. (2016). Report of the Inquiry into the 2015 British general election opinion polls. London: Market Research Society and British Polling Council. https://eprints.ncrm.ac.uk/id/eprint/3789/1/Report_final_revised.pdf.
• Szreder, M. (2010). Metody i techniki sondażowych badań opinii. Polskie Wydawnictwo Ekonomiczne.
• Szreder, M. (2017). Nowe źródła informacji i ich wykorzystanie w podejmowaniu decyzji. Wiadomości Statystyczne, 62(7), 5–17. https://doi.org/10.5604/01.3001.0014.0972.
• Szreder, M. (2019). Istotność statystyczna w czasach big data. Wiadomości Statystyczne. The Polish Statistician, 64(11), 42–57. https://doi.org/10.5604/01.3001.0013.7583.
• Szymczak, W. (2018). Praktyka wnioskowania statystycznego. Wydawnictwo Uniwersytetu Łódzkiego. Szymkowiak, M. (2019). Podejście kalibracyjne w badaniach społeczno-ekonomicznych. Wydawnictwo Uniwersytetu Ekonomicznego w Poznaniu.
• Trafimow, D. (2014). Editorial. Basic and Applied Social Psychology, 36(1), 1–2. https://doi.org/10.1080/01973533.2014.865505.
• Wasserstein, R. L., Lazar, N. A. (2016). The ASA’s Statement on p-Values: Context, Process and Purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108.
• Ziliak, S. T., McCloskey, D. N. (2008). The Cult of Statistical Significance. How the Standard Error Costs Us Jobs, Justice, and Lives. University of Michigan Press.

Identifiers

DOI

10.5604/01.3001.0015.9704

Biblioteka Nauki

2106803