The aim of the article is to quantify how often in leading Czech social-science journals (Československá psychologie / Czechoslovak Psychology, Pedagogika/Pedagogy, and Sociologický časopis / Czech Sociological Review) authors choose the wrong procedures to analyse quantitative data. In particular, attention is focused on the incorrect choice of statistical tests, their misinterpretation and mechanical application, and the use of effect sizes, that are so highly recommended nowadays. The basic research period was ten years, from 2005 to 2014, and for the Czech Sociological Review the period was extended back to 1995. The results of the content analysis of published articles (N=363) show that statistical tests are applied quite often to data that are not suitable for statistical tests: this is found in about one-fifth of cases in Czech Sociological Review, one-half in Pedagogy, and more than three-quarters in Czechoslovak Psychology. In addition, authors often make mechanical use of statistical methods or make incorrect interpretations (in over 40% of articles in the Czech Sociological Review over the last 10 years) and there are rarely any substantive interpretations of results (especially in Czechoslovak Psychology). Effect sizes are applied relatively often, but there are also gaps in their usage. It is clear from the results that changes are necessary both in the teaching of quantitative methodology and publishing practices in this subject area.
Based on a pilot study, a list of critical success factors for an IT project was developed. These factors were subjected to statistical analysis on the basis of the results of a questionnaire. Two samples of projects, called “success” and “failure” respectively, were analysed. The groups were distinguished in order to evaluate the influence of selected factors on the success of an implementation project. Furthermore, a non-parametric test was applied, in order to conduct statistical data analysis, which confirmed the influence of the majority of the selected factors on the success of an implementation project.
Artykuł zawiera informacje o tym, jak interpretować podstawowe dane statystyczne: wskaźniki istotności statystycznej, wielkości efektu i przedziały ufności. Pokazano kilka heurystyk użytecznych przy interpretacji wielkości efektów korelacji r Pearsona, statystyki d Cohena oraz relatywnego ryzyka. Olbrzymia większość pozostałych efektów jest pochodną wyżej wymienionych. Dodatkowo wskazano również, jakie są ograniczenia wybranych wskaźników, szczególnie istotności statystycznej. Artykuł jest pomyślany jako pomoc szczególnie dla psychologów praktyków.
EN
The article contains information how to interpret statistical data: statistical significance, effect size and confidence intervals. Several heuristics are given how to usefully interpret the magnitude of the correlation Pearson’s r, Cohen’s d and relative risk. The vast majority of other effects is a derivative of the aforementioned. In addition, I also show the limitations of selected indicators, especially statistical significance. This article is intended as an aid especially for psychologists practitioners.
The development of new technologies has affected both the procedures of traditional statistical surveys and the perception of their results in the light of other available sources of information. In this connection, the role of the verification of statistical hypotheses and of the interpretation and presentation of its results, including the use of statistical significance and p-value, has recently returned as a frequent topic for discussion among the scientific community. The author was inspired to write this paper by a wave of discussion regarding this matter held at the beginning of 2019 in the Nature and The American Statistician journals. The aim of the paper is to present the opportunities provided and challenges posed by the use of big data to the hypothesis verification process and to statistical inference, both in the traditional and Bayesian approaches. The author explains the necessity of discontinuing adopting excessive simplifications while performing statistical inference and presenting the results of the verification of hypotheses. This involves both the postulate to pay greater attention to the quality of sampling data, especially in the case of data originating from big data sets, as well as the postulate to provide full information about the statistical model on the basis of which the inference is being performed.
PL
Rozwój nowych technologii wpływa zarówno na realizację badań statystycznych, jak i na postrzeganie ich wyników w świetle innych źródeł informacji. W tym kontekście powraca w środowisku naukowym temat roli testowania hipotez statystycznych oraz interpretowania i przedstawiania jego wyników, w tym stosowania kategorii istotności statystycznej oraz wskaźnika p-value. Inspiracją do powstania tego opracowania stała się fala dyskusji wokół tego zagadnienia toczących się na forum czasopism „Nature” i „The American Statistician” na początku 2019 r. Celem artykułu jest ukazanie szans i zagrożeń, jakie big data stwarza dla weryfikacji hipotez i wnioskowania statystycznego, zarówno w ujęciu klasycznym, jak i w podejściu bayesowskim. Autor uzasadnia konieczność zaniechania zbyt daleko posuniętych uproszczeń w realizacji procesu wnioskowania statystycznego oraz prezentowaniu wyników weryfikacji hipotez. Chodzi zarówno o postulat uwzględnienia jakości danych próbkowych, zwłaszcza typu big data, jak i o podawanie pełnej informacji o modelu statystycznym, na podstawie którego przeprowadza się wnioskowanie.
The theory of statistical inference clearly describes the benefits of large samples. The larger the sample size, the fewer standard errors of the estimated population parameters (the precision of the estimation improves) and the values of the power of statistical tests in hypothesis testing increase. Today’s easy access not only to large samples (e.g. web panels) but also to more advanced and user-friendly statistical software may obscure the potential threats faced by statistical inference based on large samples. Some researchers seem to be under the illusion that large samples can reduce both random errors, typical for any sampling technique, as well as non-random errors. Additionally, the role of a large sample size is an important aspect of the much discussed in the recent years issue of statistical significance (p-value) and the problems related to its determination and interpretation. The aim of the paper is to present and discuss the consequences of focusing solely on the advantages of large samples and ignoring any threats and challenges they pose to statistical inference. The study shows that a large-size sample collected using one of the non-random sampling techniques cannot be an alternative to random sampling. This particularly applies to online panels of volunteers willing to participate in a survey. The paper also shows that the sampling error may contain a non-random component which should not be regarded as a function of the sample size. As for the contemporary challenges related to testing hypotheses, the study discusses and exemplifies the scientific and ethical aspects of searching for statistical significance using large samples or multiple sampling.
PL
Teoria wnioskowania statystycznego jasno określa korzyści związane z dużą liczebnością próby badawczej. Wraz ze wzrostem wielkości próby maleje ilość błędów ocen szacowanych parametrów populacji (zwiększa się precyzja estymacji), a także rosną wartości mocy testów wykorzystywanych do weryfikacji hipotez statystycznych. Współczesne możliwości łatwego dotarcia do dużych prób badawczych (np. paneli internetowych), a także korzystania z coraz bardziej zaawansowanego i przyjaznego dla użytkownika oprogramowania statystycznego sprzyjają niedostrzeganiu zagrożeń dla wnioskowania statystycznego, jakie wiążą się z dużymi liczebnie próbami. Część badaczy ulega iluzji, że duża próba jest w stanie zniwelować i rozproszyć nie tylko błąd losowy, charakterystyczny dla każdej techniki losowania próby, lecz także błędy nielosowe. Znaczenie dużej liczebności próby jest ponadto jednym z ważnych aspektów toczącej się od kilkunastu lat dyskusji na temat istotności statystycznej (p-value) oraz problemów z jej rozstrzyganiem i interpretowaniem. Celem opracowania jest wskazanie i omówienie konsekwencji dostrzegania w dużych próbach statystycznych jedynie szans, a pomijanie wyzwań i zagrożeń wynikających z ich stosowania. W artykule pokazano, że duża liczebność próby, której doboru dokonano za pomocą techniki nieprobabilistycznej, nie może stanowić alternatywy dla wyboru losowego. W szczególności dotyczy to internetowych paneli wolontariuszy deklarujących chęć udziału w badaniu. Wskazano ponadto na znaczenie komponentu nielosowego w błędzie próbkowania, który nie jest malejącą funkcją liczebności próby. W odniesieniu zaś do współczesnych problemów weryfikacji hipotez nakreślono i zilustrowano przykładem naukowy i etyczny wymiar podążania za istotnością statystyczną z wykorzystaniem dużych liczebnie prób lub wielokrotnego próbkowania.
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.