Regressions and “Bad Control”: Common Mistakes in Statistical Research

With the growing amount of data and its consequences for scientific paradigms quantitative research and statistical methodology will become more and more important even for scientific discoveries in social sciences and other disciplines. As can be seen in many high profile academic journals, however, quantitative studies lack statistical knowledge and are prone to mistakes, many of which are based on false beliefs and misleading peer consensus.

In the following analysis I will address some of these common mistakes and false beliefs in basic statistical research. One of the issues discussed in this analysis will be the selection process of covariates within the context of different regression models. It has become quite common in economic and social science that researchers include a bunch of covariates into their regression models in order to “control for” other variables, a practice that often leads to multicollinearity. The following analysis will discuss the issue of “bad control” or multicollinearity.

Zufallsstichprobe versus Quotenauswahl in der Markt- und Meinungsforschungsindustrie

Screenshot from 2017-11-04 11:19:18

Während Statistiken und Umfragen in der medialen Wahrnehmung lange Zeit als bare Münze dargestellt und unkritisch verbreitet wurden, so scheint sich dies in letzter Zeit in das komplette Gegenteil umzukehren. Daten und Umfragen büßten massiv an Glaubwürdigkeit ein und das Zitat ,,Traue keiner Statistik, die du nicht selbst gefälscht hast” gilt bereits als Standardmeinung in sämtlichen Online-Foren.

Abseits der Medien jedoch insbesondere in der akademischen Literatur reicht die Kritik an Umfragen schon sehr weit zurück. Der amerikanische Journalist Walter Lippmann etwa verwarf bereits im Jahre 1927 in seinem berühmten Werk The Phantom Public (2011) das Konzept der öffentlichen Meinung, da er eine zu große Diskrepanz zwischen der Komplexität der politischen und sozialen Realitäten und der einfachen Gestricktheit der Durchschnittsbürger sah. Neben einigen qualitativen Kritikpunkten steht in der akademischen Literatur eine Reihe von methodologischen und praktischen Herausforderungen zur Debatte.