Ein paar Hinweiese zur Studienkritik gibts hier; Thema sind zwar psychologische Studien, kann aber trotzdem auch für andere Bereiche hilfreich sein, meint Boggy.

Quelle:
https://www.spektrum.de/news/forschungspraxis-wie-sieht-eine-gute

Zitat:
"Gutes wissenschaftliches Arbeiten beginnt schon mit der Formulierung der Forschungsfrage. Die erste Entscheidung steht an: »konfirmatorisch« oder »explorativ« forschen?
Wer konfirmatorisch vorgeht, hat eine Hypothese und möchte sie überprüfen, im besten Fall: bestätigen (von lateinisch: confirmare = bestätigen).
Eine explorative Arbeit hingegen erkundet unbekannte Gewässer (explorare = erkunden) und entwickelt aus den Entdeckungen im Nachgang Hypothesen, die es dann in weiteren Studien zu prüfen gilt.
(...)

Jeder Befund gilt zunächst nur für den Ort, den Zeitpunkt und das Setting der betreffenden Studie.
(...)

Wer seine Stichprobengröße auf diese Weise festlegt, gerät auch nicht in die Versuchung, zwei weitere schlechte Forschungspraktiken anzuwenden, wenn die Studie schon läuft.
Erster Fehler: den Zwischenstand immer mal wieder anzuschauen und die Studie zu stoppen, sobald sich in den Daten der erhoffte Effekt abzeichnet – auch wenn die angedachte Versuchspersonenzahl noch gar nicht erreicht ist.
Zweiter Fehler: so lange immer mehr Teilnehmer zu testen, bis schließlich ein signifikantes Ergebnis vorliegt, auch wenn die geplante Stichprobengröße überschritten ist.
(...)

Die größte Gefahr liegt im p-Hacking. Der Wert p gibt an, ob ein Ergebnis signifikant, das heißt statistisch gesehen bedeutsam ist. Er sagt aber nichts darüber aus, ob ein Ergebnis praktisch bedeutsam ist.
Ausgangspunkt ist die Nullhypothese, die davon ausgeht, dass es in Wahrheit gar keinen Effekt gibt, zum Beispiel keinen Unterschied zwischen zwei Gruppen. Wie oft würden – unter Annahme dieser Nullhypothese – die Unterschiede größer ausfallen als in den vorliegenden Daten, wenn die Studie unendlich oft in gleicher Weise wiederholt würde?
Ist die Wahrscheinlichkeit kleiner als 5 Prozent, also p kleiner als 0,05, gilt ein Ergebnis in der Regel als statistisch signifikant. Die simple Zweiteilung in signifikante und nicht signifikante Ergebnisse wird der Realität aber nicht gerecht.

Um den magischen Wert zu unterschreiten, haben sich dennoch allerlei Tricks eingebürgert, in der Fachwelt bekannt unter dem Begriff p-Hacking.

Darunter fallen das schon erwähnte vorzeitige Stoppen und Verlängern einer Datenerhebung.
Andere Methoden: »störende« Versuchspersonen auszuschließen oder die Zusammensetzung von Gruppen so lange zu ändern, bis das Ergebnis passt, natürlich mit vorgeschobenen, vermeintlich guten Argumenten. Neben dem p-Hacking gibt es eine weitere fragwürdige Forschungspraxis: das HARKing, kurz für »Hypothesizing After the Results are Known«, das Aufstellen von Hypothesen, nachdem die Ergebnisse bereits bekannt sind."

Ich stoppe hier, weiter lesen lohnt sich - imho.

--
Um unserer persönlichen und gesellschaftlichen Freiheit willen müssen wir immer wieder die Saat des kritischen Verstandes und des begründeten Zweifels säen.