Fallzahl?

[Svitscher]

Hey Leute!
Ich arbeite seit einigen Wochen an dem Ethikantrag für ein klinische, prospektive, explorative Studie mit sechs Studienarmen. Nun stehe ich vor dem Problem der Fallzahl. Das Thema war eigentlich, zum einen die genauen Zeitverläufe von 30 cytokinen und Prostaglandinen in verschiedenen patientenpopulatuonen zu untersuchen und zum anderen zu schauen, ob die Konzentrationen von einem der cytokine direkt mit der ejektionsfrsktion korreliert, sodass dieses Cytokin als Surrogatparameter für die Schwere der Beeinträchtigung der linksventrikulären Funktion dienen kann. Da bisher noch wenig bis gar nichts über die Höhe der Cytokine in den unterschiedlichen Patientenpopulationen publiziert wurde, können wir die für die Berechnung der Fallzahl zur untersuchung einer möglichen Korrelation benötigten Werte wie standardabweichung etc nicht liefern. Wie werden denn Fallzahlen bei rein explorativen Studien berechnet? Und wäre es möglich bzw einfacher, als Endpunkt nur die Konzentrationsverläufe zu nehmen und eine Korrelation zu untersuchen, ohne dass die Fallzahl darauf berechnet wurde? Und als allgemeine Frage: stellt die vom Statistiker berechnete Fallzahl eine Mindestanzahl dar, sodass man auch mehr Probanden rekrutieren dürfte, oder muss man die Rekrutierung schließen, sobald man die berechnete Fallzahl erreicht hat?
Ich hoffe, hier findet sich jemand, der mir helfen kann!

[Autolyse]

[...]Wie werden denn Fallzahlen bei rein explorativen Studien berechnet?
Wissenschaftlich nachvollziehbare Annahme bezogen auf einen relevanten Effekt.

Und wäre es möglich bzw einfacher, als Endpunkt nur die Konzentrationsverläufe zu nehmen und eine Korrelation zu untersuchen, ohne dass die Fallzahl darauf berechnet wurde?
Schon, das ist dann nur einfach schlechte Wissenschaft und vermutlich relativ aussagelos.

Und als allgemeine Frage: stellt die vom Statistiker berechnete Fallzahl eine Mindestanzahl dar, sodass man auch mehr Probanden rekrutieren dürfte, oder muss man die Rekrutierung schließen, sobald man die berechnete Fallzahl erreicht hat?
Das stört dann die a-priori-Annahme der Power für den gemessenen Effekt.

[h3nni]

Das stört dann die a-priori-Annahme der Power für den gemessenen Effekt.

Was ja aber eigentlich nur bedeutet, dass eher eine statistische Signifikanz erscheinen würde, oder? Wäre das denn am Ende ein Problem?

Kritisch fände ich eher, dass man ja z. B. bei Interventionsstudien oder auch Tierversuchen aufgrund der Fallzahlberechnung eine bestimmte Anzahl an Individuen genehmigt bekommt. Und wenn du davon ausgehst, deinen Effekt mit 50 Individuen zeigen zu können, wieso sollte dich die Ethikkomission 100 Patienten einschließen lassen, die ja dann mehr Aufwand haben (in Interventionen das Risiko von UAW usw)?

[Autolyse]

Was ja aber eigentlich nur bedeutet, dass eher eine statistische Signifikanz erscheinen würde, oder? Wäre das denn am Ende ein Problem?[...]
Das ist p-hacking und damit questionable research practice. Du manipulierst damit die Wahrscheinlichkeiten und infolgedessen misst Du keinen echten Effekt mehr, sondern nur das Hintergrundrauschen, also den Zufall. Also: Ja.

[FirebirdUSA]

Das ist p-hacking und damit questionable research practice. Du manipulierst damit die Wahrscheinlichkeiten und infolgedessen misst Du keinen echten Effekt mehr, sondern nur das Hintergrundrauschen, also den Zufall. Also: Ja.

Ich halte das für Blödsinn, da der p-Wert das N berücksichtigt und damit das Hintergrundrauschen eben berücksichtigt wird (bei höherer Fallzahl wird der Effekt des Rauschen kleiner). Wahrscheinlichkeiten kann man so bei zufälliger Stichprobe nicht beeinflussen (durch Subgruppenanalyse natürlich schon). P hacking wird nur daraus wenn du gewollt oder ungewollt noch einen Selektionsbias dabei hast.
Trotzdem ist es unethisch zumindest bei Interventionsstudien, da du unnötig viele Patienten einem Risiko aussetzt (es gilt der Grundsatz so wenig Patienten wie möglich). Bei Fragebögen aber wenig relevant.

[Autolyse]

Ich halte das für Blödsinn, da der p-Wert das N berücksichtigt und damit das Hintergrundrauschen eben berücksichtigt wird (bei höherer Fallzahl wird der Effekt des Rauschen kleiner). Wahrscheinlichkeiten kann man so bei zufälliger Stichprobe nicht beeinflussen (durch Subgruppenanalyse natürlich schon). P hacking wird nur daraus wenn du gewollt oder ungewollt noch einen Selektionsbias dabei hast.
Trotzdem ist es unethisch zumindest bei Interventionsstudien, da du unnötig viele Patienten einem Risiko aussetzt (es gilt der Grundsatz so wenig Patienten wie möglich). Bei Fragebögen aber wenig relevant.
Natürlich kann man Wahrscheinlichkeiten beeinflussen, weil es Schwankungen rund um die echte Effektstärke gibt. Siehe dazu den Data-Peeking-Aspekt von Simonsohn, Nelson, Simmons. (https://journals.sagepub.com/doi/pdf/10.1177/1745691614553988). Wozu gibt es denn die obligate Präregistration von klinischen Studien? Und wieso ist der Anteil der Studien, die einen positiven Effekt zeigen unmittelbar nach Einführung der Registrierung extrem gesunken? Zufall? Wohlkaum...

[FirebirdUSA]

Nein, du hast unrecht oder wir reden an einander vorbei: Die Fallzahlberechnung ist eine Mindestzahl, die man auch überschreiten kann und darf (siehe auch hier: https://medium.com/@ignazioziano/aint-no-such-thing-as-overpowered-studies-myths-in-the-lab-part-i-5deadc6d2e60), ABER wenn ich natürlich so lange weiter Patienten einschließe bis p signifikant ist (und das versteht man unter data peeking, ist so auch in dem von dir verlinkten Artikel beschrieben) bzw. aufhöre bevor ich die am Anfang definierte Einschlusszahl erreicht habe, wenn p (ggf. zufällig) signifikant ist betreibe ich p-hacking. Deswegen muss ich mich vorher festlegen wieviel Patienten ich einschließe und wann ich Zwischenauswertung mache (und deswegen macht auch eine Registrierung Sinn). Aber ich kann natürlich ohne Probleme entscheiden die Mindestfallzahl zu überschreiten unter der Bedingung ist lege es vorher fest. Bis zu einem gewissen Grad macht es sogar Sinn, irgendwann wird es Unsinnig oder eine Verschwendung von Ressourcen.

[Autolyse]

[...] wir reden an einander vorbei: [...]
Ja, tun wir. Solange es vorab festgelegt ist kann man jede Fallzahl anwenden (vorausgesetzt man hat unendliche Mittel).

[h3nni]

Die Ethikkommission will ich sehen... Man kann ja nicht alles vorab festlegen, weil man lustig ist.

[FirebirdUSA]

Die Ethikkommission will ich sehen... Man kann ja nicht alles vorab festlegen, weil man lustig ist.

Es ging um statistisch korrektes Vorgehen, ethisch ist es wieder etwas anderes.