Ergebnisse nicht signifikant aufgrund zu geringer Fallzahlen in Studie

[DrLecter]

Hatte irgendjemand ein ähnliches Problem? Wie seid ihr dann vorgegangen? Konnte man die ganze Arbeit dann in die Tonne kloppen oder kann man die Arbeit dennoch schreiben? Musste die Studie nochmal weitergeführt werden?

In meinem Fall geht es um eine Fragebogen-Studie. Eigentlich wären meine ausgefüllten Fragebögen genug, jedoch aufgedröselt nach Einzeldiagnosen der Probanden sind einige Ergebnisse nun nicht signifikant, aufgrund zu geringer Fallzahl von Patienten dieser Diagnosen...

Ich habe zeitnah einen Termin mit meinem Doktorvater, aber bin gerade etwas panisch, ob all die Arbeit umsonst war?

[ProximaCentauri]

Hast du denn für die Hauptfragestellung der Studie genügend Fragebögen? Dass gewisse Subgruppenanalysen dann eine zu geringe Anzahl Patienten haben ist völlig normal. Das Wichtige ist, dass man schaut, dass man für die Hauptfragestellung eine vernünftige Aussage treffen kann.
Bei uns wäre die Arbeit dann nicht für die Tonne, es könnte einfach sein dass sie allenfalls nicht publiziert werden kann, d.h. man müsste halt eine "richtige" Dissertationsarbeit schreiben und die ist häufig halt umfangreicher als wenn man mit einer Publikation abschliesst. Da müsstest du dann halt die Promotionsordnung deiner Uni lesen.

[BrianAir]

untersuchst du zufällig den gleichen Fragebogen? Meine Ergebnisse sind auch nicht signifikant, obwohl genug Patienten. Sind deine Probanden über 18?

[DrLecter]

Ich habe eine extrem allgemeine und eine etwas genauere Fragestellung. "Tritt xxx häufiger bei psych. Patienten auf als in der Normalbevölkerung?" Und dafür hätte ich genug Fragebögen. Allerdings aufgedröselt nach den einzelnen Psych-Diagnosen-Gruppen sind es dann nicht genug, weil für manche Diagnosen einfach nicht genug Patienten da waren bzw. sich bereit erklärt hatten den Fragebogen auszufüllen.
Publikation hatte ich eigentlich gar nicht geplant, von daher wäre das für mich kein großes Problem. Angst habe ich aktuell eher davor, die Studie nochmal für Monate laufen lassen zu müssen bzw. dass alles umsonst war :(

[DrLecter]

Meine Probanden sind alle über 18 Jahren, falls du das meinst :D Ansonsten habe ich knapp 200 Patienten befragt.

[BrianAir]

Ahh okay, ich untersuche nur kranke. Dann haben wir bestimmt nicht das gleiche.
Bei mir ist das Problem, der Fragebogen zeigt nicht die Krankheit an, die er anzeigen sollte ...

Und wenn du deine Diagnosen mehr zusammenfasst? Das glaube ich fast nicht, vlt kannst du an deiner Fragestellung arbeiten. Nicht signifikant ist ja auch ein Ergebnis ...

[FirebirdUSA]

Dann machst du vermutlich ja eine ANOVA, findet sich hier kein signifikanter Effekt oder erst bei den Post hoch Tests?
Am Ende musst du deine Ergebnisse diskutieren (underpowered? Vermutlich kein Effekt? ...)

[ProximaCentauri]

Naja dann kannst du bezüglich der Grundfrage ja erst einmal eine Aussage mit genügend Power treffen, und dann beschreibst du halt die Untergruppen. Es ist völlig normal dass man da nicht für jede Untergruppe genügend Power hat. Das kann man dann diskutieren und sagen dass man Resultat XY hat und dass es halt nicht genügend Teilnehmer mit Krankheit X gab. Da denke ich nicht dass das Probleme geben sollte.

[FirebirdUSA]

Ahh okay, ich untersuche nur kranke. Dann haben wir bestimmt nicht das gleiche.
Bei mir ist das Problem, der Fragebogen zeigt nicht die Krankheit an, die er anzeigen sollte ...

Und wenn du deine Diagnosen mehr zusammenfasst? Das glaube ich fast nicht, vlt kannst du an deiner Fragestellung arbeiten. Nicht signifikant ist ja auch ein Ergebnis ...

Was ja auch ein Ergebnis ist.

[Trüffel]

Da lässt sich pauschal wenig zu sagen, ohne das konkrete statistische Modell zu kennen. Grundsätzlich kann man sich natürlich fragen, ob die Parameterauswahl ideal getroffen ist. Sind da eventuell zu viele, zu wenige, oder ungünstige Prädiktoren mit drin? Wie wird das primäre Outcome kodiert? Gibt es fehlende Werte? Wenn ja, wie geht man mit denen um? Da gibt es einige Ansatzpunkte.

Letztlich muss man aber natürlich sagen: Eine unzureichende Datenlage bleibt eine unzureichende Datenlage, egal wie sehr man daran herumschraubt. Davon abgesehen können aber auch insignifikante Werte Erkenntnisse für die Konzeption zukünftiger Studien liefern. Umgekehrt mag ein Prädiktor zwar signifikant sein, aber trotzdem nur marginale klinische Bedeutung besitzen.

[davo]

Eine wesentliche Frage ist halt auch, ob das absehbar war.

Wenn es üblich ist, dass nur so wenige Teilnehmer diese Diagnosen haben, und von Anfang an klar war, dass eine Subgruppenanalyse geplant ist, dann ist es ein Fehler dessen, der das Studiendesign entworfen hat, der die Stichprobengröße berechnet hat. Dann könnte es, im unwahrscheinlichen Fall, dass Betreuer, Doktorvater und Zweitgutachter von Statistik eine Ahnung haben und den Anspruch haben, dass man statistisch sorgfältig arbeiten soll, sein, dass du nochmal zurück an den Start musst. Aber wahrscheinlich wäre sogar das egal - irgendwelche interessanten Ergebnisse wird man ja wahrscheinlich trotzdem haben, und wenn sie nur deskriptiv sind.

Wenn es hingegen so ist, dass eine Subgruppenanalyse nicht geplant war, sondern jetzt im Nachhinein als Bonus durchgeführt werden soll, oder, noch besser, wenn es so ist, dass es nicht zu erwarten war, dass nur so wenige Teilnehmer diese Diagnosen haben, dann bist du auf jeden Fall aus dem Schneider. Auch nicht statistisch signifikante Ergebnisse sind ein Ergebnis, und sollten zur Minimierung des publication bias "veröffentlicht" (in diesem Fall: in einer Doktorarbeit berichtet) werden.

Deiner Beschreibung nach klingt es so, dass die Subgruppen alle zu klein sind. Das ist dann natürlich doof. Denn das bedeutet, dass man von Anfang an hätte wissen müssen, dass die Subgruppenanalyse, bei realistischen Annahmen über den Rest der Daten, wahrscheinlich nicht möglich sein wird. Aber wie gesagt: Selbst in diesem Fall hast du ja schonmal ein Ergebnis, nämlich das Hauptergebnis.

Und statistische Signifikanz ist nicht alles - wenn z.B. alle Subgruppenergebnisse in dieselbe Richtung gehen, große und konstant große Effektgrößen haben, nur halt nicht statistisch signifikant sind, kann man die Subgruppenergebnisse schon auch diskutieren. Dann schreibt man eben, dass die Vermutung vorliegt, dass dies und jenes der Fall ist, aber dass man dies aufgrund der mangelnden statistischen Signifikanz bei der vorliegenden Stichprobengröße nur vermuten kann. Wenn die Subgruppenergebnisse hingegen alle völlig all over the place sind, mit unterschiedlichen Vorzeichen, kleinen und unterschiedlich kleinen Effektgrößen, dann sollte man die besser gar nicht ansprechen sondern einfach schreiben, dass für eine Subgruppenanalyse eine größere Stichprobe nötig wäre.