Interpretationsproblem

[cathy_2]

Hallo zusammen,

ich habe für meine Doktorarbeit eine Fragebogenstudie durchgeführt, bei der es um Lebensqualität von Krebspatienten geht. Den verwendeten Fragebogen gab es in 2 Versionen und 2 Erhebungsmethoden, einmal normal papierbasiert und elektronisch mittels Tablet. Im Endeffekt sind dadurch 4 randomisierte Studienarme entstanden:

1. Version 1 auf Papier
2. Version 2 auf Papier
3. Version 1 elektronisch
4. Version 2 elektronisch

Nun habe ich Regressionsanalysen durchgeführt, um die Lebensqualität vorherzusagen und sollt als Prädiktoren neben Alter, Geschlecht, Komorbiditäten etc. eben auch die Studienarme nehmen. Als Ergebnis kommt jetzt heraus, dass Patienten im Studienarm 1 eine signifikant bessere Lebensqualität haben.
Mein Problem ist: Wie kann ich das interpretieren? Ich kanne es ja nicht einfach ignorieren und nicht berichten. Ich kann es mir nicht erklären, weil es eben alles randomisiert war. Meine Recherchen haben bis jetzt leider auch noch nichts ergeben.

Vielleicht hat ja jemand von euch einen Idee oder Rat :-)

Vielen lieben Dank schonmal! :-)

[davo]

Wenn man viele Dinge testet, ist klar, dass manches statistisch signifikant ist. Alpha-Fehler-Korrektur so als Stichwort.

Oder noch allgemeiner: Nicht alles, was statistisch signifikant ist, ist auch klinisch relevant. Wenn ich eine Riesenstichprobe habe, werden z.B. alle Unterschiede statistisch signifikant sein ;-)

[cathy_2]

@davo:
Danke für die Antwort. Meine Betreuerin hatte jetzt allerdings nicht davon gesagt, dass ich noch eine Alpha-Fehlerkorrektur machen muss nach der Analyse.
Mir ist auch klar, dass das Ergebnis jetzt nicht besonders klinisch relevant ist, ich weiß nur nicht genau, wie ich damit umgehen soll, da ich es ja nicht unkommentiert stehenlassen kann in der Diskussion oder?

[davo]

Dazu müsste man mal wissen, warum es überhaupt diese vier Varianten gab, was die Unterschiede zwischen den beiden Versionen sind (wenn man ausgerechnet das randomisiert hat, wird man sich ja wahrscheinlich irgendwas dabei gedacht haben), und v.a. wie groß die Unterschiede in der Lebensqualität relativ zur Standardabweichung dieser Variable sind, usw.

Unkommentiert stehenlassen würde ich es nicht, aber das ist halt eher etwas, was ich am Rande erwähnen würde. Außer natürlich es gibt irgendeinen wesentlichen inhaltlichen Unterschied zwischen den beiden Versionen. Die nächste Frage ist dann, ob es vielleicht irgendwelche Interaktionseffekte zwischen den vier Armen und den anderen Koeffizienten gibt, m.a.W., ob die Einflüsse der anderen Variablen in den vier Armen unterschiedlich sind.

Aber eigentlich sollte man all das natürlich mit seinem Betreuer / seiner Betreuerin besprechen ;-)

[cathy_2]

Meine Betreuerin ist selber Psychologie-Doktorandin und mus für ihr Projekt die neue Version validieren. Die Änderung ist allerdings nur minimal und betrifft die Antwortskala. Damit habe ich eigentlich gar nichts zu tun und es hieß auch, dass diese verschiedenen Versionen für mich unwichtig sind. Nur jetzt ist da eben "leider" was signifikantes herausgekommen. Meine Betreuerin weiß das auch, fand das auch selber doof und wusste eben auch nicht, was man damit genau jetzt anfangen kann. Aber klar, die werde ich auf jeden Fall trotzdem nochmal darauf ansprechen und versuchen es zu klären :-)

Danke für deine Anregungen, damit werde ich mich als nächstes mal befassen und dann alles weitere mit meiner Betreuerin klären. Aber schonmal gut, dass du das Ergebnis auch eher für unwichtig hälst, sodass man es nur am Rande erwähnen muss. Darum ging es mir hauptsächlich ;-)

[Miss_H]

Wenn deine Betreuerin selbst Doktorandin ist, dann wird dein Doktorvater/mutter jemand anderes sein. Dann geh doch zusammen mit deiner Betreuerin zu dieser Person. Oder frag einen Statistiker. Es scheint mir so, als ob du halt ein paar statistische Tests gemacht hast ohne zu wissen was sie testen.

[davo]

Du darfst halt nicht vergessen, was dich eigentlich interessiert - das sind vermutlich die Koeffizienten, also die Beziehung zwischen dx und dy. Wenn die vier Versionen deshalb nur einen skalierenden Effekt auf die Lebensqualität haben, ist das für deine Studie (zum Glück) irrelevant. Wirklich blöd wirds dann, wenn du einen Interaktionseffekt feststellst (wie kurz erwähnt) - denn dann musst (oder solltest) du überlegen, ob es für diesen irgendeinen logischen Grund geben könnte, usw. usf.

Aber ich würde zunächst einmal wirklich einfach damit anfangen zu überlegen wie groß dieser Unterschied überhaupt ist (z.B. relativ zur Standardabweichung). Denn wenn der letztlich irrelevant klein ist, relativ zur Standardabweichung und relativ zu anderen Koeffizienten, dann muss man sich wohl kaum weiter Gedanken machen.

[easy-bisy]

Ich finde das ist doch ein total spannendes Ergebnis aus dem man eine tolle Disskussion über die möglichen Gründe für diesen Effekt entwickeln kann! Konnten die Probanden denn auswählen, ob sie den Fragebogen schriftlich oder elektronisch bearbeiten?
Vielleicht können Menschen mit guter Lebensqualität noch nen Stift halten und wer das nicht mehr kann, weils ihm so scheiße geht, der muss nur noch beim iPad auf den Bildschirm tippen? Gibt bestimmt noch 1000 weitere mögliche Gründe. Und ist doch TOTAL relevant, weil die Wahl des Befragungsmediums offensichtlich Einfluss auf die Studienergebnisse hat. Vielleicht kann also eine neue Studie gar nicht 1:1 mit einer alten, noch papierbasierten verglichen werden, weil der statistische Effekt alleine auf der Wahl der Erhebungsmethode basiert etc.

[cathy_2]

Vielen Dank an alle für die Antworten :-)

Ich muss mich wohl auf alle Fälle nochmal mit den Tests genauer auseinandersetzen, denn es stimmt schon, so ganz 100%ig ist mir noch nicht klar, was und wie der Test genau berechnet hat.
Die von davo angesprochenen Dinge werde ich mir auch nochmal genauer anschauen. Leider bin ich nicht so fit in Statistik :-/

@easy-bisy:
So habe ich das noch gar nicht gesehen. Zwar konnten sich die Patienten nicht selber aussuchen, welche Methode sie nutzen, aber ich werde mir die Gruppen nochmal genauer anschauen. Vielleicht lassen sich doch Unterschiede im Patientenkollektiv feststellen. Manche Patienten haben tatsächlich gesagt, dass sie nicht in der Lage sind, den Fragebogen auf Papier auszufüllen, weil der viel kleiner gedruckt war und mehr Feinmotorik beansprucht hat.
In die Richtung werde ich mal weiter denken und recherchieren :-)

[Feuerblick]

Ich würde ja ganz pragmatisch von vorne anfangen: Warum gab es zwei Versionen pro Fragebogen und was wollte man mit diesen beiden Versionen zeigen vor dem Hintergrund das die Probanden sich nicht frei entscheiden durften, welche Version sie wählen. Irgendeine Intention für dieses Vorgehen muss es doch beim Studien-Design gegeben haben, oder?
Und darauf würde ich auch aufbauen, was genau damit gezeigt wurde und/oder ob es im jeweiligen Klientel Unterschiede gab, die deine Ergebnisse erklären könnten...

[Autolyse]

Wie groß ist denn der Effekt? Sind die Studienarme ausreichend gepowert (habt ihr eine Poweranalyse vorher gemacht? Wie ist die posthoc-Power? Erfüllt ihr die Daumenregel der multivariaten Regression von 15-25 Probanden pro Prädiktor?)?

[cathy_2]

@Autolyse
Es sind ingesamt 101 Probanden, die auch gleichmäßig auf die 4 Arme aufgeteilt sind. Prädiktoren habe ich 13. Ich weiß, dass das eigentlich zu viele sind, aber das lag daran, dass ich einige Variablen in Dummy-Variablen umcodieren musste. Ist aber auch so mit meiner Betreuerin abgesprochen. Sie meinte, das wäre okay bzw. hat es selber entschieden.
Das R^2 beträgt 0,138. Darauf habe ich die Effektstärke f^2 = 0,160 berechnet, was einem mittleren Effekt entspricht. Das Beta liegt bei 0,372.
Eine Poweranalyse haben wir nicht gemacht und auch keinen Post-hoc Test, da man den angeblich hier nicht braucht.

@Feuerblick
Das Studiendesign wurde für die Validierungsstudie, die meine Betreuerin durchführt, entwickelt. Sie hat die Antwortskala leicht verändert und möchte diese neue Version jetzt validieren. Am Anfang hieß es auch, dass die 4 Versionen für mich irrelevant sind, da mein Thema eigentlich ist, inwiefern sich sozialer Rückhalt auf die Lebensqualität auswirkt. Aber trotzdem sollte dann doch der Studienarm berücksichtigt werden in der Regression und ist jetzt eben signifikant geworden.

[Autolyse]

Die Analyse ist unterpowert. Unterpowerte Arbeiten haben nun einmal schwankende Ergebnisse und schlicht mehr Variabilität.

Habt ihr eine Kolinearitätsdiagnose gemacht? Gibt es da Auffälligkeiten?
Wie ist denn das korrigierte R²?