Systematische Übersichtsarbeit (systematic review)

[milz]

Liebe Foristen. Nachdem meine experimentelle Arbeit reif für die Tonne ist will ich den Traum vom Dr. med. trotzdem noch nicht ganz begraben. Zu meiner persönlichen Situation: Bin > 10 Jahre im Job (OA), Familienplanung und Eigenheim abgeschlossen, geregelte Arbeitszeiten (5-Tage-Woche). Ich denke das sind optimale Voraussetzungen, um noch einmal einen Neustart zu wagen. Allerdings scheidet wochenlange Labortätigkeit u.ä. aus nachvollziehbaren Gründen komplett aus. Ich habe mich etwas umgehört und nun eine systematische Übersichtsarbeit aus einem anderen Fachbereich angeboten bekommen (die auch publiziert werden soll). Pubmed liefert zum Thema knapp über 1000 Treffer.

Wer von Euch hat mit einem SR erfolgreich promoviert und kann mir Tips geben?
Wie fange ich strategisch am besten an?

[Autolyse]

Systematische Übersichtsarbeiten und Metaanalysen sind komplexe und zeitaufwendige Sachen. Folgende Fragen sind für die Rahmenbedingungen wichtig:
1. Ist die Fragestellung bereits klar definiert und mit Primär- und Sekundäroutcomes definiert?
2. Welche Typen von Arbeiten sollen eingeschlossen werden: RCTs? Auch Beobachtungsstudien? Sogar Fallserien?
3. Gibt es schon eine systematische Übersichtsarbeit zu dem Thema in der Literatur? Wenn ja, wie alt ist die?
4. Habt ihr Zugang zu allen notwendigen Datenbanken: PubMed/MEDLINE alleine ist nicht ausreichend, es gehört wenigsten noch das Web of Science und Scopus oder Embase dazu. CINAHL ist eher optional.
5. Habt ihr jemanden im Team, der die Syntax aller drei Datenbanken beherrscht (insbesondere die komplexeren Strategien mit proximity-Operatoren unterscheidet sich stark)?
6. Ist genügend Geld da um die Fernleihekosten zu stemmen (willkürliche Zeitbegrenzungen stoßen den Gutachtern immer sauer auf, wenn nicht offensichtliche Faktoren das rechtfertigen) respektive ist jemand beteiligt, dessen Bibliothek die Kosten für Mitarbeiter trägt?
7. Steht die entsprechende Software zur Verfügung, insbesondere eine solche die den Import der unterschiedlich kodierten Suchergebnisse unabhängig vom Format unterstützt und die gut deduplizieren kann?
8. Wenn eine Metaanalyse dabei ist: Habt ihr jemanden im Team, der sich mit der dahinterstehenden Statistik auskennt (es gibt weit mehr als Maentel-Haenszel-Schätzer und die Entscheidung, ob ein Random-Effects oder ein Fixed-Effects-Model genommen wird ist nicht davon abhängig wie Iota² ist...) und entsprechende Software zur Verfügung hat (RevMan hat zu wenig Möglichkeiten um dem Rechnung zu tragen)?
9. Ist die Arbeit bereits bei PROSPERO registriert oder gibt es den Datensatz zumindest schon?

[Moni Ka]

Hallo

[Moni Ka]

Ich hatte vor paar Wochen ebenfalls ein systematische Übersichtsarbeit angeboten bekommen.

Ergänzung zur Email vom Autolyse, es müssen mindestens 2 Reviewer geben, die die Datenextraktion sowie überhaupt die eingeschlossenen Studien zubewerten und beurteilen

Solche Arbeiten daueren zwar ebenfalls lange wie experimentelle ABER der Faktor scheiteren ist sehr gering, da die Daten vorhanden sind und man muss die nicht suchen.

Wenn du Zeit hast und alles weiteres sowiet geklärt dann leg los

Darf man fragen, in welcher Fachrichtung die Arbeit angegertigt wird?

[milz]

Vielen Dank Euch beiden.

Habe über die Suche noch diesen Thread gefunden, wo User ProximaCentauri positiv berichtet https://www.medi-learn.de/foren/showthread.php?99852-Systematic-Review-vs-Retrospektiv-statistische-Arbeit

Ich vermute mal, das ganze wird viel Arbeit, aber kein Hexenwerk sein. In diesem Thread will ich auch etwas allgemeines Material sammeln (falls die Links nicht erlaubt sind bitte löschen oder PN schreiben), vielleicht hilft es jemandem.

Systematic reviews and meta-analyses: a step-by-step guide
https://www.ccace.ed.ac.uk/research/software-resources/systematic-reviews-and-meta-analyses

[Moni Ka]

Danke top Links

Bei Cocharne gibt's paar kostenpflichtige Videos aber für systematic Review sind die Mega hilfreich.

[ProximaCentauri]

Ich arbeite mittlerweile wohl an der vierten oder fünften Review, ich finde nach wie vor dass sich solche Arbeiten gut eignen um sie auch neben dem Beruf machen zu können. Ich habe die ganze Literaturreview von den letzten zwei Arbeiten beim TV schauen zu Hause gemacht, der Grossteil davon ist nämlich einfach Deppenarbeit.
Ja, dann muss man die identifizierten Papers auch noch lesen, Risk of Bias assessen etc., das braucht dann wiederum Zeit. Was ich noch abklären würde ist, ob von der Gruppe ein Statistiker zur Verfügung steht der dann die ganze Datenauswertung macht, oder wer das tut. Ich denke, das ist als "Laie" dann doch schwierig um es nebenbei gut zu lernen.

[Listerien]

Ich reihe mich ein bezüglich Metaanalysen.

Ich habe ebenfalls eine systematische Arbeit mit Metaanalyse durchgeführt bzw noch dabei. Die Betreuung durch meinen Doktorvater ist zwar OK aber die statistische Bewertung läuft so Mau und ich fühle, dass ich alleine gelassen bin.

Mein Doktorvater betreut außer mir keinen anderen Doktoranden und es gibt keine Person in der AG, die mir bei Fragen zu Statistik unterstützen konnte, die Epidemiologie Institut haben ebenfalls keinen speziealisierten Kollege auf dem Gebiet- Metaanalysen und deren Auswertung. Mir bleibt also nur HILFE aus auserhalb durch nen professionellen Statistikberater oder Ghostwriter etc. zuorganisieren.

Weiß jemand wieviel Hilfe im Statistik Teil der Doktorarbeit erlaubt ist? Und wie teuer sowas wäre?
Vielen Dank im voraus

[elastic]

das Wort Ghostwriter würde ich überhaupt nicht in den Mund nehmen, wenn dabei nur (erlaubte) statistische Hilfe gemeint hast. Das kann schnell in falschen Hälsen landen.

[ProximaCentauri]

Bei uns wäre es kein Problem einen statistischen Berater zu haben für den statistischen Teil, man muss das halt nur in der Publikation korrekt deklarieren. Dass an einem Epidemiologie-Institut das aber niemand kann fände ich schon erstaunlich. Wie sieht es mit einer Clinical Trials Unit, oder Public Health oder so aus? Ghostwriter sind etwas völlig anderes.

[t0rchy]

Ich bin Doktorand am epidemiologischen Institut unserer Uni, an dem selbstverständlich auch häufiger systematic reviews duchgeführt werden, sowohl von Studierenden als auch von fest angestellten Doktoranden mit abgeschlossenem Studium durchgeführt werden.

Aus meiner Erfahrung und der meiner Kollegen heraus, kann ich davon nur dringend abraten. Zumindest wenn man es neben dem Studium machen möchte. Es ist durchaus möglich, dass es auch gute und interessante Arbeiten gibt, die man auch zum Abschluss bringt. Als Nebentätigkeit eines wissenschaftlichen Anfängers (und das sind Medizinstudenten mit dem Ziel der Promotion, genau wie ich, im Normalfall) würde ich so eine Arbeit nicht empfehlen.

[Moni Ka]

Darf man fragen warum nicht?

Ich bin ganz zufrieden soweit mit meiner Analyse ;)

[Autolyse]

Hier ( https://doi.org/10.1111/1468-0009.12210) steht die Antwort.

Oder prägnant als Zitat:

The increase is a consequence of the higher prestige that systematic reviews and meta-analyses have acquired over the years, since they are (justifiably) considered to represent the highest level of evidence. Many scientists now want to do them, leading journals want to publish them, and sponsors and other conflicted stakeholders want to exploit them to promote their products, beliefs, and agendas. Systematic reviews and meta-analyses that are carefully done and that are done by players who do not have conflicts and pre-determined agendas are not a problem, quite the opposite. The problem is that most of them are not carefully done and/or are done with pre-determined agendas on what to find and report.

[Moni Ka]

Weiß jemand, ob in der systematic Rewiev einen Rewier ausreicht? Oder müssen auf jeden Fall 2 sein? Wirkt das sich negativ auf das Ergebnis und die Note?
Euch noch schönen Tag

[Autolyse]

Ja, es müssen zwei sein. Die Auswirkung auf die Note ist ungefähr so wie ein fehlendes Ethikvotum. Es sind die Grundbedingungen schon nicht eingehalten...

[Moni Ka]

Hey, danke für die schnelle Antwort.

Das ist jetzt ein bisschen unglücklich für mich, da mein Betreuer nicht viel Ahnung davon hat.

Ich dachte, dass ich alles alleine und selbstständig mache und er mich wenn überhaupt eine meta_Analyse sich draus ergibt weiter hilft.

Er hatte bis jetzt diverse Arbeiten publiziert aber alles halt klinische Studien und keine Reviews oder Meta

[Autolyse]

Der Unterschied zwischen einem narrativen und dem systematischen Review liegt nicht nur in der systematischen Suchstrategie, sondern auch der systematischen Datenextraktion nach vorher definierten Kriterien. Die parallele Datenerhebung durch mehrere beteiligte Personen stellt erst die notwendige Kohärenz her, damit man zuverlässige Daten erheben kann. Ansonsten wäre es nur deine persönliche Interpretation und die ist im besten Falle von marginalem wissenschaftlichen Wert.

Ideale Grundvoraussetzungen einen Doktoranden zu betreuen, wenn man keine Ahnung hat. Nicht.

[Moni Ka]

Stimmt was du sagst. Ich kann leider nicht mehr ändern.

Meine Arbeit wird dann wohl als narrative Review, wenn ich als einzige Review sein werde.

Oder aber als systematische Review aber mit schlechten Forschungergebnisse, und wie du meintest nicht höhen wissenschaftlen Wert.

Für mich ist es auch nicht einfach die Studien Qualität alleine als Forschungsanfängerin zubewerten. Ich wühle mich durch die Bücher wie verrückt und komme einfach nicht weiter.

[Autolyse]

Mit nur einem Auswerter ist es nicht publizierbar und an den Gutachtern kommt man nur vorbei, wenn die ähnlich ahnungslos sind wie dein Betreuer. Du musst Dir darüber bewusst sein, dass es eine relevante Chance darauf gibt, dass die Arbeit nicht angenommen wird. Es wird nicht dein persönlicher Fleiß bewertet, sondern die wissenschaftliche Erkenntnis die dabei rausgekommen ist. Der wissenschaftliche Mehrwert einer Auswertung der Beschneidungen des Uniklinikums in den letzten fünf Jahren mag begrenzt sein, er ist aber da und damit wird die Arbeit angenommen. Wenn man schon die Grundbedingungen des wissenschaftlichen Arbeitens nicht einhält, dann hat man keine Syntheseleistung und damit keinerlei wissenschaftlichen Wert, weil sich dieser nur aus der Synthese des Vorhandenen ergibt.

Man kann im systematischen Review sehr viel (und in der Metaanalyse noch mehr) falsch machen (siehe AMSTAR-2 mit der zugehörigen Checkliste (https://www.bmj.com/content/358/bmj.j4008)).

Die Studienqualitätsbewertung ist schwierig. Das fängt schon mit der Auswahl des Instruments an, davon gibt es insgesamt 147 (siehe das systematische Review mit Bewertung zu den HTA-Assessments (https://portal.dimdi.de/de/hta/hta_berichte/hta260_bericht_de.pdf)), aber nur weil man die Instrumente hat, heißt das noch nicht das man damit umgehen kann. Um bewerten zu können muss man verstanden haben was das Item eigentlich abprüft. Um Randomisierungen zu bewerten muss man die Randomisierungsverfahren kennen, wissen wo deren Vor- und Nachteile sind und idealerweise auch wissen, wie man bei der Gruppenzuordnung betrügen kann (Beispiel hier (https://trialsjournal.biomedcentral.com/articles/10.1186/s13063-017-1946-z)). Das kann man ohne adäquates Training überhaupt nicht schaffen und das muss von jemandem kommen, der im Bereich der evidenzbasierten Medizin substantielle Erfahrung hat.

[Moni Ka]

Autolyse vielen Dank für die Informationen. Darf man fragen wo du das alles hier hast? Hattest du eine Review schonmal gemacht oder arbeitest du in einem epidemiology Institut?

Das alles was du erzählst macht mir Angst die Arbeit wird wohl scheitern, wenn ich das lese.

Ich habe mal gelesen auf einer Universitätsseite, dass sowohl systematische Review als auch systematische Review + Meta_Analyse akzeptabel sind aber für die Benotung nur Rite gegeben wird wie folgt


a) Beobachtungsstudien (z.B. „retrospektive Studien“ ohne wesentliche neue
Gesichtspunkte, Fallzusammenstellungen einfacher Art, Kasuistiken seltener Fälle.
b) Experimentelle, im Wesentlichen nachvollziehende Arbeiten unter Anleitung mit
etablierten Methoden.
c) theoretische Arbeiten einfachen, überwiegend referierenden Charakters.
d) Ko-Autorenschaft auf einem zitierfähigem Abstract einer nationalen Fachtagung.


Ich werde keine neue wissenschaftliche Kenntnisse gewinnen in dieser Sinne.