Ich habe mich für den Betrieb des IAMs entschieden, da das Gebiet der Informatik mich schon seit Langem begeistert, zudem hat es als klinisches Institut die Möglichkeit theoretische Forschung zu betreiben wessen Ergebnisse leicht in den Klinischen Alltag im UKE eingebunden werden können.
Ich habe das Praktikum beim Institut für angewandte Medizininformatik abgeschlossen, welches zum Universitätsklinikum Hamburg Eppendorf gehört. Das UKE wurde gegründet in 1889 und Vernetzt Medizin, Forschung und Lehre. Angestellt sind 16.100 Angestellte sowie 3.500 Studierende der Human- und Zahnmedizin sowie Hebammenwissenschaften \cite{ukeweb}. Das IAM besteht seit Anfang 2021 und zielt darauf Krankheitsbekämpfung zu verbessern indem sie Daten zusammenführen, Werkzeuge für Ärzt:innen sowie Forscher:innen zu entwickeln und komplexe Analysen zu vereinfachen. Das Team besteht aus etwa 100 Angestellten in fünf Forschungsgruppen welche sich mit den Gebieten der Bildverarbeitung, Onkologie, maschinellem Lernen, Sprachmodelle und Datenanalyse \cite{iamweb}. So entwickelte z.B. die IAM Fachgruppe \textit{Knowledge Integration in Precision Medicine} MONOCLE, um individualisierte Tumorbehandlungen zu vereinfachen indem das System Patientendaten aggregiert und in vorhandener Literatur filtert um passende Behandlungen zu finden \cite{riemann2025streamlining}.
Meine Arbeit am IAM war ein Anschlussprojekt zu der Masterarbeit welche durch die derzeitige Masterandin der Fachgruppe verteidigt wurde. Oberthema der Masterarbeit war die Entwickelung der Lernplattform KiMed als eine Alternative zu den Crashkursen vor dem Medizinstudium welche trotzt ihres hohen nutzen wenig genutzt sind da sie wie reguläre Seminare und Lesungen am UKE gehalten werden, welche für teile der Neustudierenden schwer zu erreichen sind da sie möglicherweise noch nicht in der nähe vom UKE wohnen oder keine zeit haben. KiMed wurde entwickelt als eine Möglichkeit individualisiert Neustudierenden durch Multiple Choice Questions (MCQ) auf einen ähnlichen Wissensstandpunkt zu bringen.
Für die Generierung der MCQ wurde ein neuer Ansatz entwickelt um diese Akkurat und Korrekt zu gestalten basierend auf dem Ansatz GPTSwarm \cite{zhuge2024languageagentsoptimizablegraphs}, in welchem Large Language Model (LLM) Agenten als Knoten in einem Graph dargestellt sind und die Kanten zwischen den Knoten als die Übertragung von Informationen von Agent zu Agent. Hier bezeichnet ein Agent einen Aufruf einer LLM um eine bestimmte Aufgabe zu erledigen wie die Generierung von Fragen oder Korrektur nach Kriterien. Der resultierende Graph kann dann durch ein Optimierungsalgorithmus verbessert werden. Der Ansatz welcher in KiMed genutzt wurde, Node-Sampling (Knoten-Auswahl), war eine vereinfachte Version des GPTSwarm Ansatz, wohin GPTSwarm ein vollständigen Graphen erstellt wird im Node-Sampling von einem Vordefiniertem Satz an Knoten, also Agenten, ein Knoten gewählt (sampling) somit entsteht eine Kette an Agenten welche eine MCQ generieren konnten welche dann durch weiter LLMs bewertet wurden. Anhand der Bewertung durch die LLMs entsteht ein score für eine spezifische Konfiguration mit diesen Information kann dann ein Standard Optimierungsalgorithmus die Kette in der Nächsten Generation verbessern. \footnote{Da die Masterarbeit nicht öffentlich ist kann ich leider keine quellen für meine Aussagen geben. Die Information sind durch meine Konversationen mit der Autorin und das Lesen des Codes entstanden.}
In meiner Arbeit übernahm ich das Konzept der graphbasierten LLM Generierung, jedoch um Medizinische MCQ (MMCQ) zu beantworten. Hierfür nutzte ich den MedMCQA Datensatz, dieser enthält ein große Anzahl an realistischen MMCQ über verschiedene Themen wie Mikrobiologie, Psychiatrie, Radiologie, Anatomie u. v. m. sowie die \glqq ground truth\grqq --- nicht objektiv Korrekt aber ein Vereinbarter wert --- durch welcher ein objektiver score berechnet werden kann, im Gegensatz zu KiMed welches den score durch weitere LLMs berechnete, somit keine ground truth besaß \cite{pmlr-v174-pal22a}. Das genutzte LLM war Qwen 2.5 14B Instruct 4bit da es eine gute Balance zwischen Performance und Antwortgenauigkeit darstellt \cite{yang2024qwen2technicalreport}\cite{qwen2.5}.
