Background: In 2018, IDx-DR was approved as a method to determine the degree of diabetic retinopathy (DR) using artificial intelligence (AI) by the FDA.
Methods: We integrated IDx-DR into the consultation at a diabetology focus clinic and report the agreement between IDx-DR and fundoscopy as well as IDx-DR and ophthalmological image assessment and the influence of different camera systems.
Results: Adequate image quality in miosis was achieved more frequently with the Topcon camera (n = 456; NW400, Topcon Medical Systems, Oakland, NJ, USA) compared with the Zeiss camera (n = 47; Zeiss VISUCAM 500, Carl Zeiss Meditec AG, Jena, Germany). Overall, IDx-DR analysis in miosis was possible in approximately 60% of the patients. All patients in whom IDx-DR analysis in miosis was not possible could be assessed by fundoscopy with dilated pupils. Within the group of images that could be evaluated, there was agreement between IDx-DR and ophthalmic fundoscopy in approximately 55%, overestimation of severity by IDx-DR in approximately 40% and underestimation in approximately 4%. The sensitivity (specificity) for detecting severe retinopathy requiring treatment was 95.7% (89.1%) for cases with fundus images that could be evaluated and 65.2% (66.7%) when all cases were considered (including those without images in miosis which could be evaluated). The kappa coefficient of 0.334 (p < 0.001) shows sufficient agreement between IDx-DR and physician's image analysis based on the fundus photograph, considering all patients with IDx-DR analysis that could be evaluated. The comparison between IDx-DR and the physician's funduscopy under the same conditions shows a low agreement with a kappa value of 0.168 (p < 0.001).
Conclusion: The present study shows the possibilities and limitations of AI-assisted DR screening. A major limitation is that sufficient images cannot be obtained in miosis in approximately 40% of patients. When sufficient images were available the IDx-DR and ophthalmological diagnosis matched in more than 50% of cases. Underestimation of severity by IDx-DR occurred only rarely. For integration into an ophthalmologist's practice, this system seems suitable. Without access to an ophthalmologist the high rate of insufficient images in miosis represents an important limitation.
Zusammenfassung: HINTERGRUND: Seit 2018 ist mit IDx-DR ein Verfahren auf dem Markt, welches den Grad der diabetischen Retinopathie (DR) mittels künstlicher Intelligenz (KI) bestimmt.
Methoden: Wir haben IDx-DR in die Sprechstunde an einer diabetologischen Schwerpunktklinik integriert und berichten über die Übereinstimmung zwischen IDx-DR (IDx Technologies Inc., Coralville, IA, USA) und Funduskopie sowie IDx-DR und ophthalmologischer Bildbeurteilung sowie über den Einfluss unterschiedlicher Kamerasysteme.
Ergebnisse: Mit der Topcon-Kamera (n = 456; NW400, Topcon Medical Systems, Oakland, NJ, USA) konnte im Vergleich zur Zeiss-Kamera (n = 47; Zeiss VISUCAM 500, Carl Zeiss Meditec AG, Jena, Deutschland) häufiger eine ausreichende Bildqualität in Miosis erreicht werden. Insgesamt war bei etwa 60 % der Patienten eine IDx-DR-Analyse in Miosis möglich. Alle Patienten, bei denen keine IDx-DR-Analyse in Miosis möglich war, konnten in Mydriasis funduskopiert werden. Innerhalb der Gruppe der auswertbaren Befunde zeigte sich eine Übereinstimmung zwischen IDx-DR und augenärztlicher Funduoskopie in ca. 55 %, ein Überschätzen des Schweregrads durch IDx-DR in ca. 40 % und ein Unterschätzen in ca. 4 %. Die Sensitivität (Spezifität) für das Erkennen einer schweren, behandlungsbedürftigen Retinopathie lag bei 95,7 % (89,1 %) für Fälle mit auswertbaren Fundusaufnahmen und bei 65,2 % (66,7 %), wenn alle Fälle betrachtet werden (inklusive derjeniger ohne verwertbare Aufnahme in Miosis). Der Kappa-Koeffizient zeigt mit 0,334 (p < 0,001) eine ausreichende Übereinstimmung zwischen IDx-DR und ärztlicher Bildauswertung anhand des Fundusfotos unter Berücksichtigung aller Patienten mit auswertbarer IDx-DR-Analyse. Der Vergleich zwischen IDx-DR mit der ärztlichen Funduskopie ergibt unter denselben Voraussetzungen eine geringe Übereinstimmung mit einem Kappa-Wert von 0,168 (p < 0,001).
Schlussfolgerung: Die vorliegende Studie zeigt Möglichkeiten und Grenzen des KI-gestützten DR-Screenings auf. Eine wesentliche Einschränkung liegt in der Tatsache, dass bei ca. 40 % der Patienten keine ausreichenden Aufnahmen in Miosis gewonnen werden konnten. Wenn ausreichende Aufnahmen vorlagen, stimmten IDx-DR und augenärztliche Diagnose in über 50 % der Fälle überein. Ein Unterschätzen des Schweregrades durch IDx-DR kam selten vor. Für die Integration in augenärztlich unterstützten Sprechstunden erscheint uns das System grundsätzlich geeignet. Die hohe Rate an fehlenden Aufnahmen in Miosis stellt allerdings eine Limitation dar, die einen Einsatz ohne augenärztliche Kontrollmöglichkeit schwierig erscheinen lässt.
Keywords: Artificial intelligence; Diabetic retinopathy; IDx-DR; Screening; Telemedicine.
© 2022. The Author(s).