Takk for at du besøker Nature.com.Du bruker en nettleserversjon med begrenset CSS-støtte.For den beste opplevelsen anbefaler vi at du bruker en oppdatert nettleser (eller deaktiverer kompatibilitetsmodus i Internet Explorer).I tillegg, for å sikre fortsatt støtte, viser vi nettstedet uten stiler og JavaScript.
Skyveknapper som viser tre artikler per lysbilde.Bruk tilbake- og neste-knappene for å gå gjennom lysbildene, eller lysbildekontrollknappene på slutten for å gå gjennom hvert lysbilde.
Optisk koherenstomografisk angiografi (OCTA) er en ny metode for ikke-invasiv visualisering av retinale kar.Selv om OCTA har mange lovende kliniske applikasjoner, er det fortsatt en utfordring å bestemme bildekvaliteten.Vi utviklet et dypt læringsbasert system ved å bruke ResNet152 nevrale nettverksklassifikatoren forhåndstrenet med ImageNet for å klassifisere overfladiske kapillære plexusbilder fra 347 skanninger av 134 pasienter.Bildene ble også manuelt vurdert som sann sannhet av to uavhengige vurderere for en overvåket læringsmodell.Fordi krav til bildekvalitet kan variere avhengig av kliniske eller forskningsinnstillinger, ble to modeller trent, en for bildegjenkjenning av høy kvalitet og den andre for bildegjenkjenning av lav kvalitet.Vår nevrale nettverksmodell viser et utmerket område under kurven (AUC), 95 % CI 0,96-0,99, \(\kappa\) = 0,81), som er betydelig bedre enn signalnivået som er rapportert av maskinen (AUC = 0,82, 95 % CI).0,77–0,86, henholdsvis \(\kappa\) = 0,52 og AUC = 0,78, 95 % KI 0,73–0,83, \(\kappa\) = 0,27).Vår studie viser at maskinlæringsmetoder kan brukes til å utvikle fleksible og robuste kvalitetskontrollmetoder for OCTA-bilder.
Optisk koherenstomografisk angiografi (OCTA) er en relativt ny teknikk basert på optisk koherenstomografi (OCT) som kan brukes til ikke-invasiv visualisering av netthinnens mikrovaskulatur.OCTA måler forskjellen i refleksjonsmønstre fra gjentatte lyspulser i samme område av netthinnen, og rekonstruksjoner kan deretter beregnes for å avdekke blodårer uten invasiv bruk av fargestoffer eller andre kontrastmidler.OCTA muliggjør også vaskulær avbildning med dybdeoppløsning, slik at klinikere kan undersøke overfladiske og dype karlag separat, noe som bidrar til å skille mellom korioretinal sykdom.
Selv om denne teknikken er lovende, er variasjon i bildekvalitet fortsatt en stor utfordring for pålitelig bildeanalyse, noe som gjør bildetolkning vanskelig og forhindrer utbredt klinisk bruk.Fordi OCTA bruker flere påfølgende OCT-skanninger, er den mer følsom for bildeartefakter enn standard OCT.De fleste kommersielle OCTA-plattformer tilbyr sin egen bildekvalitetsmåling kalt Signal Strength (SS) eller noen ganger Signal Strength Index (SSI).Bilder med høy SS- eller SSI-verdi garanterer imidlertid ikke fravær av bildeartefakter, som kan påvirke enhver påfølgende bildeanalyse og føre til feilaktige kliniske avgjørelser.Vanlige bildeartefakter som kan oppstå i OCTA-avbildning inkluderer bevegelsesartefakter, segmenteringsartefakter, mediaopasitetsartefakter og projeksjonsartefakter1,2,3.
Ettersom OCTA-avledede mål som vaskulær tetthet i økende grad brukes i translasjonsforskning, kliniske studier og klinisk praksis, er det et presserende behov for å utvikle robuste og pålitelige prosesser for bildekvalitetskontroll for å eliminere bildeartefakter4.Hopp over forbindelser, også kjent som gjenværende forbindelser, er projeksjoner i nevrale nettverksarkitektur som lar informasjon omgå konvolusjonslag mens informasjon lagres i forskjellige skalaer eller oppløsninger5.Fordi bildeartefakter kan påvirke småskala og generell storskala bildeytelse, er nevrale nettverk for skip-tilkobling godt egnet til å automatisere denne kvalitetskontrolloppgaven5.Nylig publisert arbeid har vist noe løfte for dype konvolusjonelle nevrale nettverk som er trent ved å bruke høykvalitetsdata fra menneskelige estimatorer6.
I denne studien trener vi et konvolusjonelt nevralt nettverk som hopper over tilkoblinger for automatisk å bestemme kvaliteten på OCTA-bilder.Vi bygger på tidligere arbeid ved å utvikle separate modeller for å identifisere bilder av høy kvalitet og bilder av lav kvalitet, ettersom kravene til bildekvalitet kan variere for spesifikke kliniske eller forskningsscenarier.Vi sammenligner resultatene av disse nettverkene med konvolusjonelle nevrale nettverk uten manglende tilkoblinger for å evaluere verdien av å inkludere funksjoner på flere nivåer av granularitet innen dyp læring.Deretter sammenlignet vi resultatene våre med signalstyrke, et allment akseptert mål på bildekvalitet levert av produsenter.
Vår studie inkluderte pasienter med diabetes som deltok på Yale Eye Center mellom 11. august 2017 og 11. april 2019. Pasienter med en hvilken som helst ikke-diabetisk korioretinal sykdom ble ekskludert.Det var ingen inkluderings- eller eksklusjonskriterier basert på alder, kjønn, rase, bildekvalitet eller noen annen faktor.
OCTA-bilder ble tatt ved bruk av AngioPlex-plattformen på en Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) under 8\(\ ganger\)8 mm og 6\(\ ganger\)6 mm bildebehandlingsprotokoller.Informert samtykke for deltakelse i studien ble innhentet fra hver studiedeltaker, og Yale University Institutional Review Board (IRB) godkjente bruken av informert samtykke med global fotografering for alle disse pasientene.Følger prinsippene i Helsinki-erklæringen.Studien ble godkjent av Yale University IRB.
Overflateplatebilder ble evaluert basert på den tidligere beskrevne Motion Artifact Score (MAS), den tidligere beskrevne Segmentation Artifact Score (SAS), fovealsenteret, tilstedeværelsen av mediaopasitet og god visualisering av små kapillærer som bestemt av bildeevaluatoren.Bildene ble analysert av to uavhengige evaluatorer (RD og JW).Et bilde har en karakter på 2 (kvalifisert) hvis alle følgende kriterier er oppfylt: bildet er sentrert ved fovea (mindre enn 100 piksler fra midten av bildet), MAS er 1 eller 2, SAS er 1, og mediaopasitet er mindre enn 1. Tilstede på bilder med størrelse / 16, og små kapillærer sees i bilder større enn 15/16.Et bilde er vurdert til 0 (ingen vurdering) hvis noen av følgende kriterier er oppfylt: bildet er utenfor sentrum, hvis MAS er 4, hvis SAS er 2, eller gjennomsnittlig opasitet er større enn 1/4 av bildet, og de små kapillærene kan ikke justeres mer enn 1 bilde /4 for å skille.Alle andre bilder som ikke oppfyller poengkriteriene 0 eller 2, får 1 (klipp).
På fig.1 viser eksempelbilder for hver av de skalerte estimatene og bildeartefaktene.Inter-rater reliabilitet av individuelle skårer ble vurdert ved Cohens kappa-vekting8.De individuelle poengsummene til hver vurderer summeres for å få en samlet poengsum for hvert bilde, fra 0 til 4. Bilder med en total poengsum på 4 anses som gode.Bilder med en total poengsum på 0 eller 1 anses som lav kvalitet.
Et ResNet152-arkitektur konvolusjonelt nevralt nettverk (fig. 3A.i) forhåndstrenet på bilder fra ImageNet-databasen ble generert ved hjelp av fast.ai og PyTorch-rammeverket5, 9, 10, 11. Et konvolusjonelt nevralt nettverk er et nettverk som bruker det lærte filtre for å skanne bildefragmenter for å studere romlige og lokale funksjoner.Vårt opplærte ResNet er et 152-lags nevralt nettverk preget av gap eller "restforbindelser" som samtidig overfører informasjon med flere oppløsninger.Ved å projisere informasjon med forskjellige oppløsninger over nettverket, kan plattformen lære funksjonene til bilder av lav kvalitet på flere detaljnivåer.I tillegg til vår ResNet-modell har vi også trent AlexNet, en godt studert nevrale nettverksarkitektur, uten å gå glipp av tilkoblinger for sammenligning (Figur 3A.ii)12.Uten manglende tilkoblinger vil ikke dette nettverket kunne fange opp funksjoner med en høyere granularitet.
Det originale 8\(\ ganger\)8 mm OCTA13-bildesettet har blitt forbedret ved bruk av horisontale og vertikale refleksjonsteknikker.Hele datasettet ble deretter tilfeldig delt på bildenivå i trening (51,2%), testing (12,8%), hyperparameterinnstilling (16%) og validering (20%) datasett ved bruk av scikit-learn toolbox python14.To tilfeller ble vurdert, ett basert på å oppdage kun bildene med høyest kvalitet (total poengsum 4) og det andre basert på å oppdage kun bildene med lavest kvalitet (samlet poengsum 0 eller 1).For hvert brukstilfelle av høy kvalitet og lav kvalitet blir det nevrale nettverket omskolert én gang på bildedataene våre.I hvert brukstilfelle ble det nevrale nettverket trent i 10 epoker, alle unntatt de høyeste lagvektene ble frosset, og vektene til alle interne parametere ble lært i 40 epoker ved bruk av en diskriminerende læringsratemetode med en kryssentropi-tapsfunksjon 15, 16..Kryssentropitapsfunksjonen er et mål på den logaritmiske skalaen til avviket mellom predikerte nettverksetiketter og reelle data.Under trening utføres gradientnedstigning på de interne parameterne til det nevrale nettverket for å minimere tap.Læringshastigheten, frafallsfrekvensen og vektreduksjonshyperparametrene ble justert ved hjelp av Bayesiansk optimalisering med 2 tilfeldige startpunkter og 10 iterasjoner, og AUC på datasettet ble justert ved å bruke hyperparametrene som et mål på 17.
Representative eksempler på 8 × 8 mm OCTA-bilder av overfladiske kapillære plexuser scoret 2 (A, B), 1 (C, D) og 0 (E, F).Bildeartefakter som vises inkluderer flimrende linjer (piler), segmenteringsartefakter (stjerner) og mediaopasitet (piler).Bilde (E) er også utenfor midten.
Receiver operating characteristics (ROC)-kurver genereres deretter for alle nevrale nettverksmodeller, og motorsignalstyrkerapporter genereres for hvert brukstilfelle av lav kvalitet og høy kvalitet.Areal under kurven (AUC) ble beregnet ved hjelp av pROC R-pakken, og 95 % konfidensintervaller og p-verdier ble beregnet ved hjelp av DeLong-metoden18,19.Den kumulative poengsummen til de menneskelige vurdererne brukes som baseline for alle ROC-beregninger.For signalstyrken rapportert av maskinen, ble AUC beregnet to ganger: én gang for høykvalitets Scalability Score cutoff og én gang for lavkvalitets Scalability Score cutoff.Det nevrale nettverket sammenlignes med AUC-signalstyrken som gjenspeiler dets egne trenings- og evalueringsforhold.
For ytterligere å teste den trente dyplæringsmodellen på et separat datasett, ble høykvalitets- og lavkvalitetsmodeller direkte brukt til ytelsesevaluering av 32 full-face 6\(\ ganger\) 6 mm overflateplatebilder samlet inn fra Yale University.Øyemasse sentreres samtidig som bildet 8 \(\ ganger \) 8 mm.6\(\×\) 6 mm-bildene ble manuelt vurdert av de samme vurdererne (RD og JW) på samme måte som 8\(\×\) 8 mm-bildene, AUC ble beregnet samt nøyaktighet og Cohens kappa .like mye.
Klasseubalanseforholdet er 158:189 (\(\rho = 1,19\)) for lavkvalitetsmodellen og 80:267 (\(\rho = 3,3\)) for høykvalitetsmodellen.Fordi klasseubalanseforholdet er mindre enn 1:4, er det ikke gjort noen spesifikke arkitektoniske endringer for å korrigere klasseubalanse20,21.
For bedre å visualisere læringsprosessen, ble klasseaktiveringskart generert for alle fire trente dyplæringsmodeller: høykvalitets ResNet152-modell, lavkvalitets ResNet152-modell, høykvalitets AlexNet-modell og lavkvalitets AlexNet-modell.Klasseaktiveringskart genereres fra inngangskonvolusjonslagene til disse fire modellene, og varmekart genereres ved å overlegge aktiveringskart med kildebilder fra 8 × 8 mm og 6 × 6 mm valideringssett22, 23.
R-versjon 4.0.3 ble brukt for alle statistiske beregninger, og visualiseringer ble laget ved hjelp av ggplot2-grafikkverktøybiblioteket.
Vi samlet 347 frontale bilder av den overfladiske kapillære plexus som måler 8 \(\ ganger \)8 mm fra 134 personer.Maskinen rapporterte signalstyrke på en skala fra 0 til 10 for alle bilder (gjennomsnitt = 6,99 ± 2,29).Av de 347 bildene som ble tatt, var gjennomsnittsalderen ved undersøkelsen 58,7 ± 14,6 år, og 39,2 % var fra mannlige pasienter.Av alle bildene var 30,8 % fra kaukasiere, 32,6 % fra svarte, 30,8 % fra latinamerikanere, 4 % fra asiater og 1,7 % fra andre raser (tabell 1).).Aldersfordelingen til pasienter med OCTA var signifikant forskjellig avhengig av kvaliteten på bildet (p < 0,001).Andelen bilder av høy kvalitet hos yngre pasienter i alderen 18-45 år var 33,8 % sammenlignet med 12,2 % av bilder av lav kvalitet (tabell 1).Fordelingen av status for diabetisk retinopati varierte også betydelig i bildekvalitet (p < 0,017).Blant alle bilder av høy kvalitet var prosentandelen av pasienter med PDR 18,8 % sammenlignet med 38,8 % av alle bilder av lav kvalitet (tabell 1).
Individuelle vurderinger av alle bildene viste moderat til sterk inter-rating-pålitelighet mellom personer som leste bildene (Cohens vektede kappa = 0,79, 95 % CI: 0,76-0,82), og det var ingen bildepunkter der raterne skilte seg med mer enn 1 (fig. 2A)..Signalintensitet korrelerte signifikant med manuell scoring (Pearson-produktmomentkorrelasjon = 0,58, 95 % KI 0,51–0,65, p<0,001), men mange bilder ble identifisert med høy signalintensitet, men lav manuell scoring (fig. 2B).
Under opplæringen av ResNet152- og AlexNet-arkitekturene faller kryssentropitapet ved validering og trening over 50 epoker (Figur 3B,C).Valideringsnøyaktigheten i den endelige treningsepoken er over 90 % for brukstilfeller av både høy kvalitet og lav kvalitet.
Mottakerytelseskurver viser at ResNet152-modellen overgår signalstyrken som rapporteres av maskinen betydelig i både lav- og høykvalitetsbruk (p < 0,001).ResNet152-modellen overgår også AlexNet-arkitekturen betydelig (p = 0,005 og p = 0,014 for henholdsvis lavkvalitets- og høykvalitetssaker).De resulterende modellene for hver av disse oppgavene var i stand til å oppnå AUC-verdier på henholdsvis 0,99 og 0,97, noe som er betydelig bedre enn de tilsvarende AUC-verdiene på 0,82 og 0,78 for maskinens signalstyrkeindeks eller 0,97 og 0,94 for AlexNet ..(Fig. 3).Forskjellen mellom ResNet og AUC i signalstyrke er høyere når du gjenkjenner bilder av høy kvalitet, noe som indikerer ytterligere fordeler ved å bruke ResNet til denne oppgaven.
Grafene viser hver uavhengig vurderers evne til å skåre og sammenligne med signalstyrken rapportert av maskinen.(A) Summen av poengene som skal vurderes brukes til å lage det totale antallet poeng som skal vurderes.Bilder med en samlet skalerbarhetspoeng på 4 tildeles høy kvalitet, mens bilder med en samlet skalerbarhetspoeng på 1 eller mindre tildeles lav kvalitet.(B) Signalintensitet korrelerer med manuelle estimater, men bilder med høy signalintensitet kan være av dårligere kvalitet.Den røde stiplede linjen indikerer produsentens anbefalte kvalitetsterskel basert på signalstyrke (signalstyrke \(\ge\)6).
ResNet overføringslæring gir en betydelig forbedring i bildekvalitetsidentifikasjon for brukstilfeller av både lav kvalitet og høy kvalitet sammenlignet med maskinrapporterte signalnivåer.(A) Forenklede arkitekturdiagrammer av forhåndstrente (i) ResNet152 og (ii) AlexNet-arkitekturer.(B) Treningshistorikk og mottakerytelseskurver for ResNet152 sammenlignet med maskinrapportert signalstyrke og lavkvalitetskriterier for AlexNet.(C) ResNet152 mottakeropplæringshistorikk og ytelseskurver sammenlignet med maskinrapportert signalstyrke og AlexNet høykvalitetskriterier.
Etter justering av beslutningsgrenseterskelen, er den maksimale prediksjonsnøyaktigheten for ResNet152-modellen 95,3 % for tilfellet med lav kvalitet og 93,5 % for tilfellet med høy kvalitet (tabell 2).Den maksimale prediksjonsnøyaktigheten til AlexNet-modellen er 91,0 % for dekselet med lav kvalitet og 90,1 % for dekselet av høy kvalitet (tabell 2).Maksimal prediksjonsnøyaktighet for signalstyrke er 76,1 % for brukstilfeller med lav kvalitet og 77,8 % for brukstilfeller av høy kvalitet.I følge Cohens kappa (\(\kappa\)), er avtalen mellom ResNet152-modellen og estimatorene 0,90 for lavkvalitetstilfellet og 0,81 for høykvalitetstilfellet.Cohens AlexNet kappa er 0,82 og 0,71 for henholdsvis lavkvalitets- og høykvalitetsbruk.Cohens signalstyrke kappa er 0,52 og 0,27 for henholdsvis lav- og høykvalitetsbruk.
Validering av høy- og lavkvalitetsgjenkjenningsmodeller på 6\(\x\) bilder av en 6 mm flat plate demonstrerer evnen til den trente modellen til å bestemme bildekvalitet på tvers av ulike bildeparametere.Ved bruk av 6\(\x\) 6 mm grunne plater for bildekvalitet, hadde lavkvalitetsmodellen en AUC på 0,83 (95 % KI: 0,69–0,98) og høykvalitetsmodellen en AUC på 0,85.(95 % KI: 0,55–1,00) (tabell 2).
Visuell inspeksjon av aktiveringskartene for inngangslagsklassen viste at alle trente nevrale nettverk brukte bildefunksjoner under bildeklassifisering (fig. 4A, B).For 8 \(\ ganger \) 8 mm og 6 \(\ ganger \) 6 mm bilder følger ResNet-aktiveringsbildene tett netthinnevaskulaturen.AlexNet aktiveringskart følger også netthinnekar, men med grovere oppløsning.
Klasseaktiveringskartene for ResNet152- og AlexNet-modellene fremhever funksjoner relatert til bildekvalitet.(A) Klasseaktiveringskart som viser koherent aktivering etter overfladisk netthinnevaskulatur på 8 \(\ ganger \) 8 mm valideringsbilder og (B) omfang på mindre 6 \(\ ganger \) 6 mm valideringsbilder.LQ-modell trent på lave kvalitetskriterier, HQ-modell trent på høykvalitetskriterier.
Det har tidligere vist seg at bildekvalitet i stor grad kan påvirke enhver kvantifisering av OCTA-bilder.I tillegg øker tilstedeværelsen av retinopati forekomsten av bildeartefakter7,26.Faktisk, i våre data, i samsvar med tidligere studier, fant vi en signifikant sammenheng mellom økende alder og alvorlighetsgrad av netthinnesykdom og forringelse av bildekvalitet (p < 0,001, p = 0,017 for henholdsvis alder og DR-status; Tabell 1) 27 Derfor er det viktig å vurdere bildekvaliteten før du utfører noen kvantitativ analyse av OCTA-bilder.De fleste studier som analyserer OCTA-bilder bruker maskinrapporterte signalintensitetsterskler for å utelukke bilder av lav kvalitet.Selv om signalintensitet har vist seg å påvirke kvantifiseringen av OCTA-parametere, kan høy signalintensitet alene ikke være tilstrekkelig til å utelukke bilder med bildeartefakter2,3,28,29.Derfor er det nødvendig å utvikle en mer pålitelig metode for bildekvalitetskontroll.For dette formål evaluerer vi ytelsen til overvåkede dyplæringsmetoder mot signalstyrken rapportert av maskinen.
Vi har utviklet flere modeller for å evaluere bildekvalitet fordi ulike OCTA-brukstilfeller kan ha ulike bildekvalitetskrav.For eksempel bør bilder være av høyere kvalitet.I tillegg er spesifikke kvantitative parametere av interesse også viktige.For eksempel avhenger ikke området av foveal avaskulær sone av turbiditeten til det ikke-sentrale mediet, men påvirker tettheten til karene.Mens forskningen vår fortsetter å fokusere på en generell tilnærming til bildekvalitet, ikke knyttet til kravene til noen spesiell test, men ment å direkte erstatte signalstyrken rapportert av maskinen, håper vi å gi brukerne en større grad av kontroll slik at de kan velge den spesifikke beregningen av interesse for brukeren.velg en modell som tilsvarer den maksimale graden av bildeartefakter som anses som akseptable.
For scener av lav kvalitet og høy kvalitet viser vi utmerket ytelse av dype konvolusjonelle nevrale nettverk som mangler tilkobling, med AUC på henholdsvis 0,97 og 0,99 og modeller av lav kvalitet.Vi demonstrerer også den overlegne ytelsen til vår dyplæringstilnærming sammenlignet med signalnivåer som bare rapporteres av maskiner.Hopp over forbindelser lar nevrale nettverk lære funksjoner på flere detaljnivåer, og fanger finere aspekter av bilder (f.eks. kontrast) så vel som generelle funksjoner (f.eks. bildesentrering30,31).Siden bildeartefakter som påvirker bildekvaliteten sannsynligvis identifiseres best over et bredt spekter, kan nevrale nettverksarkitekturer med manglende tilkoblinger vise bedre ytelse enn de uten oppgaver for bestemmelse av bildekvalitet.
Når vi testet vår modell på 6\(\×6mm) OCTA-bilder, la vi merke til en nedgang i klassifiseringsytelsen for både høykvalitets- og lavkvalitetsmodeller (fig. 2), i motsetning til størrelsen på modellen som er trent for klassifisering.Sammenlignet med ResNet-modellen har AlexNet-modellen et større fall.Den relativt bedre ytelsen til ResNet kan skyldes evnen til gjenværende tilkoblinger til å overføre informasjon i flere skalaer, noe som gjør modellen mer robust for å klassifisere bilder tatt i forskjellige skalaer og/eller forstørrelser.
Noen forskjeller mellom 8 \(\×\) 8 mm bilder og 6 \(\×\) 6 mm bilder kan føre til dårlig klassifisering, inkludert en relativt høy andel bilder som inneholder foveale avaskulære områder, endringer i synlighet, vaskulære arkader og ingen synsnerve på bildet 6×6 mm.Til tross for dette var vår høykvalitets ResNet-modell i stand til å oppnå en AUC på 85 % for 6 \(\x\) 6 mm bilder, en konfigurasjon som modellen ikke ble trent for, noe som tyder på at bildekvalitetsinformasjonen er kodet i det nevrale nettverket er egnet.for én bildestørrelse eller maskinkonfigurasjon utenfor opplæringen (tabell 2).Det er betryggende at ResNet- og AlexNet-lignende aktiveringskart på 8 \(\ ganger \) 8 mm og 6 \(\ ganger \) 6 mm bilder kunne fremheve netthinnekar i begge tilfeller, noe som tyder på at modellen har viktig informasjon.kan brukes for å klassifisere begge typer OCTA-bilder (fig. 4).
Lauerman et al.Bildekvalitetsvurdering på OCTA-bilder ble på lignende måte utført ved bruk av Inception-arkitekturen, et annet skip-connection konvolusjonelt nevralt nettverk6,32 ved bruk av dyplæringsteknikker.De begrenset også studien til bilder av den overfladiske kapillærplexusen, men brukte kun de mindre 3×3 mm bildene fra Optovue AngioVue, selv om pasienter med ulike korioretinale sykdommer også ble inkludert.Vårt arbeid bygger på grunnlaget deres, inkludert flere modeller for å adressere ulike bildekvalitetsterskler og validere resultater for bilder av forskjellige størrelser.Vi rapporterer også AUC-beregningen til maskinlæringsmodeller og øker deres allerede imponerende nøyaktighet (90 %)6 for både lavkvalitets- (96 %) og høykvalitetsmodeller (95,7 %)6.
Denne opplæringen har flere begrensninger.Først ble bildene tatt med kun én OCTA-maskin, inkludert kun bilder av den overfladiske kapillærplexus ved 8\(\ ganger\)8 mm og 6\(\ ganger\)6 mm.Årsaken til å ekskludere bilder fra dypere lag er at projeksjonsartefakter kan gjøre manuell evaluering av bilder vanskeligere og muligens mindre konsistent.Videre har bilder kun blitt ervervet hos diabetespasienter, for hvem OCTA fremstår som et viktig diagnostisk og prognostisk verktøy33,34.Selv om vi var i stand til å teste modellen vår på bilder av forskjellige størrelser for å sikre at resultatene var robuste, klarte vi ikke å identifisere passende datasett fra forskjellige sentre, noe som begrenset vår vurdering av modellens generaliserbarhet.Selv om bildene ble hentet fra bare ett senter, ble de hentet fra pasienter med ulik etnisk og rasebakgrunn, noe som er en unik styrke ved vår studie.Ved å inkludere mangfold i treningsprosessen vår håper vi at resultatene våre vil bli generaliserte i bredere forstand, og at vi unngår å kode rasemessig skjevhet i modellene vi trener.
Vår studie viser at nevrale nettverk som hopper over tilkoblinger kan trenes til å oppnå høy ytelse ved å bestemme OCTA-bildekvalitet.Vi gir disse modellene som verktøy for videre forskning.Fordi ulike metrikker kan ha forskjellige bildekvalitetskrav, kan en individuell kvalitetskontrollmodell utvikles for hver metrikk ved å bruke strukturen som er etablert her.
Fremtidig forskning bør inkludere bilder av forskjellige størrelser fra forskjellige dybder og forskjellige OCTA-maskiner for å oppnå en dyp læringsprosess for bildekvalitetsevaluering som kan generaliseres til OCTA-plattformer og bildebehandlingsprotokoller.Nåværende forskning er også basert på veiledede dyplæringstilnærminger som krever menneskelig evaluering og bildeevaluering, noe som kan være arbeidskrevende og tidkrevende for store datasett.Det gjenstår å se om uovervåket dyplæringsmetoder kan skille tilstrekkelig mellom bilder av lav kvalitet og bilder av høy kvalitet.
Ettersom OCTA-teknologien fortsetter å utvikle seg og skannehastigheten øker, kan forekomsten av bildeartefakter og bilder av dårlig kvalitet reduseres.Forbedringer i programvaren, som den nylig introduserte funksjonen for fjerning av projeksjonsartefakter, kan også lindre disse begrensningene.Imidlertid gjenstår mange problemer ettersom avbildning av pasienter med dårlig fiksering eller betydelig mediaturbiditet alltid resulterer i bildeartefakter.Ettersom OCTA blir mer utbredt i kliniske studier, er det nødvendig å vurdere nøye for å etablere klare retningslinjer for akseptable bildeartefaktnivåer for bildeanalyse.Anvendelsen av dyplæringsmetoder på OCTA-bilder lover mye, og ytterligere forskning er nødvendig på dette området for å utvikle en robust tilnærming til bildekvalitetskontroll.
Koden som brukes i den nåværende forskningen er tilgjengelig i octa-qc-depotet, https://github.com/rahuldhodapkar/octa-qc.Datasett generert og/eller analysert i løpet av den nåværende studien er tilgjengelig fra de respektive forfatterne på rimelig forespørsel.
Spaide, RF, Fujimoto, JG & Waheed, NK Bildeartefakter i optisk koherensangiografi.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Identifikasjon av bildefunksjoner som bestemmer kvaliteten og reproduserbarheten av tetthetsmålinger av retinal kapillær plexus i OCT-angiografi.BR.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL et al.Påvirkning av øyesporingsteknologi på bildekvaliteten til OCT-angiografi ved aldersrelatert makuladegenerasjon.Gravbue.klinisk.Exp.oftalmologi.255, 1535–1542 (2017).
Babyuch AS et al.OCTA kapillære perfusjonstetthetsmålinger brukes til å oppdage og evaluere makulær iskemi.oftalmisk kirurgi.Retinal Laser Imaging 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. og Sun, J. Deep Residual Learning for Image Recognition.I 2016 på IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL et al.Automatisert OCT angiografisk bildekvalitetsvurdering ved hjelp av dyplæringsalgoritmer.Gravbue.klinisk.Exp.oftalmologi.257, 1641–1648 (2019).
Lauermann, J. et al.Prevalensen av segmenteringsfeil og bevegelsesartefakter i OCT-angiografi avhenger av sykdommen i netthinnen.Gravbue.klinisk.Exp.oftalmologi.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: An Imperative, High-Performance Deep Learning Library.Avansert behandling av nevral informasjon.system.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: En storskala hierarkisk bildedatabase.2009 IEEE-konferanse om datasyn og mønstergjenkjenning.248–255.(2009).
Krizhevsky A., Sutzkever I. og Hinton GE Imagenet-klassifisering ved bruk av dype konvolusjonelle nevrale nettverk.Avansert behandling av nevral informasjon.system.25, 1 (2012).