“I Danmark har vi heldigvis eksperter, men eksperterne i Danmark har travlt, så i vores situation vil fordelen være, at eksperterne får et nyt værktøj, der effektiviserer deres arbejde, så de kan bedømme endnu flere EEG’er på en pålidelig måde uden at få stress,” siger Sándor Beniczky.
Algoritmen SCORE-AI finder og klassificerer epileptisk EEG-aktivitet
Et dansk-norsk ledet projekt med en algoritme, der karakteriserer epileptisk EEG-aktivitet, kan indvarsle en ny æra i brugen af EEG.
Når en algoritme lige så pålideligt som en erfaren neurofysiolog kan pløje sig gennem datamængden i et tyve minutter langt ElektroEncefaloGrafi (EEG), finde uregelmæssigheder og klassificere dem som epileptisk eller ikke epileptisk og fokal eller generaliseret aktivitet, så er der værdifulde ressourcer at spare. Og det ser ud til at være udsigten efter, at den delvist danskudviklede algoritme SCORE-AI på tre uafhængige datasæt har vist sig lige så sikker til klassificering af uregelmæssigheder i EEG-data som epilepsi-eksperter – og betydeligt bedre end tidligere afprøvede algoritmer.
Resultaterne blev publiceret i JAMA Neurology i juni, og ifølge to lederskribenter i det videnskabelige tidsskrift kan studiet varsle en ny og mere automatiseret æra i brugen af EEG.
Algoritmen kan især komme dele af verden, hvor der ikke findes eksperter i epilepsi, til gode. Men også i danske klinikker, hvor de tidskrævende EEG-læsninger sætter patientflowet under pres, siger Sándor Beniczky, der er professor i neurologi ved Aarhus Universitet og Epilepsihospitalet Filadelfia og har ledet afprøvningen af SCORE-AI.
“I Danmark har vi heldigvis eksperter, men eksperterne i Danmark har travlt, så i vores situation vil fordelen være, at eksperterne får et nyt værktøj, der effektiviserer deres arbejde, så de kan bedømme endnu flere EEG’er på en pålidelig måde uden at få stress,” siger Sándor Beniczky.
Bedre end eksperterne
I test på EEG-data fra omkring 40.000 patienter har SCORE-AI i omkring 90 procent af tilfældene korrekt identificeret og klassificeret uregelmæssig aktivitet, hvilket er lige så godt eller bedre end de 11 eksperter, der har deltaget og udgjort sammenligningsgrundlaget.
I forhold til de algoritmer, man hidtil har set, er den helt afgørende fordel ved SCORE-AI, at dens resultat er handlingsanvisende. De fire kategorier, den er trænet til at identificere, er de vigtigste i den indledende udredning af formodet epilepsi, og derfor leder klassifikationen til diagnostiske og behandlingsmæssige konsekvenser, siger Sándor Beniczky.
“Det er muligt at købe billigt EEG-udstyr, men det hjælper ikke i områder, hvor man ikke har en ekspert til at bedømme EEG-erne, men her kan algoritmen hjælpe. For selv uden en ekspert vil man kunne få information, der er vigtig for yderligere diagnostiske tiltag og behandling. Det handler om at vide, om der er EEG-tegn på epilepsi, og er det fokal eller generaliseret epilepsi. Det er nok til at stille en diagnose og vælge den optimale medicinske behandling,” siger han.
Sándor Beniczky vurderer ikke, at algoritmen vil erstatte neurologer med ekspertise i epilepsi, de steder, hvor de findes, men hvis den eksempelvis kan læse EEG’er igennem før neurologen og udpege de steder, hvor der er abnorm aktivitet, så vil den enkelte neurolog få tid til at vurdere flere EEG’er. På den måde kan algoritmen blive et værktøj, der kan afhjælpe de klinikker, der i dag kæmper med månedlange ventetider på EEG-undersøgelser.
Testes på flere datasæt
En af udfordringerne ved algoritmebaserede redskaber er, at de er formet og begrænset af det datasæt, de er trænet på. Det vil sige, at de ikke nødvendigvis er lige så effektive i områder, hvor befolkningssammensætningen er anderledes end i den gruppe, de er trænet på. Og det er også en af de udfordringer, som undersøges ved SCORE-AI, før den er klar til brug i klinikken, vurderer en af flere amerikanske eksperter, der kommenterer studiet i en artikel i det amerikanske neurologiselskabs medie Neurology Today.
Sándor Beniczky vurderer dog, at forskergruppen allerede har adresseret biasproblemet ved at teste på tre uafhængige kohorter, og testningen fortsætter.
“Vi er lige nu i gang med et fjerde datasæt fra Montreal i Canada, som er helt uafhængigt af de tre første, der trods alt alle er fra Skandinavien. Nu får vi også træning på en helt uafhængig kohorte på den anden side af Atlanterhavet,” siger han.
Ansøgt FDA om godkendelse
SCORE-AI er udviklet og afprøvet af forskere fra en række neurocentre og børneafdelinger i Norge, USA, Israel, Canada og Danmark under ledelse af professor ved Aarhus Universitet og Epilepsihospitalet Filadelfia Sándor Beniczky. Den er udviklet på data fra mere end 30.000 EEG’er af en gennemsnitlig varighed på en halv time og valideret på henholdsvis et multicenterdatasæt med data fra 100 patienter og et single center-datasæt med data fra 9.785 patienter.
Forskerne fandt at SCORE-AI på alle områder klarede sig lige så godt som de eksperter, den blev målt op imod – og på nogle områder endda bedre.
Algoritmens area under the curve er på 0,903, hvilket tyder på høj akkurathed. Der var i studiet større enighed om vurderingerne mellem algoritmen og de kliniske eksperters konsensusvurdering, end der var mellem de individuelle kliniske eksperters vurderinger.
Firmaet bag SCORE-AI har på baggrund af de opnåede forskningsresultater ansøgt FDA om godkendelse af algoritmen til klinisk brug, og ved godkendelse forventer de, at den vil indgå i Natus Neuroworks EEG-reader, der er en af verdens mest anvendte softwarepakker til håndtering af EEG.