Een nieuw type neuraal netwerk kan uit fMRI-scans van het brein afleiden welke letter een proefpersoon ziet. Dit principe kan brein-computer-interfaces verbeteren, die bijvoorbeeld mensen met ernstige beperkingen helpen om te communiceren.

Aan de hand van hersenscans afleiden wat iemand op dat moment ziet met zijn ogen, is een van dé grote uitdagingen in de neurowetenschappen. Daarvoor gebruiken wetenschappers meestal fMRI-scans (functional MRI); dit zijn MRI-scans die zuurstofrijk bloed in beeld brengen. Waar meer zuurstofrijk bloed door de vaten in de hersenen stroomt, daar is meer activiteit.

Om gedachten te kunnen ‘lezen’ zijn onderzoekers op zoek naar manieren om de correlatie te vinden tussen de tweedimensionale informatie van een door de ogen geobserveerd plaatje en de driedimensionale gegevens van de fMRI-scan van het brein (zo’n scan bestaat uit voxels, driedimensionale pixels, met informatie).

Dat blijkt nog erg ingewikkeld te zijn, omdat de activiteit in de ene voxel wordt beïnvloed door activiteit in de voxel die ernaast ligt. Een computer heeft grote moeite met dit soort non-lineair gedrag.
 

Scans

Onderzoekers van het Research Center for Brain-Inspired Intelligence in Beijing, China, gaan dit probleem nu te lijf met deep learning-technieken in een neuraal netwerk (ArXiv, pdf-bestand). Ze gaan uit van een dataset van meer dan 1800 fMRI-scans van mensen die keken naar een eenvoudig plaatje: een enkele cijfer of letter. De dataset bestaat dus uit meer dan 1800 koppels met steeds een fMRI-scan die is gekoppeld aan een karakter.

Met 90 % van die data trainden de onderzoekers hun neurale netwerk, zodat dat steeds beter de correlatie ‘snapte’ tussen de hersenscan en het oorspronkelijke plaatje. En bij die andere 10 % van de scans werd het pas echt spannend. Die voerden de onderzoekers één voor één aan het neurale netwerk met de opdracht om uit elke scan een plaatje te reconstrueren.
 

Behoorlijke afbeeldingen

De proef was een succes. Het getrainde neurale netwerk maakte puur en alleen uit hersenscans heel behoorlijke afbeeldingen (zie figuur hieronder). Bovenaan de originele plaatjes, onderaan de resultaten van de reconstructie in het nieuwe onderzoek. Te zien is dat de aanpak van de Chinezen, met de naam Deep Generative Multiview Model (DGMM, onderaan), betere resultaten oplevert dan andere technieken, die ter vergelijking ook in het plaatje staan.



 

Dat is voor een groot deel te danken aan een slimme eigenschap van het nieuwe model: dat leert gaandeweg welke voxels het moet gebruiken om een afbeelding te reconstrueren. Met andere woorden, het systeem neemt niet automatisch alle voxels mee. Dat scheelt veel rekenkracht. Een tweede sterke punt van deze aanpak is dat de correlatie tussen twee naburige voxels wordt meegenomen. Op die manier worden echte verbanden in het fMRI-signaal tussen twee voxels herkend en gescheiden van ruis.
 

Degelijk

‘Dit artikel is nog niet door vakgenoten beoordeeld, maar het onderzoek lijkt degelijk in elkaar te zitten’, zegt neurowetenschapper Marcel van Gerven van het Donders Instituut van de Radboud Universiteit in Nijmegen. Van Gerven werkt zelf ook aan dit onderwerp. ‘We kunnen nu nog vooral perceptie - eenvoudige plaatjes - decoderen, omdat de visuele cortex expliciet visuele plaatjes representeert. De heilige graal is om richting meer ingewikkelde beelden te gaan.’
 

ALS

Met de resultaten van dit type onderzoek kunnen bijvoorbeeld mensen die niet kunnen praten toch communiceren, door aan letters te denken. De ziekte ALS, waar de bekende fysicus Stephen Hawking aan lijdt, is een voorbeeld. ‘Wetenschappers zijn ook bezig met het reconstrueren van dromen, maar dat onderzoek staat nog in de kinderschoenen’, zegt Van Gerven.

De onderzoekers in China willen hun onderzoek uitbreiden naar meer ingewikkelde beelden én bewegende beelden. Gaat dat werken? ‘De vraag is ten eerste hoe goed dit model gaat werken op foto’s’, zegt Van Gerven. ‘Bij bewegende beelden is het probleem dat we de reconstructies moeten maken op basis van een fMRI-signaal dat veel langzamer gesampled wordt dan de beelden zelf.’


Beeldmateriaal Changde Du et al. ArXiv, 2017.
 

Vond je dit een interessant artikel, abonneer je dan gratis op onze wekelijkse nieuwsbrief.