Een kunstmatig intelligent algoritme van MIT kan op basis van een foto van een gerecht vrij goed oplepelen welke ingrediënten er allemaal in zitten. Dat is aardig voor restaurantbezoekers die dat niet aan de kok durven vragen, maar ook serieuzere toepassingen liggen in het verschiet.
Het gebruiken van kunstmatige intelligentie voor het herkennen van beelden neemt een vlucht (lees: ‘Kunstmatige intelligentie herkent huidkanker’ en ‘Algoritme ziet haarscheurtjes reactorvat’).
Nu komen onderzoekers van de Amerikaanse universiteit MIT en het Qatar Computing Research Institute (QCRI) met een nieuwe variant: een computeralgoritme dat op basis van een foto van een bord met eten met een lijstje ingrediënten komt.
Databases met foto's
De computerwetenschappers bouwen hierbij voort op soortgelijk onderzoek in Zwitserland en Hongkong. Daarin werden al databases aangelegd met foto’s van eten, maar verder dan een nauwkeurigheid van 50 % kwamen zij niet. Dat had vooral te maken met de aantallen foto’s die deze onderzoekers aan hun systeem voerden: ‘slechts’ 110.000. Daar gaan de onderzoekers van MIT nu fors overheen met een fotodatabase van 1 miljoen etenskiekjes.
Culinaire websites
Ze haalden die foto’s gewoon van de verschillende culinaire websites die het web rijk is. Die foto’s gaan daar meestal gepaard met uitgeschreven recepten en de combinatie van foto plus lijstjes ingrediënten was voer voor het trainen van het kunstmatig intelligente algoritme.
Zelf je bord uploaden
Het resultaat is te zien in de online demo Pic2Recipe, waar je zelf een foto van je bord kunt uploaden. Na een druk op de knop en enkele bloedstollende seconden wachten, spuugt het systeem een aantal bestaande recepten uit, inclusief een betrouwbaarheidsgetal. We hebben nog geen uitgebreid onderzoek gedaan, maar de foto van de pastasalade die we invoerden, leidde al tot heel behoorlijke resultaten (zie screenshots).
Een eerste mogelijke toepassing van het ontwikkelde systeem is dat het een manier vormt om op basis van een foto van je bord eten de gebruikte ingrediënten te achterhalen. Dat is natuurlijk geinig in het restaurant als je heerlijk zit te eten, maar te verlegen bent om de kok om het recept te vragen. Maar op een meer serieuzer vlak, biedt dit ook uitzicht op een efficiënte manier om van kwetsbare groepen mensen in de gaten te houden of ze voldoende (en de juiste) voeding tot zich nemen.
Muffins
Overigens laat het onderzoek mooi zien hoe het trainen van een kunstmatig intelligent systeem werkt. Doordat in de database van beelden tot nu toe vooral nagerechten zaten, zoals koekjes en muffins (let wel, de bronnen waren Amerikaans), is het algoritme tot nu toe beter in het identificeren van dit soort gerechten. Door ook andere soorten gerechten in te voeren, zal deze bias bijtrekken.
Meer details over het onderzoek zijn te lezen op deze pagina van de onderzoeksgroep. Het werk wordt deze maand gepresenteerd op een vakconferentie.
Nieuwsbrief
Vond je dit een interessant artikel, abonneer je dan gratis op onze wekelijkse nieuwsbrief.