Hoe een robot factchecken gemakkelijker maakt

FactRank heet de robot, en hij heeft nog behoorlijk wat kinderziektes onder de leden. Daarom vroegen de bedenkers steun van het nieuwe Vlaams Journalistiek Fonds. Dat deelde onlangs haar eerste subsidies uit voor innovatieve journalistieke initiatieven. Het Vlaams-Nederlandse FactRank kreeg bijna 40.000 euro om haar tool te verfijnen, vertelt projectleider Jan Jagers.
Jagers werkt onder meer als factchecker voor het Vlaamse weekblad Knack. Wekelijks is hij heel wat tijd kwijt met het lezen van politieke interviews en het volgen van praatprogramma’s: wat zijn de boeiendste uitspraken van die week? En welke bewering is de moeite van het uitzoeken waard?

Tijd besparen

‘In the Guardian las ik een artikel waarin werd verwezen naar Claimbuster, een Amerikaanse tool die checkwaardige beweringen filtert uit transcripties. Ik dacht: als dat in het Nederlands bestond zou me dat heel veel tijd kunnen besparen. Dan kan ik me meer bezighouden met wat je níet aan een robot kunt vragen, namelijk die beweringen grondig tegen het licht houden, en uitzoeken of ze kloppen.’
Tijdens een gastcollege aan studenten computerwetenschappen van de KU Leuven gooide hij een balletje op: waren er niet een paar studenten die een prototype wilden proberen te bouwen? Zo ontstond de eerste versie van FactRank. Een programmaatje dat wekelijks automatisch boeiende stellingen selecteert uit de transcripties van debatten in het Belgische federale parlement. ‘Denk aan uitspraken met cijfers erin, beweringen over politiek beleid.’

Controleerbare uitspraken

Die transcripties laadt het programma wekelijks zelf in. Maar gebruikers kunnen ook zelf een tekst in het venster van FactRank plakken, waarna het systeem de inhoud scant. Jagers doet dat zelf al met lange politieke interviews die hij zou willen lezen, maar waarvoor hij de tijd soms niet heeft. Zijn factcheck-rubriek in Knack kwam zo tot stand.
Jagers laadde een uitgebreid interview uit De Tijd met de Belgische minister van volksgezondheid in het systeem. Dat spuwde onder andere de volgende bewering uit: ‘‘Voor het aantal verpleegkundigen per ziekenhuisbed zitten we op het niveau van Bulgarije en Griekenland.”.’ Jagers: ‘Dat is maatschappelijk relevant, klinkt niet hoopgevend en is dus interessant om uit te zoeken.’ Of de minister gelijk had, lees je hier.
Maar het systeem werkt nog niet altijd zo goed. Uit het kamerdebat van 24 januari filterde het systeem bijvoorbeeld beweringen als:
‘Een eindejaarspremie van 1600 euro netto komt erbij.’
‘De winsten van de aandeelhouders stijgen met 270 procent.’
‘Er ging 191 euro per werknemer gewoon verloren door de maatregelen die u hebt genomen.’
Maar ook: ‘Eens te meer twee maten en twee gewichten, nu al vijf jaar lang, mevrouw de minister!’
Jagers: ‘Soms sta je versteld wat eruitkomt aan nuttige, controleerbare uitspraken. Maar bijna even vaak is het nog niet precies wat we zoeken.’

Automatisch twitterfeeds scannen

Om het systeem te verbeteren moet het systeem ‘gevoerd’ worden met het type uitspraken – ‘referentieclaims’ – dat het moet opsporen. ‘Controleerbare beweringen dus, geen meningen. Hoe meer materiaal er in gaat, hoe beter de uitkomsten moeten worden.’ Jagers werkt daarvoor samen met de KU Leuven, Universiteit Antwerpen en het Nieuws-checkers project van de Universiteit Leiden.
Als dat eenmaal werkt, ziet Jagers veel mogelijkheden. Het automatisch scannen van twitterfeeds van politici bijvoorbeeld. ‘Al zal het systeem dan ook moeten leren omgaan met afkortingen, dat zal een uitdaging op zich zijn.’

Je kunt als journalist niet alles volgen. De robot kan de kans verkleinen dat je iets relevants mist

Of het automatisch omzetten van politieke praatprogramma’s op tv in tekst, die dan meteen gescand kan worden, zoals het Amerikaanse Duke Reporter’s Lab en Claimbuster met alle uitzendingen van CNN doen. Zij sturen dagelijks automatisch een lijstje met de vijftien meest relevante of opmerkelijkste beweringen door, vertelt Jagers. ‘Je kunt als journalist gewoon niet alles volgen. Dit zou een potentieel instrument zijn om de kans te verkleinen dat je als journalist iets relevants mist. Als je het ‘claim spotten’ kunt uitbesteden, houden factcheckers bovendien meer tijd voor het vakwerk: het controleren van uitspraken.’

Automatisch factchecken

In een later stadium kan artificiële intelligentie ook tot automatische factchecking leiden, hoopt Jagers. Beweringen niet alleen filteren, maar ook inhoudelijk toetsen doordat ze gekoppeld zijn aan een databank met eerder verschenen factchecks, of aan een database met ruwe feiten en cijfers. ‘Het zou mooi zijn als we dat in de toekomst kunnen uitwerken met bijvoorbeeld StatBel [vergelijkbaar met het Nederlandse Centraal Bureau voor de Statistiek, MdV] en een echt factcheck-instituut kunnen oprichten met geld en visie voor de lange termijn,’ zegt Jagers.
Maar FactRank wil klein beginnen. ‘Het eerste doel is zorgen dat de huidige tool echt goed werkt. Stel dat het journalisten straks nog maar één uur kost om beweringen te selecteren uit vijftig uur integraal materiaal, dan kunnen zij hun werk beter doen: politieke en andere invloedrijke personen controleren.’
Foto door The Climate Reality Project via Unsplash