Joris Veerbeek onderzoekt AI én gebruikt het bij De Groene Amsterdammer: ‘De lezer moet het in algemene zin kunnen snappen’
Nieuws | Vernieuwing
Hij promoveert niet alleen op het gebruik van AI in onderzoeksjournalistiek bij de Universiteit Utrecht, maar brengt het ook in de praktijk bij De Groene Amsterdammer. Joris Veerbeek en zijn collega’s onderzochten hatelijke tweets richting vrouwelijke politici, lieten zien hoe makkelijk gebruikers naar de ‘manosphere’ worden geleid en toonden aan dat geen kabinet zo weinig productief was als Schoof-I. Hij vertelt over de methodologie, hoe hij naar de toekomst kijkt en wat al die heftige content met hem doet.
Je doet promotieonderzoek, maar werkt ook bij De Groene Amsterdammer. Hoe zit dat precies?
‘Mijn promotieonderzoek gaat over het toepassen van generatieve AI in de onderzoeksjournalistiek. Als onderdeel van mijn PhD ben ik betrokken bij dataprojecten van De Groene Amsterdammer die een AI-component hebben. Ik ben drie dagen op de universiteit en twee dagen op de redactie.
‘Mijn promotiepositie komt voort uit een eerdere samenwerking tussen de Data School van de Universiteit Utrecht en De Groene, die goed was bevallen. Daaruit kwamen al losse onderzoeksprojecten voort over antisemitisme, complottheorieën rond de coronapandemie en haat tegen vrouwelijke politici.
Journalisten hoeven niet massaal programmeur te worden, maar ze moeten wel begrijpen hoe AI-modellen werken
‘Mijn onderzoek werk ik uit in papers over de verschillende facetten van de combinatie tussen AI en onderzoeksjournalistiek. Het eerste wetenschappelijke artikel verscheen eerder dit jaar. Het gaat over de vraag hoe de journalistiek zelf AI kan inzetten om de AI van grote digitale platforms zoals Tiktok te analyseren en zo bijvoorbeeld de werking van hun algoritmes kan doorgronden.’
Hoe maakt De Groene gebruik van AI in onderzoeksprojecten?
‘We zetten het vooral in om sneller grote datasets te doorploegen of om grote hoeveelheden tekst om te zetten in data. Steeds meer redacties experimenteren met AI en ik denk dat het de komende jaren een standaard hulpmiddel in de onderzoeksjournalistiek kan worden, zeker nu het gebruik steeds minder investering eist. Journalisten hoeven niet massaal programmeur te worden, maar ze moeten wel begrijpen hoe die modellen werken en waar de valkuilen zitten.
‘Een van de eerste keren dat wij op grote schaal AI hebben ingezet, was voor het onderzoek naar haattweets richting vrouwelijke politici. We hebben een model getraind om naar 300 duizend tweets te kijken en te zien of sprake was van haatdragende inhoud. Met een team van vier hebben we een dataset van 10 duizend tweets handmatig zitten labelen en daar zelf een AI-model op getraind. Dat proces duurde drie maanden.
Labelen is het categoriseren van data door er een etiket aan toe te kennen, bijvoorbeeld ‘gendernormatief’ of ‘haatdragend’
‘De tijdsinvestering die nodig is om zo’n model effectief in te kunnen zetten, wordt nu steeds kleiner. Die modellen die er eerder waren, trainde je voor een specifieke taak, zoals het herkennen van haat in Nederlandse tweets. De nieuwe modellen van OpenAI zijn heel goed in verschillende taken, van het analyseren van afbeeldingen tot het schrijven van code. Daarom heb je minder data nodig om zo’n model op een specifieke taak nog verder te trainen.
Het bedrijf achter ChatGPT
‘We gebruiken nu in de basis hetzelfde AI-model voor verschillende projecten: handelingen in de Eerste Kamer omzetten in data of Tiktokbotjes laten scrollen tot ze in de manosfeer belanden. Het enige dat je verandert, is de instructie die je toevoegt. Die flexibiliteit werkt goed voor de journalistiek. Je hebt niet altijd drie maanden de tijd.’
Online wereld die traditionele mannelijkheid en anti-feminisme propageert
Hoe houd je als journalist rekening met de subjectiviteit van AI? Is de data te vertrouwen?
‘We blijven handmatig labelen. Wij beginnen met de data die is binnengehaald en doen daar een kleine steekproef op. We gaan zitten met z’n tweeën of drieën om te kijken wanneer iets bijvoorbeeld haatdragend of gendernormatief is, en wanneer niet. Dat proberen we schriftelijk te documenteren om definities te maken en regels te hanteren. Vervolgens testen we of we het met elkaar eens zijn.
‘Met de dataset, de steekproef en de definities heb je een soort handboek, dat je weer aan een AI-model kunt voeren en als input kunt gebruiken om te labelen. Als de labels die AI toekent niet overeenkomen met die van ons, moeten we terug naar de tekentafel en de prompt (instructie voor AI, red.) aanpassen. Maar we zien meestal dat het goed overeenkomt.
‘Er zit altijd een bepaalde foutmarge in de data, dat zetten we ook in de verantwoording. Dat nemen we voor lief als we uitspraken doen over alle data, maar als het over een individu gaat, dan controleren we dat weer handmatig. Zo gaan we steeds heen en weer, en blijft de foutmarge beperkt.’
De methodes die jullie in de verantwoording beschrijven, lijken soms letterlijk hogere wiskunde. Eén verantwoording telt meer dan 2000 woorden. Is dat nog te volgen voor een breder publiek?
‘Zo’n uitgebreide verantwoording is meer voor de datajournalistieke nerds. We leggen op verschillende manieren, in minder technische termen, uit hoe wij ons onderzoek hebben uitgevoerd. Dat gebeurt deels in het artikel zelf of in een kader.
‘Een belangrijk deel van de inzet van AI draait om vertaalbaarheid, heb ik bij De Groene geleerd. Je moet zorgen dat een breder publiek in algemene zin begrijpt wat je hebt gedaan en hoe je hebt geclassificeerd. Technieken waarvoor de lezer specialistische kennis vereist, acht ik ook minder geschikt voor een journalistieke context.’
Inmiddels bestaan er grote zorgen over het mogelijke gevaar van AI voor de mensheid. Kunstmatige intelligentie zou bijvoorbeeld onbeheersbaar kunnen worden. Hoe denk jij daarover?
‘Ik ben geen AI-doemdenker, maar ik snap waar de zorgen vandaan komen, zeker sinds de introductie van ChatGPT. Zelf werkte ik al eerder met zulke modellen, maar de ontwikkelingen gingen ineens heel snel. Als je die extrapoleert, dan weet je niet waar je over een á twee jaar uitkomt. Maar toen OpenAI in augustus ChatGPT-5 introduceerde, zagen we dat de ontwikkelingen toch wat langzamer gaan dan in eerste instantie werd gedacht.
Generatieve AI is nooit bedoeld om zomaar voor elke toepassing te gebruiken
‘Ik ben ook wel enigszins sceptisch over of kritisch op bepaalde toepassingen van AI. Daarom onderzoeken we onder meer hoe AI wordt gebruikt als informatiebron. Een voorbeeld is de enorme opmars van AI-boeken op een platform als Bol.com. Bij De Groene ontdekten we dat deze boeken, die soms over hele serieuze onderwerpen als de behandeling van kanker gaan, vol fouten zitten.
‘Generatieve AI is nooit bedoeld om zomaar voor elke toepassing te gebruiken, maar vooral voor taken die voor mensen enigszins repetitief zijn of voor dingen waar juist computers in excelleren.’
Anorexia, misogynie, racisme: de onderwerpen waar je bij De Groene induikt, zijn soms heftig. Hoe ga je daar mee om?
‘De onderwerpen zijn heftig, maar ik analyseer ze in cijfers en tabellen. Tegelijkertijd komt er een moment dat we in die data gaan duiken, en ook ik in aanraking kom met de content. Het labelen doen we bewust samen en enigszins rustig aan. We checken bij elkaar in: ‘Voel jij je nog comfortabel om verder te gaan of moeten we even rust nemen?’. Dat helpt heel erg.
‘We concentreren ons ook steeds weer op een ander deel van de Nederlandse samenleving. De ene keer zijn het ‘manfluencers’, de andere keer boze boeren. Dat voorkomt dat je gaat denken: ‘Dit ís de Nederlandse samenleving.’’
Over de auteur
