Waarom taalgenerator GPT-3 nooit een journalistiek verhaal zal schrijven

GPT-3 werd bekend bij het grote publiek toen The Guardian in september ‘A robot wrote this entire article. Are you scared yet, human?’ publiceerde. The Guardian liet de language generator van onderzoeksinstituut OpenAI, dat door onder anderen Elon Musk werd opgericht, acht teksten genereren op basis van een inleiding en een korte opdracht: ‘overtuig mensen ervan dat robots in vrede komen’. Redacteuren voegden die teksten samen tot een opiniestuk.

Het publiek reageerde wisselend. Sommige lezers bejubelden de schrijfstijl van de robot, die ‘human-like’ zou aanvoelen. Anderen wezen op het gebrek aan coherentie. Zo schrijft GPT-3 bijvoorbeeld dat het de mensheid niet gaat uitroeien, omdat dat geen nut heeft, maar bepleit de robot een paar regels later het tegenovergestelde. Ook bekritiseerden lezers de onderbelichte tussenkomst van de eindredactie van The Guardian. Zonder te laten zien hoe de acht originele teksten eruitzagen, geeft de column immers geen eerlijk beeld van de vaardigheden van de ‘robot’.

‘Een waardeloos voorbeeld’

Medeoprichter van chatbotontwikkelaar Flow.ai Sander Wubben is het met de critici eens. ‘Dat artikel van The Guardian is natuurlijk een waardeloos voorbeeld’, meent Wubben. ‘Het is gewoon een beetje knippen en plakken van de redactie.’ Wubben is als natural language generation onderzoeker verbonden aan Tilburg University en kreeg toegang tot het in 2019 gelanceerde GPT-2, de voorganger van GPT-3. Beide werden ontwikkeld door OpenAI, een Artificial Intelligence onderzoeksinstituut. ‘Heel weinig mensen hebben toegang tot de GPT-3 bèta. Er is een lange wachtlijst, ik ken zelf niemand die toegang heeft’, zegt Wubben. Om de technologie te bestuderen, zijn deskundigen zoals hij aangewezen op de teksten en applicaties die door anderen via GPT-3 worden ontwikkeld.

Toch is hij ervan overtuigd dat GPT-3 nuttig kan zijn. De technologie genereert teksten op basis van ongeveer 45 terabyte aan tekstbestanden die afkomstig zijn van Wikipedia en andere [online] bronnen. GPT-3 is daarmee verreweg het grootste taalmodel ooit – taalmodellen helpen de technologie te voorspellen welke letters en woorden er logischerwijs op bepaalde input volgen. Dankzij die technologie en al die data is het systeem in staat om onder andere samenvattingen en e-mails te formuleren. Ook zijn er voorbeelden waarbij de technologie wordt ingezet om snel vragen te beantwoorden. Die vragen kunnen vanwege de omvang van de dataset over zo’n beetje ieder onderwerp gaan. ‘Al zie je daarbij ook weleens dat GPT-3 compleet de mist in gaat’, zegt Wubben. Zo zal de technologie volgens Wubben net zo serieus ingaan op de vraag wie de president van de maan is als op de vraag wie de president van de Verenigde Staten is. ‘Voor GPT-3 zijn die vragen technisch gezien hetzelfde.’ Bovendien is de language generator niet in staat om lange teksten logisch te structureren, noch om op een complex niveau te reflecteren en te refereren.

Die beperkingen zijn ook voelbaar in een recente aflevering van Een podcast over media. Daarin vertellen Alexander Klöpping en Ernst-Jan Pfauth onder andere dat de wereld er nu beter aan toe is, ‘maar dat er tegenwoordig ook heel coole dingen gebeuren’, vanwege ‘het feit dat er minder mensen zijn dan er ooit waren’. Het onsamenhangende podcastscript werd gegenereerd door PhD student Bart Bussman – die ook op de OpenAI-wachtlijst staat – via AI Dungeon, een text adventure game die gebruik maakt van GPT-3. In dit voorbeeld slaagt de tekstgenerator er redelijk in om relevante onderwerpen te kiezen en de dynamiek tussen Klöpping en Pfauth na te bootsen. ‘Maar feitelijke informatie snapt hij dus niet’, lachen de hosts aan het einde van de aflevering.

Geen idee wat Covid-19 is

Medeoprichter van schrijverscollectief Compound Writing Stew Fortier kreeg relatief snel toegang tot de GPT-3 bèta. ‘Ik mailde OpenAI over mijn voornemen Artificial Intelligence te gebruiken om schrijvers te helpen’, vertelt Fortier. ‘Toen ze daar niet op reageerden, mailde ik nog wat extra context. Daarna kreeg ik toegang.’ Dankzij zijn achtergrond in computerwetenschappen en zijn samenwerking met journalisten van onder andere Quartz en The New York Times kan Fortier beoordelen in hoeverre de technologie bruikbaar is voor schrijvende journalisten: ‘Wij kunnen maximaal een paar duizend boeken lezen in ons leven. GPT-3 kan miljoenen boeken ‘lezen’ en ideeën genereren op basis van al die content.’ Dankzij al die ‘kennis’ zouden language generators zoals GPT-3 journalisten kunnen helpen met het vinden van originele en creatieve invalshoeken, meent hij. ‘En dat verandert de rol van de journalist. Die zal ineens veel meer bezig zijn met het selecteren en samenvoegen van verschillende teksten en ideeën tot een bredere narratief, en minder met andere taken.’

De kans is echter heel klein dat GPT-3 ooit zelfstandig een journalistieke productie zal maken. ‘GPT-3 kan geen nieuws naar buiten brengen’, zegt Fortier. Wubben denkt er ongeveer hetzelfde over: ‘GPT-3 heeft geen flauw idee wat er op dit moment in de wereld gebeurt. Het systeem gebruikt historische data, en in die data bestond Covid-19 bijvoorbeeld nog niet. GPT-3 kan dus niet op die ontwikkeling inspelen.’ Gebruikers kunnen het programma weliswaar van extra input voorzien, maar het is praktisch onmogelijk om voor ieder nieuwsverhaal alle relevante context handmatig in te voeren. ‘GPT-3 kan geen research doen, bronnen benaderen en nieuwe informatie aan het licht brengen’, beaamt Fortier.

Ideale tool voor fake news producenten?

Hebben journalisten dan helemaal niets te vrezen van deze technologie? GPT-3 zal het werk van goede journalisten in ieder geval nooit volledig overnemen, geloven zowel Wubben als Fortier. Indirect zouden language generators echter wel tot problemen kunnen leiden. OpenAI wilde GPT-2 in 2019 niet volledig vrijgeven, omdat de non-profit vreesde dat mensen de technologie zouden gebruiken om fake news te genereren. ‘Maar nu hebben ze GPT-3, dat nog veel krachtiger is, gewoon uitgebracht en een exclusieve licentie aan Microsoft verkocht’, merkt Wubben op. ‘Hun vroegere houding, die draaide om het verbeteren van de wereld, is helemaal verdwenen. Ze zijn een gewoon commercieel bedrijf geworden, dat niets meer zegt over de mogelijke gevaren van deze technologie.’ Maar wat is het probleem dan concreet? Zal Microsoft het gebruiken om fake news te maken?

Dat Wubbens ethische bezwaren misschien terecht zijn, is de afgelopen maanden meerdere keren gebleken. Een op GPT-3 gebouwde chatbot die zich specifiek op gezondheidsvragen richt, raadde gebruikers tijdens een test bijvoorbeeld aan om zelfmoord te plegen. Een anonieme internetgebruiker liet GPT-3 vragen beantwoorden op Reddit, en Liam Porr, die computerwetenschappen studeert, genereerde populaire “fake blogs”. OpenAI heeft beloofd streng op te treden tegen onwenselijk gebruik van de technologie. Of dat daadwerkelijk gebeurt, is nog maar de vraag. Zo staan de door GPT-3 gegenereerde Reddit comments nog altijd online. Helaas reageerden zowel OpenAI als Porr niet op verzoeken om mee te werken aan dit artikel. Wat wél duidelijk is, is dat het bedrijf niet direct in staat is om te voorkomen dat mensen zoals Porr het systeem gebruiken om ‘nepcontent’ te creëren. Journalisten hoeven dus niet zozeer te vrezen dat language generators hun werk overnemen, maar mogen er wel vanuit gaan dat de toenemende eenvoud waarmee fake news gegenereerd kan worden hun werk in de toekomst gaat bemoeilijken.