De Kluskoffer: AI op de redactie van het FD
Nieuws | Op de werkvloerVrijwel dagelijks passeren nieuwe mogelijkheden van kunstmatige intelligentie de revue. Maar wat gebeurt er al daadwerkelijk op redacties? Chef online Jeroen Hoorn vertelt over experimenten bij Het Financieele Dagblad.
Toen de wereld eind 2022 kennismaakte met ChatGPT werd al gauw bekend dat de onderliggende modellen (Large Language Models, of LLM’s) goed met taal uit de voeten kunnen. Dus verdiepten verschillende redacteuren van het FD zich erin: wat zou AI voor ze kunnen betekenen? Uit die persoonlijke experimenten kwam vervolgens een officieel experiment binnen de FD Mediagroep voort, en een werktitel: De Kluskoffer. Die naam bleven ze gebruiken, want het is een treffende omschrijving, zegt chef online Jeroen Hoorn. ‘We kozen bewust niet voor een persoonsnaam, want het is een stuk technologie.’
De technologie kreeg de vorm van een browser plugin, want die werkt flexibeler dan een toepassing binnen het cms. De plugin spreekt ChatGPT aan via een API op basis van een prompt.‘We hebben een in-house programmeur voor de technische kant en een clubje redacteuren die interesse hebben, testen en meedenken welke functies erin zouden moeten zitten.’
De tool helpt in de eerste plaats bij het maken van samenvattingen. Boven alle online artikelen en sommige krantenartikelen plaatst het FD een samenvatting in drie bulletpoints. Journalisten leveren deze zelf aan. De een schudt ze uit zijn mouw, de ander vindt het best een klus, weet Hoorn. ‘Wat AI-hulp is dan dus van toegevoegde waarde.’
‘Menselijk sausje’
Inmiddels doet de toepassing ook kopsuggesties. Net als bij de samenvattingen werken deze meer ter ondersteuning en inspiratie dan dat de koppen die er uitrollen een op een worden overgenomen. Een redacteur krijgt vijf suggesties per keer en kan die verschillende koppen bijvoorbeeld samensmeden tot het beste resultaat.
Hoe leert de plugin wat voor kop past bij het FD? ‘We hebben het systeem niet op het hele FD-archief getraind, maar wel per genre een heel aantal koppen ingevoerd,’ vertelt Hoorn. De tool herkent het genre en de bijbehorende stijl van koppen. Een nieuwskop is immers anders dan een kop voor een human interest-stuk. Nog meer dan bij samenvatten is het nodig om bij koppen zelf het ‘menselijke sausje’ toe te voegen. ‘Maar je zit niet meer naar een blanco scherm te staren.’
Redacteuren hebben met de plugin ook een ‘spellingscheck plus’ tot hun beschikking. Geen feilloze toepassing, maar zeker waardevol, aldus Hoorn. ‘We passen de prompt steeds verder aan. Het aantal keren dat zaken als fout worden aangemerkt die eigenlijk gewoon goed zijn, of dat de tool fouten over het hoofd ziet, blijft nu binnen de perken.’
Extra click
Desondanks zijn fouten inherent aan de staat van de LLM-technologie, dat moet je accepteren, meent Hoorn. En kun je er niet omheen voortdurend te testen wat het beste werkt. ‘We merkten dat hij er minder fouten uit haalt als je een hele tekst invoert. Losse alinea’s werkt beter.’
Aanvankelijk probeerde het team ook AI-factchecks uit, maar ‘dat werkte voor geen meter’, erkent Hoorn. De kennis van het systeem was nog verouderd, er was sprake van hallucinaties. ‘Dat speelt minder als je het een bestaande tekst geeft om mee te werken.’
Journalistiek moet wel gemaakt worden door ménsen, benadrukt Hoorn meermaals. De plugin is bewust zo ingericht dat gebruikers de resultaten zelf in hun tekst moeten kopiëren. Hoewel dit als een extra stap klinkt – en in de softwarewereld wordt er juist naar gestreefd om een actie in zo min mogelijk clicks uit te kunnen voeren – verkleint dit de kans dat er ongemerkt fouten sluipen in een tekst. ‘De mens blijft altijd verantwoordelijk. Soms is het resultaat niet goed, dan kun je een hele nieuwe opdracht geven, of je sleutelt zelf verder aan het resultaat.’ Anders gesteld: de AI-tool geeft een eerste aanzet, de redacteur dient er zelf kritisch naar te kijken en de input vooral ter inspiratie te gebruiken.
Voorsprong
Al met al is de kwaliteit van de plugin wisselend, luidt Hoorns nuchtere oordeel. Maar het ‘robotje’ is goed genoeg om ter beschikking te stellen aan de volledige redactie. Die weet dat het een experiment is, niet perfect, en niet verplicht om te gebruiken. Dat de reacties positief zijn, komt mede daardoor, denkt Hoorn. De redacteur blijft verantwoordelijk voor het resultaat van teksten. ‘Van een premium-merk mag je verwachten dat het mensenwerk is.’ Vooruitblikkend verwacht hij dat AI in de toekomst ook eindredactioneel advies zal kunnen geven. ‘Dit is te veel een waardeoordeel, hier ontbreekt de bron, dit is te veel jargon. Dat soort tips.’
Door het vrijblijvende karakter rijst de vraag hoe concreet de doelen van het FD met de tool zijn. ‘We hebben geprobeerd inschattingen te maken wat voor tijdswinst het oplevert, maar het is heel lastig te meten of je dat haalt,’ vertelt Hoorn. Uit het feit dat redacteuren de toepassing op allerlei momenten gebruiken, is volgens hem te concluderen dat ze er wat aan hebben en het tijdsbesparing oplevert. Een ander concreet doel is: nul fouten in alles wat het FD publiceert, stelt Hoorn. ‘Het experiment dient om vast te stellen of zo’n AI-tool ons kan helpen dat doel te bereiken.’
Ook hoopt Hoorn door dit experiment in algemene zin meer te leren over de mogelijkheden en beperkingen van AI. ‘Ongetwijfeld komen er in de niet al te verre toekomst kant en klare tools op de markt. Wat we nu doen geeft ons straks een voorsprong bij het beoordelen daarvan.’ Hoorn wijst op de afhankelijkheid van de onderliggende partijen, zoals ChatGPT-ontwikkelaar OpenAI. Hij vertrouwt ze alleen zaken toe waar hij morgen zonder zou kunnen, als dat zou moeten. En dus geen cruciale bedrijfsprocessen.
Het FD heeft er ook over nagedacht wat voor risico je neemt als je niet gepubliceerde teksten uploadt naar wat toch wel een black box is. ‘We hebben juridisch advies ingewonnen en besloten om niet rechtstreeks de servers van OpenAI te gebruiken. Alles loopt via servers van de Azure-dienst van Microsoft die in de Europese Unie staan. Zo zorgen we ervoor dat onze data binnen Europa blijft.’
Desondanks gaan de meest gevoelige onderwerpen, zoals eigen primeurs, niet het systeem in, voegt hij toe. ‘Teksten worden volgens de voorwaarden niet gebruikt door OpenAI om hun model te trainen, maar dat kunnen we niet controleren. Daarom doen we het niet.’
