Omroep ZWART maakt verslaggeving inclusiever met eigen AI-tool
Nieuws | Vernieuwing
Omroep ZWART wil de afstand tot haar publiek graag verkleinen. Daarom ontwikkelde de omroep in samenwerking met de Universiteit van Amsterdam en BNNVARA een AI-tool die journalisten moet helpen hun producties inclusiever te maken. De makers vertellen over hun bevindingen.
Hoe kun je als kleine Nederlandse omroep je journalistiek zo inclusief en representatief mogelijk maken? Die vraag zong een tijd lang rond bij Omroep ZWART, de omroep die zes jaar geleden werd opgericht met het idee om ondergerepresenteerde groepen beter te vertegenwoordigen in het Nederlandse medialandschap. De redactie wilde haar publiek en achterban nog meer betrekken bij wat ze maken, de vraag was alleen hoe je dat doet met beperkte middelen en mankracht.
‘We wilden de afstand tot onze gemeenschappen verkleinen, zonder dat we constant hoeven rond te bellen of onze producties wel aansluiten bij hun belevingswereld’, vertelt Moazam Sohotra, innovatiecoördinator bij Omroep ZWART. ‘Tegelijkertijd zochten we iets dat ons triggert om onze blinde vlekken te blijven checken.’ De omroep nam contact op met het AI, Media & Democracy Lab van de Universiteit van Amsterdam, waar Sara Spaargaren lab manager is. Die reageerde meteen enthousiast. ‘We vonden het fascinerend hoe de omroep een efficiëntieslag wilde maken en eigenlijk AI wilde inzetten om hun nadeel als kleine omroep op te heffen.’
Het resultaat van de samenwerking, waar ook omroep BNNVARA en aanvankelijk de EO bij betrokken waren, is gefinancierd met subsidie van het Stimuleringsfonds voor de Journalistiek. De AI Audience Validation Assistent (AAVA) is een soort AI-dashboard dat journalisten tijdens het productieproces voorziet van feedback, gebaseerd op het perspectief van ondervertegenwoordigde groepen in de media. De feedbacktool bevat onder andere een chatbot die is getraind op voorbeelden van schadelijke representaties in journalistieke content.
Hoe kan een journalist de AAVA-tool precies gebruiken?
Spaargaren: ‘Na het invoeren van een tekst door de betreffende journalist gaat de feedbacktool na wanneer er sprake is van schadelijke representaties van verschillende doelgroepen. De chatbot signaleert bepaalde stukken van een tekst die geïnterpreteerd kunnen worden als schadelijk voor een bepaalde groep in de samenleving. Vervolgens is het aan de journalist om daar wel of niet iets mee te doen.’
In hoeverre vervangt die AI-tool echte menselijke feedback?
Sohotra: ‘De feedbacktool vervangt geen menselijke feedback. Binnen dit project hebben we een annotatiemethode uitgewerkt die erop is gericht om de menselijke component door middel van technologie te versterken. Het idee erachter is dat een grotere groep mensen om de zoveel tijd gepubliceerde artikelen uit een database leest en vervolgens anoniem annoteert. Ze kunnen dan laten weten wat ze van de tekst of bepaalde zinnen en termen vinden, en of deze op een juiste wijze aansluit bij hun perspectief. Op basis van die antwoorden kunnen we gemene delers formuleren, die we dan weer linken aan politieke voorkeur, etniciteit en/of religieuze overtuiging. Deze input levert een dataset op waarmee de AI-tool wordt gefinetuned.’
Spaargaren: ‘Je zou kunnen denken dat de tool op genoeg data is getraind om accuraat schadelijke representaties te signaleren, want hij is immers gebaseerd op een taalmodel. Maar juist omdat het zulke specifieke doelgroepen betreft en we menselijk contact niet willen vervangen, hebben we gekozen voor deze annotatiemethode. Het is in zekere zin ook beter dan een enquête omdat je mensen echt meeneemt in de materie. Je stuurt ze geen kant op, maar laat hen annoteren. De annotaties vormen directe feedback.’
Wat zijn de grootste beperkingen van de tool?
Sohotra: ‘Om te zorgen dat deze groep annoteerders statistisch representatief is, hebben we zeker achtduizend mensen nodig die dit doen. We hebben nu bijna vierduizend mensen. Het blijkt een stuk makkelijker om mensen te vinden die voldoen aan kenmerken van de algemene Nederlandse populatie dan uit in de media ondergerepresenteerde groepen. Dat kost meer tijd dan gedacht en het vereist zorgvuldigheid om het vertrouwen en de betrokkenheid van mensen terug te winnen.’
Spaargaren: ‘Een ander punt is dat het ethisch verantwoord representeren van ondervertegenwoordigde personen via technologie lastig blijft. Het annotatiemodel stelt deelnemers in staat om vanuit eigen ervaringen passages te markeren die vooroordelen bevatten en uit te leggen waarom dit problematisch is. Hoewel dit helpt bij het ontdekken van blinde vlekken in de journalistiek, blijft AI vooral goed in het weergeven van gemeenschappelijke delers. Bij het vertalen van de inzichten van de deelnemers naar de antwoorden van de chatbot gaan nuance en diversiteit dus steeds verloren.’
Sohotra: ‘Ik probeerde de chatbot initieel wat minder abstract te maken door ‘m menselijke eigenschappen toe te dichten, zoals een gezicht, naam en leeftijd. Maar blijkbaar wekt het geven van een persona aan een AI-chatbot de verkeerde indruk dat een AI de geleefde ervaringen van een bepaalde groep of personen kan voelen, innemen of vervangen. Zo bestaat de gemiddelde Surinamer niet, net zoals de gemiddelde Nederlander niet bestaat. Door er een gezicht en leeftijd op te plakken, geef je wel de suggestie dat het een persoon is uit die gemeenschap. Maar het is eerder een bundeling van verschillende perspectieven uit die gemeenschap.’
Wat is dan precies de meerwaarde van de tool als er zoveel beperkingen zijn?
Spaargaren: ‘De tool nodigt uit tot reflecteren voordat je publiceert. Hij is nadrukkelijk niet bedoeld als vervanging van direct contact met je doelgroep. Dat blijft ontzettend belangrijk. De chatbot is eigenlijk een soort sparringpartner voor journalisten.’
Sohotra: ‘Volgens journalisten aan wie we de tool hebben voorgelegd, is het meest waardevolle aspect dat je kunt doorvragen en in gesprek kunt treden met een specifieke groep via de chatbot. Uiteindelijk zijn het ook de journalisten die beslissen wat ze met de geannoteerde tekst doen. Het is dus echt een ondersteunend middel waarmee zij getriggerd worden om na te denken.’
Vanaf wanneer is de tool in de praktijk toepasbaar?
Spaargaren: ‘Zoals gezegd zitten er veel kinderziektes in de huidige tool, die we eerst moeten evalueren. Desondanks roept de casus interesse op bij andere omroepen en mediabedrijven. Want iedereen kan zo’n tool bouwen op basis van een taalmodel, maar juist die annotatiemethode maakt ‘m innovatief. Het is een aanpak die je mogelijk in de bredere sector uit kan rollen.’
Over de auteur
