Kunstmatige intelligentie helpt NU.nl bij het modereren van reacties, maar niet zonder risico’s

Onder de noemer The Coral Project ging een aantal grote, internationale mediapartijen in 2015 aan de slag met het verbeteren van reactiemogelijkheden. Moderatie is daar slechts een onderdeel van; ze onderzochten ook hoe je de kwaliteit van de reacties omhoog krijgt. Handig, want dan hoef je ook minder te modereren. Vervolgens is er systeem ontwikkeld waarin alle geleerde lessen zijn verwerkt.

In dat systeem is ook een functie toegevoegd die AI-assisted moderation heet. Dat maakt gebruik van de technologie van Perspective, die ontwikkeld is door Google-dochter Jigsaw. 

De werking van die technologie is aan de voorkant simpel. Een bericht of reactie krijgt scores mee, bijvoorbeeld hoe groot de kans is dat het gaat om spam of een giftige of obscene reactie. Wordt die kans ingeschat als klein, dan wordt de reactie automatisch goedgekeurd. Bij een hoge score kan een menselijke moderator de reactie bekijken en goed- of afkeuren. Het is dus niet zo dat een menselijke moderator wordt vervangen, maar dat hij zich kan concentreren op de twijfelgevallen. Het systeem leert van de acties van menselijke moderatoren, maar houdt ook rekening met zaken als de reactiegeschiedenis van een gebruiker en het onderwerp van een artikel.

Perspective heeft zelfs een optie toegevoegd om een gebruiker al een score te tonen voor de reactie, terwijl die wordt getypt. Op die manier wordt een deel van de gebruikers verleid om een bericht niet te plaatsen of anders te formuleren.

NU.nl

Op dit op moment werkte de technologie alleen in het Engels, Spaans, Frans, Duits, Portugees en Italiaans. In Nederland gebruikt NU.nl sinds 2018 het systeem van The Coral Project voor de reacties op NUjij, maar het kon dus geen gebruik maken van kunstmatige intelligentie.

‘We liepen op een gegeven moment tegen de beperkingen van onze moderatiemogelijkheden aan. Hierdoor konden we onze wensen voor NUjij, zoals Q&A’s, niet uitvoeren.’ Zo vertelt Colin van Hoek, adjunct-hoofdredacteur van NU.nl. ‘In de eerste helft van 2019 zijn we gaan kijken wat de mogelijkheden van kunstmatige intelligentie waren. Toevallig hadden twee partijen die deze technologie aanbieden ons toen al gemaild.’

NU.nl heeft nog even overwogen om zelf de techniek te ontwikkelen, maar uiteindelijk is de nieuwssite in zee gegaan met het Finse Utopia Analytics. Dat werd al gebruikt door de Finse krant Helsingin Sanomat, dat – net als NU.nl op dat moment – onderdeel was van uitgever Sanoma. De werking van de technologie is vergelijkbaar met die van Perspective.

Systeem trainen

Na een kleine test achter de schermen is NU.nl eind vorig jaar gestart met een pilot op NUjij en na een half jaar testen is de technologie van Utopia Analytics dit voorjaar officieel in gebruik genomen. Van Hoek vertelt daarover: ‘Het viel me mee hoeveel werk het trainen van het systeem was. We hebben de data van moderaties van een half jaar tot een jaar in het systeem gegooid. Het algoritme moest een paar weken draaien en vervolgens nog hertrainen om wat gekke dingen eruit te halen. Daarna hebben we het geïntegreerd in het reactiesysteem. Sindsdien wordt het elke twee weken opnieuw hertraind.’

In eerste instantie wilde NU.nl minstens de helft van de reacties automatisch laten keuren door het systeem. Inmiddels zit men op 80 procent. ‘Ik denk dat we nog iets kunnen doorgroeien naar 85 procent, maar daar stopt het, omdat je onzekerheden houdt,’ aldus Van Hoek. Sowieso kijkt de redactie nog steeds met een schuin oog naar de reacties die het systeem goedkeurt. De tijd die uiteindelijk vrijkomt, gebruikt de redactie van NU.nl voor meer interactie met het publiek.

Black box

Het is overigens lastig om een dergelijk systeem te vertrouwen, geeft Van Hoek toe. ‘Het systeem wordt steeds beter, maar je weet niet zo goed hoe dat komt. Het is een black box. Dus we kijken gewoon naar welke beslissingen hij neemt en blijven checken of het goed gaat.’ Soms komen er nieuwe onderwerpen in het nieuws, waarbij de technologie in het begin niet goed werkt. ‘Het nieuws over migranten in vrachtwagens was een onderwerp waar het minder lekker ging. We hebben toen even met de hand gemodereerd en daarmee het systeem getraind, zodat het weer aan de slag kon.’

Tijdens de eerste weken van de coronacrisis had NU.nl op een gegeven moment twee keer zoveel reacties als normaal. Van Hoek denkt dat de moderatoren van NUjij dit niet hadden aangekund als ze niet ondersteund werden door kunstmatige intelligentie.

Risico’s

Waar NU.nl er pas net mee bezig is, maakt The New York Times al sinds 2017 gebruik van dit soort technologie. Als één van de initiatiefnemers van The Coral Project maakt de krant gebruik van Perspective. Doordat de druk op moderatoren verminderde, kon de krant vanaf dat moment de reactiemogelijkheid openzetten bij alle belangrijke verhalen. 

Het inzetten van kunstmatige intelligentie voor de moderatie van reacties is niet zonder risico. De technologie is immers zo neutraal of objectief als de data waarmee die getraind is. Het wordt steeds duidelijker dat het op dat punt vaak misgaat bij het gebruik van kunstmatige intelligentie. Met name als gevolg van de niet-diverse achtergrond van de ontwikkelaars die de code schrijven, en de door mensen aangelegde datasets waarmee algoritmes worden getraind. De technologie is vaak bevooroordeeld als het gaat om bijvoorbeeld ras en gender. Zo blijkt uit onderzoek van Perspective dat tweets in Afrikaans-Amerikaans Engels relatief een hoge score op het gebied van giftigheid krijgen.

The New York Times komt op basis van haar onderzoek met drie algemene aanbevelingen voor wie aan de slag gaat met dit soort technologie:

1. Vertrouw systemen die gebruik maken van machine learning niet blindelings.
2. Focus je op de mensen die deze systemen gebruiken (in het geval van The New York Times: de moderators).
3. Socio-technische systemen hebben continu toezicht nodig.

Foto: palesa via Unsplash

Lees ook:

Gert-Jaap Hoekman van NU.nl over zijn werk tijdens de coronacrisis: ‘We gaan dagelijks positief nieuws brengen’

Van open riool naar constructieve comments: hoe het reactievak weer waardevol kan worden