Hoe monitor je de websites van 22 lokale omroepen? Media-onderzoeker Nel Ruigrok: ‘Data zijn niet eenduidig’

Cijfers, cijfers en nog eens cijfers. Voor media-onderzoeker Nel Ruigrok is de betekenis ervan al snel duidelijk, maar de weg naar een uiteindelijk rapport is vanaf het verzamelen van data nog lang. Voor het Stimuleringsfonds voor de Journalistiek deed ze onlangs onderzoek naar de pilot Professionalisering Lokale Omroepen. ‘We voerden eindeloze gesprekken over wat we precies wilden en hoe we dat konden meten.’

Het interview is nog geen twee minuten bezig als Ruigrok begint te gniffelen. ‘Oh, dat is ook wel leuk om te vertellen,’ zegt ze midden in een antwoord. ‘Het is allemaal leuk en aardig hoor, zo’n subsidie, maar vervolgens gebruiken sommige omroepen die om een nieuwe website te bouwen. Dat is natuurlijk volkomen legitiem, maar het programma dat ik gebruik om de data te verzamelen, werkt vervolgens niet meer. Dus in plaats van iets meer dan twintig websites heb ik er uiteindelijk dertig moeten scrapen.’ Scrapen? ‘Ik trek die websites leeg.’ Lachend: ‘Dat klinkt vast ook niet goed, hè?’

Op het verzoek van het Stimuleringsfonds analyseerde Ruigrok de inhoud op de website en sociale media van 22 lokale omroepen. Welk effect heeft de pilot Professionalisering Lokale Omroepen op de kwaliteit van de deelnemende nieuwsmerken? De conclusies staan in het rapport ‘De lokale omroep op stoom: de weg naar professionalisering’.

Als veelgevraagd media-onderzoeker en eigenaar van LJS Nieuwsmonitor is Ruigrok hele dagen in de weer met technische snufjes en cijfers. Werk waar ze opgewekt over vertelt. Als je op een struikelblok stuit, zoals de lancering van de nieuwe websites, dan moet je er ook om kunnen lachen, toch?

Scrapen

Terug naar het scrapen. Daarmee bedoelt Ruigrok dat ze alle artikelen die op de websites van de lokale omroepen verschijnen verzamelt door middel van software. ‘Die schrijf ik zelf en moet voor iedere website specifiek worden aangepast. Dat een aantal websites werd vernieuwd, zorgde dus voor veel meer werk.’ Dataverzameling is bij zulke onderzoeken altijd het meeste werk, zegt Ruigrok. Alle omroepen hebben een ander formaat, de websites zien er niet hetzelfde uit en ze doen dingen net weer even anders dan een omroep 50 kilometer verderop. ‘Dat zorgt voor data die niet eenduidig zijn. Daar moet je gewoon mee omgaan.’

Het verzamelen van alle data gaat automatisch. Ook vragen over de inhoud – zoals: besteden pilotomroepen net zoveel aandacht aan zwaardere thema’s zoals zorg, onderwijs, bouw of milieu, als aan 112-nieuws en de uitgaansagenda van de stad? − worden op die manier beantwoord.

Corona gooit roet in het eten

Software kan clusters vormen aan de hand van woorden die samen voorkomen in een artikel. Die clusters staan vervolgens voor een bepaald onderwerp. Komen bijvoorbeeld partijnamen in combinatie met woorden als verkiezingen en stembus in dezelfde tekst voor, dan weet de computer: dit gaat over politiek. Dat vormen van clusters gebeurt met topic modelling en deep learning, legt Ruigrok uit. ‘Elk woord krijgt zijn eigen kenmerk, uitgedrukt in 300 getallen. Hoe groter het verband tussen de woorden, hoe meer die getallen overeenkomen. Bij de woorden “Parijs” en “Frankrijk” lijken die getallen dus op elkaar. En de computer weet vervolgens ook dat bij “Berlijn” het woord “Duitsland” hoort.’

Zo kwam de onderzoeker tot een lijst van dertien onderwerpen, waaronder Onderwijs, Natuur & Milieu, Bedrijfsleven en Gezondheid & Corona. Over een periode van 10 maanden is gekeken of er meer of minder aandacht voor de categorieën was.

‘Natuurlijk was er heel veel aandacht voor corona – een onderwerp dat in januari en februari niet voorkomt, maar vervolgens explodeert. Op een gegeven moment wordt dat weer iets minder, en later weer iets meer.’ Zoals het virus in ieders leven veel veranderde, gooide het ook roet in het eten in het onderzoek van Ruigrok. ‘Aanvankelijk hadden we gekozen voor twee meetmomenten: een week in maart en een week in oktober. Toen corona kwam, zei ik meteen: we kunnen beter meer meenemen, want anders zijn de verzamelde data scheef.’

Sparren

Ruigrok opereerde niet alleen. ‘Gelukkig niet.’ De onderzoeker werkt samen met Wouter van Atteveldt, universitair hoofddocent aan de Vrije Universiteit en tevens haar echtgenoot. ‘Daarom gebruik ik ook altijd de nieuwste methodes. Korte lijntjes! Hij ontwikkelt al die modellen en ik pas het toe. Hij is een echte nerd, ik maar een beetje.’

Misschien nog wel belangrijker is de rol van Quint Kik, zegt Ruigrok. Kik werkt als onderzoekscoördinator bij het Stimuleringsfonds. ‘Ik heb heel veel met hem gebeld. Héél veel. Dan voerden we eindeloze gesprekken over wat we precies wilden en hoe we dat konden meten.’ Juist omdat Ruigrok ‘heel erg in de cijfertjes zit’, is zo’n sparringpartner belangrijk. Daardoor blijft ze scherp. ‘Ik vind dingen dan heel logisch. Vervolgens zegt Quint: maar wat bedoel je hier nou eigenlijk mee? Dan denk ik: wat bedoel ik nou eigenlijk? Dat staat er toch? Maar dat staat er dan helemaal niet. Hij wil alles altijd helemaal begrijpen, voordat hij het echt accepteert.’

Een onderzoek verandert gedurende het proces. ‘Als er een wens is, dan ga ik daarmee aan de slag. Vervolgens stuur ik een uitkomst naar Quint, die zegt: ja, maar eigenlijk wil ik ook nog dit, of misschien is het interessanter zus of zo. Dan denk ik: oh, daar had ik nog niet aan gedacht, gaan we doen.’ ‘Zo gaat het steeds heen en weer, wordt een onderzoek groter en groter en worden wij enthousiaster. En dan gaat het maar door. Als er meer kan, willen opdrachtgevers altijd meer. Daar doen Wouter en ik overigens zelf net zo hard aan mee, hoor. We zijn gewoon allebei heel nieuwsgierig.’