Snel nieuwsvideo’s scannen met Watskeburt?!

Een nieuwsartikel op een website is gemakkelijk te scannen. Door naar de koppen, streamers en foto’s te kijken, ziet een lezer binnen een paar seconden of het artikel relevant voor hem is. Bij video’s werkt dat gecompliceerder. Bij het scannen van een nieuwsvideo is de kijker bijna uitsluitend afhankelijk van de titel van de video. Kennisinstelling TNO en technologiestart-up Media Distillery ontwikkelden daarom Watskeburt?!: een tool die de inhoud van een video inzichtelijk maakt. Ze kregen er in juli 2015 subsidie voor van het Stimuleringsfonds. 

Meer online succes

Watskeburt?! scant nieuwsvideo’s onder andere op spraak, ondertiteling, gezichten en logo’s. Op basis van de verzamelde informatie kan een goede samenvatting van de video worden gemaakt. Uit iedere scène in de video wordt automatisch een frame geselecteerd dat representatief is voor het stukje video. Door die frames te combineren, ontstaat een filmstrip waar de kijker doorheen kan scrollen.

Het was interessant om te onderzoeken of mensen door een filmstrip het journaal eerder aanklikken

Om bij wijze van pilot te kunnen te starten met een demoversie, benaderden TNO en Media Distillery verschillende mediapartners. De NOS is enthousiast. “Op televisie wordt het journaal dagelijks door zo’n twee miljoen mensen bekeken, maar online kijkt nog geen 10 procent het terug”, aldus José de Vries van NOS Lab. “Het was interessant om te onderzoeken of we dat terugkijken beter konden faciliteren. Kan een filmstrip ervoor zorgen dat mensen het journaal online eerder aanklikken?”

De filmstrip

Twee seconden nadat een uitzending is afgelopen, is de filmstrip compleet. “Tijdens de uitzending wordt de video automatisch gescand op bijvoorbeeld spraak”, zegt Joost de Wit, één van de oprichters van Media Distillery. “We willen alles herkennen wat mensen zeggen: wanneer wordt er gesproken en wanneer horen we andere geluiden? Die twee dingen proberen we van elkaar te onderscheiden.” De spraak wordt vertaald in klanken en vervolgens in woorden, maar ook aanwezige tekst wordt uit de video ‘losgeknipt’.

Hoewel je het wel zou vermoeden, komen die logo’s en stukken tekst vervolgens niet los in de filmstrip terecht. Achter de schermen helpen die elementen om specifieke momenten in de filmstrip te selecteren. Daardoor kun je bijvoorbeeld instromen op momenten in het journaal waarop een nieuw item begint.

Uitdagingen

Dankzij de technologie van Watskeburt?! is er veel meer bekend over de inhoud van een betreffende video. Wanneer je in een videodatabase zoekt op filmpjes waarin een bus langsrijdt, is het dankzij de logoherkenning veel gemakkelijker om een goed resultaat te vinden.

Maar die logoherkenning werkt niet altijd even efficiënt. Wanneer een gebruiker bijvoorbeeld zoekt op ‘Connexxion’, verschijnen ook talloze video’s waarin op de achtergrond een keertje een bus langsrijdt. Daar is iets op bedacht: door ‘spraakherkenning’ aan te vinken, kun je gerichter zoeken.

“We zijn wat uitdagingen tegengekomen”, vertelt De Wit. “Er is heel veel energie gaan zitten in het compleet krijgen van de keten. We hadden losse stukjes, maar het samenvoegen, zodat het betrouwbaar zou werken en we het konden testen, was best moeilijk.”

Iemand zei dat het voelt als het scannen van een krant, een ander vond het ‘chill dat het MB’s scheelt’

De filmstrip is al uitgebreid getest door gebruikers van de NOS. Negentig mensen hebben een enquête ingevuld. Veel van hen pasten goed in het gewenste profiel: ze keken over het algemeen niet naar het integrale journaal, maar wel naar video’s. “Reacties waren vrij positief”, vertelt De Vries. “Iemand zei dat het voelt als het scannen van een krant en een ander vond het ‘chill dat het MB’s scheelt’”. Eén van de grootste genoemde voordelen was de efficiëntie wanneer er verschillende onderwerpen in één uitzending voorkomen. Items in de uitzending kunnen eenvoudig worden geskipt doordat de filmstrip zelf aangeeft waar de nieuwe onderwerpen beginnen.

Aan de slag

De door de NOS gewenste interactiviteit kwam moeizaam op gang. Het bleek dat veel gebruikers niet doorhadden dat ze actief met de filmstrip aan de gang konden. Door in de strip op de geselecteerde afbeeldingen uit het journaal te klikken, kunnen kijkers direct starten met kijken op dat specifieke deel van de uitzending. In de filmstrip kunnen kijkers bovendien snel scannen welke onderdelen de uitzending bevatte en waar ze eventueel willen inspringen. Dat zorgt voor overzicht en bespaart tijd. “De filmstrip nodigde aanvankelijk niet uit om mee te interacteren”, aldus De Wit. “Daarom hebben we nu een wiggle toegevoegd. De filmstrip verschijnt golvend in beeld, waardoor gebruikers zien dat ze ermee aan de slag kunnen.” Die wiggle is subtiel aangebracht. Bij het openen van de demoversie veegt de filmstrip in beeld.

Of de tool al klaar is voor de markt? Jazeker, vindt De Wit. “We hebben ons 100.000ste programma geanalyseerd. De huidige methode is nog vrij basic, maar hij staat er al wèl.” “Je verandert het kijkgedrag”, vult De Vries aan. “Mensen kijken naar de specifieke onderdelen die ze interessant vinden, in plaats van dat ze na de eerste paar minuten de volledige uitzending wegklikken. Dat is heel waardevol.”