Hoe de software achter PANDORA werkt
Luuk Ex onderzoekt wat jongeren zien op TikTok. In deze blogreeks schrijft hij over de mogelijke verspreiding van misleidende video’s. Dit blog gaat over softwareontwikkeling waarmee journalisten en onderzoekers op TikTok misinformatie kunnen identificeren en trends ontdekken.
Luuk Ex onderzoekt wat jongeren zien op TikTok. In deze blogreeks schrijft hij over de mogelijke verspreiding van misleidende video’s. Dit blog gaat over softwareontwikkeling waarmee journalisten en onderzoekers op TikTok misinformatie kunnen identificeren en trends ontdekken.
Het is bekend dat er misleidende video’s rondgaan op socialemediaplatformen, maar er is weinig kennis over welke van die video’s jonge Nederlandse gebruikers bereiken. Om de maatschappelijke impact van misleidende informatie in beeld te krijgen onderzoekt Beeld & Geluid in samenwerking met journalistiek platform Pointer (KRO-NCRV) welke schadelijke informatie jongeren bereikt en mogelijkerwijs beïnvloedt.
Journalist Thomas Mulder (Pointer) en ik vroegen aan 45 scholieren van tussen de 13 en 17 jaar om mee te doen aan ons experiment. We registreerden TikTok-accounts en vroegen aan de leerlingen om ermee te TikTokken. Achteraf downloadden we van alle accounts de gebruikersgegevens om te kunnen zien wat de scholieren bekeken. In blog 1 schreef ik over ons schoolbezoek. Hieronder vertel ik over de software die we ontwikkelden voor onze analyse.
Zoeken naar misleidende video’s in gebruikersdata
TikTok verzamelt allerlei gegevens van accounts. Elke gebruiker kan met een klik in de app opgeslagen data opvragen bij TikTok.
In het bestand dat TikTok deelt over het account, staat onder andere welke video’s er zijn langsgekomen op de TikTok For You-pagina. In het bestand staat een lange lijst met tijdstippen waarop een video is bekeken met daarachter een unieke link. Als de video nog online staat, leidt die link naar de video op de website van TikTok.
De leerlingen zagen ongeveer 5000 video's op hun For You pagina. Wanneer je over de kwaliteit van die video’s wil oordelen, kan je op de link klikken en bekijken wat er wordt verteld, maar dat is een eindeloos karwei. Om dit proces te versnellen besloten we samen te werken met softwareontwikkelaar Trollrensics.
Een database om trends mee te ontdekken
Een van de uitdagingen van het analyseren van een grote hoeveelheid data is het organiseren ervan. De software helpt hierbij. Richard Odekerken is developer van Trollrensics en vertelt over de mogelijkheid voor onderzoekers en data-analisten om met de software een database op te bouwen van TikTokvideo’s: “Het is mogelijk om trends, patronen en mogelijke misinformatie te identificeren en analyseren. Ook kunnen factcheckers specifieke filmpjes on-demand afspelen zodat ze de video’s op een gestructureerde wijze kunnen beoordelen.”
Thomas Mulder is factchecker en journalist van Pointer en vertelt over werken met de software: “Je kunt je voorstellen dat sommige leerlingen dezelfde video hebben gezien. De software haalt die dubbelingen eruit, waardoor het analyseren sneller gaat. Je hoeft namelijk minder video’s te bekijken.”
Verzamelen van metadata
Om te weten waar een video over gaat zonder die helemaal te hoeven bekijken, biedt metadata een helpende hand. Metadata zijn gegevens die door uploaders en TikTok zijn toegevoegd aan een video. Bijvoorbeeld wat de naam is van het account dat de video heeft geüpload en op welke datum dat was. Uploaders voegen vaak hashtags en tekst toe aan TikTok-video's. De software zet alle metadata van de video’s in een database.
Thomas: “We hebben in dit experiment gekeken naar video’s over klimaatverandering. Met behulp van metadata konden we snel een eerste selectie maken van video’s waarin dit onderwerp mogelijk een rol speelt. Zo kunnen we veel sneller over de inhoud oordelen.
Videodatabase
Sommige video’s op TikTok verdwijnen na verloop van tijd. Bijvoorbeeld omdat degene die de video uploadde de video niet meer online wil hebben of omdat TikTok besluit om het offline te halen.
Thomas: “De software archiveert tijdelijk alle video’s in een database die alleen voor ons toegankelijk is zodat we ze ook kunnen beoordelen. Voor een onderzoek naar de impact van desinformatie over klimaatverandering zijn die video’s belangrijk. Want als ze verwijderd worden nadat ze door jongeren zijn bekeken, hebben ze mogelijk wel schade aangericht maar blijven ze onder de radar van factcheckers.”
Open source
De software binnen het project is open source ontwikkeld en op Github gezet om andere journalisten en onderzoekers te inspireren. Begin april ontving PANDORA een eerste aanvraag.
Susannah Montgomery, onderzoeker aan de InHolland Hogeschool, leidt een Europees project waarbij ze met studenten socialemediaplatformen bekijkt en is geïnspireerd door PANDORA’s werkmethode.
Susannah: "We focussen op hoe je gebruikersgegevens kan gebruiken om meeslepende verhalen te vertellen waarin de relatie tussen sociale media en bewustzijn van misinformatie centraal staat."
Haar doel is om in het komende jaar met studenten in Duitsland, Nederland en België sociale mediaplatformen op ongeveer dezelfde manier te analyseren. Het team van PANDORA zal haar hierin ondersteunen.
Pointer Checkt
Na de zomer maakt Pointer Checkt een online video-serie over de resultaten van het experiment. De derde, afsluitende blog van deze reeks zal hierover gaan.
Dit project wordt mede mogelijk gemaakt met steun door SIDN fonds.
 |
 |