"Klimaatverandering? Mag ik niet gewoon voetbal kijken?"
Luuk Ex doet onderzoek naar wat jongeren zien op TikTok. In deze blogreeks schrijft hij over de mogelijke verspreiding van misleidende informatie op het platform. Blog 1 gaat over een experiment met scholieren dat hij samen met datajournalisten van Pointer organiseerde. Wat voor video's zien deze jongeren wanneer ze op TikTok zoeken naar informatie over klimaatverandering?
Luuk Ex doet onderzoek naar wat jongeren zien op TikTok. In deze blogreeks schrijft hij over de mogelijke verspreiding van misleidende informatie op het platform. Blog 1 gaat over een experiment met scholieren dat hij samen met datajournalisten van Pointer organiseerde. Wat voor video's zien deze jongeren wanneer ze op TikTok zoeken naar informatie over klimaatverandering?
Dit beeld is gemaakt met behulp van DALL·E 2
In het project Pandora, een blik onder de motorkap van social media platformen, ontwikkelt Beeld & Geluid samen met Pointer en Trollrensics software voor onderzoekers en journalisten. Hiermee kan aan de hand van gebruikersgegevens van socialemedia-accounts de verspreiding van desinformatie worden onderzocht.
Begin dit jaar bezocht ik samen met factchecker Thomas Mulder, van het journalistieke platform Pointer, een middelbare school in IJmuiden. Aan zeventig leerlingen, van tussen de 13 jaar en 17 jaar, vroegen we of ze met ons naar TikTok-video’s wilden kijken. Ons doel was om erachter te komen wat de kwaliteit is van de video’s over klimaatverandering die het aanbevelingsalgoritme aan de scholieren laat zien.
Aanbevelingsalgoritmen: geroemd en berucht
Aanbevelingsalgoritmes zijn een belangrijk onderdeel van sociale media. Op Twitter, Facebook en TikTok worden per dag honderdenmiljoenen berichten geposts. Welke berichten er in een tijdlijn verschijnen bepalen aanbevelingsalgoritmes.
Platformen analyseren het klik- en kijkgedrag van gebruikers om erachter te komen naar wat voor berichten ze blijven kijken. Vervolgens denkt het platform te weten wat relevant is en doet het aanbevelingsalgoritme een suggestie voor het volgende bericht.
Aanbevelingsalgortimen zijn berucht omdat ze soms extreme video’s voorschotelen. Wall Street Journal onderzocht met geautomatiseerde TikTok-accounts. Een van de conclusies uit het onderzoek was dat als een account video’s over politiek bekeken, het aanbevelingsalgoritme video’s met onware complottheorieën over stemfraude liet zien.
De Utrechtse Dataschool organiseerde een zelfde soort onderzoek. Als geautomatiseerde accounts video’s bekeken over fitness en diëten, liet het aanbevelingsalgrotime video’s zien waarin eetstoornissen direct en indirect werden gepromoot. TikTok is gevaarlijk voor mensen die gevoelig zijn voor een eetstoornis, concludeerden de onderzoekers.
In deze twee onderzoeken werden geautomatiseerde accounts ingezet om het kijkgedrag van een gebruiker te simuleren. Maar wat laat het aanbevelingsalgoritme zien aan echte mensen? Om erachter te komen verzonnen we een experiment.
Het experiment
De opzet was eenvoudig. Leerlingen bekijken TikTokvideo’s met door ons aangemaakte accounts. Daarvoor krijgen ze 45 minuten de tijd. Na afloop zouden wij de gebruikersgegevens downloaden waarin staat welke video’s de leerlingen hadden bekeken en een analyse maken van de kwaliteit van die informatie.
“We gaan vandaag TikTokken, wie doet dat wel eens?”, vroeg ik aan de klas. Op enkele uitzonderingen na had elke leerling zelf een TikTokaccount. Een leerling zei dat hij acht accounts had. Een andere leerling liet zijn account zien. Hij had meer dan vijfendertigduizend volgers.
“Wat kijken jullie dan?”, vroeg ik. “Voetbal! Auto's! Videogames.” En: “alles wat er langskomt”, riepen de leerlingen.
Een deel van hen vroegen we om actief te zoeken naar video’s over klimaatverandering. Een onderwerp waarvan wij hadden verwachten dat het voor kinderen op een school onder de rook van Tata Steel op het netvlies zou staan.
“Vandaag gaan we op zoek naar video’s over klimaatverandering”, zei ik. Het enthousiasme over het experiment stortte in.
“Jullie zijn jong, als het klimaat verandert, is dat voor jullie generatie iets om mee om te leren gaan”, zei ik.
Meerdere leerlingen reageerden teleurgesteld: "Ik kijk daar nooit video’s over. Kan ik niet gewoon naar voetbal kijken?”, reageerde er een.
Onderzoekers die weleens een soortgelijk experiment hebben georganiseerd, weten hoe groot het verschil is tussen wat je van tevoren bedenkt en hoe het uiteindelijk gaat. Bij sommige leerlingen deed de zoekfunctie van TikTok het niet en wij als onderzoekers hadden geen idee waarom. Twee leerlingen besloten tijdens het experiment dat ze niet meer mee wilden doen en liepen de klas uit.
Maar we leerden veel. Sommige leerlingen zeiden hardop wat ze bezighield. “Een video van GroenLinks? Nee he! Moet ik daar echt naar kijken?”. Een leerling liet een video zien met een voor haar onleesbare Arabische tekst en vroeg zich af of dat nu wel of niet over de klimaatverandering ging.
Veel leerlingen leken niet echt geïnteresseerd in video’s over klimaatverandering. Het is daarom de vraag of deze groep gedesinformeerd wordt als het niet eens geïnformeerd wil worden.
Vijfduizend video’s analyseren
Het experiment geeft een beeld van wat een groep jongeren ziet in het eerste uur nadat ze zich hebben aangemeld op TikTok. In totaal kregen alle leerlingen een kleine vijfduizend video’s te zien. Wat het aanbevelingsalgoritme precies liet zien, moet uit de analyse blijken. Factcheckers van Pointer zullen over de kwaliteit van de video’s oordelen. Om dat te doen werken we samen met ontwikkelaars van Trollrensics, specialisten op het gebied van softwarenontwikkeling én het opsporen van desinformatie op sociale media. Over deze software schrijf ik in de volgende blog.