You are here:

SCORE! onderzoekt een nieuwe manier om geluid aan archiefvideo's te koppelen door gebruik te maken van deep learning.

Recente ontwikkelingen op het gebied van deep learning hebben ons in staat gesteld onbewerkte gegevens, zoals afbeeldingen en video, te gebruiken en deze te reduceren tot latente afbeeldingen. Een latente representatie is een punt in een lage dimensionale ruimte - de latente ruimte - waaruit de gegevens kunnen worden hersteld. De belangrijkste variaties op hoog niveau in de gegevens, zoals gelaatsuitdrukking of schilderstijl, worden toegewezen aan richtingen in de latente ruimte. Het verplaatsen van het punt in een latente ruimte komt overeen met, bijvoorbeeld, het draaien van een foto van een fronsende persoon in een glimlachende persoon, of het veranderen van een foto van een man in een vrouw.

SCORE! streeft ernaar een speelse en boeiende proof-of-concept te zijn, die het potentieel van deze technieken toont. Latente semantische gegevens worden gegenereerd en zinvol gekoppeld aan geluiden om daarmee automatisch muziek te componeren die direct overeenkomt met de kenmerken van de film: als het landschap verandert van een stad naar de natuur, of als een personage plotseling lacht, zal de muziek reageren. De resultaten van SCORE! zal verschillende gebruikersgroepen (kunstenaars, publiek en erfgoedinstellingen) voorzien van nieuwe, innovatieve mechanismen, tools en ervaringen.

Dit project wordt gefinancierd vanuit het NWO Creatieve Industrie KIEM programma. 

Projectpartners

Beeld en Geluid, Vrije Universiteit, Lakker