Recast is een nieuwsbrief en netwerk over design, techniek en samenleving. Samen met onze lezers verkennen we de maatschappelijke implicaties van nieuwe technologieën vanuit een ontwerpend perspectief.

DEZE WEEK DE VIJFTIENDE AFLEVERING

Een podcast afgestemd op je locatie, je stemming of de dag van het jaar? Het kan met object-based media

Sinds we Recast in oktober hebben gelanceerd op de Society 5.0 Conferentie zijn we hard gegroeid naar inmiddels 450 abonees en 440 LinkedIn-volgers, vooral dankzij de enthousiaste reacties van onze lezers.  Ken je iemand voor wie recast ook interessant is? Stuur deze mail dan door. En heb je deze mail van iemand ontvangen? Aanmelden kan hier.

Object-based media gaan grote invloed hebben op hoe we media maken en verhalen vertellen. Daar ben ik van overtuigd sinds ik in februari bij een NPO Innovatie -sessie hoorde over deze manier van werken. Het maakt interactieve storytelling mogelijk en stelt de maker centraal in een werkveld waarin AI-tools steeds prominenter worden.

Het principe van object-based media is simpel: media bestaan uit allerlei bouwstenen die je kunt ordenen. Denk aan geluidssporen, animaties, teksten of fragmenten. Als mediamaker voeg je metadata toe aan de verschillende onderdelen van je materiaal. Metadata zijn 'data over data' waarmee je gegevens kunt registreren. Zo kun je bijvoorbeeld als podcastmaker aangeven hoe belangrijk verschillende geluidssporen zijn voor het verhaal. Dankzij object-based media kun je die afzonderlijke delen herschikken op basis van de context.

Als de luisteraar bijvoorbeeld in een rumoerige omgeving is, dan kun je automatisch de niet-essentiële onderdelen weglaten zodat het belangrijkste deel van de podcast beter te horen is. Het woord “object” in de term object-based media slaat dus op een stuk media-bouwmateriaal + metadata. Afhankelijk van de informatie die je toevoegt kun je vervolgens programmeren hoe en wanneer het materiaal wordt weergegeven of weggelaten.

Toekomst van broadcasting
De podcast die verandert op basis van omgevingsgeluid is een simpel voorbeeld van de eindeloze mogelijkheden van object-based media. Volgens Ian Forrester, die werkt bij de research & development-afdeling van de BBC en spreker was tijdens de NPO-sessie, is het 'de toekomst van broadcasting'. Hiermee kunnen we namelijk mediaproducten maken die afgestemd zijn op zowel de ontvanger als diens apparaat. Dit maakt storytelling interactief zonder de beleving van de ontvanger te verstoren met keuzes.

Wat mij enthousiast maakt, is dat dit gaat over geautomatiseerde beslissingen, data en sensoren en tegelijkertijd vakmensschap en creativiteit centraal stelt. Het is een kans om te innoveren op een manier die de rol van de mediamaker versterkt.

Ontwerpen met object-based media vereist een andere visie op audio en video. Je maakt geen kant-en-klare podcast, video of programma, maar besteedt aandacht aan de bouwstenen ervan en je ontwerpt verschillende manieren om daarmee eindproducten samen te stellen die afgestemd zijn op de behoefte van de luisteraar of kijker. Zo kun je ook het tempo van video’s afstemmen op dat van de kijker of content aanpassen op basis van locatie, tijdstip of de dag van het jaar.

Fragmenten husselen
Ik noemde eerder het voorbeeld van de podcast die afhankelijk van je omgeving bepaalde geluidssporen kan weglaten. Zo kun je ook werken met fragmenten. Denk aan een nieuwsvideo die zich aanpast aan je reistijd. Als je maar 7 minuten tijd hebt, dan krijg je alleen de meest essentiële delen te zien. Ben je langer onderweg, dan zie je ook minder groot nieuws of extra interviews. De BBC iPlayer kan al zoiets. Die creëert bijvoorbeeld automatisch recap-afleveringen van EastEnders met daarin alleen de belangrijkste delen uit de afleveringen die jij hebt gemist.

Dit interactieve kookprogramma bestaat uit verschillende 'objects'. Het programma verandert op basis van jouw beschikbare keukenspullen en je tempo. (bron: BBC)

Het kan ook een stukje complexer, bijvoorbeeld een video die meebeweegt met de handelingen en de locatie van de luisteraar. Zo ontwikkelde de BBC een (mee)kookprogramma dat is afgestemd op hoeveel tijd je hebt, welke keukenspullen je hebt en jouw tempo in de keuken. Op de website van BBC R&D lees je precies hoe ze de opnames hiervoor hebben gemaakt.

Deze 'podwalk' weet waar je bent en past de content aan op basis van je locatie. (bron: NTR)

Een Nederlands voorbeeld is de 'podwalk'-serie van de NTR bij Het verhaal van Nederland . Dit zijn historische verhalen om te luisteren terwijl je wandelt. Ze zijn uitgezet als wandeling en spelen af op basis van je locatie. Je hoort dus wat er is gebeurd op de plek waar je op dat moment bent. Tijdens de NPO-innovatiesessie vertelden de makers van deze podcast hoe zij hun werkpraktijk moesten aanpassen. Ze kwamen er in de studio achter dat je dit niet goed kunt opnemen en monteren zonder de fysieke wandeling voor je te zien. De makers besloten daarom de routes te lopen met een GoPro-camera en de beelden daarvan, samen met de uitgestippelde routes op digitale kaarten, mee te laten draaien bij het inspreken en monteren. Zo hadden zij ook in de montagestudio een goed beeld van de omgeving waarin de wandelaar zich tijdens elk fragment bevindt.

Waarom ik dit interessant vind

Ik geloof echt dat object-based media een veelbelovende toekomst is voor mediamakers. We speculeren al decennia over interactieve film, tv en radio. Een kijker keuzes laten maken tijdens het verhaal is vaak geprobeerd, maar nooit aangeslagen. Deze nieuwe werkwijze kan storytelling adaptief maken: je hoeft niet actief te kiezen, de verhalen worden automatisch afgestemd op signalen of behoeften van de kijker.

Tijdens mijn promotieonderzoek naar mediagebruik onder bezoekers en volgers van festivals Oerol, 3FM Serious Request en Pride Amsterdam ontdekte ik hoe belangrijk de fysieke omgeving is bij het consumeren van media. De knusse huiskamer waarin je een liveshow op tv kijkt, het bos of de stad waar je door wandelt terwijl je een podcast luistert. Het is deel van de beleving. Deze nieuwe werkwijze maakt het mogelijk voor mediamakers die ervaring mee te nemen in het maakproces. 

Met object-based media kunnen makers:

• flexibele verhalen vertellen door de sensoren op je mobiel te gebruiken. Denk aan dag, tijd, locatie, licht, temperatuur, oortjes of speakers, levensduur van je batterij, of health data zoals aantal stappen of de fase van je menstruatiecyclus;

• mediaproducten toegankelijker maken, bijvoorbeeld voor mensen met auditieve of visuele beperkingen of gevoeligheid voor prikkels; 
• materiaal op nieuwe manieren archiveren, waardoor het herbruikbaar wordt;
• mediamateriaal toevoegen aan fysieke objecten.

Object-based media is een innovatierichting waarin data, sensoren en automatisering in dienst staan van creatief makerschap, toegankelijkheid en beleving. Er wordt gebruik gemaakt van geautomatiseerde beslissingen, maar het is storytelling door een maker die opneemt, monteert, selecteert, annoteert, cureert en vormgeeft.

Verder verkennen
Welke mogelijkheden zie jij met object-based media? Vanuit het CO+CB-impactgebied Verbeelders & vermakers verken ik wat deze nieuwe mogelijkheden betekenen voor het mediavak. Ook wil ik weten hoe we hier als opleiding aan kunnen bijdragen. Heb jij hier gedachten over, bruikbare expertise of ideeën voor een project of experiment? Laat het mij weten!

GEZIEN, GELEZEN EN GEMAAKT IN ONS NETWERK

Rechten van de natuur
In deze podcast gaat Annick van Rinsum in gesprek met milieu-jurist Jessica den Outer. Den Outer raakte geïnspireerd door een stroming die zich hard maakt om rechten te geven aan de natuur, verdiepte zich hierin en schreef het boek ‘Rechten voor de Natuur’. In deze podcast bespreekt ze de manieren waarop dit vorm kan krijgen.

Greenbites!
Het studenteninitiatief Greenbites heeft de GO Game Changers Awards gewonnen. Het studententeam van Digital Society School van de Hogeschool van Amsterdam ontwikkelde een tracking- en monitoringsysteem om de CO2-uitstoot in de voedsel- en toeleveringsketen van de HvA-campus inzichtelijk te maken en te verminderen .

De prijs van AI
VPRO Tegenlicht duikt in de wereld van Artificial Intelligence. De makers spreken mensen die zich bezighouden met het ontleden van de wereldwijde AI-industrie en gebruikt de mogelijkheden van de nieuwste AI-producten om de plekken te verbeelden en de mensen een gezicht te geven, waarvan Big Tech liever niet heeft dat ze gezien worden.

AGENDA

19 JUNI

ONTWERPEN AAN EEN RECHTVAARDIGE STAD

Nederland staat voor een grote verbouwing vanwege uitdagingen als de woonopgave, klimaatadaptatie en vergrijzing. Verbouwen alleen is niet genoeg: er is ook een sociaal duurzame verandering nodig om te zorgen voor meer rechtvaardigheid. Daarover gaat deze speciale avond in Pakhuis de Zwijger in het kader van het Actieprogramma Ruimtelijk Ontwerp van het Stimuleringsfonds Creatieve Industrie.

20 JUNI

KUNSTMATIGE DEMOCRATIE

Tijdens de Open Dialoog Meetup gaat het over de impact van generatieve kunstmatige intelligentie op onze democratie. Hoe kunnen we ons weren tegen fake-news, feitelijke onjuistheden of onbetrouwbare bronnen in een wereld waarin het onderscheid tussen feit en fictie steeds moeilijker te herkennen is? En wat kan de overheid voor ons doen? In Pakhuis de Zwijger.

20-21 JUNI

MET RECAST-KORTING NAAR MOZFEST

Speciaal voor Recast-leden: ga met korting naar het Mozilla Festival in de Tolhuistuin, Amsterdam! Gebruik de kortingscode house-hva via deze link .
(p.s.: kom je ook? Deel het via onze Linkedin-pagina!)

21 JUNI

DIGITAL SOCIETY SHOWCASE – SHAPING THE FUTURE

Tijdens dit hybride event presenteren trainees, partners en het team van de Digital Society School hun nieuwste werk. Ontdek innovatieve projecten die bijdragen aan een inclusieve, duurzame en diverse toekomst. Via Hopin (online) of in het DDS-clubhuis (offline).

23 JUNI

DUTCH DIGITAL DAY

De jaarlijkse bijeenkomst van de Nederlandse digitale creatieve industrie. Met traditiegetrouw volop inspirerende sprekers, vernieuwende projecten en een vrolijke festivalsfeer. Op festivalterrein LIEF Amsterdam.

28 JUNI

DIGITAL CREATORS EXPO BIJ DE HVA

Studenten HBO-ICT pakken problemen op uit het werkveld op met veel creativiteit, kennis van de laatste ontwikkelingen en trends. Hoe zij inspelen op de laatste trends en ontwikkelingen laten ze zien op woensdag 28 juni tijdens het Digital Creators event .

29 JUNI

TECHDENKERS | AAN DE KNOPPEN VAN HET KLIMAAT

Er is steeds meer wetenschappelijke belangstelling over geo- of klimaat-engineering. Ingrijpende technologische maatregelen kunnen opwarming van de aarde afremmen en dat biedt hoop voor de toekomst. Maar is het wel ethisch verantwoord om de baas te spelen over de natuur? Daarover praat journalist Wouter van Noort met Behnam Taebi, professor of Energy & Climate Ethics. Bij fintech Adyen in Amsterdam .

5-7 JULI

PLANETARY HEALTH CONGRESS

Hoe kunnen we onze relatie met de planeet redden? Op welke manier is onze gezondheid gelinkt aan die van de natuur? Daarover gaat het allereerste Planetary Health Congress in Artis.

Deel jouw publicaties, events en andere activiteiten met het Recast-netwerk!