Recast verkent samen met onze lezers verkennen de maatschappelijke implicaties van nieuwe technologieën vanuit een ontwerpend perspectief.

Recast is een nieuwsbrief en netwerk over design, techniek en samenleving. Samen met onze lezers verkennen we de maatschappelijke implicaties van nieuwe technologieën vanuit een ontwerpend perspectief.

#12

DEZE WEEK DE TWAALFDE AFLEVERING

‘Sorry, self-driving car!’

Waarom onderhandelen met en over AI moeilijk maar belangrijk is

 Martijn de Waal  |  Lector Civic Interaction Design  |  Hogeschool van Amsterdam

Hoe kunnen ontwerpers verantwoord omgaan met de opkomst van kunstmatige intelligentie (Artificial Intelligence, AI)? Waarom moeten we zowel mét als óver systemen kunnen onderhandelen? Het waren veelbesproken thema’s tijdens de CHI-conferentie in Hamburg die ik afgelopen week bezocht.

De CHI is een van de grootste en meest toonaangevende bijeenkomsten over Human Computer Interaction. Naar schatting 4000 bezoekers konden kiezen uit honderden presentaties, veelal van technische universiteiten en design-opleidingen. Onderwerpen varieerden van ‘generative co-design for aesthetic prosthetics’ tot ‘interactive AR for nonspeaking autistic people’. Er waren panels over thema’s als storytelling in VR, digitale veiligheid en het gebruik van AI in de gezondheidszorg.

Bij de CHI ligt de focus veelal op het experiment met of toepassing van een technologie op een redelijk afgebakend vakgebied. Toch was er ook aandacht voor ethiek en de maatschappelijke implicaties van technologie.

Tijdens de CHI 2023 in Hamburg kwamen ontwerpers en wetenschappers bij elkaar. (bron: CHI)

Contestable AI

Meerdere onderzoekers pleitten bijvoorbeeld voor ‘contestable AI’, vrij vertaald: ‘betwistbare AI’. Volgens hen moet kunstmatige intelligentie transparant, verantwoordelijk en controleerbaar zijn. Verschillende belanghebbenden moeten de werking van het systeem kunnen uitdagen en aanvechten. Zeker nu ook overheden vaker gebruikmaken van AI-systemen, is het belangrijk dat het ontwerp en de inzet onderdeel worden van een politiek proces. De technologie moet niet alleen begrijpelijk zijn (ook wel ‘explainable AI’ of ‘understandable AI’ genoemd), gebruikers moeten ook de onderliggende waarden ervan ter discussie kunnen stellen en de uitkomsten kunnen betwisten.

In een mooi paper laat ‘designer turned design researcher’ Kars Alfrink (TU Delft) zien dat contestable AI een complexe ontwerpopgave is, die verder gaat dan een technologische implementatie. Het vraag enerzijds een technologische geletterdheid van burgers of hun vertegenwoordigers. Anderzijds moeten overheden hun procedures aanpassen, en zorgen dat ze verantwoording af kunnen leggen aan burgers. Ook moeten ze in gesprek gaan over de mate waarin en de manier waarop ze AI inzetten in hun organisaties.

Een ander interessant subthema in de discussie over AI-ontwerp tijdens CHI is het afstemmen van AI en menselijk gedrag. Barry Brown (Universiteit van Stockholm) illustreerde dit mooi in zijn presentatie over het gedrag van zelfrijdende auto’s.

Waymo is de zelfrijdende auto van Google (bron: Waymo).

Zelfrijdende auto staat stil

Brown liet een YouTube-filmpje zien van een testrit met een zelfrijdende auto. Een Waymo-testauto rijdt door een rustige Amerikaanse buitenwijk. Als de auto rechts af wil slaan, komt het voertuig tot stilstand omdat de autopilot een gezin ziet dat rechtdoor wilde lopen. Maar de moeder wil liever dat de auto voorgaat. Terwijl ze haar kinderen bij zich roept, wuift ze naar de automobilist: rij maar door. Daar heeft de auto geen boodschap aan. Die wil de bocht pas nemen nadat de familie is overgestoken. Andersom wil de familie pas oversteken als de auto voorbij is gereden. De gebaren die de moeder maakt blijven onbegrepen door de AI. Om de patstelling te doorbreken, draait de bijrijder dan maar zijn raampje naar beneden en roept verontschuldigend: ‘Sorry, self-driving car!’

Conclusie: voor mensen is een verkeerssituatie niet alleen een kwestie van formele voorrangsregels, maar ook een sociale situatie waarin zij hun gedrag op elkaar afstemmen. Er zijn regels, maar daar kun je van afwijken. Een gezin met kleine kinderen kan besluiten om af te zien van de voorrang die ze genieten, maar daar heeft de AI van de zelfrijdende auto vooralsnog grote moeite mee.

WAAROM IK DIT

INTERESSANT VIND

Het voorbeeld van de zelfrijdende auto laat een botsing zien tussen verschillende logica’s. Het AI-systeem volgt een procedurele logica van regels en afspraken. Sociale interactie tussen mensen is veel complexer. Wetten, sociale regels en lokale gebruiken bieden context, maar daarbinnen zijn we voortdurend met elkaar in onderhandeling. We schatten het gedrag van de ander en zijn status in en anticiperen daarop. We stemmen ons gedrag af met subtiele gebaren, zoals een kortstondige blik of een handgebaar. Wij mensen zijn goed in het interpreteren van deze (non-)verbale communicatie en onzichtbare sociale hiërarchieën die een rol spelen.

Algoritmes begrijpen dit nog niet en het is maar de vraag in hoeverre ze er ooit toe in staat zullen zijn. Zouden ze ooit ook sociale interactie kunnen inschatten als Large Langue Models (zoals Chat GPT) nu teksten kunnen voorspellen? Kunnen algoritmes dan met ons onderhandelen, en willen we dat?

Computer says no

Het lijkt wel belangrijk manieren te vinden waarop we met algoritmes kunnen onderhandelen of ongehoorzaam kunnen zijn, omdat anders voortdurend het ‘computer says no’-scenario dreigt. Algoritmes zullen ons dan proberen hun procedures op te dringen. Een auto die te graag voorrang wil verlenen is niet zo’n groot probleem, maar tijdens CHI zag ik ook voorbeelden waarbij de procedurele aanpak van digitale systemen onze autonomie kan beperken.

Zo blijkt uit dit onderzoek dat koeriers van maaltijdbezorgplatformen gestraft worden als ze niet exact de route volgen die het platform voorschrijft. Ook als een straat tijdelijk is afgesloten. Onderhandelen of een uitzondering aanvragen laat het systeem niet toe. De beste manier om zo’n onderhandeling wel te organiseren? Schroef de mate van controle en beheersing met algoritmes terug en laat mensen meer beslissingen zelf nemen, aldus de auteurs.

Dat brengt ons terug bij het pleidooi voor contestable AI. Het is niet alleen van belang dat wij mensen met elkaar kunnen onderhandelen in sociale situaties – al dan niet geholpen door AI. Het is daarnaast essentieel te kunnen onderhandelen over de inzet van AI en de onderliggende waarden in zulke systemen. Alfrink liet zien dat we dit niet alleen een kwestie is van algoritmes trainen zodat ze sociale situaties beter inschatten. Het is vooral een kwestie van institutioneel ontwerp, waarbij nieuwe procedures en werkwijzen nodig zijn om het debat over de inzet van AI aan te gaan.

Sinds de lancering van Recast in oktober 2022 op de Society 5.0 Conferentie zijn we hard gegroeid. Inmiddels hebben we 400 abonees en 350 LinkedIn-volgers, vooral dankzij de enthousiaste reacties van onze lezers.

Help ons mee om te groeien! Ken je iemand voor wie Recast ook interessant is? Stuur deze mail dan door. En heb je deze mail van iemand ontvangen? Aanmelden kan hier.

GEZIEN, GELEZEN EN GEMAAKT IN ONS NETWERK

Tech Policy Watch
Internetexpert en D66-politica Marietje Schaake heeft een nieuwsbrief waarin ze wekelijks de belangrijkste artikelen deelt over technologiebeleid. Aanrader.

Nieuw vocabulaire gezocht
Het Nieuwe Instituut zoekt schrijvers om nieuwe vocabulaires in ontwerp te onderzoeken, te schetsen en te manifesteren. Welke effecten hebben verschillende verwoordingen op ons begrip van het concept 'design'? Hoe manifesteren we nieuwe, verschillende en onderbelichte interpretaties in design? Bekijk de oproep.

Intelligentie is niet iets dat zich alleen ín een organisme afspeelt’
Techjournalist Wouter van Noort schreef een mooi interview met James Bridle over zijn nieuwe boek Ways of Being. Beyond Human Intelligence dat nu ook in een Nederlandstalige vertaling verkrijgbaar is.

Metaverse & the city
De metaverse biedt kansen maar ook gevaren voor burgers in de stad. Tijdens het evenement 'Metaverse & The City' kwamen inspirerende leiders uit verschillende sectoren samen om hun perspectieven te delen over de invloed van dit fenomeen op de manier waarop we leven, werken en spelen. Bekijk hier de opname van deze boeiende discussie.

AGENDA

3 MEI

ONTWERPEND ONDERZOEK BIJ MAATSCHAPPELIJKE VRAAGSTUKKEN

World Design Embassies organiseert een kennissessie en workshop over ontwerpend onderzoek bij maatschappelijke vraagstukken. Onderzoekers Thomas van Arkel, Kornelia Dimitrova en Shay Raviv delen de belangrijkste inzichten uit recente onderzoeksprojecten. In de workshop gaan ze aan de slag met die inzichten. Wat kan daarin jouw rol zijn als ontwerper of opdrachtgever? In Eindhoven.

11 MEI

BRAINSTORM DE BETROKKEN BUURT

Marieke van Doorninck, de nieuwe directeur van Kennisland, wijst ons op een nieuwe serie brainstorms voor maatschappelijke uitdagingen: de KL Brouwerij. Het thema van de eerste bijeenkomst is 'de betrokken buurt’. Hoe kun je de kracht van de buurt inzetten voor lokale uitdagingen, zoals een inclusieve energietransitie? In Amsterdam.

25 MEI

INNOFESTIVAL RONDOM DUURZAAMHEID EN INNOVATIE

De gemeente Amsterdam organiseert samen met het Amsterdam Institute for Advanced Metropolitan Solutions (AMS) het Innofestival. Tijdens het festival worden duurzame experimenten en innovatieve projecten getoond.

16 JUNI

GENOEG GEËXPERIMENTEERD?!

Platform Collectieve Kracht organiseert een leer- en discussiebijeenkomst over de samenwerking tussen overheden en burgercollectieven. In Eindhoven.

Deel jouw publicaties, events en andere activiteiten met het Recast-netwerk!

Help ons Recast te laten groeien!

Deel deze mail in je netwerk

OF SCHRIJF JE HIER IN