Recast verkent samen met onze lezers verkennen de maatschappelijke implicaties van nieuwe technologieën vanuit een ontwerpend perspectief.

Recast is een nieuwsbrief en netwerk over design, techniek en samenleving. Samen met onze lezers verkennen we de maatschappelijke implicaties van nieuwe technologieën vanuit een ontwerpend perspectief.

#10

DEZE WEEK DE NEGENDE AFLEVERING

Doe zelf normaal, of: waarom responsible tech niet genoeg is

 Martijn de Waal  |  Lector Civic Interaction Design  |  Hogeschool van Amsterdam

Afgelopen week las ik het prikkelende essay Doe zelf normaal van Maxim Februari. Wat mij het meest is bijgebleven is zijn perspectief op de maatschappelijke implicaties van technologische ontwikkelingen. Voor hem draait het niet om de manier waarop we technologie kunnen reguleren, maar om de fundamentelere vraag hoe de opmars van nieuwe technologieën de rechtstaat zelf verandert. Of in zijn woorden: 'Niet de greep van het recht op de technologie, maar de invloed van de technologie op het recht en het functioneren daarvan in de samenleving en de staat.'

Dat klinkt abstract, maar Februari maakt het concreet met veel mooie voorbeelden. Neem bijvoorbeeld het toekomstbeeld van wat hij een ‘magisch schild’ noemt: de ontwikkeling waarin auto’s uitgerust met een ‘intelligente snelheidsassistent’ automatisch langzamer gaan rijden als ze een 30-kilometer zone binnenrijden. Dat lijkt een gradueel verschil met hoe het nu geregeld is: aan de rand van de woonstraat staat een verkeersbord en als het goed is verlaagt de bestuurder dan zijn snelheid. Doet hij dat niet, dan riskeert hij een boete, al dan niet na een radarcontrole.

Maxim Februari is schrijver en rechtsfilosoof (foto: Niek Stam)

Automatisering van de deugd

Toch zijn de twee situaties wezenlijk anders. De verkeersregel in de digitale snelheidsassistent is namelijk omgezet in softwarecode die de regel automatisch uitvoert. De automobilist heeft niet langer de keuze om het gebod al dan niet op te volgen. Het gewenste gedrag wordt nu technologisch afgedwongen. De mogelijkheid tot een eigen morele afwegingen wordt hem ontnomen, inclusief een eventuele discussie met de rechter over de interpretatie van de regels achteraf.

De bestuurder hoeft niet eens te weten dat er een snelheidsbeperking geldt. In de woorden van Februari: ‘de automatisering van de deugd’ tast hier de morele autonomie van de burger aan. Daarbij komt dat de beheerder de regels ook eenzijdig aan kan passen, opnieuw zonder dat daar discussie over wordt gevoerd. Vanochtend geldt 30 kilometer per uur, rond de lunch 50 en na 16:00 uur wordt de straat überhaupt niet meer getoond in het navigatiesysteem.

Toekomstmuziek? Tomtom bouwt nu al zulke intelligente ‘snelheidsassistenten’. (beeld: TomTom)

Algoritmes als private regulators

Er zijn denkers, bestuurders en techneuten die dit een positief scenario vinden. Ze zien een toekomst voor zich waarin ‘slimme’ systemen hun regels steeds aanpassen aan de hand van realtime-data. Hoe druk is het op de ringweg? Gaan de scholen bijna uit? Hoe zit het met fijnstofniveaus? Met data en kunstmatige intelligentie kunnen systemen ook zelf nieuwe regels bedenken om de stad of de planeet beter te organiseren. Belangrijk punt: het zijn ook niet alleen overheden die dergelijke regels opstellen en implementeren. Ook tech bedrijven stellen soortgelijke regels op, bijvoorbeeld via de algoritmes van hun platformen. Zij nemen een rol van private regulators aan.

Februari vindt dit scenario een regelrechte ondermijning van de rechtstaat, waarin een constitutie plaats maakt voor een dashboard met indicatoren die het gedrag in de samenleving aansturen. Zulk algoritmisch management lijkt objectief, maar dat is het natuurlijk niet. Want voor welke doelen is het systeem geoptimaliseerd? Wie heeft dat bepaald? Wie levert de data en hoe worden die dan gecategoriseerd? Het probleem is dat dergelijke systemen een normgedrag vaststellen, op basis van ondoorzichtige onderliggende principes. Die norm vertalen zij in onzichtbare codes die ons gedrag sturen, ontmoedigen of onmogelijk maken, vaak zonder dat we het in de gaten hebben.

Van normen naar gemeenschap

Februaris pleidooi is dat deze ontwikkeling indruist tegen het centrale idee van de rechtstaat, namelijk dat we democratische instituties en het recht hebben uitgevonden om het vooral ook met elkaar oneens te zijn, en voortdurend met elkaar in gesprek te kunnen zijn over wat nu de norm is. In alle 'rechtszalen, leesclubs, cafés, praatprogramma's en praathuizen die we parlementen noemen' waar dat gesprek plaats vindt, worden niet alleen normen gevormd, maar ook de morele gemeenschap en de rechtsgemeenschap.

Met andere woorden: democratische debat is niet alleen een manier om tot normen te komen, het brengt ons ook bij elkaar als de gemeenschap. Ook dat verliezen we wanneer ons gedrag wordt genormeerd door externe systemen op basis van hyperindividuele dataprofielen. En wat ook verdwijnt is de mogelijkheid om de norm te interpreteren en onze eigen afwegingen te maken. Als in: ‘eigenlijk mag ik niet’ harder dan 30, maar ik ben nu met mijn zwangere vrouw op weg naar het ziekenhuis.

WAAROM IK DIT

INTERESSANT VIND

Ik denk dat Februari raakt aan een essentiële ontwikkeling in de digitale transitie. Ons gedrag wordt steeds meer gestuurd door software, zowel online als in de fysieke wereld. Vaak zonder dat we daar erg in hebben. En meestal zonder dat we deel zijn van de discussies over de norm waarop ze zijn gebaseerd.

Softwarematige jurisdictie

In een eerdere aflevering van Recast beschreven we al hoe betaalsystemen, big data, sociale media, reputatiesystemen en rights management systemen hierdoor steeds meer vergroeien. Regels, rechten en privileges of de waarde van je digitale wallet variëren sterk, afhankelijk van hoe waardevol het systeem jou acht.

Dit kan ertoe leiden dat er een nieuwe manier ontstaat van politiek bedrijven. Het debat gaat dan minder over de wenselijke uitkomsten, maar is gericht op het manipuleren of ter discussie stellen van de data die dergelijke systemen mogen gebruiken. En óf dat debat gevoerd wordt, is ook nog maar de vraag. Want vaak weten we niet eens welke regels gelden en onder wiens softwarematige jurisdictie we vallen.

Oplossingen 

Wat kunnen we hieraan doen? Een van de oplossingsrichtingen is wat Februari ‘constitutionaliseren’ noemt. Dat betekent dat we de technologische ontwikkelingen direct onder het recht laten vallen. Bijvoorbeeld door bedrijven te verplichten hun algoritmes uit te leggen en de eis dat algoritmes zich moeten houden aan rechtsbeginselen zoals gelijke behandeling en non-discriminatie.

Er is de laatste jaren ook veel aandacht voor ‘responsible’ design en technologie, waarbij ontwerpers nadenken over manieren om algoritmes op een ethische manier te laten functioneren. Ze mogen bijvoorbeeld niet discrimineren en moeten inclusief zijn.

Stap verder dan responsible tech

Dat is onvoldoende, vindt Februari. Het heeft geen zin om met responsible tech bijvoorbeeld de scherpe kantjes van een smartcity-systeem af te vijlen. We moeten in de samenleving de veel fundamentelere discussies met voeren waartoe die smart city dient. “Dit is niet de eeuw van de kunstmatige intelligentie of robotica’, schrijft Februari, ‘maar van de rechtswetenschap of de geesteswetenschap.’ Om daaraan toe te voegen: of misschien wel helemaal niet van de wetenschap, want waar het uiteindelijk om gaat zijn morele en politieke waarden.

Dat zou ook een interessante ontwerpopgave zijn. Februaris betoog volgend, moeten we een stap verder gaan dan responsible design en tech. Dan maken we niet zozeer ethische algoritmes, maar ontwerpen we organisatievormen en systemen waarin ook de onderliggende normen waarop ze zijn gebaseerd voortdurend ter discussie gesteld worden.

Sinds we Recast in oktober hebben gelanceerd op de Society 5.0 Conferentie zijn we hard gegroeid naar inmiddels 400 abonees en 350 LinkedIn-volgers, vooral dankzij de enthousiaste reacties van onze lezers.

Ken je iemand voor wie Recast ook interessant is? Stuur deze mail dan door. En heb je deze mail van iemand ontvangen? Aanmelden kan hier,

GEZIEN, GELEZEN EN GEMAAKT IN ONS NETWERK

Katten, kunstmatige intelligentie en ChatGPT op SXSW
Afgelopen week vond in Austin (Texas) het jaarlijkse festival South by Southwest plaats. Onder aanvoering van Erwin Blom hielden Nederlandse bezoekers een groepsblog bij. Van de toekomst van ChatGPT tot kunstmatige intelligentie en katten.

Het Spiegelpaleis van data
Recast-lezer Levien Nordeman presenteerde afgelopen week zijn boek Het Spiegelpaleis van data . Aan de hand van ontwerpers, filosofen en wetenschappers verkent hij hoe we de grip van data op ons leven kunnen begrijpen.

Systeemperspectief op algoritmes
Roel Dobbe publiceerde een artikel over het risico dat burgers lopen als de overheid gebruik maakt van algoritmes om beslissingen te nemen. Wat kunnen we daaraan doen?

Blinde vlekken in de digitale wereld
Demos Helsinki publiceerde een interessant rapport over de blinde vlekken van de digitale samenleving. Zo beschrijft hij uitdagingen van digitale arbeid, de saaie kant van smart cities en de relatie tussen natuur en de digitale wereld.

Immersieve technologie en publiek debat
Wouter Nieuwenhuizen van het Rathenau Instituut wees ons op een nieuwe podcastreeks die hij voor zijn werkgever maakte samen met collega Stefan Roolvink over de impact van immersieve technologie op onze samenleving.

AGENDA

23 MAART

BETROKKEN BURGERS VOOR TOEKOMSTBESTENDIGE LEEFOMGEVING

Het Planbureau voor de Leefomgeving (PBL) wil burgers beter betrekken bij grote transities en opgaven waar de Nederlandse samenleving voor staat. Denk en praat mee tijdens het PBL-seminar in Den Haag.

14-22 APRIL

THE +2,5° CITY: LIFE IN AN EXTREME CLIMATE

Klimaatwetenschappers voorspellen dat de temperatuur in de stad gemiddeld 2,5 graad zal stijgen door klimaatverandering. Wat betekent dit voor het leven in de stad? Wat kunnen we doen om hiermee om te gaan? Dit thema staat vijf dagen centraal tijdens dit event van The Independent School for the City.

20 APRIL

DESIGN FOR SOCIETAL TRANSITIONS

Deense en Nederlandse ontwerpers bespreken hoe zij kunnen bijdragen aan oplossingen voor een betere, duurzame wereld. Aan de hand van het seminar willen ze een agenda opstellen voor onderwijsinstellingen, beleidsmakers en netwerkorganisaties om de ontwerpdiscipline vooruit te helpen. De bijeenkomst is in Kopenhagen.

Deel jouw publicaties, events en andere activiteiten met het Recast-netwerk!

Help ons Recast te laten groeien!

Deel deze mail in je netwerk

OF SCHRIJF JE HIER IN