Toppbilde: Sims Community
Hvor mange spill finnes det der man styrer droner? Plasserer spill spilleren for å se eller bli sett når overvåkningskamera er en viktig mekanisme? Gjør det noe med måten vi oppfatter verden på når vi spiller Augmented Reality-spill som Pokémon Go? Hva skjer egentlig når spill igjen og igjen legger spillerperspektivet i riflas sikte? Hvordan påvirker perspektiv og mediert visuell informasjon vanskelighetsgrad? Skal Ragnhild slutte å skrive spørsmål snart?
Machine Vision-prosjektet
(Nesten) alt dette faller under paraplyen vi kaller maskinsyn. Maskinsyn er når maskiner og algoritmer registrerer, analyserer og representerer visuell informasjon. Disse teknologiene er overalt i samfunnet vårt: Overvåkningskamera, Snapchat-filter, deepfakes (som når Yama Wolasmal snakker flytende mandarin og samisk uten å kunne språkene), følelsesgjenkjenning, ansiktsgjenkjenning og medisinske bilder er å nevne noen.
Teknologiene i seg selv er interessante, men bruken og forståelsen av de er av spesiell interesse for forskningsprosjektet jeg nå er en del av. De positive sidene med Yamas nyfunnede språkekspertise (eller for å ta noe litt mer kjent: General Leias datagenerering) åpner for interessante spørsmål om hvordan vi bruker og stoler på visuell informasjon.
Maskinsyn som vi møter i samfunnet viser seg nemlig gjentatte ganger å reprodusere fordommer. Såpedispensere som ikke reagerer på mørk hud og algoritmer som tagger mennesker med gorilla er bare noen få eksempler. Dette oppsummeres vakkert og dønn ærlig i Joy Buolamwinis «AI, Ain’t I a Woman»?
Disse eksemplene viser at mangfold i teknologiutvikling er viktig – tilfellet med såpedispenseren kan i alle fall unngås om man brukertester på flere hudfarger. Algoritmene er litt mer sammensatte, men når maskiner i større og større grad tar over prosesser som tidligere har blitt gjort av mennesker, er det grunn å spørre seg hvordan de maskinene er programmerte. Roboter og algoritmer opererer innenfor strenge system, men disse er lagd av mennesker. Det er altså snakk om en formbarhet (og ofte manipulering) som ofte er skjult for brukerne.
Målet til hele prosjektet (ledet av Jill Walker Rettberg) er å utvikle et teoretisk rammeverk for å forstå hvordan vanlig bruk av maskinsyn påvirker oss. Vi har en programmerer, en forskningsassistent, snart en antropolog, og tre stipendiater som ser på hvert vårt medium: narrativ, digital kunst og spill. Psst: Jeg har spill!
For mer informasjon, følg prosjektet på Facebook og Twitter!
Maskinsyn i spill
I spill kan maskinsyn være både grensesnitt og tema. Et eksempel på det første er når prosjektgruppa mi spiller Just Dance 2019, og kameraet registrerer og visualiserer bevegelsene våre for å se hvor godt de passer til maskinens regler. Da brukes maskinsyn i selve spillmekanismen – vi «utsettes» for dette. Når maskinsyn er tematisk framstilt, er det ikke spilleren selv som får oppleve det, men det presenteres i spillverdenen på en eller annen måte. I denne kategorien finner vi overvåkningskameraene i WATCH DOGS 2 eller Aloys Focus-teknologi i Horizon Zero Dawn.
I mitt prosjekt fokuserer jeg nå på tematisk maskinsyn, spesielt på maktrelasjoner og forholdet mellom menneske og maskin, men alle som har prøvd å skrive en større oppgave eller gjennomføre et forskningsprosjekt vet at det man tenker i starten ikke nødvendigvis er det man ender opp med til slutt…
Enn så lenge koser jeg meg med å bli kjent med mange fine kolleger, lese masse spennende litteratur, diskutere definisjoner av begrep med resten av Machine Vision-teamet og, selvfølgelig, spille spill. I et øyeblikks galskap har jeg streamet noe av dette på Twitch. Jeg spilte Night Trap fra 1992, hvor vi møter en operatør av overvåkningskamera i et hus og målet er å redde tenåringsjenter fra vampyrer.
Intet nytt under solen, altså.
I Night Trap presenteres maskinsyn åpenbart som et redskap som kan hjelpe, mens nyere spill har tendenser til å være mer kritisk i representasjonen av visuelt mediert informasjon. Kanskje. De skjulte spørsmålstegnene i det jeg skriver er mange, det er derfor jeg forsker på det!
But how?
Maskinsynteknologier viser oss både muligheter og fallgruver: vi kan effektivisere, nå lengre, multitaske, men også videreføre forutinntatthet og potensielt sette bort arbeid som ikke teknologien kan takle ennå. Hvordan vi tenker om og bruker disse teknologiene får konsekvenser, for eksempel når tenåringer redigerer bilder til det ugjenkjennelige for at de skal være «godkjent» for publisering i sosiale medier.
Vi påvirker og påvirkes, så spørsmålet er: Hvordan?
Eller sagt annerledes:
Se for deg Papers, Please, bare at det er en maskin som gjør hele utvelgelsesprosessen om du får slippe inn i landet eller ei.
Da er det plutselig veldig interessant hvordan den maskinen opererer.
Har du møtt maskinsyn i dataspill? Databasen begynner å bli stor, men kan gjerne bli større, så tips mottas med takk! Legg igjen en kommentar her eller send de til @ragnsolb