Dr. Paul Debevec ved USC Institute of Creative Technologies har vært med å utvikle teknologien som brukes til å skape digitale karakterer. I 2009 vant han en Scientific and Engineering Academy Award for sitt arbeid med å utvikle light stage-teknologien.  Light stages brukes for å registrere og simulere hvordan lys reflekteres av objekter og mennesker. Skuespillerne scannes med forskjellige ansiktsuttrykk i en light stage og dataene blir brukt til å skape fotorealistiske digitale karakterer. Teknologien har blitt brukt i filmer som Spider-Man 2, Superman returns, The curious case of Benjamin Button og Avatar.

Debevec mener det er fire punkter som er viktig for å skape troverdige digitale karakterer.

– Det første er at 3D-modellen må ha nok detaljer. Du må ned på nivået av porer i huden og fine linjer, for å få teksturen i huden helt rett. Ellers ser det bare ut som en plastdukke.

– Det neste er at du må ha data av ekte ansiktsuttrykk. Du kan ikke bare ta en scan av en skuespiller med et nøytralt uttrykk og satse på at animatørene kan gjenskape alle ulike ansiktsuttrykk realistisk. Ansiktsuttrykk er altfor komplekse og unike til individet. Man må scanne ansiktet i rundt 30 forskjellige uttrykk for å kunne skape en realistisk digital karakter.

– Det tredje punktet er at lyssettingen må være korrekt. Ofte setter man bare inn et ansikt eller en enkelt karakter i en scene hvor alt det andre er ekte, om lyssettingen er inkonsistent blir seeren kastet ut av illusjonen med en gang. Det siste og viktigste punktet er at man må basere spillet veldig nært på spillet til en ekte skuespiller. Det er veldig vanskelig å skape realistiske bevegelser bare ved å animere etter lyden. I Pixar-filmer hvor karakterene er mer stiliserte kommer animatørene opp med fantastisk animasjon basert kun på lyden, men de forsøker ikke å gjenskape realistiske, menneskelige bevegelser. Alle de virkelig gode digitale karakterene som har blitt laget, Benjamin Button, Davy Jones, Gollum, er basert veldig tett på ekte skuespillere.

NYE UTFORDRINGER FOR SKUESPILLERE

Digitale karakterer forandrer også jobb-virkeligheten for skuespillere. Pascal Langlois er skuespilleren bak den digitale karakteren Ethan Mars i dataspillet Heavy Rain. I likhet med Debevec mener han det er vikitg å basere de digitale karakterene på ekte skuespillere.

– Etter hvert som vi går mot mer og mer fotorealistiske karakterer er det en stor ressurs i en skuespillers uryddighet, kaoset i menneskelig oppførsel. Om du ser en flokk CGI-karakterer løpe ned en bakke, så ser det flott ut, men det er noe som er for ryddig med det. Mangelen på de små forskjellene og individualitet blir påfallende.

I Heavy Rain ble motion capture av kroppen gjort separat fra capture av ansiktet, det vil si at skuespillerne måtte spille det fysiske, kroppslige og ansiktsspillet hver for seg. Langlois forteller at dette bare var en av mange nye utfordringer for ham som skuespiller.

– Når vi gikk inn til capture av ansiktet, ble det gjort uten noe som helst øving med de andre skuespillerne. Dette innebar å sitte i en liten bås og spille gjennom 300 sider dialog, rettet til et referanse-kamera. Regissør David Cage leste replikkene fra de andre skuespillerne. Du har liten bevegelsesfrihet og jeg måtte spille svært emosjonelle scener. Jeg mistet faktisk stemmen min fordi jeg var så begrenset fysisk. Noen måneder senere gikk vi over i motion capture studioet for å spille de kroppslige bevegelsene som skulle matche det vi allerede hadde spilt med ansiktet. Vi hørte på lyden av det vi hadde spilt tidligere og prøvde å synkronisere spillet til det. Dette gjorde vi for det meste uten noen andre skuespillere til stede. Det var mange skuespillere jeg hadde scener med, som jeg ikke møtte før vi gjorde lanseringen for pressen. Det eneste jeg fikk fra de andre var lyden av deres prestasjon, og de spilte selvfølgelig også mot David, ikke meg. Denne friheten skaper veldig merkelige situasjoner. Jeg spilte mot karakteren Madison Page, men bare delvis. Madison var en slags sammensetning, hun hadde kroppen til modellen Jacqui Ainsley, og ansiktet og stemmen til skuespilleren Judi Beecher. Jeg spilte noen sekvenser med Jacqui, som da altså prøvde å matche sitt spill til stemmen fra Judi, som igjen spilte mot David.

– Man skulle kanskje tro at dette står i diametral motsetning til kravene for en kreativ skuespillerprestasjon, men jeg tror skuespillere er vant til å jobbe med restriksjonene og reglene et hvert medium gir. Det er kun et spørsmål om tilpasning. I capture er du i et tomt rom, omgitt av en usynlig, virtuell verden, men det er egentlig ikke så annerledes fra å jobbe med green screen. Teknologien som omgir deg i vanlig film, lyssetting og lyd, synes jeg faktisk kan være mer forstyrrende enn teknologien i capture.

Langlois drar paralleller mellom det å jobbe i et motion capture studio og det å jobbe med teater.

– Teateret er også tredimensjonalt. Capture studioet kan best sammenlignes med et teater hvor du har publikum hele veien rundt deg. Tanken om å ha en fri posisjonering av kamera, som kan se deg i 360 grader er litt som å være omgitt av publikum. Du kan ha en publikummer på nært hold, som ser deg svette fra ansiktet. Samtidig er det en som er langt bak deg, som ser hele kroppen din. Du må som skuespiller gjøre en prestasjon som tar inn det. Settet i motion capture er ikke realistisk, det er bare fysiske markører. Dette minner også om teater. Det hele er skrapet sammen på en ad hoc måte. Det var en sekvens hvor jeg skulle bli påkjørt av en bil. Vi endte opp med å bruke en handlevogn med en madrass på toppen. Denne måten å jobbe på ga meg en følelse av å være på øving i teatret.

Motion capture deler også det med film at det blir gjort opptak av opptredenen, slik at den endelige skuespillerprestasjonen er i hendene til de som behandler råmaterialet videre.

– Dette er jeg vant til som skuespiller. Jeg gir fra meg en viss mengde kreativ kontroll. Ideelt sett skal skuespilleren levere det beste råmaterialet for klipperen og regissøren til å jobbe videre med. I spillverdenen gir du også fra deg kontroll til spilleren. Vi må lære oss å slippe kontrollen. Vi må slappe av og faktisk se på den friheten spillutviklere kan gi oss. I stedet for å gjemme oss fra det og tviholde på vår egen visjon, bør vi lære oss å slippe taket.

TEKNOLOGIEN GIR STØRRE FRIHET

Paul Debevec er enig med Langlois i at motion capture også gir frihet til skuespillerne. Debevec mener at fordelene ved motion capture raskt veier opp for ulempene.

– Om du spiller inn en scene, så vil du spille det ut et par ganger, regissøren vil komme med justeringer og til slutt sitter det hele veldig bra. I en vanlig film vil de da si: ”OK, nå gjør vi nærbilde”. Du blir sendt bort en time. Du kommer tilbake, kamera og lys er flyttet. De må finjustere lysene, du må vente 20 minutter til. Så må du levere et nærbilde av samme scene og finne frem igjen akkurat de samme følelsene. Stemningen er borte, du er trøtt og du vil helst gjøre noe annet. I performance capture-verdenen skjer ikke dette fordi prestasjonen ble registrer tredimensjonalt i alle detaljer og fra alle vinkler allerede første gangen. Da de filmet Avatar med performance capture var det den dyreste filmen noensinne, snart vil det bli billigere å filme på denne måten enn tradisjonell live action.

Men hvordan vil den nye teknologien påvirke historiefortellingen?

– Vi har nådd et punkt nå hvor alle historier kan filmatiseres, samme hvor heftige visuelle krav det er, så lenge det er nok penger. Etter hvert vil det bli slik at vi kan filme hvilken som helst historie og vi trenger ikke å bekymre oss for penger, sier Debevec.

– Når en forfatter skriver en bok kan han skrive ut sin visjon helt nøyaktig i alle detaljer. Han kan gjøre det uten å måtte forholde seg til noen andre, og han kan gjøre det så raskt eller sakte som han måtte ønske. Slik er det ikke med film akkurat nå. Film er som å gjennomføre en rakettoppskytning. Det koster hauger av penger og involverer masse folk. Den minste lille ting som går galt er et stort tilbakeslag. Ting kan gå helt feil og du ender opp langt fra visjonen du hadde. Jeg tror vi går mot en situasjon hvor mindre og mindre grupper kan ha større og større kreativ kontroll over visjonene de skaper. Vi vil få flere historier som kan appellere til mer spesifikke målgrupper. Man vil ikke lenger være avhengig av å appellere til alle fire alders-demografiene for å fortelle en storslått historie. Du kan lage en film spesifikt for de som ble født på 80-tallet og som var interessert i data og fortsatt ha fantastisk lyssetting og foto, du kan ha rekreasjoner av historiske kulisser og fortsatt ikke være nødt til å bekymre deg så mye for budsjettet. Det vi skal være obs på er spontaniteten som ligger naturlig i filmmediet, vi må passe på at vi ikke mister den i utviklingen.

Teknologien som skal til for å skape realistiske digitale karakterer er allerede kommet langt i den amerikanske filmindustrien. Men hvor langt frem ligger dette for en liten industri, som den norske filmindustrien?

– Det vil antagelig begynne å komme sakte over det neste tiåret, mener Debevec.

– VFX-industrien i Norge vokser og menneskene som vil være i stand til å jobbe med denne teknologien er allerede her. Det er til og med nordmenn som er på toppen av sitt felt innen VFX, de er bare ikke i Norge, de jobber ved Industrial Light and Magic, Sony Imageworks og så videre. Kanskje det er på tide at de kommer hjem. De vil ha mye interessant arbeid å gjøre her.

Digitale skuespillere var fokus under Digital Storytelling i 2012, der Dr. Paul Debevec ved USC Institute of Creative Technologies var keynote speaker. Intervjuet ble gjort i den forbindelse.