In questa sorta di glossario ragionato cercherò di chiarire delle definizioni e di spiegare dei principi di funzionamento, lasciando fuori del discorso considerazioni troppo legate ai tecnicismi, che rischiano di diventare obsolete in tempi brevissimi data la giovanissima età e la velocissima evoluzione di queste soluzioni.

Ringrazio Pasquale Croce (Virtual Production Designer per STS Communication) e Max Rocchetti (Luno Studios Chief Creative Officer) per il prezioso tempo e le informazioni che mi hanno dato in questa ricerca sul virtual set in Italia.

Glossario ragionato per Autori della Fotografia

VIRTUAL SET

Sistema di tecnologie e strumenti che permette di creare l’integrazione fotografica tra immagini renderizzate su uno schermo led e realtà. Il render delle immagini avviene in tempo reale tenendo conto della posizione della macchina da presa nello spazio e dell’ottica utilizzata.

LEDWALL

La “parete di led” può avere forma piana o concava fino ad arrivare quasi ad essere un cilindro, spesso si utilizza anche un soffitto, talvolta basculante e pareti led mobili. La forma e le dimensioni del ledwall sono molto importanti affinchè la luce emessa possa avere una caduta percepita come più naturale sul set e le riflessioni possano essere verosimili (oltre chiaramente a determinare quanto ampia possa essere la scena). Se inquadrato ad angoli troppo incidenti la luce del ledwall tende a virare tinta e a presentare degli artefatti. E’ possibile utilizzarlo per visualizzare  immagini di natura fotografica, render non in tempo reale e render in tempo reale.

DOT (PIXEL) PITCH

Distanza lineare tra i diodi delle mattonelle LED, piu è grande lo schermo più si può scendere di densità (attualmente trai 2.5 e i 2.9 mm è un ottimo valore).

PROFONDITÀ E SPAZIO COLORE

Si lavora dal Rec 709 al Rec 2020 con profondita di 8 o 10 bit Rec 2020 non è riproducibile nella sua totalità dai ledwall, richiede quindi una calibrazione accurata per non restituire risultati incoerenti. Lavorare a 8 bit può portare ad avere degli artefatti di banding nelle zone piu scure dell’immagine.

GENLOCK

Segnale che sincronizza perfettamente tutti i dispositivi, serve a minimizzare gli artefatti. Può creare problemi se si vogliono utilizzare frame rates al di fuori degli standard broadcast.

CONTRASTO E LUMINOSITÀ

Una buona luminosità massima per un ledwall è attorno ai 1500NITS, i pannelli sono costruiti e  trattati in modo da essere più neri possibile laddove i diodi siano spenti; ciò nonostante  qualsiasi luce puntata sul ledwall va ad alzare il livello del nero, quindi è necessario un ottimo controllo su puntamenti e luci parassite.

TRACKING

TRACKER

Sistema in grado di rilevare la posizione della macchina da presa nello spazio. La tecnologia più diffusa prevede una camera sensibile all’infrarosso e degli illuminatori ir montati sulla Macchina da presa ed una “costellazione” di markers catarifrangenti nel teatro di posa (usualmente sul soffitto o pavimento). Un computer dedicato risolve la posizione della camera in tempo reale tramite fotometria e la passa al motore di render. Se non sono visibili markers a sufficienza la posizione non è calcolata in modo preciso e il render non è coerente. In questo momento è necessario un cavo che va dalla camera al computer. Altre tecnologie prevedono che più camere IR installate in teatro osservino dei marker sulla MDP; sono sistemi più precisi, ma esponenzialmente più costosi e richiedono molto tempo per installazione e calibrazione.

MACCHINA DA PRESA

CALIBRAZIONE CROMATICA

Processo in cui si crea una LUT tecnica in grado di far dialogare al meglio la macchina da presa ed il ledwall (importantissimo per una buona resa e coesione delle immagini)

CALIBRAZIONE DELLE OTTICHE

Si raccolgono le geometrie/aberrazioni delle ottiche in modo da poterle poi applicare al render (importantissimo se si cerca un allineamento preciso tra scenografia reale e virtuale)

MOIRE’

Aberrazione data dalla natura isotropica dei ledwall e del sensore della camera. Si verifica in funzione delle risoluzioni, distanze e lunghezze focali. All’aumentare delle risoluzioni e al migliorare degli OLPF dei sensori il fenomento si riduce.

PROFONDITÀ DI CAMPO

La profondità di campo della camera reale può essere manipolata nei modi tradizionali, i dati di diaframma e distanza di fuoco possono essere encodati e passati al software affinchè li computi nel render. Con Unreal Engine possibile inserire forma e numero di lamelle del diaframma. Il calcolo della profondità di campo in tempo reale (collegato al tracker) è molto dispendioso in termini di render, per cui spesso si preferisce impostare manualmente i valori.

SOFTWARE

ALIAS

Artefatto o distorsione da sottocampionamento. Si verifica quando la risoluzione in output del motore di render non è sufficientemente elevata per risolvere il dettaglio. Si verifica in output come scalettatura e come repentino variare dei valori di singoli pixels (generalmente ai bordi di un solido). I sistemi antialias più recenti (DLSS) fanno uso di sovracampionamenti locali e di AI.

FRUSTUM

Campo visivo della macchina da presa virtuale. Frustum è in latino la porzione di un solido (in questo caso una piramide) compresa tra due piani paralleli.

UNREAL ENGINE

Il software più usato per il render in tempo reale per questo tipo di applicazioni. Nasce come motore per creare videogiochi, arriva ad un ottimo livello di fotorealismo e simulazione. Importantissimo determinare già da subito il frame rate del progetto e il ledwall da utilizzare per ottimizzare le macchine e i contenuti.  Può dialogare direttamente con i ledwall tramite Ndisplay o passare attraverso altri software dedicati alla proiezione (es. Disguise).

In conclusione ecco una piccola lista (sicuramente ottimizzabile e destinata a trasformarsi) ad uso dei colleghi direttori della fotografia:

A che cosa deve fare attenzione un DOP quando gira su un virtual set?

In preparazione:

• FPS e spazi colore (molto rilevanti perchè possono mettere in crisi la potenza di calcolo e la banda dati delle macchine)
• Illuminazione ambienti virtuali (importantissima la collaborazione con chi modella e prepara la CGI)
• Calibrazione cromatica
• Calibrazione delle ottiche

In fase di ripresa:

• Lasciare modo al tracker di funzionare correttamente.
• Mantenere le distanze corrette dal ledwall.
• Controllare luci parassite e puntamenti per non “sporcare” il led wall.
• Controllare la coerenza della profondità di campo tra mondo reale e virtuale.