Augmented reality til undsætning. Annulleringen af NAB 2022-2023 på grund af COVID-19-pandemien sendte chokbølger i hele tv-branchen. NAB Show afholdes årligt i Las Vegas og er det største udsendelsesmesse med over 90.000 deltagere fra over 160 lande. De fleste af de 1.600 udstillere lancerer nye produkter og teknologi, og for mange store virksomheder er der op til seks måneders planlægning. Inden for et meget kort tidsvindue måtte Panasonic Pro Video-teamet komme med alternativer til at få sin besked ud, mens de arbejdede eksternt hjemmefra.
Audio + Video + IT. Vores redaktører er eksperter i at integrere lyd, video og IT. Få daglig indsigt, nyheder og professionelt netværk. Abonner på Pro AV i dag
I dagene op til NAB Shows aflysning begyndte Panasonic-teamet at se på muligheder for at foretage en erstatningsbegivenhed, herunder ideen om at opbygge en fysisk stand, hvor kunderne kunne besøge online. Panasonic Pro Video-teamet var også i drøftelser med Paul Lacombe, administrerende direktør for New England-baserede DisruptAR, der specialiserer sig i at skabe virtuelle produktioner. Efter at have startet sin karriere hos General Motors efter college, har Lacombe arbejdet i produktionsbranchen i 30 år og startede hos Silicon Graphics i slutningen af 80'erne, inden han på egen hånd gik ud for at forfølge virtuelle produktioner. DisruptAR er fokuseret på at nedbringe AR og VR produktionsomkostninger på det bredere marked.
- Esports Training Factory streaming infrastruktur
- Citizen Cope debuterer med Covid-sikkert koncertrum
- Fjernundervisning: Sådan får du et fjernorkester til at fungere
- Bedste PTZ-kameraer til live streaming
Den 16. marts gik New Jersey, hvor Panasonics amerikanske hovedkvarter er baseret, officielt i lås; den 18. marts planlagde Lacombe den første demo til Panasonic-teamet. NAB Show 2022-2023 blev annulleret den 20. marts. “
Vi var nødt til at beslutte mellem de to muligheder meget hurtigt, ”afslører Panasonic ingeniørchef Harry Patel. ”Den første mulighed krævede fysisk opførelse af en kabine, indføring af produktet, mens man fulgte sociale distanceringskrav (mindre end 10 personer ad gangen) og inddragelse af et filmteam. Det var ikke praktisk, og vi ønskede at gøre noget med højere kvalitet, selvom vi ikke kunne forlade vores hjem. Så endelig blev denne idé om en virtuel begivenhed drøftet yderligere og blev godkendt i slutningen af marts. ”
Augmented Reality og Remote Production
Fjernproduktion er ikke et nyt koncept. Instruktør Francis Ford Coppola instruerede og redigerede berømte mange scener fra sin film fra 1982, One From the Heart, fra en trailer nær scenen. Men at skabe en produktion eksternt hjemmefra under en global pandemi er en anden historie. Det var kun muligt ved hjælp af avanceret kamerateknologi, VR-spilmotorer og skybaserede apps.
For Panasonic var det første mål at skabe en klar besked med mundtlig og skriftlig kommunikation oversat til et mere visuelt videoformat. Hos NAB kommunikerer sælgere typisk med kunder på udstillingsgulvet og diskuterer løsninger på hver persons problemer. Marketing Group Manager Jim Wickizer og P.R. agenturet, Racepoint Global, var i stand til at komme med en konsekvent besked og arbejdede med individuelle produktchefer for at præsentere de rigtige talepunkter.
Patel og Wickizer begyndte også at arbejde sammen med Lacombe eksternt fra sit hjemmestudie for at skabe videointerviews mellem produktledere og en studievært, Zoe Laiz, der skulle diskutere nye produkter og teknologi. ”Vi har alle haft udfordrende produktionsmiljøer, men for at gøre dette eksternt med denne tidsplan var det bestemt et trosspring,” forklarer Lacombe. "I min tarm vidste jeg, at dette kunne fungere, men det var aldrig noget, der aldrig havde gjort det før."
Til fjernoptagelse modtog hver produktadministrator en bærbar computer, en blå Yeti USB-mikrofon og et Panasonic AW-HE42 Full-HD Professional PTZ-kamera. HE42 blev tilsluttet via Ethernet og PTZ Virtual USB Driver, og videoen blev bragt ind i den bærbare computer ved hjælp af OBS til at optage og TeamViewer til fjernbetjening.
Augmented Reality og MS Teams
Til kommunikation, deling af filer, visning af demoer og overvågning af fjernproduktionsskud ansatte Panasonic Microsoft Teams, en kommunikations- og samarbejdsplatform. Over natten har platforme som Teams, Zoom, Ring Central og mange andre tilladt folk og virksomheder at kommunikere med omverdenen sikkert fra deres hjem.
For at se, hvad Lacombe var ved at indfange på sættet under produktionen, brugte Patel Teams Screen share og skabte en quad split ved hjælp af en AV-UHS500 switcher-output til en konverterboks fra SDI til USB. USB-feedet blev præsenteret i Windows som et kamera-feed, som de delte via Teams.
Under tilsyn med optagelsen af Senior Vice President, Professional Imaging & Visual Systems, John Baisleys indledende bemærkninger, var Patel og Wickizer gennem Teams i stand til at se Baisleys stue live og give retning om det var en linjelæsningsfejl, en baggrundsændring eller en teknisk lydproblem. Gennem hold var Patel også i stand til at give skærmretning ved at observere både grøn skærm og virtuelle sætvisninger. ”Hvis Zoey stod lige bag en dør og kom ind, kunne vi virkelig se, om skuddet var godt eller ej,” forklarer Patel. "Jeg ville fortælle Paul gennem Teams:" Det kan måske fungere bedre, hvis hun bare bevæger sig lidt over. "Med hensyn til fjernsamarbejde tror jeg ikke, det ville have været muligt uden brug af teams."
"Det var ret sejt at gøre dette eksternt," tilføjer Wickizer. ”Vi havde en person i Boston, Harry og jeg var hjemme i New Jersey, og vi havde en anden person på vestkysten. Min datter kom en gang ned i vores kælder og spurgte, hvad jeg lavede. 'Vi laver en fjernproduktion,' sagde jeg til hende. Hun kunne virkelig ikke tro det. ”
Free-D og Unreal Engine
For at indarbejde realistiske VR-studiosæt i en live produktion er det vigtigt at fange nøjagtige kamerapositioneringsdata. Før DisruptAR præsenterede sin første demo for Panasonic, udviklede DisruptAR en Free-D-driver, der gjorde det muligt at tilslutte AW-UE150 4K Pro PTZ-kamera direkte til Unreal Engine, hvilket gav ham muligheden for at sende Pan / Tilt / Zoom / Iris-information via IP (UDP) direkte fra kameraet til Unreal's tracking system live uden behov for yderligere sensorer eller kodere.
”Free-D kom fra BBC tilbage i begyndelsen af 90'erne som en sporingsprotokol for et af deres kamerasporingssystemer,” forklarer Lacombe. ”Det definerer de seks frihedsgrader - panorering, tilt, roll, X, Y, Z samt synsfelt, zoom og fokus. Disse værdier sendes ned til den virtuelle gengivelsesmotor og tilsluttes et virtuelt kamera, så din baggrund reagerer i overensstemmelse hermed i realtid med 60 billeder pr. Sekund. ”
Ifølge Lacombe er Unreal Engine blevet brugt over hele linjen i adskillige produktioner - fra The Lion King til The Mandalorian. ”Det er den underliggende teknologi, der bruges af det meste af Hollywood lige nu,” siger Lacombe. "De bruger det som en proxy for det meste, men målet er" endelig pixel ", hvilket er hvad du ser begynde i realtid er, hvad der er op på skærmen."
”Unreal Engine er en spilmotor, der er blevet anvendt på andre markeder, herunder arkitektur, CAD-visualisering og i dette tilfælde udsendelse og film,” siger Lacombe. ”Vi bruger det til at komme til det højeste niveau af fotorealisme, idet vi tager aktiver fra traditionelle DCC-værktøjer som Maya, 3D Studio Max, Blender, ved hjælp af NVIDIA-grafikkort med 60 billeder pr. Sekund, hvilket giver seerne troskab af linseegenskaber som f.eks. blomstrende, blusser og de-fokusering. Den kvalitet, du har brug for for at komme til fotorealisme og gengivelse med 60 billeder i sekundet, er i det væsentlige hvad Unreal Engine gør. ”
Oprettelse af en virtuel verden … i en garage
Lacombes studie er i hans ombyggede garage, der kun måler 20 x 24, og hans besætning bestod af kun en assistent. Til den grønne skærm brugte han en Pro Cyc Portable baggrund. På grund af pladsbegrænsningerne kunne Laiz kun gå et par skridt, så de var begrænset på kameraer, hvilket gjorde AW-UE150 til det perfekte værktøj til jobbet. Ved belysning af sin grønne skærm brugte Lacombe 14 ”LED-paneler. "Ideen er, at du virkelig vil have en grøn nuance og slippe af med al pletfærdighed, så din nøgler kan beholde disse skygger," forklarer Lacombe. "Du vælger en green, som du vil nøgle ud, og de mørkere greener er skyggerne, der er overlejret i dit virtuelle sæt."
Selvom han arbejdede i sin garage, måtte han tænde sit talent med det motiverede lys fra et stort studie. For at tænde Laiz brugte Lacombe to LED-paneler til både hans nøgle og fyld. Han brugte også et par spotlights ovenfra for at simulere et rødligt lys, der kommer fra vinduerne. ”Grundlæggende forsøger vi at matche den retning og den farvetemperatur uden at påvirke den grønne skærm,” afslører Lacombe. ”Det er en udfordring, fordi du prøver at tænde talentet adskilt fra den grønne skærm. Ladedørene på disse lysdioder gav os mere plads, men vi kæmpede for at komme væk fra det grønne og få minimalt med at hoppe af det grønne på hendes tøj og hud. ”
På sæt brugte Lacombe to UE150-kameraer: kamera 1 var på venstre side og kamera 2 til højre. Når Zoe vendte sig mod en produktchef, der blev set på en lodret skærm, skiftede han til kamera to i Laizs øjenhøjde for at få et simuleret synspunkt på produktchefen. Matchende øjenlinjer er en udfordring, men Lacombe siger, at han kunne snyde det lidt ved at vide, hvor hans hjemposition var. ”Hvis du havde to kameraer, det ene var 90 grader til det andet 8 meter væk, og det andet fire meter væk, kan du måle med et målebånd og placere dem i den virtuelle verden i den samme position. De vil overholde hinanden gennem fysikens love, så de ser ud til at være i den nøjagtige position. Og så kan du snyde lidt inden for disse retningslinjer. ”
Produktionsdesign med et klik på en knap
Til designet af det virtuelle sæt brugte Lacombe et modificeret design, som han arbejdede med en anden klient det sidste år. Designet blev udført i Maya og eksporteret til Unreal. Da det virtuelle sæt finder sted om natten, så de først et mørkere blik, men derefter besluttede de at gøre det til et strejf lysere. Han tilføjede Panasonic-logoet og fjernede elementer, der ikke var vigtige for Panasonic-sættet. Han tilføjede også en skærm, der kommer ud af gulvet, som Laiz går ud bagved.
Ifølge Lacombe er der flere 3D-aktiver, der er tilgængelige, da online arkitektonisk visualisering virkelig er startet. Du kan gå til et 3D-bibliotek og finde 3D-aktiver eller modeller og bygge det afhængigt af, hvad dine tilpasningskrav er. ”Det er virkelig frem og tilbage med klienten,” forklarer Lacombe. ”Du tilføjer dine marketingkomponenter, branding, alle farver og materialer. Når du har aktivet derinde, kan du tage vægge ned med en knap, klikke eller flytte ting rundt, justere skærme alt i realtid. I den 'fysiske verden' ville dette tage en betydelig mængde tid og penge. Når først tingene er bygget, er det let at justere og komme tilbage til. ”
Holde en sikker afstand
Virtuel produktion har udviklet sig gennem årtierne gennem erfaring og forfining. Selvom rollerne for en fysisk produktion og en virtuel produktion stort set er de samme, er den største forskel, at alle arbejder i det samme fysiske rum. Når hjemmeforordningen er ophævet, afgøres stadig, om ægte fjernproduktion bliver normen eller ej.
"Der er en grund til, at du har nogen, der kigger på nøglen, nogen kigger på manuskriptet, nogen kigger på kameravinklerne og garderobeskabet," siger Lacombe. Alle disse roller skal stadig udfyldes, og vi prøver bare at finde ud af den bedste måde at gøre det på afstand. Indtil videre har det fungeret utroligt godt, og vi er alle overrasket over, hvordan dette kom sammen så hurtigt og udviklede sig på en naturlig måde. Selvom vi var nødt til at bære flere hatte mere, end vi ville have ønsket til denne produktion, er det næste logiske trin at distribuere dette yderligere for at få andre involverede til at forfine og forbedre processen. Men for første gang ude af porten er jeg meget tilfreds med resultaterne og ivrig efter at tage det til næste trin. ”
For at se Panasonics virtuelle begivenhed, Fremtiden for videoproduktion , klik igennem her.
For mere information om DisruptAR, besøg www.disruptar.com.