Zrozumiteľný sprievodca technológiou, na ktorej stojí Splatoo — čo to je, čím sa líši od starších 3D metód a prečo vďaka nej môžu byť reálne miesta preskúmateľné na akejkoľvek obrazovke.
Gaussian splatting zachytáva reálne miesto v 3D ako milióny drobných, mäkkých bodov svetla — nie ploché polygóny.
Každý bod je „splat“: pozícia v priestore, farba, mäkkosť, ktorá určuje, ako sa stráca na okrajoch, miera priehľadnosti a tvar — dokáže sa natiahnuť a nakloniť tak, aby sa prispôsobil povrchu, na ktorom leží. Samostatný splat je len rozmazaná škvrna. Ale poskladajte ich niekoľko miliónov a pôvodná scéna sa objaví späť, s reálnou hĺbkou, jemným detailom a presne takým svetlom a atmosférou, aké malo miesto v čase zachytenia.
Pod kapotou ide o radiance field (pole žiarenia) — model toho, ako svetlo opúšťa každý bod scény v každom smere. Prvé radiance fieldy (NeRF) ukrývali túto informáciu vnútri neurónovej siete a museli dopočítavať každý pixel osobitne. Gaussian splatting ju ukladá otvorene, priamo ako splaty samotné. Pri vykresľovaní netreba nič dopočítavať, takže kreslí rýchlo — dosť rýchlo na to, aby ste sa mohli plynulo pohybovať v prehliadači, na telefóne, bez nutnosti inštalovať aplikáciu.
Pozoruhodné je, že nič nemodelujete ručne. Priestor odfotíte alebo natočíte a optimalizátor ho za vás zrekonštruuje.
Prejdite priestorom s kamerou alebo aj s telefónom a zachyťte ho z mnohých prekrývajúcich sa uhlov. Pre miestnosť často stačí pár stoviek záberov; väčšie priestory jednoducho potrebujú viac pokrytia.
Softvér typu structure-from-motion analyzuje zábery, zistí, odkiaľ bola každá fotka odfotená, a položí hrubé počiatočné mračno bodov, z ktorého sa dá stavať.
Každý bod sa stane 3D Gaussianom. Systém vykreslí scénu, porovná ju so skutočnými fotkami a upraví pozíciu, farbu, veľkosť a priehľadnosť každého splatu tak, aby sa rozdiel zmenšil — milióny drobných korekcií, opakovaných dovtedy, kým sa render nedá takmer odlíšiť od fotografií. Popritom pridáva splaty tam, kde je scéna ešte rozmazaná, a odstraňuje tie, ktoré si svoje miesto nezaslúžia.
Pri kreslení snímky sa splaty premietnu na obrazovku, zoradia podľa hĺbky a poskladajú spredu dozadu. Pri zobrazovaní nebeží žiadna neurónová sieť — a práve to je dôvod, prečo dosahuje plynulé framerate v reálnom čase na bežnom hardvéri.
Trénovanie trvá minúty, nie hodiny, ktoré potrebovali staršie neurónové metódy. A keďže výsledok je explicitný — doslovná množina splatov, nie čierna skrinka siete — scénu možno presúvať, prefarbovať, orezávať alebo kombinovať s inými. Práve na tejto upraviteľnosti staviame.
Každý predchádzajúci spôsob zachytenia reality niečo obetuje. Gaussian splatting je prvý, ktorý si drží fotorealistickú kvalitu a zároveň rýchlosť v reálnom čase.
Zároveň prekonáva dva staršie skratky. Surové LiDAR a point-cloud skeny zachytávajú presnú geometriu, no bez skutočného osvetlenia pôsobia ploché a neživé. Obyčajné video vyzerá reálne, no diváka drží na jednej pevnej trase. Splatting dáva oboje naraz — vzhľad videa so slobodou pohybovať sa kdekoľvek vnútri neho.
V skratke: je to prvá metóda, ktorá vyzerá ako skutočné miesto a zároveň funguje kdekoľvek.
Oplatí sa byť úprimný v tom, kde technika dnes exceluje a kde ešte dozrieva.
Väčšina z toho patrí medzi aktívne a rýchlo napredujúce výskumné oblasti — a viacero z nich je presne tam, kde naša pipeline zachytávania a Unrealu dopĺňa chýbajúce kúsky.
Render niekomu ukáže, ako by priestor mohol vyzerať. Sken mu umožní postaviť sa priamo do toho, čím priestor naozaj je. V tom je celý rozdiel: ľudia sa rozhodujú rýchlejšie, viac dôverujú tomu, čo vidia, a skutočne si zapamätajú miesto, ktorým prešli, nie len také, na ktoré len letmo pozreli.
Pre firmu sa to premení na menej zbytočných obhliadok na mieste, kratšie predajné cykly a jediný asset, ktorý funguje na webe, na obchodnom hovore aj na obrazovke priamo na mieste. Jedno zachytenie, mnoho miest, kde môže žiť.
A už to nie je experiment. Realitné platformy začali dávať kupujúcim splatové prehliadky, technika si našla cestu do veľkej filmovej a vizuálno-efektovej produkcie a aplikácie na zachytávanie ju vkladajú do bežných rúk. Odvetvie to nazýva „JPEG moment pre priestorové výpočty“ — bod, v ktorom 3D zachytenie prestáva byť novinkou a stáva sa bežným.
Oblasť sa vyvíja nezvyčajne rýchlo. Pre ďalší vývoj sú najdôležitejšie štyri smery:
Smer je jasný: priestorové zachytenie sa stáva rovnako bežné ako odfotenie fotky — a rovnako ľahko sa dá zdieľať. Pre tento svet staviame Splatoo.
Surový sken je krásny, ale pasívny. Splatoo z neho vytvorí niečo, čo môžu ľudia využívať.
Zachytíme miesto, vyčistíme ho a potom naň navrstvíme navigačný systém — body záujmu, trasy, služby a obsah — takže priestor nie je len na pozeranie, ale aj na prechádzanie. Vďaka našej Unreal pipeline vieme priniesť aj objekty a scény, ktoré fyzicky ešte neexistujú, takže realita je východiskový bod, nie hranica. Hotový zážitok sa publikuje priamo na web aj na kiosky na mieste a ticho reportuje, ako sa návštevníci naozaj pohybujú.
Jedno zachytenie sa stáva prezentáciou, predajným nástrojom, sprievodcom aj kontaktným bodom — všetko naraz.
Čítanie o tom má svoje limity. Otvorte si skutočnú prehliadku v archíve ukážok a prejdite si zachytený priestor sami — ťahajte bodmi, prepínajte scény a vyskúšajte, aké to je v prehliadači.
Vysvetlenie vyššie vychádza z týchto primárnych výskumných a spravodajských zdrojov.
Naskenujeme ho, navrstvíme naň obsah a odovzdáme vám prehliadku, ktorá funguje kdekoľvek.