本文來自微信公眾號： 愛范兒 ，作者：關注明日產(chǎn)品的，原文標題：《蘋果的「空間重構」，與一臺 90 年代的「欺詐相機」｜硬哲學》
蘋果在即將正式推出的iOS 27中，給相機/相冊做了一個「空間重構」(Spatial Reframing)功能：
開啟「空間重構」后，用手指在照片上劃動，你會發(fā)現(xiàn)照片像是有了「深度」；如果繼續(xù)劃動，出現(xiàn)了原圖中被遮擋的區(qū)域，Apple Intelligence會實時生成填補。通過「空間重構」你可以對原圖的場景，創(chuàng)建一個從并未被拍攝的角度「拍攝」出的副本。
一張靜態(tài)的照片，原本不攜帶任何深度信息。而蘋果利用在空間計算的經(jīng)驗，可以從中推斷出深度。
這里還有幾組照片，看看效果：
對不起，我騙了大家。雖然看起來很像，但這些并不是「空間重構」的樣片。
但如果我告訴你，這是一臺來自上世紀的古董相機拍出來的，你會不會稍微有點驚訝？
以上照片，是膠片攝影師Jason Kummerfeldt(YouTube:@grainydays)用一臺發(fā)布于1989年的Nishika N8000膠片相機所拍攝下來的，原理簡單且暴力：
它平行放置了4個鏡頭，可以同時拍下4張同一場景、視角平行但具有細微差異的照片——更準確來說，4張135畫幅的半格照片，占用兩格膠片的位置。
Nishika的宣傳策略是將其定位為「能拍攝35mm膠卷的3D相機」。至于如何實現(xiàn)所謂的3D效果，則需用戶將膠卷回寄給Nishika，由該公司沖洗并印刷成具有所謂「裸眼3D」效果的光柵照片：
光柵照片算不上黑科技，但在上世紀末，一臺能自己拍出裸眼3D的相機還是頗具想象力的。只是這個美妙而前衛(wèi)的創(chuàng)意背后，卻藏著一套復雜的騙局：
首先，Nishika這個名字給人營造出一種日式精密光學的感覺，然而該公司注冊于美國內(nèi)華達，總部位于拉斯維加斯郊區(qū)，生產(chǎn)則在香港以及中國大陸完成。
其次，產(chǎn)品本身的質(zhì)量也令人難以恭維：低質(zhì)量塑膠鏡頭，對焦采用小光圈泛焦，快門固定1/60秒；機身看起來像是單反，內(nèi)部卻沒有棱鏡，頂部凸起只是空心塑料殼；機頂貼著偽裝成液晶屏幕的貼紙，熱靴其實是冷靴；Nishika甚至在機身里塞了一塊配重，只為讓手感顯得沉甸甸。
Nishika的主要銷售策略是通過電話或郵購渠道購買，后來甚至還發(fā)展出了幾乎原樣復刻安利的傳銷模式——果不其然，在產(chǎn)品問世一年后就被美國監(jiān)管部門以電信欺詐等罪名發(fā)起調(diào)查。
1994年，Nishika因資不抵債宣告破產(chǎn)，其運營的光柵沖印服務也隨之消失，讓N8000回歸成了一臺質(zhì)素令人難以恭維，但又在半格攝影這件事上打了雞血的垃圾相機，二級價格一度跌至幾美元。
合成全新的視角
愛好者圈子里總會有兩種商家：一種站在巨人的肩膀上攫取利潤，商業(yè)上成功但被所有人所鄙視；另一種用熱愛開創(chuàng)新的空間，推動領域進步，但往往商業(yè)上難以持續(xù)。
Nishika屬于前者，而另一家名為Nimslo的公司，也是Nishika幾乎全部的技術來源，屬于后者。
如果說Nishika的故事是一場打著高科技幌子的跨國傳銷騙局，那么Nimslo則更像是真正具備技術、志向遠大，卻最終悲情離場的「天才發(fā)明家」。
上世紀70年代，香港工程師盧國華(Allen Kwok Wah Lo)實現(xiàn)了從多鏡頭3D膠片相機到光柵印刷的全流程閉環(huán)，攻克了高精度立體攝影的難題。
美國商人杰瑞·尼姆斯(Jerry Nims)嗅到了商機，在香港和盧國華一起合伙組建了公司，后來又將總部搬到了美國亞特蘭大，并在1976年提交了專利。他們的公司名叫Nimslo——取自二人的姓。
Nimslo的第一款同名產(chǎn)品Nimslo 3D相機于1982年問世。該公司還得到了天美時手表(Timex)的老板、挪威船王弗雷德·歐爾森(Fred Olsen)注資1700萬美元，并且將生產(chǎn)線設在了蘇格蘭的天美時工廠。
雄心勃勃的Nimslo原本計劃年產(chǎn)40萬臺3D相機，然而一系列致命災難接踵而至，將公司拖向深淵。
首批相機出貨時，天美時蘇格蘭工廠爆發(fā)罷工，Nimslo臨時找日方外包，錯過上市黃金期；光柵照片無法在常規(guī)照相館印刷，用戶必須寄回美國唯一指定中心進行沖洗和印刷，而且工藝的限制導致廢片率高，收費昂貴，消費者需要等待數(shù)周時間，體驗極差。
Nimslo 3D采用4顆日本制造的高品質(zhì)光學玻璃鏡頭，自動曝光系統(tǒng)還能夠根據(jù)光線自動調(diào)節(jié)光圈快門，在當時相當先進；純金屬機身緊湊，做工扎實，輕巧且高級——代價是在當時高達200美元的售價（折合今天700美元左右）。而考慮到前述的印刷體驗問題，產(chǎn)品的實用性并不高。
在燒光數(shù)千萬美元的投資之后，Nimslo終于撐不住了，在1986年宣布破產(chǎn)。而如果你看到下面這張兩款產(chǎn)品的對比圖，應該明白過來：Nishika把Nimslo給接盤了。產(chǎn)品配置全方位縮水，加上前面提到的種種欺詐玩法，卻仍然沒有拯救這家新公司以及4眼3D相機的命運。
當今天的人們談論起空間攝影/空間計算的先驅(qū)，想起的可能是蘋果「空間重構」、Vision Pro，或是2016年iPhone 7 Plus的「人像模式」（雙攝背景虛化）。
也可能是14年HTC One M8的后期重對焦，或者18年Facebook的3D Photos——這些都是「單張照片+深度信息=空間照片」的大規(guī)模消費級應用。
更別提在相機領域，還有光場相機這樣的怪物存在。
Nishika以及它的前身Nimslo，并不是典型意義上的空間攝影先驅(qū)。
但是，如果我們靜下心來想一下，由Nimslo所創(chuàng)造并首次在消費級產(chǎn)品上完成實踐的多鏡頭相機，和空間重構、人像虛化、重對焦、3D照片——它們其實都在解決同一個圖形學、光學、AI領域的難題：
「新視角合成」(Novel View Synthesis)。
從21世紀10年代開始，人類所掌握的技術就已足以「憑空」合成出并不存在的相機視角。先輩們的解題思路，是直接堆砌鏡頭。而這一思路的集大成者?？赡芫褪恰腹鈭鱿鄼C」。
光場相機的故事
公允來講，Lytro并沒有受到Nimslo的影響。但你會發(fā)現(xiàn)這兩者在很多角度上都極為相似。
盡管兩者分處模擬(analog)時代的末尾和數(shù)字(digital)時代的全盛，在相隔半個世紀的時間里走著不同的路，Lytro多鏡頭陣列的思路事實上與Nimslo試圖解決的，是同一個難題。
在Lytro的所有公開資料中，沒有任何將其與Nimslo建立關聯(lián)的提及。但將兩家公司的專利、所做的事情放在一起，會發(fā)現(xiàn)它們用不同的語言描述同一個欲望。這不算是抄襲，更像是在各自時代獨立攻克同一個問題——頗似牛頓和萊布尼茨各自發(fā)現(xiàn)微積分——當然，Nimslo的工作要「粗淺」的多。
這個定論或許夸張，但如果我們回溯Lytro的學術傳承，就會發(fā)現(xiàn)兩者相似的端倪。
時間回到20世紀初，法國物理學家加布里埃爾·李普曼(Gabriel Lippmann)發(fā)明了基于光的干涉現(xiàn)象進行彩色攝影的方法，在1908年榮獲諾貝爾物理學獎。
在另一項攝影試驗當中，李普曼在感光乳劑前放置了一層緊密排列的小型球面透鏡陣列，使得單張成像介質(zhì)可以記錄從多個略微不同位置拍攝的「場景圖像」；觀片時，觀察者移動頭部就能看到這些從不同角度記錄的畫面。李普曼將其命名為「積分攝影」(integral photography)。
受制于材料技術，李普曼只能提出理論，無法提供實驗結果。但這成為后世光場相機和「新視角合成」的重要理論基礎。
整個20世紀，相關概念在零零落落的學術文獻當中有所提及，實踐層面則一直沒有進展。直到1996年，斯坦福大學圖形學教授馬克·勒沃伊(Marc Levoy)和帕特·漢拉罕(Pat Hanrahan)在SIGGRAPH上發(fā)表了著名的「光場渲染」論文。他們不僅提出了光場數(shù)據(jù)的數(shù)學表示，還搭建了能夠驗證理論的物理裝置：在一個房間里擺滿相機，全部連接到和冰箱一樣大的超級計算機上。
盡管算力需求恐怖，整套裝備也太大，勒沃伊等人證明了一件事：只要捕捉了足夠的光場數(shù)據(jù)，就可以在后期合成的虛擬空間中自由移動觀察點，生成從未被真實拍攝過的視角?！感乱暯呛铣伞箷r隔一個世紀，終于迎來曙光。
2002年，馬來西亞人吳義仁本科畢業(yè)后加入了勒沃伊領導的斯坦福圖形實驗室(Stanford Graphics Lab)，延續(xù)光場理論的實踐研究。
有一次給朋友的女兒拍照，小女孩太活潑，每次按下快門都拍糊了。「有沒有辦法，能夠先拍照，后對焦？」
這個想法在吳義仁的腦海中揮之不去，他花了大半年的時間里在實驗室和自己的家中，組裝出了世界上第一臺能真正工作的手持光場相機原型：一臺康泰時645中畫幅單反相機，掛載了一個在當時極為奢侈的飛思H20中畫幅1600萬像素數(shù)碼后背。
但真正的魔法在于吳義仁自行改裝的微透鏡陣列：在主鏡頭與CCD的光路之間，插入一塊定制的塑料微透鏡陣列薄片，由大約292 x 400個微小透鏡組成。
每個微透鏡都會在傳感器上投影出微小的光圈像，使得傳感器不僅記錄了光線的平面位置，還可以后期用算法來還原光線入射的角度。
2006年，吳義仁的博士論文「數(shù)字光場攝影」(Digital Light Field Photography)斬獲ACM（計算機學會）最佳博士論文獎。
畢業(yè)后，吳義仁暫別學術界，創(chuàng)立了光場攝影技術公司Lytro。2011年，第一代Lytro相機上市，它將吳義仁在斯坦福期間改裝原型機的光路機構原版復刻，但實現(xiàn)了小型化，裝進了一個看起來像是萬花筒的設備里，當時售價399美元。
這款產(chǎn)品在當時引發(fā)震動，傳聞史蒂夫·喬布斯專門找到吳義仁了解關于光場攝影的更多細節(jié)，研究該技術是否有利于改進iPhone。
正如前面提到，Lytro從未在公開和已知的私下場合提及Nimslo/Nishika，但兩家公司的定位確驚人般相似：他們都曾宣稱自己是「繼柯達和寶麗來之后攝影的第三次革命?！?/p>
冥冥之間，Lytro也復制了Nimslo的命運：第一代產(chǎn)品的分辨率對于2011年水平來說實在太低，第二代Illum的定價高達1599美元，盡管極具前沿屬性，仍然無法得到市場的認可。
反倒是2014年的HTC One M8，只用雙攝像頭和簡單的后期算法就做出了重對焦功能，摸到了Lytro的七成功力——實際這就足夠了，畢竟One M8除了準光場攝影能力之外，還是一臺無鎖價格$649的智能手機。
2016年，Lytro的商業(yè)實踐基本宣告終結，其消費業(yè)務的相關資產(chǎn)、專利以及絕大部分員工被Google收入囊中。（巧的是，次年Google也以類似的方式包攬了HTC的消費業(yè)務與專利）。
Lytro的遺產(chǎn)像種子被風吹散，在別處生根發(fā)芽：在Google，Lytro的部分前員工和資產(chǎn)專利構成了VR/AR以及Pixel部門的技術儲備；還有一部分前員工去了比Lytro晚幾年成立的硅谷相機公司Light，延續(xù)光場攝影的理想。
下圖中就是Light開發(fā)的光場相機L16。同樣令人唏噓的是，Light的結局并沒有逃離前輩Lytro的劇本，當時大部分手機廠商已能將三、四顆攝像頭塞進手機，該公司后來也退出了消費級市場。
開枝散葉
Lytro創(chuàng)始人吳義仁離開公司后重返學術界，前往UC伯克利任教。
他有兩個博士生：本·米爾登霍(Ben Mildenhall)和普拉圖爾·斯里尼瓦桑(Pratul Srinivasan)。他們后來在2020年提出了神經(jīng)輻射場(Neural Radiance Fields,NeRF)的全新概念。
NeRF不僅承襲了吳義仁的光場攝影技術研究，更顛覆了計算機對3D場景的表達方式：
在此之前，主流方法是「顯式表達」——點陣云、體素、3D mesh。這種方式在解決透明材質(zhì)、毛發(fā)、霧氣、反射等場景時效率不高，工作流也比較反人類；NeRF用「隱式表達」取而代之，不再需要定義具體的表面，而是利用神經(jīng)網(wǎng)絡將整個空間渲染成連續(xù)、帶有顏色和透明度的「非均勻迷霧」。
不夸張地說，NeRF是近年來計算機視覺和圖形學領域的最關鍵突破之一，可以被理解為3D領域的Transformer。
下圖就是單張照片使用NeRF渲染效果，是不是已經(jīng)很像光場攝影以及蘋果的「空間重構」了？
它證明了神經(jīng)網(wǎng)絡本身可以作為全息的3D存儲介質(zhì)：一個小小的模型權重文件就足以壓縮一個理論上分辨率無限、光影變化無限的世界。
NeRF還直接促進了「神經(jīng)渲染」這一全新學科的繁榮。隨著Stable Diffusion、Midjourney等生成式AI技術爆發(fā)后，人們很快意識到可以利用NeRF將2D擴散模型的先驗知識應用到3D領域。
今天所謂的「世界模型」，比如文生3D、圖像生成3D，以及影視和游戲工業(yè)中的AI生成資產(chǎn)——底層很多都是從NeRF衍生而來。不僅如此，NeRF還終結了早期視頻生成模型（如Sora 1等）的空間一致性幻覺。
2023年，3D高斯?jié)姙R(3DGS)的問世，又解決了NeRF訓練慢、渲染慢（無法做到實時60fps渲染）的問題，可以說在一定程度上「殺死」了NeRF。但3DGS也繼承了NeRF最核心的思想：可微體渲染以及基于圖像的逆向協(xié)同優(yōu)化。
在世界模型如火如荼的語境下，NeRF啟蒙了世界模型對于3D幾何和光影一致性的認知，3DGS則成為其落地的工業(yè)基石。
如今，NeRF作者之一米爾登霍（下圖左）也是世界模型公司W(wǎng)olrd Labs的聯(lián)合創(chuàng)始人。
在學生忙著把博士論文變成產(chǎn)品的同時，馬克·勒沃伊于2014年從斯坦福大學榮休，全職加入Google，進行計算攝影方面的研究。
在勒沃伊的帶領下，Google的計算攝影團隊走了一條不同的路：不在硬件上做功課，而是用算法與光影「玩游戲」，推出了備受用戶喜愛的Google Camera，以及后來的Pixel手機計算攝影技術。
在Nexus 6手機上首次推出的HDR+，會在按下快門時在緩存區(qū)里實時保存多張曝光數(shù)值各異的照片，然后合成出一張動態(tài)范圍遠超手機傳感器極限的照片。
HDR+的底層原理類似于曝光包圍，但算法的參與深度遠超于此。它能夠分析所有圖像找到最清晰的一張進行選擇性對齊，使用語義分割技術人臉并提亮，同時避免高光過曝和運動模糊。
為了突破成像的物理極限，你可以靠堆硬件來投機(Lytro)，也可以用算法來取巧(HDR+)。而Levoy的團隊很快證明了，算法不僅能夠突破極限，甚至可以無中生有。
2018年，Pixel手機推出Night Sight夜景模式，讓用戶即便在幾乎無光的環(huán)境下拍出干凈、細節(jié)充分、白平衡準確的照片。效果過于震撼，被媒體形容為「魔法」。
Night Sight會自動連續(xù)捕捉多幀長曝光照片，用于算法融合?？紤]到極暗環(huán)境下傳統(tǒng)測光會失效，白平衡容易被燈光帶偏，Google的魔法是引入了一個專門的、學習了日光下正確色彩的神經(jīng)網(wǎng)絡，在Night Sight中負責「腦補」，修正色彩。
勒沃伊的團隊對于Pixel人像模式同樣貢獻巨大：僅依靠單鏡頭配合神經(jīng)網(wǎng)絡，即可從平面照片中「猜」出深度。在邊緣、毛發(fā)等難題上，僅靠單攝就能工作的Pixel一度勝過早期依賴雙目視覺的iPhone。
在2018年用一顆1200萬像素的落后攝像頭，卻掀翻了所有對手堆滿硬件的桌子。勒沃伊在Google計算攝影方面的工作，給整個行業(yè)以及市場帶來了巨大的震撼。
行業(yè)終于明白了一個道理：手機相機的上限，其實不在硬件，而在算法。次年蘋果的夜間模式、三星的超視覺夜拍紛紛跟進，整個手機行業(yè)自那以后也全面步入拍照靠「算」的計算攝影時代。
2020年，勒沃伊離開Google假如Adobe，擔任副總裁兼研究員。2025年，他輔導的團隊推出了一個再次震撼手機攝影圈的項目。
它就是Project Indigo，重新定義了手機圖像處理管線，通過多幀合成、RAW域降噪、色彩重建等技術，讓iPhone照片看起來像是用光學素質(zhì)遠高于iPhone的專業(yè)相機所拍，進一步突破硬件的極限。
Project Indigo收獲了幾乎一邊倒的好評。他實現(xiàn)甚至超越了「像單反」這個陳舊的目標，讓人們意識到，當算法足夠強大，傳感器尺寸、鏡頭光學早已不再是手機攝影的瓶頸。
用有限的信息，創(chuàng)造無限視角
最后回到蘋果的「空間重構」。
2022年，蘋果在ECCV上發(fā)表NeuMan論文，闡釋了用NeRF技術進行人體模型和場景重建；去年，蘋果接連在ICLR、CVPR上接連發(fā)布Depth Pro、Matrix 3D、SHARP三篇論文，為「空間重構」打好了研究基礎。
簡單來說，空間重構的研究分為兩個階段：一階段是單鏡頭估算深度，從照片中構建深度圖；二階段是單鏡頭合成3D高斯?jié)姙R數(shù)據(jù)，讓平面照片也能改變視角。
SHARP是一套前饋式神經(jīng)網(wǎng)絡。對比來看，NeRF需要為每個場景訓練數(shù)十分鐘到數(shù)小時，而SHARP只需要訓練一次模型，完成后即可在任何照片上直接推理，1秒輸出上百萬級的3D高斯點。
Depth Pro則解決了單鏡頭從平面照片中推斷深度這一更基礎的問題，最快0.3秒就可輸出高質(zhì)量深度圖。
Depth Pro和SHARP合在一起，思路逐漸明朗：蘋果可以不再依賴多攝像頭實現(xiàn)相關功能，底線是一顆攝像頭就足以榨出所需的全部信息。
WWDC同期蘋果宣布，Vision Pro全景轉換、地圖鳥瞰體驗等全面轉向3D高斯濺射。從OS 27這代開始，戴上Vision Pro看一張全景照片，或打開蘋果地圖飛越城市時，看到的不再是傳統(tǒng)3D模型，而是數(shù)百萬高斯點云實時渲染。
但是在前述的論文中，蘋果還是明確致敬了NeRF，稱其為「徹底改變了隱式3D場景表達與新視角合成的開創(chuàng)性工作」。
一切始于19世紀攝影技術萌芽同期，人們對于「裸眼3D」的向往，現(xiàn)如今通過軟硬結合、AI算法等多種不同思路，我們已經(jīng)實現(xiàn)了對于光場的捕捉，甚至僅需單目視覺即可合成出極為精確的空間信息。
這是一部圍繞新視角合成這一經(jīng)典難題，橫跨200年的技術發(fā)展史。
從iPhone的攝像頭，到Lytro的光場照片，再到Nimslo的3D光柵成像，以及圍繞「計算攝影」這件事的無數(shù)偉大的發(fā)明和美好的體驗，它們指向一個相同的，古老的愿望：
用有限的信息，創(chuàng)造無限的視角。