那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」 - 創投圈 創投圈

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

欄目:人物專欄 評論:0 點擊: 128 次

Pixel 相機背後的男人, Marc Levoy。

迄今為止我們測試過的最佳智能手機相機——DxOMark

2016年的智能手機市場,每一家都在摩拳擦掌,準備大展身手,但任誰都想不到是,那一年手機拍攝領域最亮眼的既不是iPhone也不是三星,而是Google自研的Pi xel 。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图

之後Pixel 2推出時,同樣的情況再次上演,只用單攝的Pixel 2超越了同期大量雙攝旗艦,登頂DxOMark,還帶來了人像模式。此後的Pixel系列也一直維持同樣的策略,它的相機物理硬件並非最強,但在手機攝影領域卻有著不俗的表現,Pixel 3帶來了夜景模式、Pixel 4帶來了天文攝影。

Marc Levoy作為Pixel相機團隊的首席工程師,正是幕後推動這一切的主要推手,用現在流行的話來說,Marc Levoy用計算攝影,改變了潮水的方向。

與Google 相遇

Levoy原本就是一位攝影愛好者,在他的個人網站上還能看到不少他拍攝的照片。而他和Google的相遇則要從斯坦福大學說起。1990年,Levoy進入斯坦福大學計算機科學系,主要教授計算機圖形學、數碼攝影、藝術科學等課程。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图1

▲ Marc Levoy

1993年,Levoy借了一些磁盤驅動器給博士生David Filo和Jerry Ya ng,他們用磁盤等工具建立了一個互聯網目錄網站,這個網站之後被稱為Yahoo。同為博士研究生的拉里・佩奇(Larry Page)和謝爾蓋・布林(Sergey Brin)則在離Levoy辦公室兩扇門遠的地方研究互聯網索引,後來他們創立了一個搜索網站——Google 。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图2

▲ Googl e創始人拉里・佩奇和謝爾蓋・布林

拉里・佩奇和Levoy的研究生公用一個辦公室,而謝爾蓋・布林則是Levoy的計算機圖形課上的學生。在斯坦福,Levoy幾乎是目睹了互聯網的崛起,而由於他和Google創始人的師生關係,漸漸與Googl e有了越來越多的聯繫。

拉里・佩奇和謝爾蓋・布林離開斯坦福創立Google後,很快投資了一個由Levoy主導的研究項目CityBlock ,通過拍攝視頻並將其複製到圖片中,再通過計算處理等方式複原實際場景,也就是後來被Google商業化的Goo gle街景項目。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图3

Levoy在計算攝影領域上的深厚造詣令Google團隊十分欽佩,以至於Google X實驗室遇到問題時第一時間想到了這位斯坦福教師。當時Google X正在研究一個名為Google Glass的產品,旨在推出一款可穿戴的「計算機」,而這台計算機將以眼鏡的形式出現。

據Google X實驗室發布的博客,由於Google X選擇了眼鏡這種可穿戴式的產品形態,對硬件的要求極高,就算是手機中常見的微縮型相機硬件模組,應用到Googl e Glass上還要保持較好的拍攝效果,也並非一件簡單的事。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图4

▲ 早期的Google Glass 原型

既然通過硬件實現很難、或者說幾乎不可能,是不是應該換一種思路,用軟件來解決呢。就這樣,Google X 找到了計算攝影領域的專家Levoy 幫忙一起解決這個問題。

最終Levoy和Google X團隊研究出了一種名為HDR成像的算法,即快速拍攝多張圖片,並通過計算處理合成出高質量的圖片。多張合成的方式可以更好的渲染暗部細節,同時又能保證高光處保持更高的清晰度。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图5

與Google X合作期間,Levoy自己還製作了一個App——SynthCam,同樣是通過合成計算的方式,讓使用微縮相機模塊的手機也能模擬單反,實現拍攝主體之外內容逐漸模糊的效果。

儘管以現在的眼光來看,效果並不算特別好,但在當時已經是手機攝影領域的一次新突破了。

對於計算攝影極強的興趣,也促進了Levoy從斯坦福退休後加入Google

Pixel 系列,計算攝影的新起點

2014年,Marc Levoy從斯坦福退休,進入Go o gle成為全職員工,並擔任了Goog le內部最具影響力的部門之一Google Research的領導人,主要負責研究計算攝影領域相關的事項。

在和Google X實驗室合作時,Levoy就意識到了HDR算法能應用在智能手機上,畢竟Google Glass和智能手機都是移動終端,便攜性是優勢

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图6

這樣,Levoy帶領團隊在Nexus系列上嘗試應用HDR算法,不過效果一直不算太突出,Nexus系列最後一款機型Nexus 6P,就算使用上Levoy團隊研發出的升級款HDR+算法, DxOMark分數也只有僅僅73分,和當時的主流旗艦還有一段距離。

直到Google CEO達爾・皮蔡(Sundar Pichai)在2016年提出由「移動為先」轉為「A I為先」的口號,Pixel系列正是在這樣環境下誕生的

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图7

這樣,Levoy帶領團隊在Nexus系列上嘗試應用HDR算法,不過效果一直不算太突出,Nexus系列最後一款機型Nexus 6P,就算使用上Levoy團隊研發出的升級款HDR+算法, DxOMark分數也只有僅僅73分,和當時的主流旗艦還有一段距離。

直到Google CEO達爾・皮蔡(Sundar Pichai)在2016年提出由「移動為先」轉為「A I為先」的口號,Pixel系列正是在這樣環境下誕生的

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图8

但Pixel 卻讓整個業界為之震驚,它超越了同期旗艦iPhone 7 Plus和三星S7登頂了DxOMark榜單。硬件幾乎沒有太大變化,但拍照能力卻獲得了質變,可見Levoy帶領團隊開發的HDR+算法是有多強。

2017年,Levoy又嘗試將自己在2011年左右開發的App SynthCam 的技術拓展應用在Pixel 2上,同樣是通過採集多張照片進行計算合成。不過,為了不出現之前Nexus系列上硬件拖後腿的現象,Pixel團隊特別為Pixel 2加入了一顆名為「Pixel Visual Core」的定製圖像處理單元,以加速圖像採集速度和計算速度。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图9

有了硬件支持,Levoy也更好發揮了,這次他在Pixel 2上加入了AI(神經網絡),用來判斷物體的相對位置,進而推出「人像模式」,實現人物主體清晰,人像後的背景卻逐漸模糊的效果。

不出意外,Pixel 2再次超越同期旗艦三星Galaxy Note 8和iPhone 8 Plus,登頂DxOMark榜首。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图10

兩次都是使用單攝,兩次都是硬件普通甚至算落後(同期旗艦都用上了雙攝),但Pixel 卻兩次登頂,超越所有的對手,這讓Levoy 成為業界炙手可熱的人物,甚至被稱為是重新發明了「計算攝影」。

計算攝影,改變了潮水的方向

Pixel系列的成功並沒有讓Levoy沉溺於其中,相反他又將目光轉向了攝影領域的另一座高峰——夜間攝影,在Pixel推出的同一年,Levoy在做極端低光條件下的拍攝實驗。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图11

要知道夜間攝影的光照條件可比不上白天,而且智能手機作為移動便攜設備,相機模組並不大,導致進光亮極少,不開閃光燈的話,想拍清楚是極難的一件事。

Levoy對計算攝影的強大信念讓他成功堅持了下來,正如他在極端極光拍攝實驗視頻中所說的:

我認為,當我們從硬件主導的攝影轉向軟件定義的計算攝影的新領域時,這個領域才剛剛開始令人興奮。

結果,現在我們都已經知道了, Levoy登上了夜間攝影這座山的山巔。2018年10月,G oo gle推出了Pixel 3,這款新機最大的亮點正是Levoy帶領團隊開發的Night Sight夜景模式,即使是在晚上手機也能拍出精細度、亮度極高的照片。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图12

▲Ni ght Sight效果樣張.圖片來自Go ogle

和以往一樣, Levoy的解決辦法還是老一套,採集圖片加合成計算,只不過和我們直覺相反的是,Night Sight夜景模式並非採集不同曝光度圖片或是採集明亮而模糊的照片進行合成計算,而是選擇捕捉大量昏暗而銳利的圖片,進行合成計算,最終輸出一張清晰的照片。

而在Pixel 4 上,Levoy 在攝影領域的突破是天文攝影。

Pixel系列,做到了以往硬件主導的攝影所做不到的事,無論是HDR+、人像模式,還是Night Sight夜景模式、天文攝影,無不是對以往的突破。由軟件定義的計算攝影,幾乎啟發了整個智能手機行業

蘋果、三星、華為等手機廠商在計算攝影上的投入越來越多,夜間模式幾乎成為了高端旗艦手機的標配,AI拍照加持從高端旗艦普及到中低端產品中,成為一個基礎宣傳點。

Marc Levoy ,改變了潮水的方向。

現在, Levoy 要為每台手機裝上一個「Pixel 相機」

計算攝影給整個智能手機行業帶來的好處是顯而易見的,對於相機硬件模組較為落後的機型來說,它們也能利用算法顯著提升拍攝質量。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」插图13

它為拍照所帶來的優勢甚至引發了一次Pixel 相機程序移植潮,我們在之前的報導中就提到過,開發團隊BSG 曾修改了Pixel 的相機應用程序,讓它能兼容其他Android 手機,並把修改版程序發佈到了XDA 論壇中,有不少用戶下載嘗試了。

在我們的實際測試中,利用修改版的Pixel相機程序拍出來的照片,暗部的亮點有較好的提升、過曝現像也有一定減少,但偶爾還是會出現偏色的情況,畢竟是修改版程序,有bug也能理解。

不過,現在這個問題可能要解決了,作為Pi xel系列相機軟件的主導者,Levoy在G oogl e工作了近6年後選擇了離職,而他的新工作正是Adobe公司的副總裁。

根據外媒Gizmodo的報導,Levoy在Adobe的主要工作除了繼續研究計算攝影外,還有研發一個能在不同平台、不同設備上使用的通用相機程序,此前Adobe在移動端推出的lightroom軟件就自帶相機應用程序。

基於Le voy在計算攝影的積累與多項成就,再加上Ad obe在圖片領域的長久積累,這款不限平台、不限設備的「Pixe l相機應用程序」還是很令人期待的。

而且現在中端手機的相機硬件素質相較幾年前已經獲得了較大的提升,209 9元起售的榮耀30S用上了6400萬像素主攝像頭,此外還有長焦、微距、超廣角3顆後置鏡頭,1599元的Redmi 10X也用上了4800萬主攝。

對於消費者來說,已經完成升級的硬件,再加這款通用型的「Pix el相機應用程序」,拍出好照片只會越來越容易。

只是,當計算攝影通過智能手機完成真正的普及之後,你還會相信眼見為實嗎?