這項照相技術能讓 Android 成爲攝影之選

別再為你的相片嘗試數不清的濾鏡,只爲了找到合適的 Instagram 效果:GoogleMIT 想要將這個功能整合到取景器上。

搜索巨頭 Google 以及 MIT 的科研人員正合作研究一項能夠自動實時修改相片的系統,讓你在按下快門之前就能夠就能預覽到接近職業攝影師水準的效果。這是最新的機器學習成果,不僅僅可以用來處理日常任務,還能夠將我們的實時任務通過雲端進行處理。

此次合作的目標是去除調整相片的處理過程。現在已經有很多濾鏡可以用來提升智能手機相機的直出相片效果,但這個過程通常都在拍照之後。與此同時,雖然自動濾鏡存在——就像 Prisma 那樣——他們要麽是依靠雲端運算,要麽是通過本地系統運算,這兩者都不是很迅速。「事實上 Pirsma 的處理速度真的還蠻慢的」。

這個新系統可以解決這些缺點。這一系統的基礎是經過精心調校的機器學習人工智能,用 5,000 張樣本相片來進行學習,其中不管是 Raw 直出相片還是修改后的版本都經專業攝影師之手。「它非常節能,而且是在本地而非雲端運行的」,MIT 的研究人員表示,「並且它還非常快,快到可以實時在屏幕上顯示,這樣攝影者就可以在取景地同時,直觀的看到拍攝出來的成果」。

這已經是 Gharbi 和他的 MIT 同事研發的第二代系統了。第一代系統,整個運算過程要通過雲端,手機會向雲端發送一張低分辨率的相片,然後雲端會完成運算。這就會需要將處理好的相片發送到手機上,然後再應用到原始的,高分辨率相片上。




Gharbi 表示當時這項研究引起了 Google 的注意,雖然這個系統可以在雲端運行,但 Google 想要它能夠在手機上完成運算。這兩個團隊最終開始了新系統的合作研發,主要目的就是去掉雲端數據返回到手機的緩慢過程。多虧有機器學習以及對比樣本,新系統可以不需要用掉太多的電池電量。

第一代中最有效的方式得到保留。機器學習的工作還是在低分辨率上的相片上處理——或者是相機取景器中的畫面都可以——它會被分解為一個 16*16*8 的三位網格。每個 16*16 的圖層與像素點位置相對應;八個圖層中的每一層都對應相應的像素亮度。依照每組網格的具體情況對直出相片的色彩進行調整。

「簡單說,每個像素的色彩調整是根據一個個正方體的具體信息,在相片中的權重來確定的」,MIT 的研究人員解釋道,「在三維網格中也存在類似的權重關係,這與像素亮度有關」。

最終的結果是對原始相片的修改方案。利用不同的攝影師作品進行不同的機器學習訓練,這樣系統就能模仿不同攝影師的修改方案。Goolge 還用他們最新的 High-dynamic range「HDR」系統來進行訓練,並發現「新系統的處理結果對比起之前的算法處理結果基本上看不出區別,並且只需要 1/10 的時間」。

這項技術已經快到可以在取景器中實時顯示且沒有延遲,同時也不會使用太多處理器資源來消耗太多電量。現在還不清楚什麽時候——或者是否——這項技術會出現在 Android 的相機應用上,但可以肯定的是利用電腦運算的拍照技術會是移動設備上的下一個主戰場。早些時候,有消息稱 Apple 正在研發在 iOS 11 上運行的新相機系統,它可以快速識別場景並立即對畫面做出調整。