0
| 本文作者： 7Tens | 2016-07-15 19:03 |
雷鋒網(wǎng)按：本文作者7Tens，微信公眾號：ICshare發(fā)起人。
高端智能手機的亮點越來越少，雷兔兔跑分已經無法表現(xiàn)手機的優(yōu)勢。于是更霸氣的雙攝像頭閃亮登場了。這里說到的雙攝像頭，并非是像以前的智能手機，前后各一個攝像頭，而是一共用兩顆后攝像頭，模擬人的一雙眼睛，來實現(xiàn)更多的拍照功能和更好的拍照效果。
一般來講，目前的智能手機的攝像頭接口都是MIPI（Mobile Industry Processor Interface）接口。之前手機平臺都只有2路MIPI接口，分別給前攝像頭和后攝像頭。做雙攝像頭，就要求平臺至少支持三路MIPI接口。其實在之前的高端平臺上，為了實現(xiàn)更高像素，已經用雙路ISP（Image Signal Processing，圖像信號處理器）了，比如為了支持16M的攝像頭，會用2路8M能力的ISP。這類平臺很有可能只有2路MIPI，但這個無法阻止工程師去做前單攝像頭+后雙攝像頭。
那問題來了，雙攝像頭到底能做什么？
人眼很容易對一個物體的距離進行定位，但當人閉上其中一個眼睛后，定位能力就會下降很多。雙攝像頭就是模擬人眼的應用。簡單的說，測距離的話，就是通過算法算出，被拍攝物體與左/右攝像頭的角度θ1和θ2，再加上固定的y值（即兩個攝像頭的中心距），就非常容易算出z值（即物體到Camera的距離）。
不過這也很容易推算，若兩個攝像頭中心距過小的話，可計算的物體距離就會很近。若想算出更遠距離，就必須讓左右攝像頭的距離拉遠。
如上圖，由于雙攝像頭通過算法，可以判斷被攝物體的距離，所以通過此特性，很容易做出一些特效，如：
A、背景虛化
單反相機最出眾的特色之一就是大光圈。由于雙攝像頭可以測出不同被拍攝物體的距離，對需要進行大光圈的物體對準，其他不同距離的物體虛化，可以輕松實現(xiàn)大光圈的效果。
（原圖）
（以美女為中心對焦，虛化背景和手上的蘑菇）
（以蘑菇為中心對焦，虛化背景和美女）
B、背景替換
由于可以測量距離，可以將被拍攝物體里的主體提取出來，更換背景，就可以比PS還簡單，進行摳圖。
C、背景特效
由于可以測量距離，分出主題和背景，所以很容易對背景做任何處理，就不在這里過多描述。
D、測量距離
這個圖就非常明顯的標識出不同物體的距離，這個距離信息用不同顏色標識出來。當AP獲得了不同物體的距離信息，就可以做到上述的各種功能。
光學變焦主要是左右攝像頭使用不同的FOV（可視角），這樣兩個攝像頭取景不同。當用戶需要廣角照片，則用視角為85度的左攝像頭取景，獲得廣角效果。當用戶需要長焦照片，則用視角為45度的右攝像頭取景，獲得長焦效果。
為了使左右攝像頭拍攝的物體重疊度高，光學變焦的雙攝像頭模組不能像做距離應用的攝像頭的模組那樣距離過大，而是需要將左右攝像頭擺得越近越好。
若兩個Camera的FOV不一樣，一個大FOV，一個小FOV，再通過算法實現(xiàn)兩個光學鏡頭之間的效果，就可以輕松做到光學變焦。
若不用雙攝像頭，放大圖片后，文字不清楚
若使用雙攝像頭，放大圖片后，文字依然清楚
此圖就是融合了廣角的圖和長焦的圖，通過算法算出了中間態(tài)度照片，讓細節(jié)不失真
一般來講，做暗光增強就是在兩個攝像頭中：一個用RGBG的標準攝像頭，一個用去掉RGBG濾波片的黑白攝像頭。RGBG用來獲得物體的色彩，而黑白攝像頭用來獲得更好的進光量，來判斷被拍物體的光強強度。然后將兩個圖片融合即可獲得更好的暗光增強。
目前有兩種融合方法：
以黑白圖片為主體，將彩色圖片上獲取的每個像素的顏色貼至黑白圖片上，將兩種圖片融合。
以彩色圖片為主體，將黑白圖片上獲取的每個圖像的光強補償?shù)讲噬掌?，將兩種圖片融合。
至于哪種方式更合適做融合，可能仁者見仁智者見智，就不在這展開討論了。
同樣，做暗光增強，為了讓左右攝像頭拍攝的物體重疊度高，此類雙攝像頭模組也是要求越近越好。
需要說明的事，華為P9其實選用的就是這個方式的模組
當然有些業(yè)內人士也表示這種算法目前做的效果并不明顯。暗光補償對用戶來說的確很有幫助，尤其拍夜景的時候。不過有些客戶認為索尼和三星的Dual PD技術就非常好，更愿意用Dual PD攝像頭來做暗光補償。
到底是雙攝像頭還是Dual PD的暗光補償效果好，大家可以比較一下華為P9和三星的Galaxy S7 edge，就會有答案了。
這個一般使用彩色+黑白的攝像頭。通過黑白攝像頭獲取圖片的光亮強度，來對圖片暗光補償。
3D拍攝和3D建模的算法其實跟距離應用有點類似，只是它的精度要求更高，甚至有時會需要用紅外測距進行更準確的距離判斷。
提到雙攝像頭的算法，不得不提到ISP（Image Signal Processing 圖像信號處理器），ISP主要作用是對前端圖像傳感器輸出的信號做后期處理，主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等，依賴于ISP才能在不同的光學條件下都能較好的還原現(xiàn)場細節(jié)，ISP技術在很大程度上決定了手機的成像質量。
功能機時代，ISP都是做在攝像頭上的，不同像素的攝像頭搭配不同性能的ISP。隨著手機攝像頭像素越來越高，對ISP性能的要求越來越高，若將ISP集成到攝像頭Sensor上，勢必造成攝像頭的模組過大，甚至影響拍照效果。所以智能機時代，ISP一般都是在主芯片SoC上。部分品牌客戶為了實現(xiàn)更好的效果，甚至不惜成本的外加一顆ISP用來達到更好更專業(yè)的拍照效果。
好的拍照算法就需要搭配好的ISP，ISP和算法相輔相成，缺一不可。而雙攝像頭對ISP性能要求更多。首先，為了使左右攝像頭的信號能夠同時被處理，單一的ISP已經無法滿足雙攝像頭的需求。這就需要雙路ISP實現(xiàn)此功能。
以暗光增強為例，彩色/黑白圖像分別進入各自的ISP通道和校準通道，然后將兩副圖片做匹配（如將兩幅圖片相同的部分提取出來，去除只有一個攝像頭拍到的部分），然后通過遮擋，檢測，補償?shù)人惴ㄌ幚硐嚓P的圖片。最后將兩幅圖片融合起來，實現(xiàn)顏色的增強。當然實際上ISP配合算法做的事情，遠遠比這圖片上寫的要多。
當然，在這里面也有一個小小的插曲。畢竟是兩個ISP，兩個ISP多少有一些處理速度、處理能力不同的問題。為了保證兩個ISP能在同一時間上取樣，就需要雙攝像頭拍出來的圖片是同一時間拍出來的。其中一個解決辦法就是讓Sensor有一個同步信號引腳。將兩個攝像頭的同步信號對接，在每次讀取圖片時，將圖片都打上一個時間戳，ISP通過時間戳，保證左右攝像頭拍出來的照片在同一時間拍攝，最終再進行融合。
不同于一般的3D電影的拍攝。手機上的兩個攝像頭無法在圖像的拍攝過程中就產生足夠的視覺差，這是由于兩個攝像頭中間的距離和人眼不一樣。而且為了能夠讓人們更明顯地得到3D視覺效果。所以往往需要算法進行增強。
由于可以測出距離，后續(xù)的雙攝像頭不僅僅可以實現(xiàn)3D攝影，還可以進行3D建模，到這個時候，我想雙攝像頭的重要性則會更加重要。
其他的效果增強，比如HDR、提高分辨率，這些功能其實單攝像頭也可以實現(xiàn)，只是雙攝像頭可以讓效果更好，就不一一列舉了。
目前來看，這幾個功能是雙攝像頭手機最常見的功能。背景虛化/更換，暗光效果給用戶帶來了更多的拍照效果；光學變焦則讓我們感受了變焦功能的相機功能；但個人覺得未來最讓人激動的則是3D功能。
今年VR這么火，VR的素材哪里來？還是得靠雙攝像頭算法的優(yōu)化。若3D拍照和建模的算法成熟后，將會讓雙攝像頭變得更加流行。
前文我們講了雙攝像頭的應用及其原理?，F(xiàn)在我們就重點來說說雙攝像頭的產業(yè)鏈。
由于算法是需要跟ISP配合的，所以算法和ISP是相輔相成的，想把算法做好，也得有好的ISP。
作為主平臺供應商，高通/聯(lián)發(fā)科都有自己的ISP，所以也自己開發(fā)了雙攝像頭算法。至于其算法好壞，還有待市場的檢驗。
而作為Sensor供應商，Sony、Samsung、OV也在積極開發(fā)雙攝算法，暫時也沒有看到量產的產品。不過在功能機時代，是沒有ISP的。這些Camera sensor的供應商做2M/5M的時候，都得搭配自家的ISP，所以這些供應商都是有自己開發(fā)ISP的經驗。所以開發(fā)雙攝像頭算法，相對來說也是有相關的經驗的。
Apple去年收購了Linx，也擁有了多攝像頭的專利和算法，是否會用在自家的雙攝像頭機型，那就看今年的iPhone7。理論來上說，Linx有足夠多的算法，所以Apple不至于跟某大廠去買雙攝像頭的IP授權。
除了這些平臺，sensor供應商和智能機的品牌商會自己開發(fā)雙攝像頭算法外，其他供應商我們一一列舉一下：
1996年成立于臺灣的華晶，主要開發(fā)獨立的ISP芯片。部分高端手機、相機和車載都有用其ISP的案例。雙攝像頭手機也有用其ISP的。距離應用、光學變焦和暗光補償都有所建樹。
一家以色列的公司。其算法的優(yōu)勢主要在光學變焦和暗光補償上。景深方面，也有一定的研究。從媒體宣傳來看，hTC有機型采用了其算法。
虹軟成立于1994年，總部在美國，在上海，杭州和南京都有技術中心。虹軟的強項是光學變焦和暗光補償。上一篇里的第二個光學變焦圖和暗光補充的圖就來自虹軟。
上海興芯微是一家成立于2011年的公司，主要從事圖像處理器的研發(fā)，目前產品主要應用在車載市場。做為為數(shù)不多的研發(fā)獨立ISP的公司，目前也在開發(fā)雙攝像頭的算法和ISP。在雙攝像頭市場起來后，X-Chip將會是一匹非常有潛力的黑馬。
雙攝像頭也是剛剛出來， 所以算法方面，各家都有各自的優(yōu)點和缺點。不過從目前已經推出的雙攝像頭手機效果來看，各家的算法還有待提高。等各種算法能力上去后，勢必會讓雙攝像頭成為手機的標配。
由于雙攝像頭在拍照的時候，需要兩個攝像頭同步時間戳，這就需要Camera Sensor有同步信號。目前有此同步信號的sensor供應商有Sony、Samsung、OV、格科微。所以雙攝像頭的Sensor主要用這幾家的產品。
目前能做雙攝像頭的模組廠很多，有光寶、舜宇、信利、Namuga、O-Film、三星機電、丘鈦。不過有量產經驗的主要是光寶、舜宇和信利。華為的機型主要是用光寶和舜宇的模組。而O-Film和三星機電憑借其強大的工廠能力，現(xiàn)在也大舉進軍雙攝像頭模組領域。Namuga則是跟各算法公司保持良好的溝通關系，并為三星手機的供應商，也逐漸在雙攝像頭模組領域發(fā)力。
不過不同功能對模組要求不一樣。我們繼續(xù)拿上文說的四個功能為例：
距離方面的應用，一般的做法，就是大小攝像頭，常見的攝像頭規(guī)格如13M+2M，13M+5M。如下圖：
或者就是把兩個攝像頭放得遠一些，如下圖：
通過這兩種方式，才能更好的計算被拍攝物體到鏡頭的距離。
光學變焦的雙攝像頭模組，最主要是兩個攝像頭需要有不同的FOV，類似下圖：
不同的FOV，拍出來的聚焦點不同，再通過算法，就可以實現(xiàn)光學變焦功能。
一般的暗光增強，都是通過一個RGB全彩色的攝像頭+一顆MONO黑白的攝像頭進行拍攝，如下圖：
算法方面，主要是通過右面的黑白攝像頭讀取進光量的多少，從而補償左邊RGB攝像頭的色彩。
3D拍攝和建模，這種方式跟距離相關的模組有點類似。只是3D對距離的精準度要求更高。這種情況下，更需要將兩個攝像頭的距離擺得遠一點，甚至有些會采用外加紅外輔助定位來實現(xiàn)距離測量，最終實現(xiàn)3D拍攝和建模的作用。
雙攝像頭模組制作的難點：
雙攝像頭的做法，一般有兩種：共基板，或者共支架。如下圖：
若共基板，則是將兩個Camera Sensor共同放在同一個基板上，然后一個FPC從此基板上引出來即可。若共支架，如上圖，通過支架將Sensor固定住，每個Sensor有自己的基板和自己的FPC。
共基板的優(yōu)點：兩個Sensor可以坐在同一個平板上，而且抗跌落。
共基板的缺點：良率低，造成價格昂貴。
共支架的優(yōu)點：良率高，價格較好。
共支架的缺點：因為是兩顆獨立Sensor模組，需要通過AA校準使其在同一個平面上，難度大，抗摔落也差。
總之兩種方法各有優(yōu)缺點，目前只有華為采用的是共基板的方式。但無論哪種方式，目前良率都是較差的，所以成本還是很高的。
若算法提高，模組良率提高，雙攝像頭還是有很多優(yōu)勢值得大家去做的。
不過由于不同功能對模組擺放要求不同，雙攝像頭目前來看，有可能完全無法滿足大家對攝像頭的要求。
由于谷歌推出Project Tango的時候，很聰明地提出了一個三攝像頭的概念：當需要測距和3D建模的時候，可以用兩個距離遠的攝像頭；若做光學變焦和暗光補償，可以用兩個距離近的鏡頭。甚至此Depth Sense可以結合紅外，更準確的測量距離。
無論如何，隨著雙攝像頭算法的演進，VR需求的增加，攝像頭發(fā)揮的作用越來越大。雙攝像頭，甚至前雙攝像頭+后三攝像頭的手機，明后年很有可能變得越來越常見。
雷峰網(wǎng)原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
