深入淺出Camera技術原理與架構分析

Camera攝像頭是我們生活當中極其常見的產品了，遍布生活方方面面，也與我們自身息息相關, 以下是一些常見不同種類的攝像頭:

雖然攝像頭種類繁多，但其主要架構與成像原理是相通的，硬件架構如下所示, 決定其整體質量的就是鏡頭, 圖像處理芯片,傳感器三大組件:

1). 外界物體通過鏡頭生成的光學圖像投射到圖像傳感器(Sensor);

2). 圖像傳感器(Sensor)將光信息轉為變為數字圖像電信號;

3). 上一步的信號送到DSP芯片進行計算，并轉換為主流標準的RGB/YUV圖像格式;

4). 接下來通過數據線或其它通道傳入CPU，并生成文件用于展示, 此時人就看到了圖像;

基于以上基礎原理，再繼續分析其核心框架:

上面架構圖中主要涉及到了MIPI，CSI，ISP等幾個核心概念，下面進行逐一介紹

1. MIPI

由國際MIPI聯盟為移動應用處理器制定的開放標準移動產業處理器接口(Mobile Industry Processorinterface)。

MIPI聯盟即移動產業處理器接口（MIPI）聯盟，由美國德州儀器（TI）、 意法半導體（ST）、 英國ARM和芬蘭諾基亞（Nokia）4家公司共同成立，旨在定義并推廣用于移動應用處理器接口的開放標準。

2. CSI

主機處理器與攝像頭模塊之間的高速串行接口;專門針對攝像頭芯片的接口而設計, 有速率高，低功耗的特點, 極大的支持了高清攝像頭領域的發展。

CSI層級定義如下:

1). 應用層（Application Layer）

該層主要用于不同場景對數據的處理過程，對于發送方，多為camera生成數據，對于接收方，多為SOC對數據進行處理。

2). 協議層（Protocol Layer）

CSI-2協議可以使用SOC上的一個物理接口實現多條數據流的傳輸。協議層規定了如何對多條數據流進行標記和交織，從而使每條數據流能夠正確地重建。

(1).像素字節轉換層（Pixel/Byte Packing/Unpacking Layer）

CSI-2能夠支持多種多樣的像素格式，對于發送方，在數據發送之前，需要根據像素格式，將像素數據轉換為對應的字節流；對于接收方，在將數據提供給應用層之前，需要將字節流數據轉換為像素數據。

(2).低級協議層（Low Level Protocol）

LLP指的是SoT與EoT之間的數據包字節流協議，LLP的最小單元為字節。

(3).Lane管理器（Lane Management）

為了適應不同場景下對帶寬的要求，CSI-2規定了Lane的數量是可拓展的。因此，在面臨多Lane同時傳輸時，發送方需要對字節流進行公平分流（distributor），接收方則需要對多Lane數據進行合并（merger）。

3).物理層（PHY Layer）

PHY層指定了傳輸媒介，在電氣層面從串行bit流中捕捉“0”與“1”，同時生成SoT與EoT等信號。CSI的硬件部分包括C-PHY、D-PHY，實際上使用的主要是D-PHY。

2. ISP

ISP(Image Signal Processor)即圖像信號處理器，用于處理圖像信號傳感器輸出的圖像信號。

它在相機系統中占有核心主導的地位，是構成相機的重要設備。ISP 通過一系列數字圖像處理算法完成對數字圖像的效果處理。

小優智能科技采用了領先的攝像頭硬件與算法處理技術，在3D視覺與建模領域深耕多年，并取得了重要且具有較大影響力的技術專利與研究成果。

注：圖片來源包圖網、知乎。