如今智能攝像機的組成及其硬件技術已然相對穩定和完善，要最終實現智能攝像機的監控任務和智能技術還必須要軟件功能的密切配合，高效率的視頻編解碼技術及其高效的計算機視覺算法是智能攝像機的核心技術，為攝像機實現智能分析任務提供了重要的技術保障。從視頻采集到智能結果結構化輸出主要包含：運動目標提取、運動目標跟蹤、運動目標歸類和運動目標行為分析及其結構化描述等步驟，下面就一一介紹。

1.運動目標提取

運動目標提取是智能分析的準備工作，根據這個工作攝像機能夠從圖像序列中將變化區域從背景區域中提取出來，運動目標的高效提取將大大減少后續過程的運算量，對于后期的目標識別和行為分析具有重要意義，當前比較主流的方式有背景減除法、時間差分法和光流法，最經典的全局光流場計算方法是L-K (Lueas&Kanada)法和H-S(Hom&Schunck)法。

2.運動目標跟蹤

運動目標的追蹤，即根據目標的高效表現，在圖像序列中找到與目標模板最相似候選目標區位置的過程。簡單說，就是在序列圖像中為目標定位。運動目標的高效表現除了對運動目標建模外，目標跟蹤中常用到的目標特性表現主要包含：視覺特征(圖像邊緣、輪廓、外形、紋理、區域)、統計特征(直方圖、各種矩特征)、變換系數特征(傅里葉描繪子、自回歸模型)、代數特征(圖像矩陣的奇異值分解)等。除了采用單一特征外，也可根據融合多個特征來提升追蹤的可靠性，當前主流的方式有：根據區域匹配追蹤算法、根據輪廓匹配追蹤算法、根據特征匹配追蹤算法。

3.運動目標歸類

運動目標歸類，顧名思義，從檢測到的運動區域中將特定類型的物體提取出來，比如歸類場景中的人、車輛、人群等不同的目標。當前比較主流的方式有根據運動特性的歸類和根據外形信息的分類。

4.運動目標行為分析

行為分析是智能攝像機的重要目標之一，也是視頻監控在維護公共安全中的重點難點問題。行為分析涉及計算機視覺、模式識別、人工智能等多個領域。它是在對視頻圖像序列進行低級處理的基礎上，根據分析處理監控場景的圖像、視頻，獲取監控場景的信息或場景中運動目標的信息，進一步研究圖像中各目標的性質及其相互之間的聯系，從而得出對客觀場景的解釋和高層次的語義描述，經常借助于神經網絡和決策樹來進行行為分析。