[Vision AI] 行車記錄器車道壓線違規檢測與超解析度車牌辨識：6階段全鏈路管線與即時性約束 (#1)

📌 核心要點 (Key Takeaways)

• 問題痛點：低解析度行車記錄器畫面普遍存在車身顛簸、逆光高光、運動模糊以及 H.264 編碼失真，使得直接進行車牌文字辨識和車道壓線判定極易發生誤判漏檢。
• 解決方案：設計高度解耦的 6 階段分層電腦視覺架構：Canny/Hough 動態車道線擬合 -> YOLOv3 車輛粗檢 -> 多邊形 IoU 壓線判定 -> YOLOv5 車牌局部精檢 -> EDSR_x4 深度超解析度重建 -> EasyOCR 時序多數表決集成。
• 落地成效：建置了一套純 Python 實作的高吞吐端到端管線，在嚴重劣化的行車記錄器實拍視訊下實作了高強健性的車輛追蹤與車道侵入監控。

---

1. 專案研發背景：為何車載行車視覺極具挑戰？

在智慧交通系統 (ITS) 與自動化交通執法場景中，即時車道線侵入檢測與車牌自動辨識 (ANPR) 是核心支柱能力。然而，在真實高速公路與城市道路環境中，行車記錄器實拍視訊面臨著嚴峻的光學與算力挑戰：

1. 極端低解析度與紋理模糊：在前車或超車車輛中，遠距離車牌在整個 640x480 解析度畫面中往往僅佔據 30x15 至 50x25 像素，字元筆畫粘連嚴重。
2. 車身震動與捲簾快門畸變：路面坑洞顛簸、車輛急加速/急減速引發的角度劇烈擺動會導致原本筆直的車道線嚴重扭曲。
3. 即時計算延遲瓶頸：在車載邊緣端逐幀執行龐大的全圖大模型會導致幀率驟降，無法滿足即時視訊串流處理要求。

---

2. 6 階段分層管線架構設計

為了兼顧高召回率與即時高吞吐，我們將系統劃分為模組化的 6 階段分工體系：

flowchart TD
    Raw["原始行車記錄器幀 640x480"] --> L1["第1階段：Canny + 霍夫變換動態車道線提取"]
    Raw --> L2["第2階段：YOLOv3-tiny 車輛主體快速粗檢"]
    L1 & L2 --> L3["第3階段：車輛接地接觸面與車道多邊形 IoU 侵入判定"]
    L3 -- 觸發壓線侵入 --> L4["第4階段：車輛 ROI 局部微調 YOLOv5 車牌定位"]
    L4 --> L5["第5階段：EDSR_x4 深度神經網路 4倍超解析度重建"]
    L5 --> L6["第6階段：EasyOCR + 字元正則校驗 + 時序滑動多數表決"]
    L6 --> Result["最終確信違規車牌：64가1511"]

各階段核心職責解耦

1. 車道提取：基於消失點的梯形動態 ROI 遮罩、Canny 算子與斜率幾何約束，快速隔離出行車走廊邊界。
2. 車輛檢測：輕量級 YOLOv3-tiny 毫秒級輸出畫面內所有候選車輛的外接矩形框。
3. 壓線判定：計算車輛輪胎接地接觸面（底部 30% 區域）與車道邊界多边形之間的幾何交並比（IoU > 0.05）。
4. 車牌定位：微調版 YOLOv5 (lp_det.pt) 僅在發生侵入的車輛局部 ROI 區域內進行推論，大幅縮減無效搜尋面積。
5. 超解析度：將裁剪出的低解析度微小車牌送入 EDSR_x4 深度殘差模型，4 倍高清重建字元邊緣細節。
6. OCR 與表決：EasyOCR 提取字元候選，結合韓國法定車牌語法正則進行初篩，並在 7 幀時間視窗內發起多數表決鎖定最終結果。

---

3. 核心全域工程參數配置 (CONFIG)

CONFIG = {
    "output_width": 640,
    "output_height": 480,
    "conf_threshold_vehicle": 0.5,
    "nms_threshold_vehicle": 0.4,
    "min_vehicle_w": 70,
    "min_vehicle_h": 70,
    "lane_iou_threshold": 0.05,
    "detection_interval": 15,
    "min_plate_area_for_ocr": 1200,
    "plate_history_size": 7,
    "plate_confirm_threshold": 3,
    "sr_model": "EDSR_x4.pb",
    "yolo_plate_model": "lp_det.pt"
}

---

4. 下篇預告

在接下來的第 2 篇中，我們將深入解析 Canny 邊緣提取演算法、機率霍夫變換數學原理 (HoughLinesP)、斜率幾何異常值剔除 以及核心的幾何多邊形車道侵入判定規則。