低照度画像強調
Retinex 理論に基づき、構造保持と高速処理を両立する低照度画像強調手法を研究しています。低照度環境下では精度が著しく低下する姿勢推定・骨格検出などの下流タスクへの橋渡しを目指しています。
背景
夜間や屋内などの低照度環境では、画像の階調が暗部に集中し、後段の姿勢推定・骨格検出・行動認識の精度が著しく低下します。MediaPipe や OpenPose をはじめとする現代の姿勢推定モデルも、十分な照度を前提として設計されており、低照度下では検出そのものが破綻することが知られています。
低照度画像の補正手法としては、画像を照明成分と反射成分に分離する Retinex 理論に基づく Single-Scale Retinex（SSR）・Multi-Scale Retinex（MSR）・LIME などが広く研究されてきました。しかし、これらの古典的手法には、
- ハロー（halo）現象やノイズ増幅
- 色ずれや過度な明部変化
- 計算コストの高さによるリアルタイム処理の困難
といった課題が残されています。さらに、低照度補正と姿勢推定など下流タスクとを結びつけた研究は、いまだ限定的です。
アプローチ
これらの課題に対し、照明推定カーネル自体を解析的に設計し直すことで、構造保持と高速処理の両立を目指しています。
XCR (eXponential-Cos Retinex)
複素指数関数と余弦関数から解析的に導出した新しい分離型カーネルを持つ Retinex 系手法です。中心ではなく外側にピークを持つカーネル形状により、照明成分を非局所的かつ滑らかに推定し、ハロー発生とノイズ増幅を抑えつつ画像の構造を保持します。さらに、
- 照明値に応じた適応的な反射成分増幅制御
- γ 補正による過度な明部変化の抑制
を組み合わせ、自然な見えを維持したまま暗部を強調します。実験では、SSR・MSR・LIME と比較して SSIM（構造類似度指数）が向上し、処理時間もより高速で、リアルタイム性能に優れることが示されました。
Fast Single-Scale Retinex (FSSR)
SSR を高速化し、低照度下でのリアルタイム骨格検出を実現することを目的とした手法です。RGB 画像から輝度成分（Y）のみを抽出して対数空間で照明と反射に分離し、照明推定には分離型ガウシアンフィルタを適用することで、計算量を O(N²) から O(2N) に削減します。最終的に得た輝度比を元の RGB 画像に乗算し、自然な色を保ったまま暗部を補正します。
1920×1080 ピクセルの実映像 955 フレームを用いた評価では、
- 平均処理時間: 4.72 ms / フレーム（従来の 2 次元ガウシアン畳み込み: 26.95 ms）→ 約 5.7 倍の高速化
- 平均処理速度: 約 8.43 FPS（120 秒の連続稼働でリアルタイム性能を維持）
- 補正前後の平均二乗誤差（MSE）: 472.73
を達成しました。この結果、補正前は検出が困難だった指先や関節のランドマークが、低照度下でも MediaPipe Hands により安定して検出されることを確認しています。
応用と今後の展開
キーワード
- Retinex
- Low-Light
- Image Enhancement
- Separable Gaussian
- Pose Estimation