はじめに

拡張現実（AR）は、現実世界にコンピュータ生成のオブジェクトや情報を重ね合わせる技術で、ポケモンGOのようなゲームや、インタラクティブなアプリケーションに活用されています。この記事では、PythonとOpenCVを使ってシンプルなARアプリケーションを構築する方法を解説します。具体的には、マーカー認識を通じて現実世界に仮想の3Dオブジェクトを重ね合わせるプロセスを紹介します。

OpenCVとは？

OpenCVは、コンピュータビジョンと画像処理のためのオープンソースライブラリで、リアルタイムの映像処理が得意です。Pythonからも簡単に扱えるため、ARアプリケーションの開発に適しています。

OpenCVのインストール

まず、OpenCVをPython環境にインストールします。

pip install opencv-python
pip install opencv-contrib-python  # 追加モジュールを含むバージョン

opencv-contrib-pythonは、ARアプリケーションに必要なマーカー認識機能を含んでいるため、こちらもインストールします。

拡張現実アプリケーションの仕組み

ARアプリケーションは、以下の主要なステップで構築されます。

  1. カメラ映像の取得: カメラからリアルタイムの映像を取得します。
  2. マーカーの認識: 現実世界の特定のパターン（マーカー）を検出し、座標や位置情報を取得します。
  3. 3Dオブジェクトの重ね合わせ: 仮想のオブジェクトをマーカーの位置に基づいて現実世界に重ね合わせます。 次に、この流れに沿ってPythonコードを作成していきます。

Step 1: カメラ映像の取得

まずは、OpenCVを使ってカメラから映像を取得し、リアルタイムで表示します。

import cv2
# カメラ映像の取得
cap = cv2.VideoCapture(0)  # 0はデフォルトのカメラ
while True:
    # フレームをキャプチャ
    ret, frame = cap.read()
    
    if not ret:
        break
    # 映像を表示
    cv2.imshow('AR Application', frame)
    # 'q'キーを押すと終了
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
# カメラ解放とウィンドウを閉じる
cap.release()
cv2.destroyAllWindows()

コードの解説

  • VideoCapture(0): デフォルトのカメラから映像をキャプチャします。
  • imshow(): フレームをウィンドウに表示します。waitKey(1)で1ミリ秒ごとにキー入力をチェックし、‘q’キーが押されたらループを終了します。

Step 2: マーカーの認識

次に、ARアプリケーションの基本要素である「マーカー」を認識するステップです。ここでは、ArUcoマーカーという専用のマーカーを使ってマーカー検出を行います。ArUcoマーカーは、OpenCVの拡張モジュールに含まれており、QRコードのような二次元パターンを認識するのに適しています。

ArUcoマーカーの生成

まず、ArUcoマーカーを生成します。ArUcoマーカーは、以下のような白黒のパターンで、カメラ映像から簡単に認識できます。

import cv2
import cv2.aruco as aruco
# ArUco辞書を作成（4x4のマーカー）
aruco_dict = aruco.Dictionary_get(aruco.DICT_4X4_50)
# マーカーの生成と保存
for i in range(5):
    marker = aruco.drawMarker(aruco_dict, i, 200)
    cv2.imwrite(f'marker_{i}.png', marker)

ArUcoマーカーの認識

次に、カメラ映像からマーカーを認識するコードを作成します。

import numpy as np
# カメラ映像の取得
cap = cv2.VideoCapture(0)
# ArUco辞書の読み込み
aruco_dict = aruco.Dictionary_get(aruco.DICT_4X4_50)
parameters = aruco.DetectorParameters_create()
while True:
    ret, frame = cap.read()
    if not ret:
        break
    # グレースケールに変換
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    # マーカーの検出
    corners, ids, rejected = aruco.detectMarkers(gray, aruco_dict, parameters=parameters)
    # マーカーが検出された場合、表示
    if ids is not None:
        aruco.drawDetectedMarkers(frame, corners, ids)
    # 映像を表示
    cv2.imshow('AR Application', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

コードの解説

  • aruco.detectMarkers(): フレームからArUcoマーカーを検出します。
  • drawDetectedMarkers(): 検出されたマーカーの周囲に四角形を描き、IDを表示します。

Step 3: 3Dオブジェクトの重ね合わせ

最後に、マーカーの位置情報を使って仮想の3Dオブジェクトをカメラ映像に重ねます。ここでは、マーカーの座標を使って、単純な3D軸を描画します。

# カメラキャリブレーションのパラメータ（仮の値、実際にはカメラのキャリブレーションが必要）
camera_matrix = np.array([[800, 0, 320], [0, 800, 240], [0, 0, 1]])
dist_coeffs = np.zeros((4, 1))  # 歪み係数は0として簡略化
while True:
    ret, frame = cap.read()
    if not ret:
        break
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    corners, ids, _ = aruco.detectMarkers(gray, aruco_dict, parameters=parameters)
    if ids is not None:
        rvecs, tvecs, _ = aruco.estimatePoseSingleMarkers(corners, 0.05, camera_matrix, dist_coeffs)
        
        # 各マーカーに対して3D軸を描画
        for rvec
, tvec in zip(rvecs, tvecs):
            aruco.drawAxis(frame, camera_matrix, dist_coeffs, rvec, tvec, 0.1)
    cv2.imshow('AR Application', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

コードの解説

  • aruco.estimatePoseSingleMarkers(): マーカーの回転ベクトル（rvecs）と平行移動ベクトル（tvecs）を計算します。これらを使って3D空間でのマーカーの位置と向きを取得します。
  • drawAxis(): マーカー上に3Dの軸（X、Y、Z軸）を描画します。

まとめ

この記事では、PythonとOpenCVを使って、基本的な拡張現実（AR）アプリケーションを構築する方法を解説しました。カメラ映像の取得から、マーカー認識、3Dオブジェクトの重ね合わせまでの一連のプロセスを学びました。実際のプロジェクトでは、カメラキャリブレーションやより複雑な3Dモデルの描画を行うことで、さらに高度なAR体験を構築できます。 この手法を活用して、インタラクティブなARアプリケーションやゲームなど、さまざまな応用にチャレンジしてみてください。

参照:

OpenCV公式ドキュメント