AI 활용 특강02 문제 해결 / 만들고 싶었던 입력 장치

카메라 기반 가상 포인팅과 3차원 조작

카메라로 읽은 머리 방향을 화면의 점과 3차원 자세 조작에 쓰고 싶었습니다.

가상 포인트

3차원 자세

같은 머리 움직임에 맞춰 화면의 점이 이동하고 비행기가 회전합니다.
AI 활용 특강02 문제 해결 / 1. 문제의 설정

머리 자세의 로컬 좌표계

얼굴에 고정된 좌표축을 정하면, 고개가 어느 방향으로 얼마나 돌아갔는지 표현할 수 있습니다.

그림 2. 프로젝트의 공개 시험 사진과 해당 사진에서 추정한 좌표축. 목 부근의 원점은 기준 얼굴에 정한 점을 투영한 위치입니다.

얼굴과 함께 움직이는 기준

로컬 좌표계는 물체에 붙여 놓은 기준축입니다. 얼굴이 돌아가면 축도 함께 돌아갑니다. 카메라를 기준으로 이 축의 방향을 읽어 머리 자세를 계산합니다.

좌우 회전
고개를 왼쪽이나 오른쪽으로 돌리는 움직임입니다.
상하 회전
고개를 들거나 숙이는 움직임입니다.
기울임
고개를 한쪽 어깨 쪽으로 기울이는 움직임입니다.

이 프로젝트의 머리 포인터는 얼굴 정면축에서 읽은 좌우각과 상하각을 화면 위치에 연결합니다.

근거: av-pointer의 얼굴 자세 계산과 시험 결과 좌표계 설명02 / 12
AI 활용 특강02 문제 해결 / 1. 문제의 설정

머리 방향과 화면 위치의 보정

표적을 향한 머리 방향을 기록하면, 새로운 방향이 가리키는 화면 위치를 계산할 수 있습니다.

  1. 표적을 향한 머리 방향을 기록한다

    사용자가 화면의 표적을 향해 고개를 돌립니다. 앱은 좌우각과 상하각을 모읍니다.

  2. 방향과 위치의 대응 관계를 구한다

    9개 표적의 자료로 보정식을 만들고, 별도의 5개 표적에서 오차를 확인합니다.

  3. 새 방향을 가상 포인터로 표시한다

    보정식을 통과한 좌표를 화면에 표시합니다. 카메라 각도나 앉은 자리가 달라지면 다시 보정합니다.

1단계: 9개 표적에서 머리 방향을 기록

그림 3. 실제 앱의 보정 절차를 설명한 모식도. 표적 배치와 움직임은 설명용이며, 얼굴 방향으로 가리키는 과정을 나타냅니다.

머리 모드에서는 코가 표적 중심을 향하도록 움직입니다. 눈의 움직임을 읽는 시선 모드는 별도의 입력 방식입니다.

근거: av-pointer README의 머리 포인터 보정 절차 구현 근거03 / 12
AI 활용 특강02 문제 해결 / 2. 구현과 반복 해결

가상 포인터 구현에 필요한 지식

기본적인 공학적 소양에서 나온 착상을 실제로 구현하려면, 여러 분야의 전문 지식이 필요합니다.

표 1. 가상 포인팅 구현에서 만나는 지식과 판단
필요한 지식구현에서 다루는 내용결정해야 할 문제
수학과 기하3차원 좌표계, 회전 행렬, 영상으로의 투영, 보정식영상에서 얻은 방향을 화면의 어느 위치와 연결할 것인가?
카메라와 영상해상도, 좌우 반전, 픽셀 형식, 얼굴 기준점카메라가 움직임을 읽을 만큼 얼굴을 안정적으로 담는가?
프로그래밍카메라 입력, 얼굴 추적, 처리 작업의 연결, 포인터 제어얼굴 방향에서 화면 좌표를 계산하고 결과를 어떻게 보여 줄 것인가?
사용자 인터페이스시작과 중지, 보정 안내, 미리보기, 설정과 상태 표시사용자가 지금 상태를 이해하고 필요한 기능을 찾을 수 있는가?
AI 활용 특강02 문제 해결 / 2. 구현과 반복 해결

구현 과정에서 사용자와 AI의 역할

처음 맡긴 일

카메라에 잡힌 머리 방향을 읽어서 화면 위에 움직이는 점으로 보여 줘.

사용자가 정한 조작

머리 방향으로 화면을 가리킵니다. 먼저 가상 포인트를 보면서 이동 방향이 의도에 맞는지 판단합니다.

AI가 구체화한 구현

카메라 영상의 얼굴 점에서 머리 방향을 계산하고, 보정식으로 가리킬 화면 위치를 구합니다.

가상 포인트를 먼저 띄우면 어느 방향에서 빗나가고 언제 흔들리는지 확인할 수 있습니다.

발표자의 개발 경험을 바탕으로 풀어 쓴 요청과 역할05 / 12
AI 활용 특강02 문제 해결 / 2. 구현과 반복 해결

가상 포인팅의 안정성과 반응 속도

고개가 멈췄을 때는 점과 모델이 안정돼야 하고, 고개를 돌리면 둘 다 제때 따라와야 합니다.

가리킨 자리에 점이 머무는가?

같은 곳을 보는 동안 화면 좌표가 오르내리면 표적을 고르기 어렵습니다. 점이 퍼지는 범위를 살핍니다.

모델이 돌린 방향을 따라오는가?

추정한 머리 자세가 흔들리면 모델도 따라 흔들립니다. 고개를 움직일 때는 얼마나 늦게 뒤따라오는지도 봅니다.

3차원 자세와 화면 위의 점은 서로 다른 값입니다. 어느 값이 흔들리는지 확인하고 알맞은 위치에 필터를 적용합니다.

AI 활용 특강02 문제 해결 / 2. 구현과 반복 해결

자세와 화면 좌표의 안정화

필터는 연속된 측정값에서 흔들림을 줄입니다. 머리 포인터에서는 자세를 구하기 전과 화면 좌표를 구한 뒤에 쓰입니다.

  1. 카메라 영상얼굴을 촬영
  2. 기준점 안정화눈과 코 등
  3. 머리 자세얼굴의 축과 방향
  4. 화면 보정방향을 위치로
  5. 화면 좌표 필터가로와 세로
  6. 포인터 출력화면 위의 점

자세 계산에 쓰는 점부터 안정화한다

얼굴 추적 도구인 MediaPipe가 영상에서 찾은 기준점을 안정화합니다. 앱은 이 점들로 머리의 좌표축을 정합니다.

화면에 표시할 점을 다시 안정화한다

머리 방향을 화면 위치로 바꾼 뒤에는 화면 좌표에 남는 튐과 떨림을 줄입니다.

AI 활용 특강02 문제 해결 / 2. 구현과 반복 해결

자세 추정값의 흔들림

머리 자세는 영상에서 찾은 얼굴의 여러 점을 기준으로 계산합니다.

영상에서 찾은 점이 조금씩 움직인다

사람이 고개를 멈춰도 영상에서 찾은 눈과 코의 위치는 조금씩 달라질 수 있습니다. 그 점으로 구한 축의 방향도 따라서 변합니다.

여러 프레임의 점을 이어서 본다

얼굴 추적 도구가 기준점을 안정화하면, 앱은 덜 흔들리는 점으로 다음 머리 자세를 계산할 수 있습니다.

그림 4. 같은 가상 기준점의 위치를 안정화 전후로 비교한 설명 그림입니다.
AI 활용 특강02 문제 해결 / 2. 구현과 반복 해결

화면 포인터의 위치 필터

화면 좌표에 남는 떨림을 줄이기 위해, 보정식 뒤에서 별도의 필터를 적용합니다.

화면에 표시할 점을 안정화한다

머리 모드는 최근 세 좌표의 중앙값으로 한 프레임의 튐을 줄입니다. 이어서 선택한 화면 필터를 적용합니다.

노이즈 감소와 지연을 함께 본다

같은 머리 입력에 칼만과 One Euro를 적용했습니다. 정지할 때와 움직일 때의 차이를 살펴봅니다.

화면 좌표 필터는 점의 떨림과 반응 시간을 함께 보며 조정합니다.

보정 좌표칼만One Euro
0.02 s
그림 5. 저장된 머리 입력 246프레임의 가로 좌표 비교. 두 필터의 출력은 원본 기록을 그대로 재생합니다.
근거: head-screen-live-0.1.53.json, 당시의 한 번의 시험 기록 원자료와 해석09 / 12
AI 활용 특강02 문제 해결 / 3. 경험과 전문성

개발 경험과 요구사항 작성

경험이 쌓이면, 실행 중에 알게 된 조건을 다음 작업의 요구사항으로 미리 정리할 수 있습니다.

처음 다루는 분야의 작업

큰 목적을 제시하고 작은 기능부터 실행합니다. 예상하지 못한 문제가 나타나면 원인을 확인하고 요구를 보완합니다.

전문 도메인이 된 뒤의 작업

전문가는 입력과 출력, 제약 조건, 예외 처리, 시험 기준을 한 요청서에 체계적으로 담을 수 있습니다.

다음 요청서에 담을 수 있는 항목

목표와 입력
머리 방향으로 화면을 가리킨다. 사용할 카메라와 영상 조건을 정한다.
보정과 동작
보정 절차와 허용 오차, 시작과 중지 방법을 정한다.
사용 조건
카메라 위치와 앉는 자리를 정하고, 바뀌었을 때 다시 보정하는 방법을 안내한다.
완료 판단
정지할 때의 떨림과 움직일 때의 지연을 어떤 기준으로 확인할지 정한다.

전문가는 정교한 요청서로 AI가 더 견고한 시스템을 작성하도록 이끌고 결과를 판단합니다.

앞선 사례에서 도출한 다음 작업의 요구사항 예시10 / 12
AI 활용 특강02 문제 해결 / 4. 다른 분야로의 확장

공학 설계와 생산 현장의 응용

가상 포인팅은 카메라라는 외부 하드웨어를 다룬 사례입니다. 같은 문제 해결 방식은 여러 공학 분야로 확장됩니다.

표 5. 분야에 따라 달라지는 구현 대상과 판단 조건
분야AI가 지원할 수 있는 작업현장에서 확인할 조건
회로 설계와 제작요구 정리, 부품 자료 검토, 회로 계산, 시험 절차 작성전원과 부품 정격, 신호 품질, 제작한 회로의 동작
기계 부품 설계와 제작설계 대안 탐색, 형상 모델링, 가공 조건과 도면 검토하중, 재료, 치수와 공차, 제작 가능성
공장 시스템 설계공정 요구 정리, 제어 코드, 설비 문서, 운용 절차 작성설비 간 연결, 처리량, 예외 상황과 현장 운용

Autodesk Fusion은 제조 조건을 반영해 설계 대안을 탐색합니다. Siemens는 thyssenkrupp의 자동화 엔지니어링에 산업용 Copilot을 적용한 사례를 공개했습니다.

공개 사례: Autodesk, Siemens. 표는 분야별 활용과 확인 조건의 예시입니다.11 / 12
AI 활용 특강02 문제 해결 / 4. 다른 분야로의 확장

개인과 조직의 지식을 활용한 업무 설계

개인의 경험과 회사의 지식을 정리하면, AI가 참고할 요구사항과 판단 기준을 만들 수 있습니다. 이를 바탕으로 생활과 업무의 처리 방식을 바꾸고 반복 작업을 자동화합니다.

개인의 지식을 정리한다

작업 기록과 시행착오, 자주 쓰는 방법, 자신의 선호와 제약을 남깁니다. 다음에 비슷한 일이 생겼을 때 다시 설명할 수 있는 자료로 만듭니다.

가상 포인팅에서 얻은 보정 방법과 시험 기준도 이후 작업에 재사용할 수 있는 개인 지식입니다.

조직의 지식을 업무에 연결한다

설계 기준과 운용 절차, 과거 사례, 검토 기준을 구조화합니다. AI가 수행할 작업의 입력과 결과물, 담당자의 판단 지점을 구체적으로 정합니다.

조직은 반복 보고와 자료 정리, 설계 지원 등 실제 업무에서 적용 범위를 넓혀 갈 수 있습니다.

이 사례에서 보는 문제 해결

사람이 목적과 요지를 세우고, AI의 도움으로 필요한 전문 지식을 구현에 연결합니다. 실행 결과를 판단하며 경험을 쌓고, 그 경험을 다음 문제의 더 정교한 요구사항으로 만듭니다.