← 교안으로 돌아가기

그림과 구현 근거

교안의 사례는 발표자가 설명한 av-pointer 개발 경험을 바탕으로 구성했습니다. 프로젝트의 현재 README와 소스 설명, 변경 기록, 저장된 시험 자료를 대조했습니다. 자료를 확인한 날짜는 2026년 11월 17일입니다.

원본 프로젝트는 G:\dev\workbench-av-dictation입니다. 그림과 기록의 원본 경로 및 SHA-256은 자산 출처 기록에 있습니다. 원본 프로젝트의 파일은 수정하지 않았습니다.

1. KF-21 기체 모델

그림 1은 av-pointer가 사용하는 KF-21 OBJ 모델에서 모든 삼각형과 법선을 읽어 브라우저에 표시합니다. 형상을 중앙에 맞추고 균일하게 축소했으며, 텍스처 대신 명암으로 형태를 표현했습니다. 91,522개 삼각형을 보존했습니다.

모델명은 KF-21A Boramae Fighter Jet이고 제작자는 Muhamad Mirza Arrafi입니다. 프로젝트의 assets/README.md에 기록된 라이선스는 CC BY 4.0입니다. 교안에서는 프로젝트가 보관한 OBJ 변환본을 재사용했습니다.

실제 앱은 추정한 자세의 회전과 이동을 기체에 연결합니다. 첫 장의 인물은 ImageGen으로 만든 삽화입니다. 교안에서는 하나의 설명용 머리 자세로 삽화의 회전과 가상 포인트의 위치, 기체의 회전을 함께 갱신합니다.

3. 머리 방향과 화면 좌표의 보정

프로젝트 README는 9개 표적을 사용한 보정과 별도 5개 표적에서의 오차 확인을 설명합니다. 머리 모드에서 사용자는 코가 표적의 흰 중심을 향하도록 고개를 돌립니다. 표적 이동 뒤 1.2초를 기다린 후 표본을 모읍니다. 교안의 애니메이션은 이 절차를 짧게 보여 주는 모식도이며, 실제 대기 시간이나 표적 위치를 그대로 재현하지 않습니다.

현재 카메라와 영상 크기, 모니터 정보가 보정 조건에 맞아야 저장된 보정값을 사용할 수 있습니다. 카메라 각도나 사용자의 자리가 바뀌면 재보정이 필요합니다. 머리 방향과 눈의 움직임을 사용하는 입력 방식은 구분했습니다.

프로젝트의 원본 처리 흐름도 열기

원본 크기로 열기 / Mermaid 원본

웹캠 입력에서 얼굴 자세 추정과 보정을 거쳐 Windows 포인터로 이어지는 프로젝트 원본 처리 흐름도

위 흐름도는 프로젝트의 기존 산출물을 그대로 복사한 것입니다. 교안에서는 개요에 필요한 과정만 본문으로 설명합니다.

4. 반복 수정의 근거와 확인 범위

병목 개관과 사례 페이지는 프로젝트 구현 및 CHANGELOG.md의 다음 항목을 요약했습니다.

변경 기록에는 자동 시험과 일부 실행 시험, 실제 사용자 조작을 시험하지 않은 항목이 구분돼 있습니다. 교안은 이러한 수정이 구현됐다는 사실을 소개하며, 모든 사용 조건에서 성능을 검증했다는 의미로 사용하지 않습니다.

5. 저장된 머리 포인터 기록

그림 5는 head-screen-live-0.1.53.json을 재생합니다. 원본에는 머리 입력 246프레임, 3840×2160 화면 조건, 보정 좌표와 두 필터의 출력이 들어 있습니다. source는 live이고 cursor_output은 false입니다.

그래프는 기록의 정규화된 가로 좌표에 원래 화면 폭 3840을 곱해 픽셀 단위로 표시합니다. 1–3초 구간은 정지할 때의 변화를 읽도록 세로축을 확대했습니다. 아래 그래프는 전체 기록의 시간과 가로 위치입니다. 원본의 필터 출력을 그대로 표시하며, 웹 교안에서 필터를 다시 계산하지 않습니다.

이 기록은 당시 한 번의 시험 결과입니다. 현재 버전의 성능이나 다른 사용자, 다른 카메라에서의 결과로 일반화하지 않습니다. 교안은 같은 입력을 비교하고 동작 구간별로 판단하는 방법을 설명합니다.

6. 좌표계 필터와 화면 좌표 필터

구분의 근거는 vision/README.md의 필터 적용 경로, apps/gaze/src/hand_app/pose_filter.rs, apps/gaze/src/filter.rs 및 apps/gaze/src/gaze.rs입니다.

머리의 로컬 좌표계는 MediaPipe가 안정화한 얼굴 기준점에서 계산합니다. 프로젝트의 설정은 영상 모드와 최대 얼굴 한 명이며, 프로젝트 문서는 이 조건에서 Face Landmarker 내부의 One Euro 기준점 필터를 설명합니다. 머리 좌표계에 앱이 별도의 자세 칼만 필터를 넣었다고 서술하지 않습니다.

손은 앱에서 기준형을 영상에 맞춰 3D 회전과 원점을 추정하고, 그 두 값에 자세 필터를 적용합니다. 회전은 쿼터니언이라는 회전 표현으로 보간해 세 축의 직교 관계를 유지합니다. 현재 기본 자세 필터는 One Euro입니다. 움직임의 속도가 커지면 새 측정값을 더 반영합니다.

화면 좌표 필터는 보정식 뒤의 2차원 X, Y를 처리합니다. 머리와 눈은 최근 세 화면 좌표의 축별 중앙값으로 단발성 튐을 줄인 뒤 선택한 필터를 적용합니다. 두 필터 단계는 처리 대상과 적용 위치가 다르며, 각 단계의 지연을 함께 검토해야 합니다.

7. 손 좌표계의 필터 전후 기록

손 자세 필터의 이전 비교에는 left-palm-pose-kalman-0.1.48.json을 사용했습니다. 실제 왼손의 448프레임을 다시 처리한 기록입니다. fit_axes_camera는 필터 전 좌표축이고 stabilized_axes_camera는 당시 칼만 필터를 적용한 좌표축입니다.

정지 구간 6.0–7.2초에서 연속된 유효 프레임 33쌍의 Z축 사이 각도를 계산했습니다. 각도 변화의 RMS를 원본 기록에서 재계산한 값은 필터 전 0.6885756°, 필터 후 0.2473049°입니다. 교안은 각각 0.69°와 0.25°로 표시합니다. 이는 프레임 사이의 변화량이며, 실제 방향에 대한 절대 오차가 아닙니다.

docs/hand-landmarker.md는 같은 기록에서 회전의 중앙 통과가 필터 전 14.111초, 필터 후 14.144초였음을 설명합니다. 교안의 33ms 지연은 이 비교에 해당합니다. 실제 Windows 포인터를 움직인 시험은 아닙니다.

현재 손의 자세 필터는 0.1.61에서 One Euro로 바뀌었습니다. 문서는 같은 입력의 정지 구간, 느린 회전, 빠른 회전 및 중심 이동을 비교한 선택으로 기록합니다. 초기 칼만의 전후 수치를 현재 One Euro의 성능 수치로 사용하지 않습니다.

8. 최신 프레임 선택과 표시 시점

apps/gaze/src/lib.rs의 카메라 처리 코드는 최신 프레임을 보관합니다. 추적기가 준비됐고 처리 중인 프레임이 없을 때 최신 영상을 제출합니다. 추론 결과를 받으면 보관한 입력 프레임과 결과의 frame_id가 일치하는지 확인해 미리보기를 갱신합니다.

그림 6의 101–105는 처리 순서를 설명하기 위한 번호입니다. 이 자료에서 큐 대기 감소 시간을 실측한 것으로 제시하지 않습니다. 촬영 영상 모두를 차례로 처리하는 경우의 대기열 설명은 코드가 선택한 최신 입력 방식의 이유를 설명하는 일반적인 조건입니다.

9. 손의 방향 해석과 21점 기준형

0.1.35와 0.1.36 변경 기록은 상대 깊이와 3D 좌표의 방향 차이, 좌우 반전, 정면을 넘는 회전의 부호를 점검한 내용을 담고 있습니다. 0.1.37과 0.1.38은 손의 기준형 전체를 영상에 맞춰 회전과 위치를 구하는 방식으로 이어집니다.

그림 7은 복사한 손 기록의 template_joint_ids와 한 프레임의 fit_projected_joints를 사용합니다. 손목과 손가락의 연결 관계를 그린 모델 투영이며, 새로운 카메라 촬영이나 별도 손 검출 결과가 아닙니다.

프로젝트 기록은 21점 기준형으로 448프레임의 회전과 투영 위치를 계산했다고 설명합니다. 모든 자세에서 포인팅이 허용됐거나 실제 회전각 정확도가 검증됐다는 의미는 아닙니다. 외부 장비로 측정한 실제 각도는 없으며, 일부 이전 비교 방식은 바깥쪽 구간에서 포인팅 표본을 제외했습니다.

10. 끊김과 재시작, 보정 재사용

0.1.43은 카메라 재시작 때 프레임 번호를 초기화하고, 카메라와 추적 및 실제 포인터의 상태를 구분한 변경입니다. 0.1.54는 일시적인 추적 및 모니터 정보 누락에서 대기와 복구를 처리하고, Windows가 실제 적용한 포인터 위치를 읽어 외부 조작을 판단하도록 수정한 변경입니다.

0.1.54에서 사용자에게 보고됐던 예기치 않은 종료의 원인은 당시 상태 기록이 없어 확인하지 못했다고 명시돼 있습니다. 교안은 확인된 코드 경로의 수정과 회귀 시험을 설명하며, 그 경로가 당시 모든 종료의 원인이었다고 단정하지 않습니다.

0.1.55와 0.1.56은 조작 버튼의 공통 위치를 정리했습니다. 0.1.67은 보정 파일과 현재 장치 및 영상 조건의 불일치 이유를 구체적으로 표시한 변경입니다. 조건이 같으면 기존 보정을 재사용하며, 불일치할 때 기존 파일을 무조건 버리는 방식으로 설명하지 않습니다.

11. 다른 분야의 공개 사례

Autodesk의 제조용 생성 설계 설명은 재료, 제조 방법, 성능 요구를 조건으로 설계 대안을 탐색하는 기능을 설명합니다.

Siemens의 thyssenkrupp 적용 발표는 자동화 엔지니어링에서 Industrial Copilot을 사용하는 사례를 다룹니다.

14쪽 표의 회로와 기계 부품, 공장 시스템 항목은 활용 범위와 확인 조건을 설명하기 위한 예시입니다. 15쪽은 발표자가 제시한 개인 지식과 회사 지식의 구조화, 업무 재설계라는 논지를 정리했습니다.

교안 버전 1.0.2 / 웹 교안 자체는 카메라와 마이크에 접근하지 않습니다.