학력
- 2021년 3월부터 2023년 2월까지,,지도교수 Geehyuk Lee · GPA 3.81/4.3
- 2017년 3월부터 2021년 2월까지,
- 2017년 6월부터 2017년 8월까지,
경력
- 2025년 5월부터 현재까지,,건물과 건설 현장을 3D로 촬영해 디지털 트윈으로 만들고 시간에 따른 변화를 되짚어 보게 하는 회사다. 프론트엔드 개발과 기술 PM을 맡고 있다.
- 요약
- 건물과 건설 현장을 3D로 촬영해 디지털 트윈으로 만들고 시간에 따른 변화를 되짚어 보게 하는 회사다. 프론트엔드 개발과 기술 PM을 맡고 있다.
- 왜
- 현장은 네트워크가 끊기는데 데스크톱 앱은 모든 자료를 서버에서 가져왔고, QA가 올리는 버그는 팀이 감당하는 속도보다 빠르게 쌓였다.
- 어떻게
- 문서 안 모든 엔티티 메타데이터와 이미지를 로컬에 저장하는 오프라인 모드를 구현하고, 호출부를 고치지 않고도 네트워크 상태에 따라 실제 API와 로컬 DB를 오가는 하이브리드 구조를 설계했다. 다시 연결되면 오프라인에서 고친 내용을 자동으로 동기화한다.
- 그래서
- AI 에이전트가 개발 업무를 직접 수행하는 워크플로를 사내 최초로 제안해 운영했고, 대화형 AI 제품 Beacon 의 기술 PM을 맡았다.
- 2023년 2월부터 2025년 4월까지,,진동으로 촉감을 전하는 웨어러블 장비를 만드는 회사다. 전문연구요원으로 앱과 SDK를 맡았다.
- 요약
- 진동으로 촉감을 전하는 웨어러블 장비를 만드는 회사다. 전문연구요원으로 앱과 SDK를 맡았다.
- 왜
- 장비는 있었지만 PC와 PSVR 게임에서 벌어지는 일을 몸으로 옮겨 줄 소프트웨어가 필요했다.
- 어떻게
- iOS(SwiftUI) · 안드로이드(Jetpack Compose) · 윈도우(WPF) 제어 앱을 만들고, BLE와 TCP로 장비와 실시간 통신하며 펌웨어 업데이트(DFU)까지 구현했다. PC 게임의 이벤트를 실시간으로 감지해 촉각 신호로 바꿨다.
- 그래서
- GitHub Actions 기반 CI/CD를 설계해 세 플랫폼의 배포를 자동화했다. 2024년 1월 CES 2024(라스베이거스)에서 회사 부스의 시연을 지원했다.
- 2022년 6월부터 2022년 11월까지,,NVIDIA Research에서 프로 게이머의 조작을 측정했다.
- 2020년 6월부터 2021년 2월까지,,DGIST Smart Input Device Lab에서 학부 연구원으로 일했다.
- 2019년 6월부터 2020년 7월까지,,KAIST Interactive Media Lab에서 학부 인턴으로 일했다.
- 2018년 8월부터 2018년 12월까지,,KAIST 창업원의 스타트업에서 소프트웨어 개발자로 일했다.
- 2018년 6월부터 2018년 8월까지,,월드프렌즈 ICT 봉사단으로 베트남 껀터대학교에 한 달을 머물렀다.
- 2017,,DGIST 슈퍼컴퓨팅센터 산하 워킹그룹에서 부대표와 홍보팀장을 맡았다.
논문
- 2026,,arXiv 2026 · 1저자
Auejin Ham, Ben Boudaoud
arXiv 2026
- 요약
- 마우스 속도 시계열에서 서브무브먼트를 찾아 위치·폭·진폭으로 파라미터화하는 웨이블릿에서 착안한 분해 기법이다.
- 왜
- 서브무브먼트는 앞 것이 끝나기 전에 다음 것이 시작돼 겹친다. 시간축을 자르는 분할은 한 시점을 한 동작에만 배정해 겹침을 잴 수 없다.
- 어떻게
- log-normal 속도 모양을 mother wavelet으로 삼은 CWT 초기값을 봉우리 가중 손실로 정제하고 잔차에 되풀이했다. 13명의 FPS 조준 실데이터를 본뜬 합성 trial로 개수 정확도를 쟀다.
- 그래서
- 겹친 동작을 합치지 않고 따로 센다. 봉우리 가중 정제는 합성 데이터에서 개수를 맞춘 trial이 67.124%로 MSE 정제나 CWT 초기값보다 많았다.
- 2023,,International Journal of Human-Computer Interaction 2023
Sunmin Son, Jingun Jung, Auejin Ham, Geehyuk Lee
International Journal of Human-Computer Interaction 2023
- 요약
- 손가락이 닿고 떨어짐을 감지해 튕겨 시작하고 대어 멈추는 flick-and-stop 스크롤을 모드 전환 없이 해내는 마우스 휠이다.
- 왜
- 마우스 휠로 멀리 스크롤하려면 휠 되감기를 되풀이해야 해 피로하다. free-spinning 모드는 버튼으로 켜고 꺼야 하는데, 스크롤은 짧고 긴 이동이 섞인다.
- 어떻게
- 터치 센서와 엔코더로 손가락이 떨어질 때의 속도를 잡아 가상 휠을 굴리고 마찰처럼 늦췄다. 참가자 12명이 보통·자유 회전·토글 휠과 장·단거리 과제로 견줬다.
- 그래서
- 장거리 과제에선 flick-and-stop이 휠 조작의 최대 0.62, 단거리에선 거의 0이었고, 거기서 보통 휠보다 빠르고 토글 휠보다 이산 동작이 적었다.
- 2022,,ACM CHI · Full Paper 2022 · 채택률 12.5%
Taejun Kim, Auejin Ham, Sunggeun Ahn, Geehyuk Lee
ACM CHI · Full Paper 2022 · 채택률 12.5%
- 요약
- 마킹 메뉴를 시선 입력으로 옮긴 것으로, 원형 조각 바깥에 격자로 깔린 시각적 닻을 차례로 바라보아 계층 메뉴 항목을 고른다.
- 왜
- 안구는 한번 움직이기 시작하면 도중에 멈추거나 방향을 고치지 못하는 탄도적 운동을 하므로, 바라볼 것 없는 허공에서 시선을 그으면 원하는 항목 바로 옆 항목으로 미끄러지기 쉽다.
- 어떻게
- 시선 추적기를 내장한 VR 헤드셋에 구현하고, 12명이 참여한 실험에서 닻 없이 조각 경계를 시선으로 넘어 고르는 기존 방식 BorderPie와 견주었다.
- 그래서
- 격자로 깔린 닻이 시선을 붙들어 선택 오류를 막는다는 것을 숫자로 보였다. 항목 위치를 익힌 숙련 시행에서 오류가 BorderPie보다 약 5배 적었다.
- 2022,,ACM CHI · Late-Breaking Work 2022 · 채택률 36.0% · 공동 1저자
Junsu Lim*, Hyeonggeun Yun*, Auejin Ham*, Sunjun Kim
ACM CHI · Late-Breaking Work 2022 · 채택률 36.0%
- 요약
- VR 개인정보 처리방침의 데이터 항목을 손으로 옮겨 보는 롤플레잉 튜토리얼과, 원문 읽기와 견준 예비 연구다.
- 왜
- VR 기기는 시선과 신체 움직임처럼 새면 되돌릴 수 없는 생체 데이터를 모으지만 이를 알릴 처리방침은 전문 용어로 된 긴 글이라 읽히지 않는다.
- 어떻게
- Oculus Privacy Policy의 데이터 항목을 공으로 만들어 사용자가 잡아 키워드를 읽고 VR 콘텐츠, 콘텐츠 제공자, 제3자로 던지게 했다. 14명을 원문 읽기와 튜토리얼로 나눴다.
- 그래서
- 프라이버시 인지는 원문 읽기와 같은 수준, 만족도는 튜토리얼이 유의하게 높았다(p=0.007). 안 읽히던 처리방침이 알리는 양은 그대로 더 만족스러운 경험이 됐다.
- 2022,,ACM SIGGRAPH · Emerging Technologies 2022 · 채택률 20.0%
HyeonBeom Yi, Yeeun Shin, Sehee Lee, Eunhye Youn, Auejin Ham, Geehyuk Lee, Woohun Lee
ACM SIGGRAPH · Emerging Technologies 2022 · 채택률 20.0%
- 요약
- 박물관 전시물 위 모바일 기기의 위치와 방향을 알아내 그 자리에 콘텐츠를 겹치는 near-surface AR 주변장치다.
- 왜
- 박물관의 모바일 AR은 관람객의 눈을 전시물이 아닌 화면에 붙들고, 표면에 콘텐츠를 겹치자니 전시물마다 패턴 인쇄나 설치물이 필요해 현실적이지 않다.
- 어떻게
- RFID 태그로 전시물을 식별해 원점을 잡고, 거친 표면용과 광택 표면용 두 변위 센서를 Kalman filter로 IMU와 합쳐 잰 변위만큼 콘텐츠를 반대로 움직인다.
- 그래서
- 전시물에는 얇은 태그 한 장이면 되고, 아크릴, 종이, 나무, 직물 위에서 13 mm까지 띄워도 추적이 유지된다. 스마트폰 돋보기부터 장난감 차량까지 네 형태로 시연했다.
- 2021,,ACM UIST · Full Paper 2021 · 채택률 25.9% · 1저자
Auejin Ham, Junsu Lim, Sunjun Kim
ACM UIST · Full Paper 2021 · 채택률 25.9%
- 요약
- 마우스 폴링 레이트와 화면 주사율이 어긋나 커서가 튀는 지터를 사람이 알아채는지, 포인팅을 해치는지 잰 연구다.
- 왜
- 마우스와 디스플레이는 각자 주기로 돌아 고주사율 화면에서는 지터를 피할 수 없다. 모델로 크기는 예측해도 사람이 알아채는지, 마우스가 얼마나 빨라야 하는지는 밝혀지지 않았다.
- 어떻게
- 23명에게 triangle test로 낮은 폴링 레이트를 8000 Hz 마우스와 구별하게 하고, 게이머의 처리량은 Fitts' law test로 쟀다.
- 그래서
- 23명 중 12명이 500 Hz를 8000 Hz와 구별했고 1000 Hz는 화면에 따라 경계선이었다. 처리량은 그대로였지만 지각 기준으로 지금의 1000 Hz는 부족하다.
- 2021,,ACM CHI · Full Paper 2021 · 채택률 26.3%
Eunji Park, Sangyoon Lee, Auejin Ham, Minyeop Choi, Sunjun Kim, Byungjoo Lee
ACM CHI · Full Paper 2021 · 채택률 26.3%
- 요약
- 프로와 아마추어 8명씩의 Counter-Strike: Global Offensive 플레이를 기록해 FPS 프로의 비결에 관한 추측을 검증한 데이터 수집 연구다.
- 왜
- 킬/데스 비율 같은 인게임 지표는 누가 이기는지만 보여 줄 뿐 어떻게는 말하지 않고, 커뮤니티의 추측은 검증된 적이 없었다.
- 어떻게
- 몸의 움직임과 시선, 장비 입력, 인게임 상태를 한 타임스탬프에 맞춰 기록하는 로거를 만들고, 같은 그룹끼리 일대일로 겨루게 해 두 집단을 정량 지표로 비교했다.
- 그래서
- 13가지 추측 중 뒷받침된 것은 6가지뿐이었다. 프로는 반동을 잡느라 마우스를 더 크게 끌어내렸고, 조준선은 표적에 붙이라는 통념과 달리 오히려 표적에서 멀었다.
- 2020,,ACM CHI Workshop (CUI@CHI) 2020
Hyeonggeun Yun, Auejin Ham, Jin Kim, Taeyeong Kim, Jeongeun Kim, Haechan Lee, Jongrae Park, Jinkyu Jang
ACM CHI Workshop (CUI@CHI) 2020
- 요약
- 텍스트 챗봇에 터치 제스처와 캐릭터 그래픽을 얹어 감정을 보내고 발언 차례를 넘기게 하는 상호작용 기법 TwG다.
- 왜
- 문자만 오가는 채팅에는 표정이나 몸짓 같은 비언어 단서가 없어, 챗봇은 상대의 감정을 읽기 어렵고 짧게 끊어 보내는 말이 어디서 끝나는지도 알 수 없다.
- 어떻게
- 여섯 감정을 터치 제스처에 대응시켜 캐릭터 표정으로 답하고, 말풍선을 쓸어 올리면 턴이 넘어간다. 참가자 28명이 Wizard of Oz 실험에서 텍스트만 쓸 때와 견주었다.
- 그래서
- 감정 연결감이 텍스트만 쓸 때 3.51에서 TwG에서는 4.39로 올라, 터치와 그래픽이 문자에 빠진 비언어 단서를 대신함을 보였다. 턴 넘기기도 자연스러워졌다.
프로젝트
- 2026,,건설 현장을 3D로 찍어 관리하는 SaaS 위에 올린 LLM 챗 서버와 패널 UI다.
- 요약
- 건설 현장을 3D로 찍어 관리하는 SaaS 위에 올린 LLM 챗 서버와 패널 UI다.
- 왜
- "3층 안전 지적이 몇 건이냐"는 물음에는 숫자 하나로 공사가 멈추고 정산이 갈린다.
- 어떻게
- 검색 결과가 전수인지 표본인지를 코드가 먼저 등급으로 판정하고, 그 등급이 모델이 쓸 수 있는 문장의 형태를 제한한다. 등급이 낮으면 되물어 범위를 좁힌다.
- 그래서
- 모델이 확신을 흉내 내는 대신 대화로 확신을 얻는다. 표본 인용이 전수 인용으로 승격되는 경로가 대화 안에 있다.
- 2026,
- 2026,,프로덕션 버그 큐를 끝까지 처리하는 에이전트 시스템이다.
프로덕션 무인 가동 5개월 · 처리한 이슈 924 · 자동 생성 PR 571 · 이슈당 평균 30분 내외 · 머지율 50.0% · 원인 분석 정확도 92.2% (2026-08 기준)
- 요약
- 프로덕션 버그 큐를 끝까지 처리하는 에이전트 시스템이다.
- 왜
- 버그 하나에 드는 시간의 대부분은 고치는 데가 아니라 무엇이 어떤 조건에서 깨졌는지 알아내는 데 든다.
- 어떻게
- Jira를 스스로 살펴 이슈를 고르고, 첨부 영상을 키프레임으로 잘라 VLM으로 촬영 조건을 복원한 뒤, 실제 브라우저에서 재현하고 고치고 Before/After로 자기 수정을 반박한 다음 PR을 연다.
- 그래서
- LLM이 끝났다고 말해도 완료 신호로 삼지 않는다. 판정은 열거형으로 강등시켰다. 격주 자체 감사로 자기 코드를 고치는 PR도 스스로 올린다.
- 2024,,전신 코스튬을 입은 사람을 캐릭터 일러스트와 합성해 그 자리에서 인화하는 무인 키오스크다.
- 2024,,치지직 스트리머가 쓰는 데스크톱 봇 앱이다.
다운로드 56,000+ · 누적 방송 55,600+ (2026-08 기준)
- 요약
- 치지직 스트리머가 쓰는 데스크톱 봇 앱이다.
- 왜
- 방송을 하면서 채팅을 읽고 후원에 반응하고 화면 효과까지 챙기는 일은 혼자 감당하기 어렵다.
- 어떻게
- 채팅과 후원 이벤트를 소켓으로 받아 열한 종의 봇을 돌리고, 결과를 OBS 화면에 실시간 오버레이로 그린다. Tauri v2와 Angular, Rust(actix-web)로 만든 데스크톱 앱에 NestJS 클라우드 API를 붙였다.
- 그래서
- GitHub Actions로 세 운영체제 빌드를 직접 배포한다. 상용 배포 서비스를 쓰지 않고 혼자 운영한다.
- 2024,,bHaptics 촉각 조끼와 장갑을 아이폰에서 제어하는 앱이다(SwiftUI).
다운로드 8,700+ · 활성 사용자 400+ (2025-03 기준)
- 요약
- bHaptics 촉각 조끼와 장갑을 아이폰에서 제어하는 앱이다(SwiftUI).
- 왜
- 게임에서 벌어지는 일을 몸으로 느끼려면 PC나 PSVR과 장비 사이를 실시간으로 이어 줄 것이 있어야 한다.
- 어떻게
- 같은 Wi-Fi에 있는 지원 게임을 스스로 찾아 이벤트를 받고, BLE로 장비에 20ms 안에 전달하며, 펌웨어 업데이트(DFU)와 계정 흐름까지 다룬다.
- 그래서
- 기기 상태와 계정 상태를 SwiftUI 생명주기에 접어 넣은 Swift SDK를 함께 만들어, 앱과 SDK가 같은 상태 기계를 공유하게 했다.
- 2021,,기계식 키의 물리 특성을 흉내 내어 터치 키보드의 입력 활성화 방식을 찾는 장치다.
그 외
- 2022,
- 2021,,KAIST 수업의 팀 편성을 돕는 실시간 웹 플랫폼이다.
- 2021,,증강현실 안경을 쓴 두 사람이 같은 공간에서 서로 어디를 보는지 알 수 있게 한 시스템이다.
- 요약
- 증강현실 안경을 쓴 두 사람이 같은 공간에서 서로 어디를 보는지 알 수 있게 한 시스템이다.
- 왜
- 멀리 있는 것을 가리켜 설명하기에는 말과 손짓이 부족하고, 손에 든 기기를 보는 순간 현장에서 눈을 떼게 된다.
- 어떻게
- HoloLens 2로 각자의 눈과 머리 방향을 재어 두 사람의 관심 영역이 겹치는 순간을 찾고, 그 대상에 사각 테두리를 양쪽 안경에 함께 띄운다. Unity(C#) 위에서 Azure Spatial Anchors로 좌표계를 공유하고 Photon Unity Networking으로 상태를 복제했다.
- 그래서
- 시선 표시를 늘 띄우는 대신 두 사람의 관심이 겹칠 때만 띄워, 알림 자체가 합의의 신호가 되게 했다.
- 2020,,여러 대의 행동 측정 장치를 하나의 타임스탬프에 맞춰 동시에 기록하는 툴킷이다.
- 요약
- 여러 대의 행동 측정 장치를 하나의 타임스탬프에 맞춰 동시에 기록하는 툴킷이다.
- 왜
- 장치마다 시계가 따로 흐르기 때문에, 따로 기록한 신호는 나중에 겹쳐도 같은 순간을 가리키지 않는다.
- 어떻게
- UDP와 시리얼로 장치를 함께 제어하고, 운영체제 파이프를 거치는 시스템 호출 수를 줄여 클럭 드리프트를 초당 11마이크로초까지 낮췄다. 아두이노와 Processing(Java)으로 만들었다.
- 그래서
- 시선 추적기와 동작 추적기, 웹캠, 근전도까지 여덟 종을 한 번에 다룬다. 이 툴킷으로 모은 데이터가 Secrets of Gosu(ACM CHI 2021)에 쓰였다.
- 2020,,챗봇과 대화하며 감정과 대화 차례를 터치로 전하는 상호작용 기법(TwG)이다.
- 요약
- 챗봇과 대화하며 감정과 대화 차례를 터치로 전하는 상호작용 기법(TwG)이다.
- 왜
- 기존 챗봇은 텍스트 대화를 위한 자연어 처리의 관점에서 다뤄져 왔기 때문에, 사용자의 감정을 고려하고 턴테이킹을 관리하는 수단이 부족했다.
- 어떻게
- 그래픽 인터페이스를 터치해 감정을 보내고 차례를 넘기게 했고, Wizard of Oz 실험으로 사용자 경험을 평가했다.
- 그래서
- 텍스트만 쓰는 기존 챗봇 상호작용보다 감정 표현이 나아졌고, 대화의 자연스러운 턴테이킹에도 긍정적 영향이 나타났다.
- 2020,
- 2019,
- 2019,,인공지능 스피커의 그래픽 인터페이스를 프로젝터로 벽이나 책상에 띄우는 시스템이다.
- 2019,,버티컬 마우스를 쥐기 전, 허공에서 하는 손 제스처를 입력으로 받는 기법이다.
- 2018,,점심시간 교내 식당의 대기 줄을 시각화한 인포그래픽이다.
- 2016,
수상
- 2023,,iF International Forum Design · WonderScope: Practical Near-surface AR Device for Museum Exhibits
- 2022,
- 2022,,ACM SIGGRAPH · WonderScope: Practical Near-surface AR Device for Museum Exhibits
- 2021,,ACM SIGCHI · Secrets of Gosu: Understanding Physical Combat Skills of Professional Players in First-Person Shooters
- 2020,
- 2019,
- 2017,
- 2016,
- 2016,
- 2015,
- 2015,
- 2014,
- 2014,
- 2014,
- 2013,
강의·강연
학회 활동
- 2025,
- 2024,
- 2023,
기술
- 에이전트 시스템 · 강화학습,LLM 멀티에이전트 오케스트레이션 하네스 설계 (상태 머신 정형화, 작업 의존 그래프, 실패 분류 체계, 체크포인트 재개) · Model Context Protocol 기반 도구 연동, VLM 기반 화면 판정, 브라우저 자동화 · AX(Agent Experience) 워크플로 설계 — Jira · Slack · GitHub · Azure 연동 기반의 AI-then-Human 개발 절차 · 강화학습 (OpenAI Gym), 컴퓨터 비전 (OpenCV), PyTorch
- 공간 컴퓨팅 · 제스처 기반 인터페이스 · 행동 센서,AR/VR (Apple Vision Pro, Oculus Quest, Microsoft Hololens), 신체 추적 (Microsoft Kinect, OptiTrack Motive, LEAP Motion) · 시선 추적 (Tobii Eye Tracker, SMI iViewRED, PupilLabs, FOVE VR), 근전도 (MYO Armband) · 터치 및 압력 (bHaptics TactSuit, Sensel Morph, Wooting Keyboard)
- 래피드 프로토타이핑,iOS · Mac · Apple Vision Pro (SwiftUI), Android (Jetpack Compose) · WPF · .NET MAUI · Microsoft Hololens (C#), Unity (C#), React · Electron 또는 Tauri (TypeScript) · Processing 3 (Java), Figma · 펌웨어 개발 (ESP32, Arduino)
- 사용자 실험 · 데이터 분석 및 시각화,혼합 방법 실험 설계 및 운영(피험자 내 · 피험자 간), 수행 지표 측정(수행 시간 · 정확도 · 오류율), NASA-TLX, 반구조화 인터뷰, Wizard of Oz 평가 · SPSS, JASP, Matlab, R, pandas, scipy, pingouin, seaborn, matplotlib, jupyter
- 실시간 데이터 수집 · 메시징 플랫폼 구현,저수준 센서 데이터의 센싱 및 기록 (SPI, I2C, Windows HID) · P2P 무선 네트워킹 프로토콜 설계 (UDP, TCP, RESTful API, BLE UART, Wi-Fi) · 실시간 데이터 통합 시스템 (Photon Unity Networking RPC, ZeroMQ, MessagePack)
- 신호 처리 · 센서 퓨전 · 시계열 분석,고주파 시계열 데이터의 기록 · 노이즈 제거 · 분석 · 예측 모델, 클럭 드리프트 분석, 공분산 기반 다중 칼만 필터 융합