어느 날 모니터 사이로 혼자 ‘큭큭’ 거리는 한 에이아이파커의 모습을 보고 의아해 모니터를 슬쩍 보니 해리 포터 얼굴이 직원의 얼굴로 변경되고 있었어요.
실시간으로 얼굴이 변경되는 상황을 처음 접하면서 너무 놀라워 해당 연구원 자리로 달려갔습니다.
Face swap(페이스 스왑)이라는 기술을 실시간으로 경험하는 순간이었는데요.
오늘은 아바타의 포즈나 얼굴을 연구하는 에이아이파크의 머신러닝 엔지니어 문이세님을 만나보겠습니다.
•
2023년 2월 중소벤처기업부 장관상 AI인재상 수상
•
2022년 12월 한국과학기술정보연구원장 장려상 수상
•
2023년 2월 포디블록 구조 추출 경진대회 대상(1위)
•
2023년 10월 뉴스 기사 레이블 복구 해커톤 수상(3위)
•
2023년 10월 추석 선물 수요량 예측 AI 경진대회 수상(3위)
•
2023년 11월 AI vs Human 텍스트 판별 해커톤 수상(2위)
와우~!
수상 이력만 봐도 문이세님의 인공지능 연구에 대한 진심이 느껴지는데요?!
연구개발팀 AI연구원 문이세
연차: 3 개월
입사시기: 2023.12
Q. 담당하고 계신 업무에 대해 소개 부탁드립니다.
안녕하세요~
에이아이파크 연구개발팀에서 영상 생성 모델을 연구하고 있는 ML(머신러닝) 엔지니어 문이세입니다!
에이아이파크의 비전인 “세상의 모든 텍스트를 보고, 들을 수 있게”에서 “보고”를 더욱 자연스럽게 효율적으로 전달되는 아바타 영상 생성 연구를 하고 있습니다.
현재 제 업무는 아바타가 다양한 제스처를 할 수 있도록 만들어, 고객의 소통 경험을 더 풍족하게 만든다고 생각하시면 조금 더 이해에 도움이 될 것 같습니다.
Q. 컴퓨터 비전 연구원이 된 이유가 있나요?
막연하게 인공지능 연구원이 되어야겠다는 생각으로 공부를 했는데, 컴퓨터 비전은 시각적으로 빠르게 결과를 확인할 수 있다는 점에서 매력을 느꼈습니다.
최근에 인기가 많아진 생성형 AI 분야 이전부터 이미지 분류, 탐지 등 컴퓨터 비전 AI 활용 방법이 무궁무진하다고 느꼈습니다. 다양한 시도를 해보고 결과를 빠르게 확인하는 것이 저의 성향과 딱 맞다고 생각합니다.
Q. 에이아이파크와의 인연 그리고 입사 계기가 있다고요?
2022년도에 중소벤처기업진흥공단이 주관하는 인공지능 교육과정인 ‘이어드림 스쿨’을 통해, 기업연계 프로젝트에 참여했습니다. 에이아이파크의 "Face image quality assessment" 주제에 관한 프로젝트였는데요.
프로젝트를 진행 중에 에이아이파크 사무실을 방문해 디지털미디어시티 홍보관에서 직접 보았던 아바타 생성 프로그램이 참 인상 깊었습니다. 함께 방문했던 팀원을 촬영하고 나니 잠시 후에 그 팀원이 서울을 소개하는 영상이 나왔거든요. 잠깐 촬영했을 뿐인데 실제로 영상을 녹화한 것처럼 퀄리티가 높아 더욱 기억에 남았습니다.
요즘 유행을 타고 갑작스럽게 생성형 AI를 시작하는 곳들이 많은 반면 에이아이파크는 오랜 시간 생성형 AI에 집중하며 성장해왔다고 생각했어요. 회사의 성장은 AI 연구원으로서 빠르게 성장하고 싶은 개인적인 욕심을 충족할 수 있다고 생각했고, 앵커경험이 있는 대표님이 뉴스 영상 제작 과정의 문제점을 느끼고, 이를 해결하기 위해 가상 아바타 생성이라는 주제에 뛰어들었다는 점에 설득되어 입사를 결심하게 되었습니다.
Q. 에이아이파크에 조인한 이후 가장 기억에 남는 프로젝트는 무엇이었나요?
지난 3월 미국 텍사스에서 진행한 SXSW 박람회 부스 시연 프로젝트를 꼽고 싶어요. 미디어 및 엔터테인먼트 중심의 박람회이기 때문에 어떤 기술을 활용해 아바타 제작 예를 선보일 수 있을까를 고민하던 과정에서 잠시 데스크 자리를 비웠는데요. 에이아이파커들이 다들 신기해 하며 제 자리에서 웹캠에 얼굴을 비춰보고 있더라구요. 실시간으로 인물이 변경되는 기술에 즐거워하고 계신 것을 보았습니다.
[SXSW 준비하면서 페이스 스왑 테스트 하는 문이세 연구원]
동료 직원들이 즐거워 하는 모습을 보면서 “긴 부연 설명을 하지 않고도 사용자가 즐거움을 느낄 수 있는 기술을 만들어야 겠구나”라는 CX 관점의 기술 연구 필요성을 깨달았기 때문에 굉장히 기억에 남습니다.
Q. 해당 직무는 새로운 연구 영역을 만들어 내는 것인데 연구 필요성에 대한 인사이트로부터 시작될 것 같아요. 인사이트는 어떻게 확인하나요?
저는 개인적으로 완전히 새로운 것은 거의 없다고 생각해요. 하루하루 꾸준히 성실하게 연구하다보면 어느 날 갑자기 이전에 비해 발전된 기술들을 발견하게 되거든요. 그 결과가 도출되기까지 수많은 실패와 시도들이 있었다는 것을 알게 되면서, 좋은 연구를 하기 위해 다양한 분야에서의 연구 결과들을 수집하고, 테스트 해보고 있습니다.
요즘은 ‘Animatediff’라는 모델을 베이스로 한 비디오 생성 프로세스에 관심을 가지고 있습니다. 요즘 인기 많은 stable-diffusion과 같이 diffusion 기법을 이용해 고정밀도의 비디오 영상을 생성하는 최신 기술입니다. 단순 이미지를 생성하는 것에 비해 비디오 영상은 각 프레임이 넘어갈 때 이전 프레임과 일관성이 있어야 한다는 점에서 생성 난이도가 급상승합니다. 뒷 프레임 이미지를 생성할 때는 이전 프레임의 상태에 대한 정보들이 반영이 되어야 하기 때문입니다.
이런 깊이 있는 기술을 만들기 위해 최신 논문과 소스 코드를 주기적으로 검토하는 편인데요. 다행히 이미지 생성 연구 분야는 많은 실험들이 Github, Stackoverflow, Arxiv 등의 페이지에서 공유되고 있기 때문에 다양한 인사이트를 비교적 손쉽게 얻을 수 있습니다. 이미지와 비디오 생성을 주제로 새로운 이슈들이 아주 빠르게 발표되고 있어, 모든 연구를 따라가기는 것도 쉽지 않아요. ㅎㅎ
Q. 연구 작업을 할 때 나만의 루틴이 있다면 알려주세요.
연구 주제를 정하게 되면 연구 목적과 이유 그리고 어떻게 달성할 수 있을 지에 대해 먼저 그려봅니다. 그 다음으로는 연구에 얼마나 시간과 노력을 기울여야 하는 지에 대해 산정해 보고 어느 정도 수준의 결과물을 얻을 수 있을 지 예상해 봅니다.
결과물에 대한 목표를 세워두지 않으면 기술에 끌려가는 것 같은 기분이 들기고 하고 결과물의 달성 여부도 평가하기 어려워지기 때문입니다. 마치 시간과 노력을 기울였는데, 남은 것이 무엇이지? 결과물이 적정한가? 평가를 못해 스스로 성취감을 느끼지 못하게 되더군요.
연구실에서 연구방법을 습득할 때 늘 받는 질문이 있었어요.
“ 그래서 그거 왜 하는데? Why? ”
이제는 습관이 되어서 인지 연구 목적과 달성 목표 설정 하에 연구를 하는 것이 저의 루틴이라고 할 수 있죠.
Q. SXSW에서는 페이스 스왑을 일반 고객들이 직접 체험할 수 있는 ‘와우’포인트가 있었던 것 같아요. 2024년 2분기에 연구하고 만들어 낼 아바타 기능 및 제스처에 대해 알려주세요.(어떤 기술로 어떤 결과물을 만들지)
2024년 2분기에는 더욱 진보된 아바타 기능과 제스처에 초점을 맞출 계획입니다. 기존에는 페이스 스왑을 통해 얼굴 특징을 아바타에 자연스럽게 이식하는 데 주력해 왔는데요. 이에 더해 아바타가 사용자가 원하는 동작과 대사를 더욱 생동감 있게 반영할 수 있도록 발전시키고자 합니다.
저희는 아바타가 사용자가 원하는 몸짓과 표정을 표현할 수 있는 기술을 개발하고 있습니다. 예를 들어, 사용자가 특정 순간에 특정 위치를 손가락으로 가리키거나, 인사하는 동작을 취하길 바라면, 아바타도 해당 동작을 취할 수 있도록 하는 것입니다. 이를 위해 모션 캡처 기술과 딥러닝 알고리즘을 결합하여, 아바타의 동작이 더욱 자연스럽고 유연하게 작동할 수 있도록 만들 예정입니다.
이러한 연구와 개발 과정에서 저희는 특히 생성형 AI 기술을 활용하고 있습니다. 구체적으로는, 최신의 diffusion 모델을 사용하여 아바타의 동작을 생성하고 예측하는 방식을 연구하고 있습니다.
현재 제 연구 목표는 디지털 공간에서의 아바타의 행동이 사용자의 의도에 맞게 더욱 직관적이고 자연스러워지는 것입니다. 이를 통해, 사용자는 자신의 아바타를 통해 더욱 몰입감 있는 결과물을 받을 수 있을 것으로 기대하고 있습니다.
Q. 마지막으로 에이아이파크에 조인할 연구원들을 위해 하고 싶은 말이 있다면?
저는 에너지가 넘치는 편이라 어디를 가든 지 어느 누구와 함께하든 지 열정 하나 만큼은 밀려본 적이 없는 것 같아요. 그런데 저희 연구팀에선 제 열정이 최약체인 것 같았어요. 그만큼 한 열정하는 분들이 모여서 연구하고 있어서 인지 탄탄한 기술력과 자연스러움을 구현 할 수 있습니다.
에이아이파크에는 AIPARK SPRIT 10이 있는데, 제가 10개 중 제일 좋아하는 것은 9번, ‘책임은 대표가 진다, 하고 싶은 거 다 해라’ 입니다. 그 만큼 각자 의지를 갖고 진행하는 것에 대해선 적극 지지해주기 때문에 든든함을 느낄 수 있습니다.
연구팀 뿐만 아니라 다른 팀에서도 언제나 적극적으로 소통, 지원해주시기 때문에 연구에 집중할 수 있는 최고의 환경이라고 생각합니다!
의지할 수 있는 팀에서 빠른 성장을 느끼고 싶으신 분들이 앞으로도 더 많아지면 좋겠습니다!
AIPARK의 성공 여정에 함께 하고 싶은 분이라면, 지금 바로 클릭해 보세요! :)
제주도청의 도정뉴스를 전하는 AI아나운서가 AiVATAR를 통해 제작되어 화제가 되고 있는데요. 아래의 AiVATAR 서비스 링크를 클릭해 AI아바타의 자연스러움을 무료로 체험해 보세요 :)
#에이아이파크 #AIPARK #AiVATAR # 아이바타 #SXSW #박람회부스 #아바타 #AI아바타 #AVATAR #AIAVATAR #컴퓨터비전 #Faceswap #Animatediff #디지털휴먼 #digitalhuman #KJO #컴퓨터비전AI #AI휴먼 #AI아나운서 #AI앵커 #제주도청 #제이나 #가상인간아나운서