KAIST 증강현실연구센터(ARRC) 신재은 연구원
코로나19는 메타버스와 가상현실에 대한 관심을 촉발시켰습니다. 수업, 미팅, 콘서트, 전시 등 시공간을 초월한 가상세계에서 여러 사람의 하나의 경험을 공유할 수 있기 때문입니다. 가상현실은 우리가 앞으로 살아가야할 미래의 공간으로 주목받고 있지만, 일반인들에게는 장비와 비용, 그리고 명확하게 규정되지 않은 경험상의 제약이 존재합니다. 사람들이 증강현실과 같은 가상세계에서도 현실처럼 인식하고 활동하려면 무엇이 필요할까요? 더 높은 해상도와 현실 같은 그래픽이 더 재미있는 게임의 필수요소가 아니듯이, 가상세계에서도 인간과 가상공간·가상사물간의 유기적인 피드백과 감정적 경험이 필요합니다. 신재은 연구원은 인문학과 아나로그 세상을 통해 익힌 스토리적 관점을 최신 기술과 접목하여, 가상현실이 현실을 능가하는 인류의 새로운 터전이 되는 방법을 연구하고 있습니다.
안녕하세요, 저는 KAIST 증강현실연구센터(ARRC)에서 박사후 연구원으로 재직 중인 신재은이라고 합니다. KAIST 문화기술대학원 UVR Lab에서 HCI 기반의 증강현실 연구로 석사, 박사 학위를 취득하고, 현재 증강현실연구센터에서 혼합현실 기반의 원격 협업을 위한 공간적응적 스토리텔링을 연구중입니다.
저는 영문학을 전공한 후 비교문학 연구자가 되기 위한 길을 걷고 있었습니다. 그러던 중 일본 유학시절에 대지진을 겪으면서 세상을 바라보는 관점이 바뀌게 되었습니다. 제 삶의 위치를 완전히 바꾸어보고 싶다는 생각에 귀국 후 IT 컨설팅 회사에서 입사하였고, 빠르게 발전하는 정보기술과 그로 인한 사회적 변화를 업계 최전선에서 경험할 수 있었습니다. 그 후 당시에 새롭게 각광받기 시작하던 증강현실 기술이 혁신적인 스토리텔링 매체로써 갖고 있는 잠재력에 관심을 갖고, KAIST 문화기술대학원에 진학해 관련 연구를 하게 되었습니다. 증강현실을 통해 사람과 사회를 구축하는 이야기의 장을 텍스트 바깥에서 끊임없이 유동하는 실제 공간상에 펼쳐낼 수 있다는 점에 매력을 느꼈습니다.
저는 박사과정 동안 머리에 착용하는 “안경형 증강현실 디스플레이”를 위한 몰입감 높은 콘텐츠 디자인 원칙을 수립하는 것을 목표로 연구를 하였습니다. 착용형 증강현실 기기의 대표격인 마이크로소프트 홀로렌즈용 탐정 게임인 “프래그먼츠”의 서사 체험에 있어서 현실 공간의 크기와 밀도가 어떤 영향을 미치는지 사용자 연구를 수행하였습니다. 현실 공간의 물리적 특성을 사용자 관점에서 개념화하고, 이를 기반으로 증강현실에서의 서사 공간 디자인을 위한 실험 조건을 공간 배치로 확장하였습니다. 이러한 연구들을 통해 얻은 데이터와 분석 결과를 바탕으로, 착용형 증강현실 환경에서의 공간적응적 스토리텔링을 위한 증강 서사 공간 디자인 프레임워크를 제시했습니다.
-
KAIST 문화기술대학원 UVR 연구실에서의 증강현실 연구 활동 -
박사 졸업 연구 내용 발표
증강현실이 대중적인 확산력과 파급력을 갖추기 위해서는 접근성 높은 증강현실 기기의 개발과 더불어 증강현실의 특장점을 극대화하는 킬러 콘텐츠의 개발이 무엇보다 중요합니다. 저의 연구는 사용자들이 동일한 증강현실 콘텐츠를 경험하는 공간이 달라지더라도 일정 수준 이상의 몰입감과 만족감을 느낄 수 있도록 하는 데 초점을 맞추고 있어, 사용자들이 어디에서나 즐길 수 있는 양질의 증강현실 콘텐츠 개발에 활용될 수 있을 것이라고 생각합니다.
현재는 증강현실을 포함한 혼합현실 환경에서의 원격 협업 분야의 연구에 관심을 갖고 있습니다. 증강/혼합 현실은 가상의 3차원 공간안의 상호작용을 통해서, 서로 멀리 떨어져 있는 사람들 간의 사회적 공존감과 친밀감을 높일 수 있습니다. 또한 그 공간을 광범위하게 활용하는 다양한 유형의 동적인 활동을 가능하게 합니다. 그렇기 때문에 사용자 개개인의 환경과 이들이 함께 모여 수행해야할 일의 내용에 맞추어, 동적인 활동에 최적화된 증강 협업 공간을 구성하는 데에 초점을 맞추고 있습니다.
저는 BK21 사업을 통해 인문학과 공학 모두를 연구할 수 있는 행운을 누렸습니다. 이전까지 제가 뿌리내리고 있다고 믿었던 인문학의 영역에서 공학의 영역으로 자리를 옮기고, 두 지점을 자유롭게 오가며 그 사이에서 발생하는 시차적 관점을 확보할 수 있었습니다. 새로운 분야에 도전해 여러 시행착오를 겪으면서 쌓아온 연구 역량은 국제 학회 발표, 해외 대학원과의 교류 행사 참여 및 유관 해외 연구실 방문 연구 등을 전적으로 지원해준 BK21 사업에 많은 부분을 빚지고 있습니다.
-
2017 ICCE 학회 발표 -
2019 ISMAR 학회 발표
박사과정 중 수행한 연구들이 좋은 논문들로 결실을 맺은 것은, 기초부터 시작하며 미숙한 점이 많았던 석사과정때부터 BK21 사업을 통해 두 곳의 국제 학술대회에 1저자로 논문을 발표하면서 꾸준히 연구에 필요한 경험을 쌓아올 수 있었기 때문이라고 생각합니다. 이 경험들이 박사과정까지 이어지면서 연구 분야의 우수 학회에 참가해 같은 관심사를 지닌 세계 곳곳의 연구자들과 적극적으로 네트워킹하면서 친분을 쌓게 되었고, 이를 계기로 방학 기간을 이용해 그 연구자들과 직접 만나 머리를 맞대고 함께 연구를 수행할 수 있는 방문 연구도 할 수 있게 되었습니다.
연구자의 입장에서 BK21 사업에 참여하고 있다는 사실을 가장 체감하는 부분은 역시 연구를 위한 재정적 지원 부분입니다. 여기에 더해서 참여 연구자들이 BK21 교육연구단의 여러 활동이나 프로그램, 제공 정보 등에 대해 보다 자주 그리고 쉽게 접근할 수 있는 계기가 많아지면 좋을 것 같습니다.
10년 후에도 증강현실을 통해 사람들이 이야기를 만들고 경험하고 공유하는 방식을 혁신하는 연구를 지속할 수 있었으면 합니다. 아직 뚜렷이 정의된 바 없는 증강현실 스토리텔링의 문법과 장르를 개척하고, 이론과 실천의 양 측면에서 증강현실 스토리텔링이 발전해나갈 수 있는 토대를 체계적으로 수립하고 싶습니다. 인문학과 공학 사이에서 발생하는 시차적 관점을 무기삼아 다양한 학제간의 간극을 보다 명민하게 인식하고, 그 공간을 새로운 융합 연구의 장으로 창출할 수 있는 능력을 더욱 키우는 것이 연구자로써의 가장 큰 목표입니다.
석사과정부터 박사과정까지 저를 지도해주신 우운택 교수님께 가장 감사드립니다. 이전 전공 분야와 전혀 다른 영역과 방법론을 다루는 연구에 도전하는 어려움을 이해해주시고 언제나 조언과 격려, 지원을 아끼지 않으셨습니다. 그리고 다양한 학문적 배경과 전문성을 가지고 서로의 연구에 적극적으로 참여하는 과정에서 함께 치열하게 고민하고 소통하면서 융합 연구의 본질을 깨우쳐 준 UVR Lab의 동료들에게도 언제나 고마운 마음을 갖고 있습니다.
연구에 있어 ‘무엇을’과 ‘어떻게’에 우선하는 것은 ‘왜’라고 생각합니다. ‘왜’에 대한 생각이 확고해야 그 토대 위에 ‘무엇을’과 ‘어떻게’를 선택하고 수행하는 과정에서 겪게 되는 시행착오와 어려움에도 쉽게 흔들리지 않을 수 있을 것입니다. 연구자의 길에 진입하기 이전에도, 이후에도 늘 ‘왜’를 끊임없이 묻고, 확인하고, 다져나간다면 좋을 것 같습니다. 여기에 연구에 대한 비판적 문제의식과 이러한 문제의식을 꾸준히 다듬어나가는 성실함을 갖춘다면 훌륭한 연구자가 될 것이라 생각합니다.
-
주요 국제 논문
- (제1저자) Shin, Jae-eun, et al. "A user-oriented approach to space-adaptive augmentation: The effects of spatial affordance on narrative experience in an augmented reality detective game."Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. 2021. Best Paper Honorable Mention 수상 (제출 논문 상위 5%)
- (제2저자) Kim, Dooyoung, et al. "Adjusting relative translation gains according to space size in redirected walking for mixed reality mutual space generation."2021 IEEE Virtual Reality and 3D User Interfaces (VR). IEEE, 2021.
- (제1저자) Shin, Jae-eun, et al. "Is any room really ok? The effect of room size and furniture on presence, narrative engagement, and usability during a space-adaptive augmented reality game."2019 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). IEEE, 2019.
- (제1저자) Shin, Jae-eun, and Woontack Woo. "Design guidelines for a location-based digital heritage storytelling tool to support author intent."2018 3rd Digital Heritage International Congress (DigitalHERITAGE) held jointly with 2018 24th International Conference on Virtual Systems & Multimedia (VSMM 2018). IEEE, 2018.
- (제4저자) Park, Hyerim, et al. "K-culture time machine: A mobile ar experience platform for korean cultural heritage sites."International Conference on Human Interface and the Management of Information. Springer, Cham, 2018.
- (제1저자) Shin, Jae-eun, Hyerim Park, and Woontack Woo. "Connecting the dots: Enhancing the usability of indexed multimedia data for AR cultural heritage applications through storytelling."Proceedings of the 15th International Workshop on Content-Based Multimedia Indexing. 2017.
- (제1저자) Shin, Jae-eun, Junghwa Kim, and Woontack Woo. "Narrative design for Rediscovering Daereungwon: A location-based augmented reality game."2017 IEEE International Conference on Consumer Electronics (ICCE). IEEE, 2017.