안녕하세요, 컴패노이드 랩스 크루 이진형 입니다.

저는 이번 한국 HCI 학회에서 메타버스와 XR 관련 세션들을 참석하고, 여기서 얻은 인사이트를 여러분들과 공유하고자 합니다.

과거 메타버스 트렌드가 활발할 때 출시한 많은 서비스가 실패하는 모습을 보이며, 사람들은 메타버스를 상용화 측면에서는 성공 불가능한 산업으로 인식하기 시작했습니다. 이는 메타버스가 기술적, 서비스적, 콘텐츠적으로 미숙했기 때문이라고 생각합니다. 사용자들은 기술적 제약으로 인한 불편함을 겪었고, 메타버스와 XR에 적합한 UX가 부재하여 사용자들의 몰입을 이끌어내지 못했습니다. 이러한 실패는 메타버스의 성공 가능성에 의심을 심어주었고, 시장은 메타버스의 기초적인 부분에 집중하기 시작했습니다.

이러한 배경 속에서 Meta, Apple을 포함한 미국과 주요 국가들은 XR을 메타버스 구현의 핵심 기술로 여기며, 메타버스 산업 자체보다는 XR 디바이스 및 콘텐츠 개발에 초점을 맞췄습니다. Apple의 XR 헤드셋 ‘Vision Pro’의 초기 예약 판매 물량이 신속하게 매진되는 현상은 이러한 추세를 반증합니다. 이에 발맞추어, LG, 삼성 등 국내 대기업들도 XR 시장에 뛰어들었고, XR 생태계의 지속적인 성장을 견인할 콘텐츠의 중요성이 더욱 커졌습니다.

이제 XR은 멀리 떨어진 메타버스가 아니라, 현실과 연계된 주변 환경에서 콘텐츠를 소비하는 중심축으로 자리 잡고 있습니다. 이는 사람들이 더 쉽게 몰입하고 친근하게 접근할 수 있는 경험을 제공하며, 메타버스와 XR의 장점을 부각하고 있습니다.

이러한 현재의 변화와 발전은 메타버스가 다시 주목받을 수 있는 기반을 다지고 있습니다. 기술과 사용자 경험이 성숙해짐에 따라, 메타버스는 더 혁신적이고 통합적인 형태로 재탄생할 가능성이 높습니다. 이는 단순한 가상 세계의 몰입형 체험을 넘어, 교육, 업무, 엔터테인먼트 등 다양한 분야에서의 실질적인 응용을 의미합니다. 현재의 도전과 시행착오는 장기적 관점에서 볼 때 메타버스의 더 큰 발전과 진화를 위한 중요한 단계로 평가될 수 있습니다.

HCI Korea 2024 학술대회에서 본 메타버스/XR 핵심 기술 동향

XR은 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR) 등 최신 기술들이 융합한 포괄적인 분야입니다. 이러한 기술들은 센서, 햅틱 피드백, 3D 오디오, 그리고 생성형 AI를 포함한 다양한 첨단 기술을 통해 사용자에게 몰입감 높은 경험을 제공합니다. 본 아티클은 XR을 구성하는 핵심 기술 중, HCI Korea 2024 학술대회에서 논의된 XR 기술의 최신 동향과 발전 사항을 소개하고, 이 분야의 핵심 개념과 인사이트를 정리하여 XR 기술에 대한 깊이 있는 이해를 돕고자 합니다.

A) 생성형 AI와 메타버스/XR

생성형 AI는 대화, 이야기, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를 창출하는데 중요한 역할을 합니다. 특히, 메타버스와 XR 분야에서 이러한 AI의 영향력은 매우 큽니다. XR을 중심으로 발전하는 메타버스 트렌드에 따라, 지속적인 사용자 유입을 위한 XR 콘텐츠의 수요가 증가하고 있습니다. 이러한 상황에서 생성형 AI는 사용자와 협력하여 XR 콘텐츠를 창조하며, 이는 메타버스/XR 환경에서 3D 모델 데이터, 음성 데이터 등을 제작하고 공유하는데 핵심적인 역할을 하게 됩니다. 메타버스에서 생성형 인공지능을 활용한 콘텐츠 창작과 협업에 관한 연구를 살펴보면, 메타버스/XR 환경에서 참여자들이 생성형 AI와 협업할 수 있는 협업 시뮬레이션 작업공간(Collaboration Simulation Workspace)에 대한 연구가 진행되었고, 타 연구들에서도 비중 있게 다뤄지고 있는 분야입니다.

이처럼 생성형 AI와 메타버스/XR 콘텐츠를 만드는데 있어 협업할 수 있는 방향은 이번 HCI Korea 2024 학술대회 세션에서도 찾아볼 수 있었습니다. 특히 서울대학교의 “Designing a User Interface for Generative Design in Augmented Reality: A Step Towards More Visualization and Feed-Forwarding” 세션에서는 생성형 AI 기술이 AR(Augmented Reality) 환경에서의 UI 가이드를 제작하는 방식이 소개되었습니다. 사용자가 방의 크기와 주요 사물들에 대한 정보를 룸 스캔 등을 통하여 입력하면, 생성형 AI가 입력된 공간 환경을 고려하여 자동으로 최적의 디자인 옵션을 생성하는 시스템이었습니다. 이 시스템은 사용자가 입력한 데이터를 기반으로 하여, 방의 구조와 사물들의 배치에 맞게 다양한 디자인 대안을 제시합니다. 예를 들어, 사용자가 거실의 크기와 소파, 테이블의 위치 정보를 입력하면, 생성형 AI는 이 정보를 활용하여 조명, 장식품, 기타 가구 등의 배치를 제안합니다.

이러한 접근 방식은 사용자가 AR 환경에서 보다 효율적이고 직관적인 방식으로 디자인을 조정할 수 있도록 지원합니다. 사용자는 AI가 제안한 디자인을 실시간으로 보고, 필요에 따라 조정을 할 수 있습니다. 이 과정에서 생성형 AI는 지속해서 사용자의 피드백을 학습하고, 이를 바탕으로 디자인을 개선합니다. 또한, 이 시스템은 다양한 사용 환경에 맞추어 유연하게 대응할 수 있도록 설계되었습니다. 예를 들어, 사무실, 카페, 가정집 등 다양한 유형의 공간에 대한 디자인 제안이 가능하며, 각 공간의 특성에 맞는 최적화된 디자인솔루션을 제공합니다.

HCI Korea 2024 학술대회에서 소개된 이 세션은 생성형 AI와 AR 기술의 결합이 어떻게 디자인 프로세스를 혁신할 수 있는지를 보여줍니다. 사용자 중심의 디자인 접근 방식과 AI의 분석 능력이 결합하어, 사용자에게 맞춤형 디자인솔루션을 제공함으로써, 디자인 프로세스의 효율성과 창의성을 크게 향상할 수 있음을 시사합니다. 이는 메타버스와 XR 콘텐츠 개발에 있어 중요한 전략적 방향을 제시하는 사례로 볼 수 있습니다.

HCI Korea 2024 학술대회에서는 생성형 AI를 활용하여 메타버스/XR 환경에서 사용될 수 있는 사운드 제작에 관한 연구도 주목할 만했습니다. 특히, Creative Award 세션에서는 "버려진 것들의 사운드 - 인공지능을 활용한 이미지 기반 사운드 생성"이라는 연구가 소개되었습니다. 이 연구는 다양한 사회적 문제들을 시각적으로 표현한 이미지와 이와 연관된 사운드를 인공지능을 통해 생성하는 것에 초점을 맞추었습니다.

사용된 방법론은 이미지에서 텍스트 형태의 캡션을 생성하는 이미지 캡셔닝 기법과 텍스트 기반의 사운드 변환 모델인 AudioLDM을 사용하여, 이미지로부터 사운드를 생성하는 것이었습니다. 이를 통해, 관람객들은 시각적 요소뿐만 아니라 청각적 요소를 통해 다감각적인 경험을 할 수 있었으며, 이는 현 사회 문제에 대한 인식과 관심을 불러일으키는 데 기여하였습니다.

다음에는 일반적인 소리에 대한 더욱 정교한 데이터 라벨링과 연구가 이루어짐으로써, AI를 활용한 더욱 다양하고 복잡한 사운드 생성이 가능해질 것으로 기대됩니다. 이는 예술적 표현 방법으로서의 생성형 사운드 활용 범위를 확장하는 중요한 진전이 될 것입니다.

B) WebXR , 공간컴퓨팅

XR을 이루고 있는 핵심 기술 중 빠질 수 없는 것이 WebXR과 공간컴퓨팅(Spatial Computing)입니다. 먼저 각 기술에 대해 간단히 소개해 드린 뒤, HCI Korea 2024 Keynote에서 느낀 인사이트를 전해드리겠습니다.

WebXR은 웹 기반 가상 및 증강 현실 경험을 제공하는 API로, 사용자가 별도의 애플리케이션 설치 없이 브라우저를 통해 VR과 AR 경험을 할 수 있게 해줍니다. 이 기술의 핵심 장점은 접근성과 호환성에 있습니다. 다양한 장치와 플랫폼에서 작동할 수 있는 WebXR은 개발자들이 더 넓은 사용자 풀에 도달할 수 있도록 지원합니다. 웹 기술의 지속적인 발전은 WebXR을 통해 제공되는 콘텐츠 경험의 질을 향상하고 있습니다.

특히, 최근 CES 2024에서 발표된 경량화된 일상용 스마트 글래스와 같은 장치들은 저장 용량과 무게를 고려할 때, WebXR의 사용이 필수적으로 될 것입니다. 이는 마치 저사양 노트북 시장에서 크롬북이 차지한 위치와 유사하며, WebXR은 인터넷 기술의 지원만 있으면 XR 및 메타버스의 기초 인프라 형성에 있어 획기적인 기술로 자리 잡을 수 있습니다. WebXR의 발전은 가상 및 증강 현실의 경험을 더욱 대중화시키고, 다양한 분야에서의 활용 가능성을 넓히는 데 중요한 역할을 할 것으로 기대됩니다.

WebXR에 비해 Apple의 Vision Pro에 인기와 더불어 공간 컴퓨팅 용어는 독자 여러분들에게 더욱 익숙할 것으로 생각됩니다. 

공간 컴퓨팅은 사람과 기계의 상호 작용을 새로운 차원으로 끌어올리는 기술로, 여기서 기계는 실제 물체와 공간을 인식하고 조작하는 능력을 갖춥니다. 이러한 실제 물체와 공간은 사용자에게 이미 의미가 있어야 합니다. 예를 들어, 사용자가 자신의 주변 실제 공간에 가상 객체를 설치할 수 있는 프로그램이나, 환경 속 물체를 디지털화하기 위해 기계에 넣을 수 있는 시스템 모두가 공간 컴퓨팅의 범위 안에 들어갑니다. 이는 전통적인 3D 모델링이나 디지털 디자인과는 다른 점이 있는데, 공간 컴퓨팅은 단순히 화면상의 가상 공간을 넘어서, 실제 장소와 의미 있는 연결을 형성합니다. 즉, 가상 세계와 실제 세계 사이의 경계를 허물고, 이 둘을 통합하여 사용자에게 더 현실적이고 몰입도 높은 경험을 제공합니다. 이러한 접근은 AR, VR, MR과 같은 기술을 통해 실현되며, 다양한 산업 분야에서 새로운 형태의 상호작용과 경험을 창출하고 있습니다.

HCI Korea 2024 학술대회에서는 NYU Future Reality Lab의 Ken Perlin 교수님의 The Future of Experiential Computing 기조연설을 통해 위 두 기술에 대한 인사이트를 추가로 얻을 수 있었습니다. 연설은 스마트 글라스와 네트워크 인프라의 발전이 어떻게 우리의 일상생활을 근본적으로 변화시킬 것인지에 대한 예측으로 시작되었습니다. 특히, 2033년까지의 통신 기술 변화를 중심으로, 일상적인 소통 방식의 변화와 이러한 변화가 우리의 일상생활에 미칠 영향을 상세히 설명했습니다.

Perlin 교수님은 6G 기술의 대규모 대역폭이 정보 접근 방식을 근본적으로 변화시킬 것이라고 언급하며, 이를 통해 장소, 물체, 사람들의 제스처 등에 대한 실시간 분석이 가능해질 것임을 강조했습니다. 또한, 스마트 글라스가 입력/출력 장치로서 기능하게 되며, 모든 중요한 계산은 클라우드에서 이루어질 것으로 예측했습니다. 이러한 기술 발전은 멀리 떨어진 사람들 간의 소통을 더욱 실제 같게 만들어, 몸짓, 표정, 눈의 움직임 등을 통해 더 풍부한 소통이 가능하게 할 것입니다.

이 연설은 또한 인간 간의 상호작용을 새로운 차원으로 끌어올리는 공간 컴퓨팅의 가능성을 강조했습니다. 현실 세계에서 중요한 가치를 지닌 실제 형태와 공간을 다루고, 이러한 가상 공간이 실제 장소와 의미 있는 연결을 가져야 한다는 점을 강조하며, 실제와 가상의 경계를 허물고 두 세계를 통합하는 공간 컴퓨팅의 역할을 조명했습니다.

HCI Korea 2024 학술대회에서 Ken Perlin 교수님의 "The Future of Experiential Computing" 기조연설을 듣고, 공간 컴퓨팅과 WebXR의 미래에 대한 많은 인사이트와 통찰을 얻을 수 있었습니다. 이 연설은 기술이 어떻게 우리의 일상생활, 의사소통 방식, 심지어 우리의 인지와 감정을 변화시킬 수 있는지에 대해 깊이 있게 탐색했고, 특히, 스마트 글래스와 같은 웨어러블 기술이 어떻게 실제와 가상을 융합시켜 새로운 형태의 상호작용을 창출할 수 있는지에 대한 부분이 인상적이었습니다.

연설에서 강조된 실시간 3D 환경과 상호작용, 개인화된 학습 경험, 심지어 원격으로 감정을 공유하는 등의 가능성은 현재의 기술 경험을 훨씬 넘어선 것이었습니다. 이러한 기술이 우리의 사회, 교육, 건강 관리 등 다양한 분야에 미칠 영향을 생각해 보면, 앞으로 우리가 살아갈 세상이 얼마나 다채롭고 풍부해질지 기대가 됩니다.

물론, 이러한 기술 발전이 가져올 사회적, 윤리적 문제들에 대한 깊은 고민도 필요함을 느꼈습니다. 데이터 관리, 프라이버시, 보안 등의 문제는 우리가 기술을 받아들이는 방식에 큰 영향을 미칠 것입니다. 이 연설은 단순히 기술의 발전 가능성을 제시하는 것을 넘어서, 우리가 미래의 기술과 어떻게 상호작용하고, 이를 어떻게 우리 삶의 일부로 받아들일 것인지에 대해 심도 깊이 생각해 볼 수 있는 계기가 되었습니다.

마치며

메타버스와 XR 기술은 현재 급속한 발전을 이루고 있으며, HCI Korea 2024 학술대회에서 이에 대한 다양한 핵심 기술 동향과 연구 내용이 소개되었습니다. 이러한 기술의 발전은 생성형 AI, WebXR, 공간 컴퓨팅 등 다양한 측면에서 이루어지고 있으며, 곧 현실과 가상을 통합하는 새로운 형태의 경험과 상호작용이 가능하게 될 것으로 생각됩니다.

그러나 이러한 기술 발전은 결국 사용자가 어떻게 이러한 기술을 받아들이고 상호작용할지에 대한 고민이 필요합니다. 사용자 중심의 디자인과 윤리적 고려가 중요하며, 이를 통해 메타버스와 XR 기술이 더 폭넓게 적용되고 다양한 분야에서 혁신을 이루는 데 기여할 것으로 기대됩니다. 이번 아티클을 통해 메타버스와 XR 트렌드에 대한 이해를 높이고, 다가올 미래에 대비하는 데 도움이 되었기를 바랍니다.