MIXED SCAPE

Mixed Scape Web XR Exhibition

MIXED SCAPE
2020

MUSIC/SOUND
VIDEO
NEUROSCAPE

2020.12.17~23
5PM / ONLINE
2020.12.17 학술대회 2PM ONLINE

참여작가: 박승순, 이종필, 김태완, 배준형
자문: 박태홍, 남주한
주최: 고등과학원 초학제연구단

Mixed Scape 전시 소개

최근 전 세계가 팬데믹 시대로 접어 들며 사회 전반의 행동양식들이 급변하고 있는 가운데, 사운드스케이프 또한 이전과는 매우 다른 양상을 보이고 있다. 도시의 분주한 일상과 기계가 자아내던 소란스런 소음들이 줄어들고, 사회적 거리두기로 인해 물리적 공간에서의 접촉이 제한되면서, 도시나 자연의 풍경을 온라인 상에서 영상, 사운드 등의 콘텐츠로 감상하는 아이러니한 상황들이 연출되고 있다.

고등과학원 초학제연구단의 박승순, 이종필, 김태완, 배준형은 딥러닝 알고리즘을 기반으로 사운드스케이프를 생성하는 ‘NEUROSCAPE(뉴로스케이프)’의 작품 및 연구 방법론을 개선하여, 인터-리얼리티 관점의 AI 사운드스케이프 기반 뉴미디어 아트웍 프로젝트를 통해 포스트 팬데믹 시대의 사운드스케이프를 재구성하고자 한다.

본 팀은 인간이 세계를 감각하는 데 있어 실제와 허구를 혼동하는 현 시점에서, 기술 발전의 가속화는 오히려 지금보다 심화되어 ‘리얼리티’라는 실제, 실재의 개념이 다른 양상으로 변화시킬 것으로 보고, 이러한 근미래를 ‘인터-리얼리티’와 ‘인트라-리얼리티'의 개념이 혼재된 총체적 ‘혼합 풍경(Mixed Scape)’라는 개념으로 상정하고자 한다. ‘인터-리얼리티’는 AR, VR, MR, XR 등 최근 주요하게 다뤄지고 있는 다양한 양상의 리얼리티를 통합적으로 이해하는 매개적 개념으로, 인간의 기존 감각 체계의 확장과 시청각적 혼재 감각 등 좀 더 포괄적 맥락을 함의하고 있다.

1994년, 애니메이션 회사 디즈니의 프로듀서 찰리 핑크(Charlie Fink)가 혼합 현실(Mixed Reality)을 현실 세계(Real World), 증강 현실(Augmented Reality, AR), 증강 가상성(Augmented Virtuality), 가상 현실(Virtual Reality, VR) 등 네 개의 스펙트럼으로 구분한 것에서 착안하여, 앞서 언급한 사운드스케이프와 리얼리티의 관계성을 바탕으로 실제 사운드스케이프(Real Soundscape), 폴리 사운드(Foley Sound), 구체음악(Concrete Music), 가상/인공 사운드스케이프(Virtual/Artificial Soundscape)의 스펙트럼으로 청각적 혼합 현실(Mixed Scape)을 대응하고자 한다.

개별 작품 소개

1. Real Soundscape
이종필은 딥러닝 기반 오디오 정보 분석 알고리즘을 이용하여 온라인 상에 업로드 된 서울과 뉴욕의 풍경 영상 데이터를 분석하고, 이를 통해 Real Soundscape의 특성을 파악하는 실험을 진행하였다. 실험을 통해 ‘자연 소리’, ‘자동차’, ‘사람이 많고 시끄러운’, ‘탁 트인 곳’ 등 약 8개의 주요 사운드스케이프 템플릿 카테고리를 검출하였고, 이는 개별적인 사운드 오브젝트를 시각 요소와 매핑하여 특정 소리가 강화되고 믹싱되는 방식의 웹 기반 Real Soundscape 아트웍으로 구현된다.

2. Foley Sound
배준형은 폴리사운드가 AR적 특성을 획득하고 리얼리티에 영향을 미치는 경우를 탐구하여 문화적 인터페이스로 제시하는 것을 목표로 한다. 폴리사운드가 AR적 특성을 획득하는 순간은 2가지이다. 첫번째는 메인-프로덕션 단계를 거쳐 만들어진 영상물의 어떤 장면에 귀속된 소리를 포스트-프로덕션 단계에서 증강시키는 순간이다. 두번째는 코스플레이어가 원작에 종속된 폴리사운드를 코스프레의 감각/개념적 퀄리티를 증강하는 폴리사운드로 재창조하는 순간이다. 후자의 경우 방법론이 고도화될수록 현실/가상적 공간에서 실재가 교차감각되는 순간이 생생하게 구현된다. 이러한 문제적 구조체를 탐구하기 위해 폴리사운드가 주체인 아카이브 영상을 제작했고, 작업에 대한 소고를 족자봉의 형식으로 제시했다.

3. Concrete Music
김태완은 실제 소리라는 구체적 소재에서 추상적인 음의 형태로 변환하는 구체음악(Musique Concrète)의 특성이 Augmented Virtuality의 개념과 대응한다고 본다. Virtual Environment 위의 Real Object들이 구조적으로 배열되고 변형되는 것을 시청각적으로 표현하기 위해 Hype Pixel layout을 구현하였다. 실제 환경의 리얼리티는 직관적으로 파악 가능하지만, 명료하게 현실 세계로 인지할 수 없도록 인터-리얼리티 관점에서 시각적인 ‘차연' 현상을 일으키고자 한다. 의미가 부유하며 변해가는 순간들을 영상으로 담아내고, 포착된 순간들은 아트웍 포스터로 제시했다.

4. Virtual/Artificial Soundscape
박승순은 최근 널리 사용되고 있는 모질라 허브를 이용하여 웹 상에 구현된 가상의 공간으로 접속하고, 평면적으로 제시되어 온 일련의 풍경 영상/음악 등을 구체(sphere) 형식으로 변환하여 독립된 인공적 풍경 행성을 유영하는 관람 방식을 제시한다. 또한 폴란드 아티스트 Krzysztof Wodiczko의 1969년 작 <Personal Instrument> 작품에서 영감을 받아 헤드폰이라는 디바이스를 통해 실제와 인공(혹은 가상)의 사운드스케이프의 경계를 탐색하고 도시나 자연과 같은 물리적 환경 자체를 무대화 하여 수행성을 드러낼 수 있는지에 대한 리서치 과정을 컨셉화하여 제시하고자 한다.

작가 소개

박승순
전자음악 작곡가이자 뉴미디어 아티스트로서 음악과 사운드를 기반으로 다양한 매체에 투영하는 작업 및 프로젝트를 진행해오고 있다. 현재 한국예술종합학교 무용원 겸임교수이자 융합예술센터 초빙연구원으로 재직 중이며, 음악기술 스타트업 뉴튠(NEUTUNE)의 공동 창업자(CCO)이다. 한국과학기술원(KAIST) 문화기술대학원 석사과정을 졸업하였다.
Website

이종필
리서치 사이언티스트로서 딥러닝 기반 음악 정보 검색을 주로 연구해오고 있다. 세계 최고 음악정보 분석 학회(ISMIR)에서 Dolby, DeepMind, NYU 연구진과 Tutorial 발표하였으며, 그의 연구 성과는 Adobe, Pandora, Naver 등 글로벌 음악 서비스에 적용되었다. 현재 음악기술 스타트업 뉴튠(NEUTUNE)의 공동 창업자(CEO)이다. 한국과학기술원(KAIST) 문화기술대학원 박사과정 졸업하였다.
Website
Google Scholar

김태완
다학제 아티스트 & 디자이너로서 사용자 경험(UX) 및 AI 프로덕트 디자인을 주로 연구해오고 있다. 현대 그룹, UX 에이전시, AI 테크 스타트업 등에서 경력을 쌓아 왔으며 또한 국제 전자예술 학회(ISEA) 등에서 미디어 아트 작품을 전시하였다. 국민대학교 시각디자인학과 및 대학원에 출강 중이며, 음악기술 스타트업 뉴튠(NEUTUNE)의 공동 창업자(CDO)이다. 한국과학기술원(KAIST) 문화기술대학원 석사과정을 졸업하였다.
Website

배준형
연구자이자 작가로서 멀티모달 음악 정보 처리 및 검색을 연구하고 있다. 현재 서울연구원, 엔씨소프트, 카이스트의 지원을 받아 문화 연구를 진행하며, 만화 <키치 꼬치>를 작업하고 있다. 한국과학기술원(KAIST) 문화기술대학원 석사과정 재학 중이다.
Website