NEUROSPACE
신경공간
NEUROSPACE 신경공간
2019
박승순 개인전
2019.7.18 - 9.22
백남준아트센터
작가: 박승순
알고리즘: 이종필
공간구성: 신승렬
후원: 백남준 아트센터(2019 랜덤 액세스 프로젝트 VOL.4)
2019
박승순 개인전
2019.7.18 - 9.22
백남준아트센터
작가: 박승순
알고리즘: 이종필
공간구성: 신승렬
후원: 백남준 아트센터(2019 랜덤 액세스 프로젝트 VOL.4)
전시는 작가가 그간 소리의 인지라는 측면에서 끊임없이 연구했던 지점들을 작품으로 구현하고 작품의 흐름을 추적하는 과정을 따른다. 인간은 다양한 감각의 총체인 ‘경험’이라는 맥락 안에서 기억을 저장하고 다시 불러내며 각자의 경험치를 토대로 세상을 인지하고 바라본다. 일상에서 마주하는 수많은 소리는 어느 한순간도 동일하지 않으며 각자의 기억과 경험에 따라 다르게 해석된다.
이번 전시에서 선보이는 작품들은 직접 감각하여 경험하기 어려운 기계의 ‘기억과 경험’은 우리의 그것과 어떤 차이가 있을 것인지에 대한 작가의 질문에서 시작된다. 기억에 내재한 소리/이미지를 끄집어내어 연상하는 일련의 과정을 기계에서 구현하고자 할 때, 기계가 구성하는 풍경과 우리가 기억하고 상상하는 풍경에는 어떤 차이가 있을까. 작품은 그 차이점을 파고들며 관람객에게 질문을 던진다. 과연 인간과 기계가 공존하기 위해 우리가 ‘감각할 수 없는 기계’와 함께 만들어 가야 할 ‘기억’은 무엇일까? 전시는 인간과 기계의 감각과 인지가 미끄러지고 어긋나면서 인간과 기계, 소리와 인지, 감각과 기억에 대한 각자의 생각을 더 깊숙이 들여다볼 수 있는 ‘신경 공간’으로서의 풍경을 제시하고자 한다.
“사물을 지각하고 경험하는 방식은 각자의 사적인 경험 자체로 환원되어야 할 문제이다. 일상에서 마주하는 수많은 소리 풍경은 어느 한순간도 동일하지 않으며, 각자의 기억과 경험에 따라 다르게 해석된다. 내면에 귀 기울일수록 망각하고 있던 고유한 일상의 리듬이 서서히 모습을 드러낸다. 잘 완성된 음악보다는, 관객의 머릿속에서 각기 다른 방식으로 연주되는 소리를 상상한다. 심상이라는 무대에서 상상적 풍경의 오케스트라를 지휘하고 있다. 우린 어쩌면, 일종의 독립적인 행성일지도.”
작가노트 중
■ 작품 소개
1. 뉴로스케이프 V1
<뉴로스케이프 V1>, 2017-2018, 비디오 설치 NEUROSCAPE V1, 2017-2018, Video installation
‘NEUROSCAPE’는 Neuro(신경)와 Landscape(풍경)의 합성어로, 인공신경망에 의해 재구성된 기억-풍경을 의미한다. 관객이 원하는 풍경을 캡처하여 전송하면 전송된 이미지 정보는 딥-러닝 분석 알고리즘을 통해 분석하여 키워드를 뽑아낸다. 연산 알고리즘은 ‘오디오/이미지 데이터 셋 카테고리’에서 이 이미지 키워드에 상응되는 소리를 찾아내 스피커 및 모니터로 출력하여, 일종의 오디오/비주얼 콜라주 사운드 스케이프를 실시간으로 구성한다. 뉴로스케이프가 보여주는 사운드 스케이프에서 관람객이 상상한 풍경 이미지와 인공지능이 연산한 이미지, 상상한 소리와 알고리즘이 찾아낸 소리에서 어긋나는 지점들을 발견할 수 있다. 작품은 딥-러닝 알고리즘과 인간의 감각과 인지에서 비롯한 수많은 오류를 드러내어 ‘인간이 기술을 어떻게 바라보고 활용할 수 있는지’에 대한 근본적인 질문을 던진다.
**뉴로스케이프(Neuroscape) : 풍경의 이미지를 분석하여 이에 상응하는 소리와 이미지를 찾아내 자동으로 연동하는 인공지능 시스템으로 작가 박승순과 알고리즘 개발자 이종필이 개발하였다.
2. 소리/풍경 인지능력 평가
<소리/풍경 인지능력 평가>, 2017-2019, 온라인 설문 Test of Soundscape Cognitive Ability, 2017-2019, Online survey
사람들이 얼마나 특정 장소의 소리를 잘 구별할 수 있는지 조사하는 '소리/풍경 인지능력 평가'이다. D-CASE와 구글 오디오 데이터-셋을 이용한 딥-러닝 알고리즘으로 생성된 인공 풍경 소리와 실제 풍경 소리를 구별하는 설문 형식의 작품이다. 작품에(설문에) 참여하는 과정에서 관객은 인공적으로 만들어진 풍경의 소리와 실제 풍경 소리의 구분이 모호한 지점을 인지하게 된다. 실제 풍경 소리와 인공 풍경 소리의 구분이 모호하다면 과연 우리는 소리를 어떻게 정의하고 이해할 수 있을까?
3. 소리분류학
<소리분류학>, 2017, 7분, 싱글채널 비디오, 2채널 사운드 Taxonomy of Sound, 2017, 7mins, single channel video, 2 channel sound
우리는 풍경을 단순히 시각, 청각, 언어 등 개별 요소로 구별하여 기억하기보다는 이 모든 요소를 총체적으로 감각하고 인지한다. 그 ‘인지’에는 개인의 경험과 그 경험으로부터의 기억이 큰 영향을 미친다. 작품은 생태학적 소리 분류 기준들을 참고하여 일상에서 마주하는 풍경의 이미지와 소리를 재배열하여 보여준다. 영상 속 소리는 과연 어떤 소리일까. 작품은 각 도시/자연풍경 모습을 기존 환경 소리 연구자들이 분류한 카테고리에 따라 3~5초 단위의 길이로 나누어 보여주고 있다. 작품에 사용된 영상은 유료로 구매 가능한 풍경 영상이며, 대체로 이러한 영상에는 소리가 없다. 작가는 이 ‘소리 없는 영상’ 속 풍경에 어울리는 소리를 삽입하였다. 하지만 관객이 이 작품 속 영상과 소리가 키메라처럼 합쳐져 있다는 것을 인지하기란 쉽지 않다. 인공적으로 만들어진 새로운 풍경은 우리에게 익숙한 일상의 소리, 일상의 풍경과 크게 다르지 않다. 실제와 인공의 소리는 무엇인지 각각 우리에게 다시 한 번 질문을 던진다.
4. 인공적 사운드 스케이프 구성 프로젝트 <인공적 사운드 스케이프 구성 프로젝트>, 2017-2019, 3 채널 비디오, 6 채널 사운드
Artificial Soundscape, 2017-2019, 3 channel video, 6 channel sound
‘인공적 사운드 스케이프 구성 프로젝트’는 국내/외 도시 또는 자연의 풍경 영상을 채집하여 ‘뉴로스케이프 시스템’으로 관련 이미지, 사운드, 텍스트를 검출하고, 최종 검출된 사운드를 다시 기존 영상에 덧씌워 원본 풍경 소리와 인공적으로 구현한 소리의 차이점을 비교해보는 프로젝트이다. 작가는 이번 전시에 맞춰 <인공적 사운드 스케이프 구성 프로젝트>를 관객이 참여할 수 있는 동명의 신작으로 새롭게 선보인다. 스위치를 오른쪽으로 돌리면 실제 소리, 왼쪽으로 돌리면 인공지능이 찾아낸 소리를 들을 수 있다. 관객은 직접 스위치를 조절하며 기존에 채집된 풍경 소리보다 더 실제처럼 느껴지는 풍경소리가 매핑 되는 것을 확인할 수 있다. ‘소리’마저도 인공적 허구가 실제보다 더 실제 같은 현실에서 우리는 과연 실제와 가상을 구별할 수 있을까?
5. Tell Me What You See <Tell Me What You See>, 2018-2019, 싱글채널 비디오, 2채널 사운드, 뉴로스케이프 인공지능 사운드 스케이프 시스템 Tell Me What You See, 2018-2019, Single channel video, 2 channel sound, NEUROSCAPE AI Soundscape system
<Tell Me What You See>는 인공지능 ‘뉴로스케이프’에게 이 세계를 어떻게 보는지를 묻고 그 대답을 관찰한다. 작가는 인공지능에게 다섯 장의 이미지를 보여주었다. 인공지능은 나름의 분석을 통해 이미지를 문장으로 정의하고 그에 상응하는 소리를 생성한다. 작품은 오늘날 인공지능이 어떤 이미지를 보고 과연 어디까지 사유할 수 있는지를 묻는다. 관객은 글자(키워드)를 읽고 뉴로스케이프가 만든 소리를 들으며 어떤 풍경의 소리인지 상상한다. 잠시 후 뉴로스케이프가 ‘자신이’ 보았던 풍경의 이미지를 보여준다. 우리가 상상한 풍경과 어떤 차이가 있을까. 작품에서 풍경을 기술한 글만을 읽거나 풍경에서 들려오는 소리만을 들었을 때, 우리가 기억과 경험으로부터 떠올린 그 풍경은 인공지능이 분석하여 검출했던 풍경과 차이가 있다. 과연 인간과 기계가 공존하기 위해 우리가 ‘감각할 수 없는 기계’와 함께 만들어 가야 할 ‘기억’은 무엇일까?