https://neuroscape.ai NEUROSCAPE.AI Sat, 12 Dec 2020 14:49:28 +0000 https://neuroscape.ai en https://neuroscape.ai/Projects Thu, 10 Dec 2020 00:28:49 +0000 NEUROSCAPE.AI https://neuroscape.ai/Projects Projects https://neuroscape.ai/Main-copy Thu, 10 Dec 2020 03:57:24 +0000 NEUROSCAPE.AI https://neuroscape.ai/Main-copy &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;NEUROSCAPE is a system for artificial soundscape based on the multi-modal connection of deep neural networks.&nbsp; Latest News &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; MIXED SCAPE2020.12.17 ~ 12.23 연남장 지하 1층 갤러리2020.12.17 고등과학원 초학제연구단 발표(온라인) → 자세히보기 &nbsp;NEUROSCAPE V2: XYZ / Part II 2020.12.19 ~ 12.20 문래예술공장(온라인) →&nbsp;자세히보기 Copyright 2020. Neutune Co., Ltd. All rights reserved. https://neuroscape.ai/MIXED-SCAPE Fri, 11 Dec 2020 19:26:34 +0000 NEUROSCAPE.AI https://neuroscape.ai/MIXED-SCAPE MIXED SCAPE <img width="1920" height="1080" width_o="1920" height_o="1080" data-src="https://freight.cargo.site/t/original/i/a7ae4d105aee9b11f3b003a76e3339d65a168aad878b231c92f475bda19f513f/taewankim1.png" data-mid="92427501" border="0" src="https://freight.cargo.site/w/1000/i/a7ae4d105aee9b11f3b003a76e3339d65a168aad878b231c92f475bda19f513f/taewankim1.png" /> Mixed Scape Web XR Exhibition MIXED SCAPE 2020 MUSIC/SOUNDVIDEONEUROSCAPE 2020.12.17~23 5PM / ONLINE 2020.12.17 학술대회 2PM ONLINE 참여작가: 박승순, 이종필, 김태완, 배준형자문: 박태홍, 남주한주최: 고등과학원 초학제연구단 Mixed Scape 전시 소개 &nbsp;최근 전 세계가 팬데믹 시대로 접어 들며 사회 전반의 행동양식들이 급변하고 있는 가운데, 사운드스케이프 또한 이전과는 매우 다른 양상을 보이고 있다. 도시의 분주한 일상과 기계가 자아내던 소란스런 소음들이 줄어들고, 사회적 거리두기로 인해 물리적 공간에서의 접촉이 제한되면서, 도시나 자연의 풍경을 온라인 상에서 영상, 사운드 등의 콘텐츠로 감상하는 아이러니한 상황들이 연출되고 있다.&nbsp; &nbsp; &nbsp;고등과학원 초학제연구단의 박승순, 이종필, 김태완, 배준형은 딥러닝 알고리즘을 기반으로 사운드스케이프를 생성하는 ‘NEUROSCAPE(뉴로스케이프)’의 작품 및 연구 방법론을 개선하여, 인터-리얼리티 관점의 AI 사운드스케이프 기반 뉴미디어 아트웍 프로젝트를 통해 포스트 팬데믹 시대의 사운드스케이프를 재구성하고자 한다. &nbsp;본 팀은 인간이 세계를 감각하는 데 있어 실제와 허구를 혼동하는 현 시점에서, 기술 발전의 가속화는 오히려 지금보다 심화되어 ‘리얼리티’라는 실제, 실재의 개념이 다른 양상으로 변화시킬 것으로 보고, 이러한 근미래를 ‘인터-리얼리티’와 ‘인트라-리얼리티'의 개념이 혼재된 총체적 ‘혼합 풍경(Mixed Scape)’라는 개념으로 상정하고자 한다. ‘인터-리얼리티’는 AR, VR, MR, XR 등 최근 주요하게 다뤄지고 있는 다양한 양상의 리얼리티를 통합적으로 이해하는 매개적 개념으로, 인간의 기존 감각 체계의 확장과 시청각적 혼재 감각 등 좀 더 포괄적 맥락을 함의하고 있다. &nbsp;1994년, 애니메이션 회사 디즈니의 프로듀서 찰리 핑크(Charlie Fink)가 혼합 현실(Mixed Reality)을 현실 세계(Real World), 증강 현실(Augmented Reality, AR), 증강 가상성(Augmented Virtuality), 가상 현실(Virtual Reality, VR) 등 네 개의 스펙트럼으로 구분한 것에서 착안하여, 앞서 언급한 사운드스케이프와 리얼리티의 관계성을 바탕으로 실제 사운드스케이프(Real Soundscape), 폴리 사운드(Foley Sound), 구체음악(Concrete Music), 가상/인공 사운드스케이프(Virtual/Artificial Soundscape)의 스펙트럼으로&nbsp;청각적 혼합 현실(Mixed Scape)을 대응하고자 한다.&nbsp; 개별 작품 소개 1. Real Soundscape 이종필은 딥러닝 기반 오디오 정보 분석 알고리즘을 이용하여 온라인 상에 업로드 된 서울과 뉴욕의 풍경 영상 데이터를 분석하고, 이를 통해 Real Soundscape의 특성을 파악하는 실험을 진행하였다. 실험을 통해 ‘자연 소리’, ‘자동차’, ‘사람이 많고 시끄러운’, ‘탁 트인 곳’ 등 약 8개의 주요 사운드스케이프 템플릿 카테고리를 검출하였고, 이는 개별적인 사운드 오브젝트를 시각 요소와 매핑하여 특정 소리가 강화되고 믹싱되는 방식의 웹 기반 Real Soundscape 아트웍으로 구현된다. 2. Foley Sound&nbsp; 배준형은 폴리사운드가 AR적 특성을 획득하고 리얼리티에 영향을 미치는 경우를 탐구하여 문화적 인터페이스로 제시하는 것을 목표로 한다. 폴리사운드가 AR적 특성을 획득하는 순간은 2가지이다. 첫번째는 메인-프로덕션 단계를 거쳐 만들어진 영상물의 어떤 장면에 귀속된 소리를 포스트-프로덕션 단계에서 증강시키는 순간이다. 두번째는 코스플레이어가 원작에 종속된 폴리사운드를 코스프레의 감각/개념적 퀄리티를 증강하는 폴리사운드로 재창조하는 순간이다. 후자의 경우 방법론이 고도화될수록 현실/가상적 공간에서 실재가 교차감각되는 순간이 생생하게 구현된다. 이러한 문제적 구조체를 탐구하기 위해 폴리사운드가 주체인 아카이브 영상을 제작했고, 작업에 대한 소고를 족자봉의 형식으로 제시했다. 3. Concrete Music&nbsp; 김태완은 실제 소리라는 구체적 소재에서 추상적인 음의 형태로 변환하는 구체음악(Musique Concrète)의 특성이 Augmented Virtuality의 개념과 대응한다고 본다. Virtual Environment 위의 Real Object들이 구조적으로 배열되고 변형되는 것을 시청각적으로 표현하기 위해 Hype Pixel layout을 구현하였다. 실제 환경의 리얼리티는 직관적으로 파악 가능하지만, 명료하게 현실 세계로 인지할 수 없도록 인터-리얼리티 관점에서 시각적인 ‘차연' 현상을 일으키고자 한다. 의미가 부유하며 변해가는 순간들을 영상으로 담아내고, 포착된 순간들은 아트웍 포스터로 제시했다. 4. Virtual/Artificial Soundscape&nbsp; 박승순은 최근 널리 사용되고 있는 모질라 허브를 이용하여 웹 상에 구현된 가상의 공간으로 접속하고, 평면적으로 제시되어 온 일련의 풍경 영상/음악 등을 구체(sphere) 형식으로 변환하여 독립된 인공적 풍경 행성을 유영하는 관람 방식을 제시한다. 또한 폴란드 아티스트 Krzysztof Wodiczko의 1969년 작 &lt;Personal Instrument&gt; 작품에서 영감을 받아 헤드폰이라는 디바이스를 통해 실제와 인공(혹은 가상)의 사운드스케이프의 경계를 탐색하고 도시나 자연과 같은 물리적 환경 자체를 무대화 하여 수행성을 드러낼 수 있는지에 대한 리서치 과정을 컨셉화하여 제시하고자 한다.&nbsp; 작가 소개 박승순 전자음악 작곡가이자 뉴미디어 아티스트로서 음악과 사운드를 기반으로 다양한 매체에 투영하는 작업 및 프로젝트를 진행해오고 있다. 현재 한국예술종합학교 무용원 겸임교수이자 융합예술센터 초빙연구원으로 재직 중이며, 음악기술 스타트업 뉴튠(NEUTUNE)의 공동 창업자(CCO)이다. 한국과학기술원(KAIST) 문화기술대학원 석사과정을 졸업하였다. Website이종필 리서치 사이언티스트로서 딥러닝 기반 음악 정보 검색을 주로 연구해오고 있다. 세계 최고 음악정보 분석 학회(ISMIR)에서 Dolby, DeepMind, NYU 연구진과 Tutorial 발표하였으며, 그의 연구 성과는 Adobe, Pandora, Naver 등 글로벌 음악 서비스에 적용되었다. 현재 음악기술 스타트업 뉴튠(NEUTUNE)의 공동 창업자(CEO)이다. 한국과학기술원(KAIST) 문화기술대학원 박사과정 졸업하였다.&nbsp; Website Google Scholar김태완&nbsp;다학제 아티스트 &amp; 디자이너로서 사용자 경험(UX) 및 AI 프로덕트 디자인을 주로 연구해오고 있다. 현대 그룹, UX 에이전시, AI 테크 스타트업 등에서 경력을 쌓아 왔으며 또한 국제 전자예술 학회(ISEA) 등에서 미디어 아트 작품을 전시하였다. 국민대학교 시각디자인학과 및 대학원에 출강 중이며, 음악기술 스타트업 뉴튠(NEUTUNE)의 공동 창업자(CDO)이다. 한국과학기술원(KAIST) 문화기술대학원 석사과정을 졸업하였다. Website 배준형연구자이자 작가로서 멀티모달 음악 정보 처리 및 검색을 연구하고 있다. 현재 서울연구원, 엔씨소프트, 카이스트의 지원을 받아 문화 연구를 진행하며, 만화 &lt;키치 꼬치&gt;를 작업하고 있다. 한국과학기술원(KAIST) 문화기술대학원 석사과정 재학 중이다. Website https://neuroscape.ai/NEUROSCAPE-V2-XYZ-PART-II Fri, 11 Dec 2020 18:53:29 +0000 NEUROSCAPE.AI https://neuroscape.ai/NEUROSCAPE-V2-XYZ-PART-II NEUROSCAPE V2 XYZ PART II&nbsp;SOUNDSCAPE MOVEMENT / HUMAN LABELING <img width="1080" height="1080" width_o="1080" height_o="1080" data-src="https://freight.cargo.site/t/original/i/4714e2a87250d17c8f8dd7d572a10534858c49e096549f5105b4940cc435c5df/NV2_SOUNDSCAPE-MOVEMENT.jpg" data-mid="91907394" border="0" src="https://freight.cargo.site/w/1000/i/4714e2a87250d17c8f8dd7d572a10534858c49e096549f5105b4940cc435c5df/NV2_SOUNDSCAPE-MOVEMENT.jpg" /> <img width="1080" height="1080" width_o="1080" height_o="1080" data-src="https://freight.cargo.site/t/original/i/a58f5cfdc48a721b81e0897b31b1fce29b9ba15b52c22a16f2d66d3349058509/NV2_HUMAN-LABELING.jpg" data-mid="91850149" border="0" src="https://freight.cargo.site/w/1000/i/a58f5cfdc48a721b81e0897b31b1fce29b9ba15b52c22a16f2d66d3349058509/NV2_HUMAN-LABELING.jpg" /> 2020.12.19 5PM 온라인 스트리밍 예정 NEUROSCAPE V2 XYZ PART II : Soundscape Movement / Human Labeling 2020 MUSIC/SOUNDVIDEONEUROSCAPE 2020.12.19. 5PM / ONLINE 2020.12.20. 24hr&nbsp;/ ONLINE 연출/컨셉: 박승순 드라마터그: 정진화 텍스트: 정소정 퍼포머: 서태리, 임호경 홍보: 우수민 후원: 서울문화재단 서울문화재단 유망예술지원사업 선정작 "모든 것은 서로 연결되어 있다. Everything is interrelated." - 알렉산더 폰 훔볼트 Alexander von Humboldt소리로 모든 게 연결되어 있던 세상. 지나친 기술발전과 도시화의 가속은 점차 자연의 소리를 밀어내기 시작하고 소리를 통해 유지해오던 인간의 심리 및 신체의 생물학적 균형이 무너지기 시작한다 인간보다. 뛰어난 기계의 등장이 문제가 아니라 인간이 기계보다 못한 지능으로 퇴화되는 것이 문제였다. 19세기 자연 과학자이자 탐험가인 알렉산더 폰 훔볼트는 그의 저서 코스모스를 통해 '복잡한 생명망으로서의 자연 과 (nature as a complex web of life)' '자연 속에서인간의 위치(man's place whithn nature)'의 두 개념을 바탕으로 식민주의와 노예제, 무분별한 자원개발 권력과 정치의 상호관계에서 비롯된 불평등 등 현대 사회에서도 여전히 풀리지 않은 문제들에 대해 비판하였다 이러한 문제의식과 더불어 생태학적 특성을 고려한 변화에 대해 의견을 피력한 부분은 앞으로의 미래에 인간이 기계와 자연 파괴로 고립되지 않을 수 있는 방법일 수도 있을 것이다. 박승순은 2017년 알고리즘 개발자 이종필과 공동 개발한 AI 사운드스케이프 시스템 뉴로스케이프가 앞으로 인간의 생물학적 불균형을 유지시켜줄 대체 의학적 기능을 할 뿐만 아니라 사라져가는 소리를 복구하는 기계 지능(machine intelligence)의 역할로 인간과 공존할 것이라는 상상과 더불어 뉴로스케이프가 분석하고 검출한 인류의 다양한 풍경 사운드, 이미지, 텍스트를 작품의 주요 재료로 설정하여 음향적 운동성, 문화적 맥락 등을 신체, 언어, 음악 등을 통해 엮어내고자 한다. 첫 번째 섹션, 「SOUNDSCAPE MOVEMENT」에서는 '기계가 검출하고 매핑한 인공적 사운드스케이프는 인간의 움직임에 어떠한 영향을 주게 될 것인가?'에 대한 의문을 서태리 안무가와 함께 협력하여 작업물을 구성할 예정이다. 2019년도 작품에서 시각적 결과물(영상, 이미지 등)을 배제한 음악과 앰비언스 사운드만을 전달받아 현재 안무를 구성 중이다. 전달된 사운드스케이프는 모두 인공적 방식으로 구성되었으나, 재료는 현실 세계에서 채집된 소리이기도 하다. 인공적 소리환경은 안무가에게 어떠한 영향을 주었을까? 그가 구성한 동작, 그리고 동작을 구성하는 과정에 대해 질문하고자 한다. 두 번째 섹션, 「HUMAN LABELING」에서는 '데이터 노동이라는 새로운 노동계급의 출현으로 인해 인간은 사운드스케이프 영역에서 어떠한 가치를 생성하게 될 것인가?'에 대한 의문을 임호경 배우와 함께 협력하여 작업물을 구성할 예정이다. 배우에게 하루 동안 환경소리 데이터 수집 및 레이블링 노동자의 역할을 부여하고, 그가 수집한 영상과 소리, 그리고 그 과정에서 축적된 감정들을 인터뷰 및 프리젠테이션 형식으로 구현 할 예정이다. 데이터 노동자로의 하루는 어땠을지, 정말 기계로 충분히 대체될 수 있는 영역일지 등을 질문하고자 한다.&nbsp; https://neuroscape.ai/NEUROSCAPE-V2-XYZ-PART-I Sat, 12 Dec 2020 08:32:30 +0000 NEUROSCAPE.AI https://neuroscape.ai/NEUROSCAPE-V2-XYZ-PART-I NEUROSCAPE V2 XYZ PART I&nbsp;"Human | Nature | Machine”&nbsp; <img width="1572" height="1128" width_o="1572" height_o="1128" data-src="https://freight.cargo.site/t/original/i/af8d391963cd752259bd5adb403918727251324480fa63432184286f4992f644/-2020-12-12--5.36.09.png" data-mid="91893043" border="0" src="https://freight.cargo.site/w/1000/i/af8d391963cd752259bd5adb403918727251324480fa63432184286f4992f644/-2020-12-12--5.36.09.png" /> <img width="3212" height="1792" width_o="3212" height_o="1792" data-src="https://freight.cargo.site/t/original/i/1bcfa921ca750c9c475d2677ab8aaac5295e3e1f562dfe239f98334c9148f826/-2020-12-12--5.44.04.png" data-mid="91890762" border="0" src="https://freight.cargo.site/w/1000/i/1bcfa921ca750c9c475d2677ab8aaac5295e3e1f562dfe239f98334c9148f826/-2020-12-12--5.44.04.png" /> NEUROSCAPE V2 XYZ &lt;PART I : "Human | Nature | Machine”&gt;&nbsp; 2019 6ch Video 6ch Sound NEUROSCAPE 2019.12.5.-2019.12.8 문래예술공장 2층 박스시어터 연출/컨셉/음악: 박승순 알고리즘: 이종필 홍보: 우수민 후원: 서울문화재단 서울문화재단 유망예술지원사업 선정작 NEUROSCAPE V2 XYZ &lt;PART I : "Human | Nature | Machine”&gt;은 기술을 통해 인류가 발전해온 반면, 불평등과 기후변화 등 되려 인간이 만들어내는 여러 사회적 문제가 가속화되는 역설적 상황에 관심을 두고, 인간과 자연, 그리고 기계가 서로 충돌하는 지점을 담아내었다. 총 12개의 주제를 설정하여 음악과 영상을 제작하고, 뉴로스케이프 시스템을 통해 검출된 인공적 사운드스케이프를 함께 제시한다. https://neuroscape.ai/NEUROSCAPE-AI Sat, 12 Dec 2020 14:49:28 +0000 NEUROSCAPE.AI https://neuroscape.ai/NEUROSCAPE-AI NEUROSCAPE.AI AI SOUNDSCAPE SYSTEM (WEB) <img width="1856" height="1238" width_o="1856" height_o="1238" data-src="https://freight.cargo.site/t/original/i/bec9754eaf5e5ede0c7f2a429d57c4ae2532dc842ae720d1b4498bf6fdbbe7b1/-2020-12-12--11.49.06.png" data-mid="91908391" border="0" src="https://freight.cargo.site/w/1000/i/bec9754eaf5e5ede0c7f2a429d57c4ae2532dc842ae720d1b4498bf6fdbbe7b1/-2020-12-12--11.49.06.png" /> NEUROSCAPE.AI 2019 WEB NEUROSCAPE SEUNGSOON PARKJONGPIL LEETAEJUN KIMMINSEOK CHOITAEWAN KIM SUPPORTED BYZER01NESFAC AI SOUNDSCAPE GENERATE SYSTEM&nbsp; View Demo https://neuroscape.ai/NEUROSPACE Sat, 12 Dec 2020 08:53:32 +0000 NEUROSCAPE.AI https://neuroscape.ai/NEUROSPACE NEUROSPACE신경공간 <img width="4042" height="1708" width_o="4042" height_o="1708" data-src="https://freight.cargo.site/t/original/i/c59efb8b6b9568b158cdbe1a2f2d51c9077d6ebb179385468bd8e03a0848d1d3/_.gif" data-mid="91890928" border="0" src="https://freight.cargo.site/w/1000/i/c59efb8b6b9568b158cdbe1a2f2d51c9077d6ebb179385468bd8e03a0848d1d3/_.gif" /> NEUROSPACE 신경공간&nbsp; 2019 박승순 개인전 2019.7.18 - 9.22 백남준아트센터 작가: 박승순 알고리즘: 이종필 공간구성: 신승렬 후원: 백남준 아트센터(2019 랜덤 액세스 프로젝트 VOL.4) 경기문화재단 백남준아트센터는 2019 랜덤 액세스 첫 번째 프로젝트로 오는 7월 18일부터 박승순의 《신경공간》을 개최한다. 박승순은 ‘딥-러닝 알고리즘’을 활용하여 청각과 인지의 상관관계, 인공지능으로 파생되는 발생 가능한 오류들을 포착하고 이를 감각할 수 있는 미디어 설치에서 퍼포먼스에 이르기까지 다양한 작업을 선보인다. 이번 전시 《신경공간》에서는 소리와 인지의 상관관계, 우리가 각자 인지하는 풍경의 차이, 그리고 인간과 컴퓨터가 각자의 방식으로 소리 풍경을 인지하는 작동 방식을 포착한다. &nbsp; 전시는 작가가 그간 소리의 인지라는 측면에서 끊임없이 연구했던 지점들을 작품으로 구현하고 작품의 흐름을 추적하는 과정을 따른다. 인간은 다양한 감각의 총체인 ‘경험’이라는 맥락 안에서 기억을 저장하고 다시 불러내며 각자의 경험치를 토대로 세상을 인지하고 바라본다. 일상에서 마주하는 수많은 소리는 어느 한순간도 동일하지 않으며 각자의 기억과 경험에 따라 다르게 해석된다. &nbsp; 이번 전시에서 선보이는 작품들은 직접 감각하여 경험하기 어려운 기계의 ‘기억과 경험’은 우리의 그것과 어떤 차이가 있을 것인지에 대한 작가의 질문에서 시작된다. 기억에 내재한 소리/이미지를 끄집어내어 연상하는 일련의 과정을 기계에서 구현하고자 할 때, 기계가 구성하는 풍경과 우리가 기억하고 상상하는 풍경에는 어떤 차이가 있을까. 작품은 그 차이점을 파고들며 관람객에게 질문을 던진다. 과연 인간과 기계가 공존하기 위해 우리가 ‘감각할 수 없는 기계’와 함께 만들어 가야 할 ‘기억’은 무엇일까? 전시는 인간과 기계의 감각과 인지가 미끄러지고 어긋나면서 인간과 기계, 소리와 인지, 감각과 기억에 대한 각자의 생각을 더 깊숙이 들여다볼 수 있는 ‘신경 공간’으로서의 풍경을 제시하고자 한다. “사물을 지각하고 경험하는 방식은 각자의 사적인 경험 자체로 환원되어야 할 문제이다. 일상에서 마주하는 수많은 소리 풍경은 어느 한순간도 동일하지 않으며, 각자의 기억과 경험에 따라 다르게 해석된다. 내면에 귀 기울일수록 망각하고 있던 고유한 일상의 리듬이 서서히 모습을 드러낸다. 잘 완성된 음악보다는, 관객의 머릿속에서 각기 다른 방식으로 연주되는 소리를 상상한다. 심상이라는 무대에서 상상적 풍경의 오케스트라를 지휘하고 있다. 우린 어쩌면, 일종의 독립적인 행성일지도.” 작가노트 중 ■ 작품 소개 1. 뉴로스케이프 V1 &lt;뉴로스케이프 V1&gt;, 2017-2018, 비디오 설치 NEUROSCAPE V1, 2017-2018, Video installation &nbsp; ‘NEUROSCAPE’는 Neuro(신경)와 Landscape(풍경)의 합성어로, 인공신경망에 의해 재구성된 기억-풍경을 의미한다. 관객이 원하는 풍경을 캡처하여 전송하면 전송된 이미지 정보는 딥-러닝 분석 알고리즘을 통해 분석하여 키워드를 뽑아낸다. 연산 알고리즘은 ‘오디오/이미지 데이터 셋 카테고리’에서 이 이미지 키워드에 상응되는 소리를 찾아내 스피커 및 모니터로 출력하여, 일종의 오디오/비주얼 콜라주 사운드 스케이프를 실시간으로 구성한다. 뉴로스케이프가 보여주는 사운드 스케이프에서 관람객이 상상한 풍경 이미지와 인공지능이 연산한 이미지, 상상한 소리와 알고리즘이 찾아낸 소리에서 어긋나는 지점들을 발견할 수 있다. 작품은 딥-러닝 알고리즘과 인간의 감각과 인지에서 비롯한 수많은 오류를 드러내어 ‘인간이 기술을 어떻게 바라보고 활용할 수 있는지’에 대한 근본적인 질문을 던진다. **뉴로스케이프(Neuroscape) : 풍경의 이미지를 분석하여 이에 상응하는 소리와 이미지를 찾아내 자동으로 연동하는 인공지능 시스템으로 작가 박승순과 알고리즘 개발자 이종필이 개발하였다. 2. 소리/풍경 인지능력 평가 &lt;소리/풍경 인지능력 평가&gt;, 2017-2019, 온라인 설문 Test of Soundscape Cognitive Ability, 2017-2019, Online survey &nbsp; 사람들이 얼마나 특정 장소의 소리를 잘 구별할 수 있는지 조사하는 '소리/풍경 인지능력 평가'이다. D-CASE와 구글 오디오 데이터-셋을 이용한 딥-러닝 알고리즘으로 생성된 인공 풍경 소리와 실제 풍경 소리를 구별하는 설문 형식의 작품이다. 작품에(설문에) 참여하는 과정에서 관객은 인공적으로 만들어진 풍경의 소리와 실제 풍경 소리의 구분이 모호한 지점을 인지하게 된다. 실제 풍경 소리와 인공 풍경 소리의 구분이 모호하다면 과연 우리는 소리를 어떻게 정의하고 이해할 수 있을까? 3. 소리분류학 &lt;소리분류학&gt;, 2017, 7분, 싱글채널 비디오, 2채널 사운드 Taxonomy of Sound, 2017, 7mins, single channel video, 2 channel sound &nbsp; 우리는 풍경을 단순히 시각, 청각, 언어 등 개별 요소로 구별하여 기억하기보다는 이 모든 요소를 총체적으로 감각하고 인지한다. 그 ‘인지’에는 개인의 경험과 그 경험으로부터의 기억이 큰 영향을 미친다. 작품은 생태학적 소리 분류 기준들을 참고하여 일상에서 마주하는 풍경의 이미지와 소리를 재배열하여 보여준다. 영상 속 소리는 과연 어떤 소리일까. 작품은 각 도시/자연풍경 모습을 기존 환경 소리 연구자들이 분류한 카테고리에 따라 3~5초 단위의 길이로 나누어 보여주고 있다. 작품에 사용된 영상은 유료로 구매 가능한 풍경 영상이며, 대체로 이러한 영상에는 소리가 없다. 작가는 이 ‘소리 없는 영상’ 속 풍경에 어울리는 소리를 삽입하였다. 하지만 관객이 이 작품 속 영상과 소리가 키메라처럼 합쳐져 있다는 것을 인지하기란 쉽지 않다. 인공적으로 만들어진 새로운 풍경은 우리에게 익숙한 일상의 소리, 일상의 풍경과 크게 다르지 않다. 실제와 인공의 소리는 무엇인지 각각 우리에게 다시 한 번 질문을 던진다. 4. 인공적 사운드 스케이프 구성 프로젝트 &lt;인공적 사운드 스케이프 구성 프로젝트&gt;, 2017-2019, 3 채널 비디오, 6 채널 사운드 Artificial Soundscape, 2017-2019, 3 channel video, 6 channel sound &nbsp; ‘인공적 사운드 스케이프 구성 프로젝트’는 국내/외 도시 또는 자연의 풍경 영상을 채집하여 ‘뉴로스케이프 시스템’으로 관련 이미지, 사운드, 텍스트를 검출하고, 최종 검출된 사운드를 다시 기존 영상에 덧씌워 원본 풍경 소리와 인공적으로 구현한 소리의 차이점을 비교해보는 프로젝트이다. 작가는 이번 전시에 맞춰 &lt;인공적 사운드 스케이프 구성 프로젝트&gt;를 관객이 참여할 수 있는 동명의 신작으로 새롭게 선보인다. 스위치를 오른쪽으로 돌리면 실제 소리, 왼쪽으로 돌리면 인공지능이 찾아낸 소리를 들을 수 있다. 관객은 직접 스위치를 조절하며 기존에 채집된 풍경 소리보다 더 실제처럼 느껴지는 풍경소리가 매핑 되는 것을 확인할 수 있다. ‘소리’마저도 인공적 허구가 실제보다 더 실제 같은 현실에서 우리는 과연 실제와 가상을 구별할 수 있을까? 5. Tell Me What You See &lt;Tell Me What You See&gt;, 2018-2019, 싱글채널 비디오, 2채널 사운드, 뉴로스케이프 인공지능 사운드 스케이프 시스템 Tell Me What You See, 2018-2019, Single channel video, 2 channel sound, NEUROSCAPE AI Soundscape system &nbsp; &lt;Tell Me What You See&gt;는 인공지능 ‘뉴로스케이프’에게 이 세계를 어떻게 보는지를 묻고 그 대답을 관찰한다. 작가는 인공지능에게 다섯 장의 이미지를 보여주었다. 인공지능은 나름의 분석을 통해 이미지를 문장으로 정의하고 그에 상응하는 소리를 생성한다. 작품은 오늘날 인공지능이 어떤 이미지를 보고 과연 어디까지 사유할 수 있는지를 묻는다. 관객은 글자(키워드)를 읽고 뉴로스케이프가 만든 소리를 들으며 어떤 풍경의 소리인지 상상한다. 잠시 후 뉴로스케이프가 ‘자신이’ 보았던 풍경의 이미지를 보여준다. 우리가 상상한 풍경과 어떤 차이가 있을까. 작품에서 풍경을 기술한 글만을 읽거나 풍경에서 들려오는 소리만을 들었을 때, 우리가 기억과 경험으로부터 떠올린 그 풍경은 인공지능이 분석하여 검출했던 풍경과 차이가 있다. 과연 인간과 기계가 공존하기 위해 우리가 ‘감각할 수 없는 기계’와 함께 만들어 가야 할 ‘기억’은 무엇일까? https://neuroscape.ai/Imaginary-Soundscape Sat, 12 Dec 2020 02:53:27 +0000 NEUROSCAPE.AI https://neuroscape.ai/Imaginary-Soundscape IMAGINARY SOUNDSCAPE 상상적 소리풍경 IMAGINARY SOUNDSCAPE상상적 소리풍경 2018 VIDEOMUSIC/SOUNDVDMX SEUNGSOON PARK EXHIBITED AT ITAC5 Conference, Seoul, Korea, 2020 Nam June Paik Art Center, Korea, 2019 Asia Culture Center, Gwangju, Korea, 2018 AI AUDIO/VISUAL SOUNDSCAPE &nbsp;Have you ever imagined a landscape with sound? https://neuroscape.ai/TELL-ME-WHAT-YOU-SEE Sat, 12 Dec 2020 09:19:57 +0000 NEUROSCAPE.AI https://neuroscape.ai/TELL-ME-WHAT-YOU-SEE TELL ME WHAT YOU SEE Tell Me What You See 2018 VIDEO INSTALLATION 3CH VIDEO, 4CH SOUND, DUMMY HEAD SEUNGSOON PARK EXHIBITED AT @ACC_R Creators in Lab Showcase, Asia Culture Center, Gwangju, Korea | 2018. 12. 14. - 12. 23. @2019 Random Access Vol. 4 &lt;NEUROSPACE&gt;, Nam June Paik Art Cetnter, Yongin, Korea | 2019. 7. 18. - 9. 22. &lt;Tell Me What You See&gt; is an audio-vision artwork with an "auditory game" structure that compares differences that have been heard between the original image and imaginary image by listening to sentences and artificial soundscapes using the NEUROSCAPE AI system. NEUROSCAPE is an artificial intelligence soundscape system developed in 2017 by Seungsoon Park, the composer and cross media artist, and Jongpil Lee, the algorithm developer. It is a system that automatically generates and maps environmental sounds that correspond with the image of nature or an urban city.&nbsp; This work reverses the sequence of the existing NEUROSCAPE process of "image analysis—word embedding—audio tagging and mapping." The audience first views the results of sentence and label detection outputs analyzed by the computer vision API, the sound mapped via the NEUROSCAPE, and the original image analyzed by the machine. The artist selected a target image based on several global issues to more dramatically express this structure. Although technology has benefited our lives by guiding human life, such as industrialization and urbanization, the natural environment is destroyed and polluted due to human errors such as inequality of wealth, moral defect, environmental destruction, and pollution. In other words, human beings are damaged by other human beings. In particular, as the iceberg fragments melted and flooded due to warming, he reflected on the refugees who were pushed down into the sea. These narratives raise the problem that artificial intelligence still has limitations in addressing our various social issues. An image can be inferred from text and sounds, such as "a large green field with clouds in the sky," "a person in a cage," "a group of people walking in the rain," "a harbor filled with boats," and "a boy lying on the beach." What image do you think of?&lt;Tell Me What You See&gt;는 매체음악가 박승순이 인공지능 사운드스케이프 시스템 뉴로스케이프를 이용한 오디오 비전 아트웍이다. 뉴로스케이프는 2017년 박승순과 이종필(알고리즘 개발자)이 개발한 인공지능 사운드스케이프 시스템으로, 도시나 자연의 이미지에 어울리는 소리를 자동으로 생성 및 매핑하는 방식으로 구성된다. 본 작품은 기존 “이미지 분석-워드 임베딩-오디오 태깅/매핑’으로 이어지는 뉴로스케이프 프로세스를 역순으로 제시한다. 관객은 컴퓨터 비전 API를 통해 분석된 문장 결과를 먼저 보게 되고, 이후 뉴로스케이프 시스템을 이용해 검출된 인공적 사운드스케이프를 감상한다. 마지막으로 컴퓨터가 분석한 타겟 이미지를 제시하여 관객이 문장을 보고 떠올린 이미지와 소리, 인공적 소리를 듣고 떠올린 장면(이미지), 실제 이미지 간 차이를 비교하며 감상한다. 이러한 구조를 보다 극적으로 표현하기 위해, 분석 타겟 이미지를 몇가지 주제를 토대로 선별하였다. 기술이 인간의 삶과 산업화, 도시화 등을 이끌며 우리의 삶을 이롭게 해주었지만, 부의 불평등, 도덕 결함, 환경 파괴 및 오염 등 인간이 저지르고 있는 실수들로 인해 자연 환경이 파괴되고 오염되며 자연재해를 통해 역으로 피해를 보게 되었다. 특히 온난화로 인해 빙산의 조각이 녹아 떠내려가는 모습에서, 바다에 떠밀려 내려가는 난민들을 떠올렸다. 이러한 내러티브를 통해 인공지능 기술이 아직 우리의 여러 사회 문제를 다루기에는 한계점을 지니고 있다는 문제점을 제기한다. “하늘에 구름이 있는 큰 녹지” “새장 안의 사람”, “빗속에서 산책하는 사람들”, “배가 가득 찬 항구”, “해변에 누워있는 소년”. https://neuroscape.ai/Artificial-Soundscape Sat, 12 Dec 2020 09:13:05 +0000 NEUROSCAPE.AI https://neuroscape.ai/Artificial-Soundscape Artificial Soundscape 인공적 사운드스케이프 Artificial Soundscape 2017-2020 VIDEOMUSIC/SOUNDVDMX SEUNGSOON PARK EXHIBITED AT Unfold X, 2020 Nam June Paik Art Center, 2019 Incheon Art Platform, 2017 ‘인공적 사운드 스케이프 구성 프로젝트’는 국내/외 도시 또는 자연의 풍경 영상을 채집하여 ‘뉴로스케이프 시스템’으로 관련 이미지, 사운드, 텍스트를 검출하고, 최종 검출된 사운드를 다시 기존 영상에 덧씌워 원본 풍경 소리와 인공적으로 구현한 소리의 차이점을 비교해보는 프로젝트이다. 작가는 이번 전시에 맞춰 &lt;인공적 사운드 스케이프 구성 프로젝트&gt;를 관객이 참여할 수 있는 동명의 신작으로 새롭게 선보인다. 스위치를 오른쪽으로 돌리면 실제 소리, 왼쪽으로 돌리면 인공지능이 찾아낸 소리를 들을 수 있다. 관객은 직접 스위치를 조절하며 기존에 채집된 풍경 소리보다 더 실제처럼 느껴지는 풍경소리가 매핑 되는 것을 확인할 수 있다. ‘소리’마저도 인공적 허구가 실제보다 더 실제 같은 현실에서 우리는 과연 실제와 가상을 구별할 수 있을까?