Foi-nos proposto o desenvolvimento de um instrumento interativo gestual e audiovisual com projeção num espaço arquitetónico que promovesse a relação entre o corpo e o espaço físico envolvente, estabelecendo ligações entre ambos os elementos.

Desta forma, criámos o VENN. Uma instalação que representasse graficamente um conjunto de elementos na união e interseção, dado que a base de criação seriam os elementos da água, fogo, ar e terra.
O nome provém do diagrama (Venn-Euler) que retrata isso mesmo, representar um ou vários conjuntos de maneira simultânea.

A ideia seria criar elementos orgânicos e fluídos que transmitissem precisamente a sua essência tanto a nível visual como auditivo. Cada elemento seria associado a uma cor característica, por exemplo a água aos tons de azul.

Mediante o elemento, o seu som seria adaptado e sendo que é um projeto interativo gestual a sua dinâmica é definida pelos gestos do utilizador, desta forma a experiência torna-se imersiva.

Ou seja, se o utilizador colocar os braços para cima o som do elemento torna-se mais grave e a intensidade desse mesmo é maior, assim como se colocar os braços para baixo o som torna-se agudo e a sua intensidade diminui. Dependendo também da sua posição pode escolher o elemento que quer selecionar; mais para a esquerda apresentam-se uns e mais para a direita os outros. Quando o utilizador sai de cena, a projeção continua a ser visível para manter o contacto com o conceito e ser coerente com todo o processo, desta forma aparecem todos os elementos num só plano.

Para esta instalação, os visuais foram criados no TouchDesigner através de operadores TOP Noise. Estes operadores foram posteriormente modificados através de outros texture operators, como level, hsvadjust e constant, para lhes atribuir características que sejam capazes de identificar cada elemento: água, ar, terra e fogo. A cada um foi atribuída uma cor correspondente, onde os visuais se mantêm abstratos mas que se vão alterando consoante a interação do espectador.

Para a interação, foi utilizada uma Kinect para fazer o tracking do corpo do interator, nomeadamente o torso e as mãos. Foram criados dois triggers diferentes para o tracking da posição do interator e o movimento das mãos, triggers estes que criam a relação dos elementos com a interação.

Para a transição de cada elemento, a Kinect faz o tracking do torso da pessoa na horizontal (coordenada x), através de operadores CHOP select - spine1:tx e root:tx - para que consiga escolher que elemento interagir através da sua posição. Esta seleção é possível através da criação de 4 canais diferentes para cada elemento, com o CHOP expression, criando assim 4 diferentes triggers que se associam também aos visuais, alterando a sua opacidade entre valores 0 e 1, dando a simulação que cada posição altera o elemento.

Já os movimentos das mãos foram criados da mesma forma, CHOP select - hand_l:tx e hand_r:ty - e posteriormente exportados para dois sliders no operador noise, alterando assim a dinâmica dos visuais e o som de cada um, respectivamente, consoante a sua posição nas coordenadas x e y.

Assim, no final, a experiência do interator é influenciada pelo seu corpo na totalidade.

Para exportar os visuais e interações do TouchDesigner para a projeção no MadMapper, foi utilizado o NDI Studio Monitor. Através deste sistema, é possível ver qualquer video source que o NDI capte em tempo real. Assim, é gerada uma ligação entre os dois programas em simultâneo criando um TOP NDIout no TouchDesigner, para que o NDI transmita o visual em tempo real e o MadMapper o detete para projetar na instalação. Foi através deste método que a interação captada no TouchDesigner em tempo real se transmitiu para a projeção na instalação. O mapeamento no MadMapper foi relativamente simples, sendo apenas necessário mapear as quatro partes que envolvem a instalação no teto, e configurar os visuais de forma a estabelecer uma conexão da imagem única para dar uma sensação imersiva à instalação.

A conexão entre os gestos realizados pelo interactor e o som da instalação, que consequentemente cria uma conexão entre os visuais projetados e o som, é estabelecida entre o TouchDesigner e o Max MSP através do protocolo Open Sound Control.

Ao abrirmos o patch de Max MSP (imagem abaixo) são distinguíveis 5 seções agrupadas pelas cores de fundo: laranja, cinzento, azul, verde e preto. As primeiras quatro secções correspondem aos sons dos quatro elementos (laranja – fogo, cinzento – ar, azul – água, verde – terra), sendo que todas elas funcionam de maneira semelhante. Cada um dos elementos tem dois tipos de sons: o denominado “som back” com um volume reduzido, sem panorâmica (i.e., mono) e com altura fixa; e o denominado “som front”, com um volume mais elevado, com panorâmica stereo e interactiva e com altura variável e interactiva. Importante será dizer que todos os faders destes sons estão programados para realizar fade-ins e fade-outs, o que faz com que a transição entre os mesmos aconteça de forma suave e sem clicks.

Na secção a preto, encontramos quatro subsecções: master; reverb; buffers dos sons mais o trigger que silencia a instalação; e OSC do TouchDesigner. 

Olhando para a parte do OSC, encontramos dois objectos “osc-route”. No objecto mais à direita, o Max está continuamente a receber do TouchDesigner informação relativa aos visuais estarem ou não activos. Na verdade, naqueles que estão desligados a porta recebe apenas o valor 0, mas naquele que se encontrar activo recebe de forma alternada 0 1.

De forma a fazer uma filtragem dos triggers contínuos do elemento activo, foi criada uma gate que se encontra aberta enquanto o elemento está desativado e que se fecha logo após receber o primeiro 1. Por sua vez, este 1 faz o trigger dos sons do respectivo elemento, algo que desencadeia as seguintes acções: fechar as gates de panorâmica e pitch shifting dos outros sons; abrir a gate de volume do som em questão; fazer um switch para que todos os elementos recebam controlos de volume através do som em questão; fazer um bang na line que faz o volume deste som subir (e dos outros sons descer até 0); e enviar uma mensagem no fim desta line que activa a gate de panorâmica e pitch shifting do próprio som.

Uma vez abertas as gates de panorâmica e pitch shifting, estes parâmetros passam a ser controlados, respectivamente, pela cordenada X da mão direita e pela coordenada Y da mão esquerda.

Estes valores são continuamente enviados pelo TouchDesigner para o objecto “OSC-route /p1/hand_l:tx /p1/hand_r:ty”.

Quando a instalação se encontra sem nenhum visitante e projeção nos mostra uma mistura visual de todos os elementos, o bang que se encontra junto aos buffers recebe essa informação e ativa uma line que silencia todos os sons.

Por fim, será apenas de referir que todos os sons utilizados foram retirados do site https://freesound.org/ e se encontram livres de direitos de autor, bem como o reverb TAL-Reverb, de download gratuito.