Interação com objetos digitais 3D em estúdios virtuais

Abstract

O estúdio virtual é um sistema para a criação de cenas com objetos virtuais integrados digitalmente – e em tempo real – a imagens capturadas em estúdio. Seu emprego flexibiliza a produção audiovisual, permitindo a utilização de objetos e efeitos difíceis de serem recriados fisicamente. Diferente da forma clássica de produção, em que os efeitos são inseridos somente na pós-produção, o estúdio virtual insere o conteúdo digital na fase on set, facilitando direção e fotografia. Considerando este contexto, o objeto deste trabalho é a interação de atores com objetos virtuais utilizando técnicas de Realidade Aumentada em estúdios virtuais. O objetivo principal deste trabalho consiste na verificação da interação de atores com elementos virtuais 3D sob dois aspectos: o primeiro trata da aplicação de técnicas baseadas em interfaces tangíveis associadas ao uso de marcadores fiduciais; e o segundo foca-se na utilização da interação via gestos por meio de dispositivo de detecção de profundidade (Kinect). Para a comprovação do segundo aspecto procedeu-se na implementação, na forma de um protótipo, de um Módulo de Interação para o ambiente do ARSTUDIO, um ambiente de estúdio virtual que está em desenvolvimento na Unesp/Bauru, o qual permite a geração de cenas com Realidade Aumentada e associação de objetos virtuais por meio de marcadores fiduciais.

The virtual studio is a system for creating scenes with digitally integrated virtual objects - in real time - to images captured in the studio. Its use eases the audiovisual production, allowing the use of difficult physically rebuilt objects and effects. Unlike the classic production process, in which inserted effects just in post-production, the virtual studio inserts the digital content in the on set phase, facilitating direction and photography. Considering this context, the object of this research is the interaction of actors with virtual objects using Augmented Reality techniques in virtual studios. The main goal is to verify interaction between actors and 3D elements under two aspects: the first is about the application of based tangible interfaces and markers techniques; and the second is about gesture interaction by depth camera device (Kinect). To prove the second aspect it was made the implementation, in prototype, of a Interaction Module for the ARSTUDIO, a virtual studio environment under development in Unesp/Bauru, that allows generating of Augmented Reality scenes and association of virtual objects with markers.