A Comparative Study of Image-to-Image Translation Techniques for Virtual Object Illumination in Augmented Images

Abstract

O presente trabalho tem como objetivo fazer uma análise comparativa entre dois modelos de redes neurais profundas no contexto de realidade aumentada, visando produzir imagens realistas de ambientes internos com um objeto virtual inseridos. Os modelos de aprendizado profundo foram treinados para re-iluminar e gerar sombras a partir de uma imagem com um objeto virtual inserido sem o contexto de iluminação da cena.Para a produção da comparação, o dataset Indoor Shadows foi construído com 4826 conjuntos de imagens a partir do 3D-Front. Os dois modelos Pix2Pix e ShadowGAN foram treinados usando os otimizadores SGD e Adam e comparados a partir da semalhança das imagens produzidas com uma imagem de referência. As métricas L1, L2 e MSSIM foram utilizadas para medir a similaridade das imagens.O modelo ShadowGAN treinado com o otimizador Adam apresentou o melhor resultado com a métrica MSSIM e o modelo Pix2Pix treinado com SGD os melhores resultados com as métricas L1 e L2. Apesar disso, mostrou-se que há um grandes limitações em amba