Uma abordagem interativa guiada por semântica para identificação e recuperação de imagens

Abstract

O grande volume de imagens disponível na Web gerado em diferentes domínios requer um conhecimento especializado para sua a análise e identificação. Nesse sentido, recentes avanços ocorreram com desenvolvimento de técnicas de recuperação de imagens baseadas nas características visuais. Entretanto, o gap semântico entre as características de baixo-nível das imagens e aquilo que a imagem representa ainda é um grande desafio. Uma solução para diminuir o gap semântico consiste em combinar a informação de características visuais das imagens com o conhecimento do domínio de tais imagens. Nesse sentido, ontologias podem auxiliar, já que estruturam o conhecimento. Desse modo, o presente trabalho apresenta uma nova abordagem denominada Recuperação Interativa de Imagens Guiada por Semântica (Semantic Interactive Image Retrieval – SIIR) que combina técnicas de recuperação de imagens baseadas no conteúdo (Content Based Image Retrieval – CBIR) e aprendizado não supervisionado, com o conhecimento definido em ontologias. Desse modo, o trabalho em questão propõe uma nova abordagem a fim de simular o papel dos biólogos na classificação de famílias de Angiospermas a partir de uma imagem e seu conteúdo. Para tanto, foi desenvolvida uma ontologia de estruturas e propriedades de plantas com flor e fruto, de modo a conceitualizar e relacionar tais atributos visando a classificação de famílias de Angiospermas. Para análise das características visuais foram utilizados métodos de extração de características de baixo-nível das imagens. Com relação ao aprendizado não supervisionado foi utilizado o algoritmo RL-Sim a fim de melhorar a eficácia da recuperação das imagens. A abordagem combina técnicas CBIR com ontologias ao utilizar um grafo bipartido e um grafo discriminativo de atributos. O grafo discriminativo de atributos permite a análise semântica utilizada para selecionar o atributo que melhor classifica a planta da imagem de busca. Os atributos selecionados são utilizados para formular uma interação com um usuário, de modo a melhorar a eficácia da recuperação e diminuir os esforços necessários na identificação da planta. O método proposto foi avaliado nos conjuntos de dados públicos Oxford Flowers 17 e 102 Classes, de modo que os resultados demonstram alta eficácia para ambos os conjuntos de dados quando comparados com outras abordagens.

A large amount of images is currently generated in many domains, thus requiring specialized knowledge on the identification and analysis. From one standpoint, many advances have been accomplished in the development of image retrieval techniques based on visual image properties. However, the semantic gap between low-level features and high level concepts still represents a challenge scenario. One another standpoint, knowledge has also been structured in many fields by ontologies. A promising solution for bridging the semantic gap consists in combining the information from low-level features with semantic knowledge. This work proposes a new approach denominated Semantic Interactive Image Retrieval (SIIR) which combines Content Based Image Retrieval (CBIR) and unsupervised learning with ontology techniques. We present a novel approach aiming to simulate the biologists role in the classification of Angiosperm families from image sources and their content. In order to achieve this goal, we developed a domain ontology from plant properties and structures, hence relating features from the Angiosperm families. In regard to Unsupervised Learning, we used the RL-Sim algorithm to improve image classification. The proposed approach combines CBIR techniques with ontologies using a bipartite graph and a discriminative attribute graph. Such graph structures allow a semantic analysis used for the selection of the attribute that best classify the plant. The selected attributes are used for formulating the user interactions, improving the effectiveness and reducing the user efforts required. The proposed method was evaluated on the popular Oxford Flowers 17 and 102 Classes datasets, yielding very high effectiveness results in both datasets when compared to other approaches.