Consolidação da ReINVenTA – Research And Innovation Network For Visual And Textual Analysis Of Multimodal Objects
Coordenador Tiago Timponi Torrent (UFJF)
A proposta ora submetida busca consolidar a ReINVenTA – Research and Innovation Network for Visual and Textual Analysis of Multimodal Objects –, rede de pesquisa interinstitucional e internacional financiada pela FAPEMIG através do Programa de Apoio a Redes de Pesquisa e pelo CNPq através da Chamada de Apoio à Pesquisa Científica, Tecnológica e de Inovação: Bolsas no Exterior. A ReINVenTA debruça-se sobre o processamento semântico computacional de objetos multimodais (i.e. compostos de modos comunicativos como linguagem verbal, gestos, vídeo que interagem para a produção de sentido). Para tanto, mobiliza laboratórios e grupos de pesquisa com expertise em Desenvolvimento de Modelos para Compreensão de Língua Natural, Inteligência Artificial, Descoberta de Conhecimento e Tecnologias Assistivas. Mais especificamente, a ReINVenTA investiga aplicações do modelo semântico-computacional da FrameNet à representação semântica de objetos multimodais através da constituição de um dataset semanticamente anotado e do treinamento de modelos de IA neste dataset. Nesse sentido, parte da premissa de que, assim como palavras podem evocar frames, outros elementos semióticos também o fazem, sendo a representação semântico-computacional de gêneros multimodais o resultado de intrincadas e complexas relações intersemióticas. A FrameNet Brasil vem desenvolvendo, nos últimos anos, os critérios analíticos e o ferramental de software que permitem a extensão do modelo da FrameNet para análise de gêneros multimodais. Na proposta ora apresentada, tais critérios e ferramental serão expandidos e aprimorados de modo a permitir o tratamento de gêneros multimodais com ampla circulação social bem como a aquisição de anotações computacionais em ambiente de crowdsourcing. Tais ações, em sua maioria constituídas com grande inserção internacional, consolidarão a ReINVenTA como grupo de referência no desenvolvimento de tecnologia em compreensão de linguagem multimodal por máquinas.