Multimodal Acknowledgeable multiSenSorial Immersive Virtual Enviroments
Projects
These are the projects we are working on.
IMmersive SGS: Certificação de Serviços Digitais em Ambientes Virtuais Imersivos
O IMmersive SGS é um projeto, com um investimento elegível de 1.153.317,20 €, que cria o primeiro sistema de certificação para serviços digitais em ambientes virtuais imersivos, cobrindo de forma integrada os ambientes de realidade virtual, as infraestruturas físicas onde são utilizados e os próprios serviços, como formação, operação de equipamentos e visitas virtuais. Ao definir normas e selos de certificação, pretende aumentar a confiança, a segurança e a fiabilidade na utilização de tecnologias imersivas em contextos críticos, desbloqueando novos modelos de negócio e contribuindo para a sustentabilidade através da redução de deslocações e do uso de recursos físicos.
Ao longo do projeto, serão desenvolvidos ambientes virtuais de última geração, suportados por gémeos digitais e modelação 3D, bem como três serviços piloto certificados que demonstram o potencial destas soluções para a transformação digital em setores industriais e de serviços. Estes casos de uso incluem, entre outros, formação profissional imersiva, treino de operação de equipamentos e visitas virtuais guiadas em contextos reais, garantindo sempre a transferência efetiva de competências para o mundo físico.
No IMmersive SGS, o laboratório MASSIVE do INESC TEC é responsável pelo desenvolvimento dos ambientes virtuais imersivos e das experiências multissensoriais, assegurando o realismo, a qualidade técnica e a usabilidade necessários para que os serviços possam ser certificados com base em critérios rigorosos. O MASSIVE colabora ainda na definição de requisitos técnicos e na validação dos protótipos em cenários próximos da operação real, fornecendo o alicerce tecnológico que suporta todo o esquema de certificação do projeto.
SMARTCUT.v2 - Diagnóstico e Manutenção Remota e Simuladores para Formação de Operação e Manutenção de Máquinas Florestais
O SMARTCUT.v2 (Diagnóstico e Manutenção Remota e Simuladores para Formação de Operação e Manutenção de Máquinas Florestais) é um projeto demonstrador em copromoção, liderado pela CUTPLANT SOLUTIONS, S.A., com um investimento de 1.460.460,75 € e duração de 18 meses (março de 2025 – agosto de 2026). Dando continuidade ao projeto SMARTCUT (P2020, concluído em 2023), o SMARTCUT.v2 visa validar em ambiente real as tecnologias de monitorização e formação desenvolvidas para máquinas florestais da marca VICORT, no quadro dos conceitos de Floresta 4.0 e Indústria 4.0. A solução integra telemetria e telemanutenção via CAN Bus e rede móvel/satélite, gémeos digitais para diagnóstico preditivo de falhas, um simulador de realidade virtual para formação de operadores e técnicos, e sistemas de perceção visual por inteligência artificial para identificação de espécies florestais e deteção de pessoas e animais nas proximidades das máquinas. Toda a tecnologia é validada num piloto de longa duração com a Arménios – Exploração Florestal, Lda., em contexto real de operação florestal. O consórcio é composto pela CUTPLANT (líder), INESC TEC, IPCB, Universidade do Porto e UTAD como entidades de investigação, e pela Arménios como utilizador final.
No âmbito deste projeto, o Laboratório de Realidade Virtual Multissensorial MASSIVE (parceria INESC TEC–UTAD), sediado na Universidade de Trás-os-Montes e Alto Douro, é o parceiro responsável pelo desenvolvimento do simulador de realidade virtual para treino de operadores e da aplicação de RV para telediagnóstico e telemanutenção, integrada com o gémeo digital da máquina florestal. Com uma equipa liderada pelo Professor Maximino Bessa e pelo Investigador Miguel Melo, e com experiência comprovada em projetos de formação imersiva como o FCT PERFECT e o H2020 INCLUDING, o MASSIVE lidera ainda a criação de materiais de formação imersivos e a avaliação da usabilidade e eficácia do simulador, afirmando-se como parceiro científico central na componente de simulação e realidade virtual do SMARTCUT.v2.
IMAGINE VR: semI-autoMatic immersive trAininG orchestration in virtual rEality
ImagineVR é um projecto de investigação activo financiado pela Fundação para a Ciência e a Tecnologia (FCT), a decorrer entre Fevereiro de 2026 e Julho de 2027 sob a responsabilidade de Miguel Correia Melo, com um orçamento total de 59.430,15 €.
O projecto explora a intersecção entre Inteligência Artificial e Realidade Virtual para transformar a formação profissional: ao recorrer a IA para analisar e interpretar automaticamente documentos de instruções em formato PDF, o ImagineVR gera cenários imersivos de formação em VR sem necessidade de autoria manual ou de conhecimentos técnicos especializados.
Esta abordagem responde directamente a um dos principais desafios na formação da força de trabalho moderna (a elevada barreira de entrada associada ao desenvolvimento de ambientes de aprendizagem interactivos e baseados em cenários) ao automatizar integralmente o pipeline de criação de conteúdos.
O resultado é uma solução escalável e custo-eficiente que permite às organizações transformar rapidamente procedimentos escritos existentes em experiências de formação virtual práticas e envolventes, acelerando a transferência de conhecimento e melhorando os resultados de aprendizagem em diversos sectores.
VR‑EDU 3D: Aprendizagem Imersiva e Compreensão Espacial de Conceitos 3D em Engenharia e Medicina Veterinária
O projeto VR-EDU 3D: Aprendizagem Imersiva e Compreensão Espacial de Conceitos 3D em Engenharia e Medicina Veterinária centra-se na utilização da Realidade Virtual como estratégia pedagógica para apoiar a aprendizagem de conteúdos tridimensionais em unidades curriculares da UTAD, nomeadamente Computação Gráfica, Embriologia e Anatomia I e Anatomia II. A iniciativa parte da identificação de dificuldades persistentes dos estudantes na representação e manipulação mental de estruturas 3D complexas, procurando responder a esse desafio com experiências imersivas que reforçam a perceção espacial, a compreensão conceptual e a retenção do conhecimento.
Desenvolvido para os anos letivos de 2025/2026 e 2026/2027, o projeto recorre à infraestrutura imersiva já existente na UTAD, incluindo uma sala dedicada com 20 headsets Meta Quest 3, para criar aplicações específicas adaptadas aos conteúdos de cada área disciplinar. Em Computação Gráfica, os estudantes exploram ambientes que lhes permitem acompanhar algoritmos de ray tracing e observar em tempo real os efeitos da luz, da reflexão e da refração, enquanto em Anatomia Veterinária interagem com modelos tridimensionais de cão, cavalo e bovino, com estruturas anatómicas dissecáveis e visualização em diferentes planos.
A-MoVeR – Agenda Mobilizadora para o Desenvolvimento de Produtos e Sistemas Inteligentes de Mobilidade Verde
The A-Mover Agenda aims to bring about a substantial change in the industrial development model in the Region of Trás-os-Montes and Alto Douro, through the implementation of a series of industrial investments that will allow the participating companies to enter international segments with high added value, through the creation of 3 totally innovative PPS worldwide:
- The Vehicle-to-Everything Smart Antenna for communication between vehicles and other mobility players, via modular 5G solutions
- a new electric motorcycle with high autonomy, aimed at promoting comfortable, efficient, and green urban mobility
- Secure real-time information collection/management services, which will add value to the region’s automotive cluster, given the concepts of Smart Manufacturing and advanced manufacturing processes in a “factory of the future” logic to be implemented.
LITHME: Language In The Human-Machine Era
LITHME has two aims: to prepare linguistics and its subdisciplines for what is coming; and to facilitate longer term dialogue between linguists and technology developers. How will pervasive augmentation technology affect language in areas such as international law, translation, and other forms of language work? What will this mean for how people identify with specific languages? Could increasing reliance on real-time language technologies actually change the structure of language? Longer term, could developments in brain-machine interfaces serve to complement or even supersede language altogether? Linguistics will be far stronger for robust technological foresight, while developers will benefit from better understanding potential linguistic and societal consequences of their creations.
Meanwhile LITHME will shine a light on the ethical implications of emerging language technologies. Inequality of access to technologies, questions of privacy and security, new vectors for deception and crime; these and other critical issues would be kept to the fore. LITHME will equip linguists and stakeholders for the human-machine era.
Technology and Education - VR and Language learning/teaching
The project on Technology and Education comprises the very research on the fields of VR and language learning and teaching, more exactly EFL language and learning. The educational reality has been a tremendously demanding area and traditional teaching and didactic methodologies are challenged by the more contemporary and ever-evolving approaches as offered by the present day context where technology plays an enormous role. More exactly, VR is addressed as a potential didactic tool and its resources are thought of to facilitate the very activities of both teaching and learning regarding EFL and other languages.