Portugal lança primeiro comparador de IA generativa

Investigadores da Faculdade de Ciências da Universidade de Lisboa deram vida ao primeiro comparador de desempenho de modelos de linguagem (LLM) para português europeu, criando um novo instrumento de referência para empresas, programadores e também para a comunidade científica.

Designada “Leaderboard de LLM para português”, a plataforma CLARIN-PT-LDB permite avaliar e comparar, de forma transparente, o desempenho de diferentes modelos de inteligência artificial generativa. O sistema organiza os resultados num ranking público, acessível a qualquer utilizador, respondendo a uma lacuna na avaliação de soluções de IA focadas no português europeu.

Até agora, os principais benchmarks internacionais estavam centrados no inglês ou noutras línguas com maior massa crítica no ecossistema digital. A ausência de métricas específicas para português europeu limitava a análise comparativa e dificultava decisões informadas por parte de organizações que operam neste contexto linguístico.

Como funciona?

O funcionamento assenta na submissão de modelos de IA por parte dos seus criadores ou de terceiros. Cada modelo é sujeito a um conjunto de testes automáticos independentes, baseados em dados concebidos para avaliar múltiplas dimensões de desempenho, incluindo domínio da língua, adequação cultural e civilidade. Os resultados são depois disponibilizados online, permitindo uma comparação direta entre sistemas.

Um dos elementos distintivos é o foco em modelos abertos. A plataforma aceita LLM disponibilizados em repositórios como o Hugging Face, desde que permitam acesso ao código ou aos parâmetros de processamento, reforçando a transparência e a reprodutibilidade das avaliações. A iniciativa surge no âmbito da PORTULAN CLARIN, infraestrutura coordenada pela Ciências ULisboa e integrada no Roteiro Estratégico de Infraestruturas de Investigação da Fundação para a Ciência e a Tecnologia. A PORTULAN CLARIN assume ainda o papel de nó nacional da infraestrutura europeia CLARIN ERIC.

António Branco, professor e investigador da Ciências ULisboa e diretor-geral da PORTULAN CLARIN, reconhece que este leaderboard vem «colmatar uma lacuna importante, permitindo avaliar de forma rigorosa e comparável o desempenho de modelos de IA para português europeu, algo que até agora não existia».

Ferramenta de suporte à decisão

Ao disponibilizar métricas objetivas e comparáveis, o comparador posiciona-se como uma ferramenta de suporte à decisão para empresas e instituições que procuram soluções de inteligência artificial alinhadas com requisitos linguísticos e culturais específicos. Em paralelo, oferece aos programadores um ambiente estruturado para testar e melhorar modelos, acelerando ciclos de desenvolvimento. Num contexto em que a transformação tecnológica assente em IA generativa se intensifica, a capacidade de avaliar desempenho de forma transparente torna-se crítica, não apenas para garantir qualidade, mas também para assegurar confiança nos sistemas.

---