Ferramentas e Avaliação

As ferramentas disponibilizadas pela UBI a toda a comunidade académica, os cuidados a ter com os dados, os limites da deteção automática e o que muda na avaliação.

Ferramentas com Inteligência Artificial no ecossistema UBI

A UBI disponibiliza gratuitamente a toda a comunidade académica — estudantes, docentes, investigadores e funcionários — as ferramentas abaixo elencadas. A divulgação destes recursos é sempre acompanhada da indicação de que a utilização de chatbots e de ferramentas de Inteligência Artificial deve ser declarada e realizada de forma responsável e ética, devendo, em contexto ensino-aprendizagem, ser acordada com o docente.

Microsoft Copilot

Chatbot da Microsoft, integrado com o Office 365 e acessível com as credenciais institucionais, via autenticação federada. Esta ferramenta de conversação e geração de texto ou imagem utiliza modelos avançados de Inteligência Artificial da OpenAI, com base na família GPT, sendo a seleção do modelo realizada automaticamente em função da complexidade dos pedidos.

m365.cloud.microsoft/chat/

Aceder a Microsoft Copilot (abre numa nova janela)

IAEdu

Portal único de acesso a diversos modelos avançados de linguagem de larga escala (Large Language Models, LLM), disponibilizado pela Fundação para a Ciência e a Tecnologia (FCT), incluindo soluções da OpenAI e Mistral. De acordo com a FCT, a utilização destes serviços segue princípios de segurança e proteção de dados, não sendo os conteúdos submetidos utilizados para treino dos modelos, de acordo com as configurações disponibilizadas. O acesso faz-se através de autenticação federada com as credenciais institucionais.

chat.iaedu.pt

Aceder a IAEdu (abre numa nova janela)

ScopusAI

Ferramenta de pesquisa intuitiva, alimentada por Inteligência Artificial generativa e integrada na interface do utilizador Scopus. Baseia-se nos metadados e resumos de documentos da Scopus, identificando automaticamente os conteúdos mais relevantes. Sumariza a informação, fazendo sempre referência às fontes utilizadas e fornecendo indicações sobre o nível de confiança das respostas. Permite ainda identificar a investigação influente sobre o tema escolhido, gerando listas de artigos reais.

scopus.com

Aceder a ScopusAI (abre numa nova janela)

Turnitin

Plataforma de apoio à integridade académica e à deteção de plágio, acessível mediante autenticação com credenciais institucionais. Integrada com a plataforma de e-learning Moodle, permite comparar trabalhos submetidos com uma vasta base de dados de publicações académicas, conteúdos da Internet e trabalhos anteriores, gerando relatórios de similaridade. Está também disponível na área reservada Minha.UBI.

ubeirainterior.turnitin.com

Aceder a Turnitin (abre numa nova janela)

A ferramenta Turnitin inclui uma funcionalidade de deteção de texto potencialmente gerado por Inteligência Artificial, sendo, por uma questão de completude, mencionada nesta secção. Ainda assim, a sua utilização para essa finalidade não é recomendada — ver Deteção de conteúdo gerado.

Confidencialidade e proteção de dados

Independentemente de a utilização destas ferramentas poder transmitir a perceção de que estão a ser executadas localmente, importa deixar claro que, na quase totalidade dos casos, essa utilização implica o envio de informação através da Internet para sistemas remotos, frequentemente localizados noutros países da Europa ou do mundo, onde se encontram instalados os servidores com maior capacidade de processamento. É nesses sistemas que a informação é efetivamente processada.

Qualquer interação com um chatbot recorre, portanto, inerentemente, a uma vasta panóplia de tecnologias e protocolos de comunicação e processamento, que permeabilizam o fluxo de informação para além das paredes da instituição. Assim, qualquer decisão de utilização deve ter estes detalhes em consideração, nomeadamente para permitir uma melhor avaliação e mitigação de questões relacionadas com a confidencialidade e a privacidade, em particular no que respeita à proteção de dados pessoais e ao tratamento de documentos confidenciais ou estrategicamente sensíveis.

Em caso de dúvida, deve optar-se sempre pela não submissão de documentos, informações ou dados pessoais nestas ferramentas.

Adicionalmente, importa notar que, independentemente de uma ferramenta indicar que os dados introduzidos pelo utilizador não são utilizados para o treino dos modelos, essa garantia não é, tipicamente, passível de validação técnica plena e em toda a sua extensão. Tal deve-se precisamente ao facto de a tecnologia e o processamento dos dados se encontrarem em sistemas remotos, fora do controlo direto do utilizador ou da instituição. Nesse sentido, qualquer compromisso ou garantia contratual relativamente a essa matéria acaba inevitavelmente por assentar, pelo menos em parte, numa relação de confiança intrínseca entre as partes envolvidas.

No contexto particular da segurança e da proteção de dados, a escolha de ferramentas com aval institucional constituirá, em regra, uma melhor prática do que a utilização de ferramentas subscritas individualmente e fora do ecossistema institucional.

Deve ainda ser enfatizado que não existem, tipicamente, garantias fortes de que os dados aí introduzidos sejam sempre completamente segregados entre utilizadores. Isto significa que, em determinados casos, informação submetida por um utilizador poderá, inadvertidamente, ser exposta ou vazada para outros utilizadores, pertencentes à mesma organização ou até a organizações distintas.

Finalmente, importa frisar que, antes da recomendação institucional de qualquer ferramenta de Inteligência Artificial, é sempre realizado um esforço de verificação e de avaliação no sentido de assegurar o cumprimento das melhores condições, boas práticas e garantias possíveis.

Deteção de conteúdo gerado por Inteligência Artificial

A utilização de ferramentas automáticas para deteção de conteúdo gerado por Inteligência Artificial tem de ser revestida de cuidado redobrado. É reconhecido, mesmo por quem as desenvolve, que estas ferramentas geram falsos positivos, podendo, ironicamente, ser especialmente gravoso para quem escreve bem.

Embora seja expectável que estas ferramentas ainda venham a melhorar a médio e longo prazo, também é igualmente esperado que as mesmas ferramentas venham a contribuir para a melhoria da Inteligência Artificial generativa, numa lógica de alimentação mútua. Atualmente, existem, aliás, algumas ferramentas que tornam o texto mais humanizado, injetando-lhe erros de forma que não seja identificável por ferramentas automáticas de deteção.

Em contexto de ensino-aprendizagem

Em contexto de investigação

Avaliação na era da Inteligência Artificial

Com o advento e a democratização do acesso a ferramentas de Inteligência Artificial generativa, muitas das formas e metodologias de avaliação existentes tornaram-se, parcial ou totalmente, inadequadas para a avaliação de conhecimentos e competências.

Muitas discussões convergem na ideia de que será necessário repensar as metodologias de avaliação, reduzindo a ênfase colocada exclusivamente no produto final da aprendizagem e atribuindo maior relevância ao processo de aprendizagem e ao grau de apropriação efetiva dos conhecimentos e competências por parte do/a estudante. Em muitos casos, esta mudança poderá implicar o redesenho das metodologias de avaliação adotadas em cada unidade curricular.

A avaliação do produto poderá ser concebida assumindo explicitamente que as ferramentas de Inteligência Artificial generativa fazem parte do processo de realização da tarefa, ou, em alternativa, poderá pressupor que a sua utilização não é permitida. Neste último caso, deverá ser cuidadosamente ponderada a forma como essa limitação é operacionalizada e verificada, reconhecendo-se que nem sempre se trata de um problema de fácil resolução, sobretudo dada a crescente miscibilidade e ubiquidade da tecnologia.

Por outro lado, a avaliação do processo de desenvolvimento do trabalho e da efetiva apropriação dos conhecimentos e competências pelo estudante exige, frequentemente, um maior investimento de tempo por parte do docente. Assim, qualquer processo de redesenho ou adaptação das metodologias de avaliação deve procurar, simultaneamente, assegurar um equilíbrio adequado da carga de avaliação, tanto para os estudantes como para os docentes, e reforçar a correspondência entre os instrumentos de avaliação utilizados e os resultados de aprendizagem esperados para a unidade curricular.

Testes de avaliação

As ferramentas de Inteligência Artificial generativa são particularmente eficazes na resolução de perguntas de escolha múltipla. Nesses casos, o modelo necessita apenas de identificar, entre um conjunto limitado de opções, aquela que mais provavelmente corresponde à resposta correta, em vez de gerar texto livre de forma integral. Essa tarefa tende a ser mais direta, uma vez que a comparação entre as opções apresentadas e os padrões previamente aprendidos pelo modelo é relativamente simples.

Trabalhos assíncronos

Existem atualmente diversas ferramentas de Inteligência Artificial generativa, vulgarmente designadas por chatbots, disponíveis de forma gratuita ou mediante subscrições de custo relativamente reduzido, mas que disponibilizam funcionalidades bastante poderosas. Neste contexto, é legítimo e, eventualmente, até prudente, assumir que a elaboração de trabalhos realizados de forma assíncrona, fora do contexto de uma aula ou de uma prova presencial vigiada, poderá recorrer, total ou parcialmente, à utilização destas ferramentas.

Correção de elementos de avaliação

O recurso a ferramentas de Inteligência Artificial pelo docente para corrigir automaticamente trabalhos ou outros elementos de avaliação é tratado no guia como uma potencial linha vermelha, sobretudo quando a avaliação produzida está sujeita a interpretação.

Fraude e penalização em contexto de avaliação

A utilização comprovada, por parte de estudantes, não declarada ou não autorizada de ferramentas de Inteligência Artificial no contexto do ensino e da aprendizagem, em particular no âmbito de atividades de avaliação, configura tipicamente uma situação de fraude académica. Estas situações encontram enquadramento no Regulamento Académico e no Código de Integridade da UBI.