Governar a inteligência artificial: o que estamos tentando preservar?

Ainteligência artificial generativa, ou IAGen, já faz parte da vida universitária. Ela ajuda a escrever e revisar textos, traduz, resume documentos, sugere referências, auxilia na programação, organiza informações, responde perguntas e começa a ser incorporada a atividades de ensino, pesquisa, gestão e atendimento.

Sua presença deixou de ser uma hipótese sobre o futuro para se tornar uma questão cotidiana.

Diante disso, cresce também a preocupação com sua governança. Fala-se em transparência, privacidade, supervisão humana, responsabilidade, segurança, explicabilidade e rastreabilidade.

São princípios necessários. Mas talvez estejamos avançando para a lista de soluções sem formular uma pergunta anterior: quando falamos em governança da inteligência artificial, o que exatamente estamos tentando preservar.

A pergunta importa porque governar não é apenas controlar uma tecnologia. Tampouco significa criar regras para impedir erros ou assegurar que uma instituição esteja formalmente em conformidade com determinada norma.

Antes de decidir quais controles são necessários, precisamos saber o que não estamos dispostos a perder.

No caso da universidade, uma primeira resposta parece evidente: precisamos preservar as condições que nos permitem responder pelo conhecimento que produzimos, ensinamos, organizamos e fazemos circular.

Uma resposta produzida por inteligência artificial pode ser clara, convincente e perfeitamente escrita. Pode também estar correta. Mas essas características não são suficientes para que ela adquira o mesmo estatuto de uma informação que pode ser relacionada a uma fonte, examinada, confrontada com outras evidências e atribuída a alguém que responde pelo que afirma.

Essa diferença às vezes se torna pouco visível porque a IA generativa é extraordinariamente competente em produzir aquilo que poderíamos chamar de aparência de conhecimento.

Ela responde com segurança, organiza argumentos, estabelece relações e raramente demonstra a hesitação que associamos à dúvida. E há outro elemento importante: tendemos a usar a facilidade com que processamos uma informação como uma das pistas para julgá-la.

Uma resposta clara, familiar e bem formulada pode, por isso, parecer mais confiável.

Um estudo com estudantes universitários comparou respostas elaboradas por profissionais de bibliotecas e por inteligência artificial sem revelar aos participantes quem as havia produzido.

Não houve diferença significativa na confiança atribuída aos dois grupos de respostas. Entre os fatores que mais influenciaram a confiança na IA estava justamente o conhecimento que os participantes percebiam no sistema.

O resultado não significa que máquinas e profissionais tenham se tornado equivalentes. Mas suscita uma questão mais inquietante: podemos confiar antes mesmo de verificar se temos razões para confiar.

Para uma universidade, portanto, não se trata de produzir confiança na inteligência artificial, mas de assegurar as condições para uma confiança justificada: saber de onde vem uma informação, reconhecer seus limites, confrontá-la com as fontes que a sustentam, identificar erros e corrigi-los.

E, quando houver uma decisão institucional envolvida, saber também quem responde por ela.

Essa questão se torna mais complexa porque tendemos a falar em “uso da IA” como se estivéssemos diante de uma única atividade. Não estamos.

Há uma diferença considerável entre pedir a uma ferramenta que melhore a redação de uma mensagem administrativa e permitir que ela sintetize a literatura científica que sustentará uma pesquisa.

Há diferença entre traduzir um texto e interpretar uma fonte histórica. Entre organizar uma lista de assuntos e decidir quais conceitos representam adequadamente um documento.

Entre responder qual é o horário de funcionamento de uma biblioteca e orientar uma pessoa sobre quais evidências científicas sustentam determinada afirmação.

Em todos esses casos podemos dizer que “usamos IA”. Mas não estamos delegando a mesma coisa.

E talvez seja exatamente a natureza daquilo que delegamos que deva determinar o grau de governança necessário.

Quanto maior a participação da IA na interpretação, na seleção, na recomendação ou em uma decisão que produza consequências para outras pessoas, menos razoável parece tratá-la como simples instrumento de produtividade.

A pergunta deixa de ser apenas “a ferramenta consegue fazer isso?” e passa a ser “o que acontece quando permitimos que ela faça isso em nosso nome?”.

Essa mudança de pergunta é particularmente importante nas universidades porque nem todas as nossas atividades existem para chegar mais rapidamente a um resultado.

Pesquisar é um bom exemplo. Localizar documentos mais depressa pode ser extremamente útil. Organizar centenas de referências também. Mas formular uma boa pergunta, confrontar perspectivas contraditórias, perceber uma ausência na literatura, reconhecer que uma hipótese não se sustenta ou mudar de ideia diante de uma evidência são atividades nas quais o percurso importa tanto quanto o resultado.

Uma iniciativa com estudantes em uma disciplina, na Escola Superior de Agricultura Luiz de Queiroz, voltada ao conhecimento e à pesquisa oferece um exemplo bastante concreto.

A incorporação de ferramentas generativas e de apoio à pesquisa trouxe maior agilidade às etapas técnicas, e os estudantes demonstraram facilidade em utilizá-las.

As dificuldades, entretanto, permaneceram justamente nas competências analíticas, interpretativas e reflexivas. Estamos diante de uma distinção importante: aprender rapidamente a operar uma tecnologia não significa necessariamente aprender a pensar melhor com ela.

Se uma ferramenta resolve em segundos aquilo que alguém deveria aprender a compreender, a eficiência pode ser real e, ainda assim, o ganho ser discutível. O problema, nesse caso, não está apenas na possibilidade de a IA fornecer uma resposta errada.

Ela pode fornecer uma resposta excelente e, ainda assim, interferir na própria finalidade da atividade.

Existem, portanto, situações em que precisamos proteger as pessoas dos erros da IA. Em outras, precisamos preservar a oportunidade de que elas próprias realizem o trabalho intelectual que as forma.

As bibliotecas universitárias oferecem um lugar especialmente interessante para observar essas transformações. Talvez porque convivam há muito tempo com uma tensão que agora se apresenta a toda a universidade: facilitar o acesso à informação sem eliminar a mediação necessária para compreendê-la, avaliá-la e utilizá-la responsavelmente.

Uma biblioteca não se torna melhor porque dificulta o acesso à informação. Ao contrário. Durante séculos, parte considerável de seu desenvolvimento esteve associada à remoção de barreiras: organizar para encontrar, descrever para recuperar, preservar para permitir acesso futuro, ensinar para que as pessoas possam pesquisar com autonomia.

A inteligência artificial pode ampliar enormemente essa capacidade. Mas a biblioteca também sabe que encontrar uma informação não é o mesmo que avaliar sua qualidade; que recuperar documentos não equivale a compreender um campo de conhecimento; e que oferecer uma resposta não significa necessariamente compreender a pergunta.

Durante algum tempo, imaginou-se que a automação poderia diminuir progressivamente a necessidade dessa mediação. Acontece algo curioso com a IA generativa: quanto mais competente ela se torna em produzir respostas, mais importante pode se tornar a capacidade humana de interrogá-las.

De onde veio esta afirmação? Que fontes não aparecem aqui? Por que estas foram selecionadas? Há outra interpretação possível? O sistema está descrevendo uma evidência ou produzindo uma inferência.

O que não sabemos? Quem assume a responsabilidade se essa resposta for utilizada.

Essas perguntas não são obstáculos ao uso da tecnologia. São parte das condições para que ela possa ser utilizada dentro de uma instituição cuja matéria-prima é o conhecimento.

Um modo de tornar essa questão menos abstrata é observar uma proposta para a construção de bases de conhecimento para chatbots em unidades de informação. O ponto de partida é uma inversão significativa: começar não pela ferramenta, mas pela instituição.

Antes de escolher o chatbot, é preciso olhar para os documentos que lhe darão sustentação, os registros que poderão ser utilizados, os dados que precisam ser protegidos, as perguntas que o sistema está autorizado a responder e aquelas que devem ser encaminhadas a uma pessoa.

A questão deixa, assim, de ser apenas o que a tecnologia é capaz de fazer e passa a incluir o que a instituição está disposta a permitir que ela faça em seu nome.

Há uma lição importante nessa inversão. Um chatbot não se torna institucionalmente confiável simplesmente porque leva o nome da instituição em sua interface. É necessário definir quem seleciona suas fontes, quem atualiza o conteúdo, quem valida as respostas, quem acompanha mudanças e, talvez mais importante, quando o sistema não deve responder.

A responsabilidade institucional, nesse sentido, começa antes da primeira resposta produzida pela IA.

Essa cautela continua necessária mesmo quando o escopo é bastante delimitado. Em uma experiência com um assistente desenvolvido para orientar usuários sobre normas da Associação Brasileira de Normas Técnicas (ABNT), o sistema contava com instruções específicas e documentação institucional como base de conhecimento.

Nos testes realizados, respondeu corretamente à maior parte das questões. Ainda assim, algumas respostas foram apenas parciais e, em um dos casos, inventou a ementa de uma lei que não havia sido fornecida.

O exemplo é especialmente revelador porque mostra que uma base confiável pode reduzir o risco, mas não elimina a necessidade de julgamento.

Isso nos leva a outro deslocamento necessário. Durante muito tempo, grande parte das orientações sobre IA concentrou-se no comportamento individual: não inserir dados sensíveis, verificar as respostas, conferir as referências, declarar o uso da ferramenta, observar possíveis vieses.

Quando uma universidade disponibiliza, recomenda, contrata ou integra um sistema de inteligência artificial a seus processos, já não pode transferir integralmente para cada pessoa a responsabilidade de descobrir como utilizá-lo com segurança.

É nesse momento que as escolhas individuais passam a exigir respostas institucionais.

Isso significa definir responsabilidades. Quem pode autorizar determinado uso? Que dados podem ser processados? Quem verifica as respostas quando a verificação é necessária.

Que atividades exigem supervisão? Como são registradas falhas? Quem acompanha mudanças no sistema? Quando uma ferramenta precisa ser reavaliada? Quem pode determinar sua suspensão.

Essas questões são particularmente importantes porque sistemas generativos não são objetos estáveis. Modelos são atualizados, funcionalidades aparecem e desaparecem, políticas de tratamento de dados mudam, fornecedores alteram condições de uso.

Uma avaliação realizada hoje não garante que o mesmo sistema se comporte da mesma maneira amanhã.

Por isso, não basta produzir um documento antes da implantação e considerá-lo encerrado. Estamos diante de uma responsabilidade contínua.

Na USP, essa discussão já começa a adquirir forma institucional. O Escritório de Transformação Digital e Inteligência Artificial (E-TIA) recebeu a atribuição de fortalecer a governança institucional, definir diretrizes e promover o uso responsável da IA no ensino, na pesquisa e na gestão.

Entre seus princípios norteadores estão ética, transparência e responsabilidade, centralidade da missão acadêmica e uma afirmação especialmente pertinente a esta discussão: a decisão final cabe ao ser humano.

Mas talvez exista um princípio que qualquer estrutura criada para orientar o uso da inteligência artificial precise preservar desde o início: a possibilidade de decidir não delegar.

Quando uma tecnologia demonstra que consegue executar determinada atividade, surge rapidamente a pergunta sobre como incorporá-la. Discutimos segurança, treinamento, custos e supervisão.

Quase sem perceber, a decisão fundamental já foi tomada: a atividade será automatizada; resta descobrir em quais condições.

Mas uma governança que sempre termina na adoção não é inteiramente governança. É gerenciamento da adoção.

Há atividades que podem ser automatizadas com baixo risco e grande benefício. Outras podem ser realizadas com IA desde que exista supervisão adequada. Algumas talvez devam permanecer essencialmente humanas, não porque seres humanos sejam infalíveis, evidentemente não são, mas porque julgamento, responsabilidade, diálogo ou aprendizagem fazem parte da própria atividade que pretendemos realizar.

Reconhecer isso não significa resistir à inovação. Significa recusar uma ideia mais problemática: a de que tudo aquilo que pode ser automatizado deve necessariamente sê-lo.

Robert K. Merton, ao refletir sobre o ethos da ciência, chamou atenção para algo que continua atual: o conhecimento científico não depende apenas do talento individual de quem pesquisa.

Ele se sustenta também em normas e práticas coletivas que permitem que afirmações sejam compartilhadas, examinadas, criticadas e corrigidas. A ciência é uma realização intelectual, mas também uma instituição.

A inteligência artificial generativa não elimina essas condições. Ao contrário, torna mais urgente torná-las visíveis.

Talvez seja esse o ponto que corremos o risco de perder quando reduzimos governança a uma lista de princípios éticos ou a um conjunto de controles técnicos. Transparência, rastreabilidade, supervisão humana e responsabilidade não são importantes porque constituam uma espécie de ritual para tornar a IA aceitável.

São importantes porque protegem algo anterior à tecnologia: a possibilidade de examinar como chegamos ao que afirmamos saber.

Podemos delegar tarefas. Podemos automatizar operações. Podemos utilizar sistemas cada vez mais sofisticados para ampliar capacidades que antes eram exclusivamente humanas.

Mas a responsabilidade pelo conhecimento produzido, ensinado e colocado em circulação em nome de uma instituição não pode desaparecer dentro do sistema que ajudou a produzi-lo.

Por isso, talvez a pergunta mais importante para as universidades não seja quanto de inteligência artificial somos capazes de incorporar. É outra: ao incorporá-la, quais responsabilidades continuamos dispostos a assumir.

A resposta a essa pergunta dirá muito mais sobre nossa governança da inteligência artificial do que a quantidade de ferramentas que conseguirmos adotar.

(*) Maria Imaculada Da Conceição é bibliotecária da Faculdade de Filosofia, Letras e Ciências Humanas da USP.

Os artigos publicados com assinatura não traduzem necessariamente a opinião do portal. A publicação tem como propósito estimular o debate e provocar a reflexão sobre os problemas brasileiros.