O curso online GenIA: Encontro Clínico tem em todos os módulos o universo da inteligência artificial generativa (GenIA) no contexto da saúde. O primeiro módulo, “💡Entender “GenIA” e identificar Vieses”, estabelece as bases para uma compreensão crítica e ética dessa tecnologia emergente. É fundamental reconhecer que a IA generativa, capaz de criar conteúdo como texto, imagens e outros dados, tem o potencial de transformar a prática clínica, mas também levanta questões importantes sobre sua aplicação responsável e, no caso do encontro clínico isento de vieses opressivos, implica no desenvolvimento da habilidade de engenharia de prompts (ou instruções) com base no referencial do Cuidado de Saúde Centrado em Direitos Humanos.
Conectando Direitos Humanos e Compaixão Clínica com Tecnologias Digitais
Este tópico central do módulo aborda a conexão intrínseca entre os direitos humanos, a compaixão clínica e a utilização de tecnologias digitais como a GenIA. É crucial entender que a IA é desenvolvida por humanos e, portanto, suas decisões e impactos são influenciados por quem cria a instrução, bem como a respectiva base de conhecimento que alimenta o aprendizado de máquina. Despertar a consciência crítica da agência humana no design, provisão e uso da IA é essencial, assim como compreender as implicações éticas dessas tecnologias para a privacidade dos dados do(a) paciente, segurança e equidade das ações de saúde. Neste sentido, reitera-se que a formação deve guiar os(as) estudantes a internalizar princípios éticos, promovendo interfaces inclusivas e combatendo vieses discriminatórios em ferramentas de IA.
Com este propósito, foi planejada a seguinte atividade:
🧠Este curso foi feito para lhe preparar com o conhecimento, as habilidades e a atitude para implementação do raciocínio clínico orientado por IA, particularmente a IA Generativa, de forma isenta de vieses opressivos (citizen developer). Instruções Leitura e Discussão: Leia atentamente os textos como anexo (ver seção "Anexos"). Participe ativamente do Fórum Permanente em Saúde das Populações Vulneráveis (FPSPV) online, respondendo às perguntas norteadoras e comentando as contribuições dos colegas. Analise os cenários clínicos descritos abaixo, que envolvem o uso de IA generativa em saúde e seus potenciais vieses. Para cada cenário, identifique os possíveis vieses presentes nos algoritmos e outputs da IA, considerando as particularidades das populações vulneráveis envolvidas. Cenário 1 Uma paciente que se autodeclara preta, 35 anos, com histórico de violência doméstica, busca atendimento médico em uma unidade de pronto atendimento. O sistema de triagem utiliza um algoritmo de IA que prioriza pacientes com base em dados demográficos e socioeconômicos. Há possibilidade de subestimação do risco da paciente, considerando sua vulnerabilidade social? Justifique. Cenário 2 Um paciente LGBT+, usuário de drogas, é atendido em um centro de saúde mental. O sistema de prontuário eletrônico utiliza um algoritmo de IA que associa automaticamente diagnósticos e tratamentos com base em informações demográficas e comportamentais. Há possibilidade de estigmatização do paciente e de inadequação do cuidado? Justifique. Cenário 3 Uma comunidade cigana/romani busca atendimento em uma unidade básica de saúde. O sistema de agendamento online utiliza um algoritmo de IA que prioriza pacientes com acesso à internet e com maior nível de escolaridade. Com base no uso exclusivo do sistema, Há possibilidade de facilitar ou dificultar o acesso da comunidade ao serviço de saúde? Justifique. Discuta como esses vieses podem impactar a qualidade do cuidado e a equidade em saúde. Utilizando ferramentas de IA generativa (Gemini, por ex), copie e cole o prompt abaixo com as alterações sugeridas. Como resposta, espera-se que sejam criadas narrativas que orientem a atuação da equipe interprofissional sobre os cenários analisados, destacando os vieses identificados e seus possíveis impactos. Sugestão de estrutura do (🧠) prompt e seu uso, por exemplo: Persona: Graduando(a) de enfermagem . Aim: Seguir cada etapa do raciocínio clínico (Identifica dados importantes, Analisa seu significado, Prioriza diagnósticos potenciais, Planeja intervenções, Implementa cuidados e Avalia os resultados) para propor um plano de cuidado isento de vieses para este caso clínico ou cenário [insira aqui o Caso Clínico ou Cenário 1, 2 ou 3]. Recipients: estudante da área da saúde até o 2o período de graduação Theme: O plano, em no máximo em 200 palavras, deve ser escrito de forma objetiva, utilizando linguagem científica e respeitosa. Structure: O formato de saída deve ser em lista. Observações * Esta atividade é parte integrante do curso "IA Generativa no Encontro Clínico" e tem como objetivo complementar o aprendizado dos alunos sobre o tema. * Reflita criticamente sobre o papel da IA generativa na saúde, considerando seus benefícios e desafios. * Discuta estratégias para mitigar os vieses identificados e promover o uso ético e equitativo da IA em saúde. * A avaliação da atividade será formativa, ou seja, o objetivo é fornecer feedback aos alunos para que possam aprimorar seus conhecimentos e habilidades. * Em caso de dúvidas, entre em contato com o docente responsável pelo curso.
Exemplo de resposta da GenIA (Gemini) para o Cenário 3
**Plano de Cuidados para Acesso da Comunidade Cigana/Romani à UBS:** * Identificar barreiras de acesso (tecnologia, educação). * Analisar impacto do algoritmo de IA na equidade.* Diagnosticar acesso prejudicado e risco de desigualdade. * Planejar agendamento alternativo (telefone, presencial). * Oferecer suporte online na UBS. * Sensibilizar equipe e advogar por inclusão. * Comunicar opções de forma acessível. * Garantir atendimento humanizado e culturalmente sensível. * Monitorar acesso e coletar feedback. * Ajustar estratégias para equidade. O uso exclusivo do sistema de agendamento online pode dificultar o acesso da comunidade cigana/romani devido à falta de acesso à internet e menor escolaridade, perpetuando desigualdades.
Os links sugeridos para a realização desta atividade são estes:
https://www.tudelft.nl/en/stories/articles/feminist-ai-transforming-and-challenging-the-current-artificial-intelligence-ai-industry
https://desvelar.org/2023/10/25/como-vieses-entram-na-ia-generativa/
https://www.ibm.com/br-pt/think/topics/shedding-light-on-ai-bias-with-real-world-examples
https://futureskillsacademy.com/blog/prompt-bias-in-ai/
Para colaborar com a fixação da aprendizagem, foi incluída nesta atividade uma série de exercícios do Classroom “Entendendo GenIA” com 10 questões de múltipla escolha, por exemplo:
Um algoritmo de GenIA é treinado com dados históricos de pacientes, predominantemente de um grupo étnico específico. Qual o risco potencial desse cenário? a) O algoritmo será mais preciso para todos os pacientes, independentemente de sua etnia ou gênero. b) O algoritmo pode apresentar resultados enviesados e menos precisos para pacientes de outras etnias ou gêneros c) Não há risco, desde que o algoritmo seja utilizado por profissionais de saúde experientes. d) O algoritmo será capaz de identificar doenças raras com maior facilidade.
Pode ser que você saiba, mas vou indicar assim mesmo. A melhor resposta é “b”.
🤖GenIA: Aplicações Clínicas e Éticas
O módulo também se dedica a examinar as aplicações clínicas da GenIA, desde o apoio à comunicação paciente-provedor até a facilitação da documentação clínica e o suporte à educação médica. No entanto, essas aplicações vêm acompanhadas de considerações éticas significativas. É vital que os profissionais de saúde desenvolvam a capacidade de avaliar a qualidade, precisão e segurança das ferramentas baseadas em IA, bem como os vieses presentes nos seus dados subjacentes.
Com o propósito de realizar uma sondagem preliminar, foi planejada a seguinte atividade (Pergunta, no Classroom):
🧠Leia atentamente a vinheta clínica e selecione a alternativa que melhor representa a aplicação ética e informada da GenIA, considerando a importância de evitar vieses racistas, misóginos, LGBTfóbicos e outros. "Uma paciente negra de 65 anos procura atendimento médico com queixas de dor crônica. A 🤖GenIA sugere um plano de tratamento baseado em dados históricos que, predominantemente, representam pacientes brancos. 👩🏿⚕ Qual a conduta MAIS apropriada diante dessa situação?" a) Seguir rigorosamente o plano de tratamento sugerido pela GenIA, pois ela é imparcial e baseada em dados. b) Ajustar o plano de tratamento com base na experiência clínica e nas particularidades da paciente, buscando dados complementares sobre pacientes negros. c) Ignorar a sugestão da GenIA e prescrever o tratamento padrão para dor crônica, independentemente da etnia da paciente. d) Solicitar uma nova análise da GenIA, especificamente para pacientes negras com dor crônica.
Mais do que certo ou errado, com esta atividade pode-se ter uma ideia do grau de conhecimento e nível de usabilidade da IA no ponto do cuidado pela(o) profissional de saúde, no que se refere à engenharia de prompts. Todavia, para não ficar sem uma solução, no meu entender a alternativa é a
"B". Cabe observar que a GenIA pode reproduzir vieses presentes nos dados de treinamento, sendo fundamental adaptar as sugestões à realidade individual do paciente. O(a) 👩🏿⚕ profissional deve utilizar a GenIA como ferramenta de apoio, complementando com seu julgamento clínico e considerando as particularidades de cada paciente. Ignorar a GenIA pode privar o paciente de um tratamento potencialmente eficaz, além de desperdiçar os benefícios da tecnologia. Embora seja importante buscar dados específicos, a simples solicitação de uma nova análise não garante a ausência de vieses.
Em síntese, a engenharia de prompts eficaz, ou seja, a criação de instruções claras e precisas para a IA, é uma habilidade fundamental para obter respostas relevantes e mitigar esses riscos.
Ao focar na compreensão da GenIA e na identificação de vieses desde o início, o curso GenIA: Encontro Clínico busca capacitar os profissionais de saúde a utilizar essas ferramentas de forma informada, ética e com foco no bem-estar do paciente.
Referências
Cruz, ICF da A Estratégia de Saúde Digital 2020-2028 e o papel da(o) enfermeira(o). NEPAE/UFF. Niterói, 28/12/2020. Disponível em https://nepae.uff.br/?p=1570
Como citar
Cruz, ICF da “GenIA”: Recurso para o Encontro Clínico Isento de Vieses. NEPAE/UFF. Niterói, 08/04/2025. Disponível em https://nepae.uff.br/?p=4440