VALIDAÇÃO DA QUALIDADE DAS RESPOSTAS DO CHATGPT ÀS PERGUNTAS FREQUENTES SOBRE SÍFILIS GESTACIONAL E CONGÊNITA
inteligência artificial; perguntas frequentes (FAQ); sífilis gestacional; sífilis congênita.
Dados do Ministério da Saúde indicam um aumento na taxa de detecção de sífilis adquirida e de incidência de sífilis congênita, associado a diversos fatores, inclusive desinformação. O ChatGPT é um chatbot de inteligência artificial (IA) generativa que usa processamento de linguagem natural e que pode responder às mais variadas perguntas, inclusive sobre sífilis. O objetivo da dissertação é validar a qualidade das respostas do ChatGPT às perguntas frequentes sobre sífilis gestacional e congênita. Trata-se de um estudo de validação, descritivo, transversal e observacional, com abordagem quantitativa. A dissertação seguiu as etapas: 1. Busca e seleção das perguntas frequentes sobre sífilis gestacional e congênita; 2. Geração de respostas pelo ChatGPT 4.0; 3. Validação das respostas por profissionais e público-alvo; 4. Avaliação da legibilidade das respostas do ChatGPT. Na etapa de validação das respostas do ChatGPT, os juízes foram profissionais de saúde e leigos. O grupo dos profissionais de saúde foi composto por médicos, enfermeiros e farmacêuticos que atuam no tratamento da sífilis gestacional e congênita. O grupo de leigos foi composto por gestantes atendidas em uma maternidade pública localizada na Região Norte do Brasil que fossem alfabetizadas, com idade igual ou superior a 18 anos e sem diagnóstico para sífilis. Os juízes avaliaram critérios de clareza, relevância, precisão, abrangência e satisfação geral (valor global das informações fornecidas). A precisão e abrangência não foram avaliados pelos juízes leigos. Os juízes após aceitarem participar da pesquisa e assinarem o Termo de Consentimento Livre e Esclarecido, receberam o link do Google Forms para responder. A análise de dados incluiu o cálculo do Índice de Validade de Conteúdo (IVC) e do coeficiente alfa de Cronbach. A legibilidade textual foi avaliada pelo software ALT, utilizando diferentes fórmulas de legibilidade, como Flesch, Gulpease, Flesch-Kincaid, Gunning Fog, ARI, Coleman-Liau e o Índice Geral. Para análise dos resultados da legibilidade foi realizada análise de variância (ANOVA) entre três versões de respostas e teste de correlação de Pearson entre os índices de legibilidade. Foram utilizados os softwares IBM SPSS Statistics®, versão 22 e o Jamovi, versão 2.6. Os resultados da validação indicaram alta aceitação das respostas do chatGPT pelo público especialista, destacando-se os critérios de clareza (IVC = 0,94) e relevância (IVC = 0,91). Entre gestantes, os escores também foram satisfatórios, com médias superiores a 4,0 em escala Likert de 1 a 5. A consistência interna foi considerada alta em todos os critérios no coeficiente alfa de Cronbach. Quanto à legibilidade constatou-se que a maioria das respostas apresenta nível de leitura médio ou fácil, adequado ao público-alvo. Conclui-se que o ChatGPT tem potencial como ferramenta complementar para educação em saúde, especialmente em contextos de vulnerabilidade social.