Role of Large Language Models in Patient Safety in an Expert Evaluation Study

Authors

DOI:

https://doi.org/10.59681/2175-4411.v18.2026.1570

Keywords:

Clinical Decision Support Systems, Artificial Intelligence, Large Language Models

Abstract

Objective: This study comparatively evaluates the performance of different Large Language Models (LLMs) as tools to support medical prescription, considering criteria associated with patient safety and clinical applicability, based on a blinded expert evaluation. Methods: Six LLMs answered four questions about contraindications, drug interactions, and dosages. A panel of 34 physicians blindly evaluated 24 responses based on five criteria: consistency, focus, coherence, completeness, and detail. Results: Performance varied according to the criteria and question types; LLM6 showed better completeness and detail, especially in complex cases. Simple questions, such as contraindications, received higher scores, while complex questions showed greater variation. Conclusion: The findings indicate that the use of LLMs to support medical prescription requires careful model selection and consideration of the level of clinical complexity, reinforcing the need for contextual validation before their adoption in healthcare settings.

Downloads

Download data is not yet available.

Author Biographies

Antonio Valerio Netto, CNPq

Especialista em Ciência de Dados e Inteligência Artificial trabalhando com soluções no IAMSPE desde 2023, onde também co-orienta alunos de mestrado/doutorado no programa de pós-graduação da instituição. É professor de pós-graduação nos cursos de especialização em ciência de dados para saúde, gestão e liderança em enfermagem, além do MBA em saúde digital e gestão. É professor afiliado do departamento de informática em saúde da Escola Paulista de Medicina (EPM/UNIFESP) desde 2022. Foi professor visitante em ciência de dados em saúde e telemedicina na EPM/UNIFESP entre 2019 e 2021. Desde 2011 é pesquisador em Desenvolvimento Tecnológico e Extensão Inovadora do CNPq na área de tecnologia educacional. Tem pós-doutorado pelo Instituto Ensino e Pesquisa do Hospital Sírio-Libanês. Doutorado em computação e matemática computacional pela USP. Mestrado em engenharia pela USP, especialização na área de informática em saúde pela UNIFESP, MBA em Marketing pela FUNDACE FEA-RP/USP, graduação em ciência da computação pela UFSCar e técnico em informática pela ETEP. Em 2003, fundou a Cientistas Desenvolvimento Tecnológico, empresa focada no desenvolvimento de sistemas computacionais que em 2009 foi considerada pelo Sebrae SP uma das pequenas empresas mais inovadoras do estado de São Paulo. Em 2007, fundou a XBot, primeira empresa de robótica móvel do país para as áreas de educação, pesquisa e edutainment, que em 2011 foi uma das vencedoras do prêmio nacional de empreendedorismo e em 2012 recebeu o Prêmio MPE Brasil Estadual São Paulo de destaque em boas práticas de responsabilidade social. É avaliador ad-hoc do CNPq, da Fundação de Amparo à Ciência e Tecnologia do Estado de Pernambuco (FACEPE), da Fundação de Amparo à Pesquisa do Estado da Bahia (FAPESB) e Assessor Científico do Fundo Mackenzie de Pesquisa. Possui mais de 100 publicações entre livros, capítulos de livros, revistas e congressos internacionais e nacionais nas áreas de computação e engenharia. Possui oito pedidos de patentes e seis registros de marcas. Coordenou em torno de 35 projetos tecnológicos financiados pela FINEP, CNPq, FAPESP, ABDI e empresas privadas. Recebeu diversos prêmios e menções honrosas, como a do Society of Automotive Engineer (SAE) Brasil 2001 - melhor artigo na categoria Projetos e de melhor aluno do MBA em Marketing da FUNDACE em 2006. Em 2008 foi finalista do prêmio Empreendedor de Sucesso promovido pela revista PEGN e FGV. Em 2009 tornou-se professor honorário da Universidad Abierta Interamericana (Buenos Aires/ARG). Em 2013, ganhou o Prêmio Alexandrino Garcia do Grupo Algar na categoria Empreendedorismo pelo trabalho realizado na área de tecnologia educacional. Em 2016 recebeu o prêmio ABSEG da Associação Brasileira de Profissionais de Segurança. Em 2019 foi vencedor do Concurso de Tecnologias Policiais (StartPol). Em 2023, obteve primeiro lugar no prêmio UNIDAS (União Nacional das Instituições de Autogestão em Saúde).

Camila de Brito Pontes, UNIFESP

Cirurgiã-Dentista (2012) e Mestre em Odontologia (2018) pela Universidade de Fortaleza. Especialista em Periodontia (2015) pelo Centro de Educação Continuada da Academia Cearense de Odontologia e Especialista em Informática em saúde pela UAB/UNIFESP. Áreas de interesse: Saúde pública, Saúde Coletiva, Saúde Digital e Periodontia.

References

Tariq RA, Vashisht R, Sinha A. Medication dispensing errors and prevention. In: StatPearls. Treasure Island (FL): StatPearls Publishing; [cited 2025 May 14]. Available from: https://www.ncbi.nlm.nih.gov/books/NBK519065

National Coordinating Council for Medication Error Reporting and Prevention. About medication errors: what is a medication error? [cited 2025 Feb 2]. Available from: https://www.nccmerp.org/about-medication-errors

Cruzeta APS, Dourado ACL, Monteiro MTM, Martins RO, Calegario TA, Galato D. Fatores associados à compreensão da prescrição médica no Sistema Único de Saúde de um município do Sul do Brasil. Cien Saude Colet. 2013;18(12):3731-7. doi: https://doi.org/10.1590/S1413-81232013001200029

World Health Organization. Medication without harm. 2025 [cited 2025 Feb 3]. Available from: https://www.who.int/initiatives/medication-without-harm

Academy of Managed Care Pharmacy. Medication errors. 2025 [cited 2025 Feb 3]. Available from: https://www.amcp.org/concepts-managed-care-pharmacy/medication-errors

Cohen MR, Smetzer JL. ISMP medication error report analysis. Hosp Pharm. 2017;52(6):390-3. doi: https://doi.org/10.1177/0018578717715346

Shah K, Xu AY, Sharma Y, Daher M, McDonald C, Diebo BG, et al. Large language model prompting techniques for advancement in clinical medicine. J Clin Med. 2024;13(17):5101. doi: https://doi.org/10.3390/jcm13175101

Netto AV, Berton L, Takahata AK. Ciência de dados e a inteligência artificial na área da saúde. São Paulo: Editora dos Editores; 2021.

Netto AV. Ciência de dados em saúde: contribuições e tendências para aplicações. Rev Saúde.Com. 2021;17(3):1-5. doi: https://doi.org/10.22481/rsc.v17i3.6290

The Healthcare Technology Report. Software & Data: Oxford’s DrugGPT AI tool enhances medication prescriptions. 2024 [cited 2025 Feb 4]. Available from: https://thehealthcaretechnologyreport.com/oxfords-druggpt-ai-tool-enhances-medication-prescriptions

Medeiros CH, Kauark FD, Manhães FC. Metodologia da pesquisa: guia prático. Itabuna: Via Litterarum; 2010.

OpenAI. Hello GPT-4o. 2024 [cited 2025 Feb 8]. Available from: https://openai.com/index/hello-gpt-4o

Cortex. Your exclusive corporate AI. 2025 [cited 2025 Feb 8]. Available from: https://sinapse.tech/cortex

Anthropic. Introducing Claude 3.5 Sonnet. 2024 [cited 2025 Feb 8]. Available from: https://www.anthropic.com/news/claude-3-5-sonnet

Meta. Introducing Llama 3.1: our most capable models to date. 2024 [cited 2025 Feb 8]. Available from: https://ai.meta.com/blog/meta-llama-3-1

Cohere. The all-in-one platform for private and secure AI. 2024 [cited 2025 Feb 8]. Available from: https://cohere.com/

Google. Gemini models. 2025 [cited 2025 Feb 8]. Available from: https://ai.google.dev/gemini-api/docs/models/gemini

Downloads

Published

2026-02-17

How to Cite

Valerio Netto, A., & de Brito Pontes, C. (2026). Role of Large Language Models in Patient Safety in an Expert Evaluation Study. Journal of Health Informatics, 18(1), 1570. https://doi.org/10.59681/2175-4411.v18.2026.1570

Issue

Section

Original Articles

Similar Articles

<< < 19 20 21 22 23 24 25 26 27 28 > >> 

You may also start an advanced similarity search for this article.