Prescription Errors: The Role of Language Models in Patient Safety in an Expert Evaluation Study

Autores

DOI:

https://doi.org/10.59681/2175-4411.v18.2026.1570

Palavras-chave:

Clinical Decision Support Systems, Artificial Intelligence, Large Language Models

Resumo

Objective: This study investigates the potential of Large Language Models (LLMs) to support medical prescription processes and enhance patient safety. Methods: Six LLMs answered four prescription-related questions on contraindications, drug interactions, and dosage. A panel of 34 physicians blindly evaluated 24 responses based on consistency, focus, coherence, completeness, and detail. Results: LLM performance varied by criteria and question type; LLM6 excelled in completeness and detail, especially in complex cases. Simpler questions, like contraindications, scored higher overall, while complex queries showed more variation. Conclusion: LLMs show promise as digital assistants in prescription tasks, improving access to medical info and reducing errors. However, reliability depends on question complexity. They should support, not replace, clinical judgment and require ongoing validation for healthcare adoption.

Downloads

Não há dados estatísticos.

Biografias Autor

Antonio Valerio Netto, CNPq

Especialista em Ciência de Dados e Inteligência Artificial trabalhando com soluções no IAMSPE desde 2023, onde também co-orienta alunos de mestrado/doutorado no programa de pós-graduação da instituição. É professor de pós-graduação nos cursos de especialização em ciência de dados para saúde, gestão e liderança em enfermagem, além do MBA em saúde digital e gestão. É professor afiliado do departamento de informática em saúde da Escola Paulista de Medicina (EPM/UNIFESP) desde 2022. Foi professor visitante em ciência de dados em saúde e telemedicina na EPM/UNIFESP entre 2019 e 2021. Desde 2011 é pesquisador em Desenvolvimento Tecnológico e Extensão Inovadora do CNPq na área de tecnologia educacional. Tem pós-doutorado pelo Instituto Ensino e Pesquisa do Hospital Sírio-Libanês. Doutorado em computação e matemática computacional pela USP. Mestrado em engenharia pela USP, especialização na área de informática em saúde pela UNIFESP, MBA em Marketing pela FUNDACE FEA-RP/USP, graduação em ciência da computação pela UFSCar e técnico em informática pela ETEP. Em 2003, fundou a Cientistas Desenvolvimento Tecnológico, empresa focada no desenvolvimento de sistemas computacionais que em 2009 foi considerada pelo Sebrae SP uma das pequenas empresas mais inovadoras do estado de São Paulo. Em 2007, fundou a XBot, primeira empresa de robótica móvel do país para as áreas de educação, pesquisa e edutainment, que em 2011 foi uma das vencedoras do prêmio nacional de empreendedorismo e em 2012 recebeu o Prêmio MPE Brasil Estadual São Paulo de destaque em boas práticas de responsabilidade social. É avaliador ad-hoc do CNPq, da Fundação de Amparo à Ciência e Tecnologia do Estado de Pernambuco (FACEPE), da Fundação de Amparo à Pesquisa do Estado da Bahia (FAPESB) e Assessor Científico do Fundo Mackenzie de Pesquisa. Possui mais de 100 publicações entre livros, capítulos de livros, revistas e congressos internacionais e nacionais nas áreas de computação e engenharia. Possui oito pedidos de patentes e seis registros de marcas. Coordenou em torno de 35 projetos tecnológicos financiados pela FINEP, CNPq, FAPESP, ABDI e empresas privadas. Recebeu diversos prêmios e menções honrosas, como a do Society of Automotive Engineer (SAE) Brasil 2001 - melhor artigo na categoria Projetos e de melhor aluno do MBA em Marketing da FUNDACE em 2006. Em 2008 foi finalista do prêmio Empreendedor de Sucesso promovido pela revista PEGN e FGV. Em 2009 tornou-se professor honorário da Universidad Abierta Interamericana (Buenos Aires/ARG). Em 2013, ganhou o Prêmio Alexandrino Garcia do Grupo Algar na categoria Empreendedorismo pelo trabalho realizado na área de tecnologia educacional. Em 2016 recebeu o prêmio ABSEG da Associação Brasileira de Profissionais de Segurança. Em 2019 foi vencedor do Concurso de Tecnologias Policiais (StartPol). Em 2023, obteve primeiro lugar no prêmio UNIDAS (União Nacional das Instituições de Autogestão em Saúde).

Camila de Brito Pontes, UNIFESP

Cirurgiã-Dentista (2012) e Mestre em Odontologia (2018) pela Universidade de Fortaleza. Especialista em Periodontia (2015) pelo Centro de Educação Continuada da Academia Cearense de Odontologia e Especialista em Informática em saúde pela UAB/UNIFESP. Áreas de interesse: Saúde pública, Saúde Coletiva, Saúde Digital e Periodontia.

Referências

Tariq RA, Vashisht R, Sinha A. Medication Dispensing Errors and Prevention. In: StatPearls, Treasure Island: StatPearls Publishing; https://www.ncbi.nlm.nih.gov/books/NBK519065/ ; 2025 (accessed 14 May 2025).

National Coordinating Council for Medication Error Reporting and Prevention. About medication errors: What is a medication error?, https://www.nccmerp.org/about-medication-errors ; 2025 (accessed 02 February 2025).

Cruzeta APS, Dourado ACL, Monteiro MTM, Martins RO, Calegario TA, Galato D. Fatores associados à compreensão da prescrição médica no Sistema Único de Saúde de um município do Sul do Brasil. Cien Saude Colet. 2013;18(12):3731-3737.

World Health Organization. Medication Without Harm, https://www.who.int/initiatives/medication-without-harm ; 2025 (accessed 03 February 2025).

Academy of Managed Care Pharmacy. Medication Errors, https://www.amcp.org/concepts-managed-care-pharmacy/medication-errors ; 2025 (accessed 03 February 2025).

Cohen MR, Smetzer JL. ISMP Medication Error Report Analysis. Hospital pharmacy 2017; 52: 390-393. https://doi.org/10.1177/0018578717715346

Shah K., Xu AY, Sharma Y, Daher M, McDonald C, Diebo BG, Daniels AH. Large Language Model Prompting Techniques for Advancement in Clinical Medicine. Journal of Clinical Medicine 2024; 13: 1-12. https://doi.org/10.3390/jcm13175101

Netto AV, Berton L, Takahata AK. Ciência de dados e a inteligência artificial na área da saúde. Editora dos Editores; 2021.

Netto AV. Ciência de dados em saúde: contribuições e tendências para aplicações. Revista Saúde.com, 2021;(17) 1-5. https://doi.org/10.22481/rsc.v17i3.6290

Software & Data: Osford’s DrugGPT AI tool enhances medication prescriptions. The Healthcare Technology Report, https://thehealthcaretechnologyreport.com/oxfords-druggpt-ai-tool-enhances-medication-prescriptions ; 2024 (accessed 04 February 2025).

OpenAI. Hello ChatGPT-4o, https://openai.com/index/hello-gpt-4o ; 2024 (accessed 08 February 2025).

Cortex. Your Exclusive Corporate AI. https://sinapse.tech/cortex ; 2025 (accessed 08 February 2025).

Anthropic. Introducing Claude 3.5 Sonnet information. https://www.anthropic.com/news/claude-3-5-sonnet ; 2024 (accessed 08 February 2025).

Meta. Introducing Llama 3.1: Our most capable models to date, https://ai.meta.com/blog/meta-llama-3-1 ; 2024 (accessed 08 February 2025).

Cohere. The all-in-one platform for private and secure AI. https://cohere.com/ ; 2024 (accessed 08 February 2025).

Google. Gemini models, https://ai.google.dev/gemini-api/docs/models/gemini ; 2025 (accessed 08 February 2025).

Medeiros CH, Kauark FD, Manhães FC. Metodologia da pesquisa: Guia prático. Via Litterarum, Itabuna; 2010.

Downloads

Publicado

2026-02-17

Como Citar

Valerio Netto, A., & de Brito Pontes, C. (2026). Prescription Errors: The Role of Language Models in Patient Safety in an Expert Evaluation Study . Journal of Health Informatics, 18(1), 1570. https://doi.org/10.59681/2175-4411.v18.2026.1570

Edição

Vol. 18 (2026)

Secção

Artigo Original

Licença

Direitos de Autor (c) 2026 Antonio Valerio Netto, Camila de Brito Pontes

Creative Commons License

Este trabalho encontra-se publicado com a Licença Internacional Creative Commons Atribuição-NãoComercial-CompartilhaIgual 4.0.

A submissão de um artigo ao Journal of Health Informatics é entendida como exclusiva e que não está sendo considerada para publicação em outra revista (Declaração de Exclusividade). A permissão dos autores para a publicação de seu artigo no J. Health Inform. implica na exclusiva autorização concedida aos editores para incluí-lo na revista. Ao submeter um artigo, ao autor será solicitada a permissão de um Termo de Transferência de Direitos de Publicação. Uma mensagem eletrônica será enviada ao autor correspondente confirmando o recibo do manuscrito e o aceite da Declaração de Direito de Publicação.

Artigos Similares

1 2 3 4 5 6 7 8 9 10 > >> 

Também poderá iniciar uma pesquisa avançada de similaridade para este artigo.