Chatbots na identificação de problemas de amamentação: avaliação de desempenho

Autores

  • Ari Pereira de Araújo Neto Universidade Federal do Delta do Parnaíba
  • Giovanny Rebouças Pinto Universidade Federal do Delta do Parnaíba
  • Joeckson dos Santos Corrêa Universidade Federal do Maranhão
  • Liane Batista da Cruz Soares Universidade Federal do Maranhão
  • Christyann Lima Campos Batista Universidade Federal do Maranhão
  • Feliciana Santos Pinheiro Universidade Federal do Maranhão
  • Ariel Soares Teles Instituto Federal do Maranhão

DOI:

https://doi.org/10.59681/2175-4411.v16.iEspecial.2024.1370

Palavras-chave:

Amamentação, Inteligência Artificial, Sistemas Inteligentes

Resumo

Objetivo: Este estudo objetivou avaliar o desempenho de chatbots de inteligência artificial na identificação de problemas relacionados à amamentação. Método: o estudo avaliou o OpenAI ChatGPT3.5, Microsoft Copilot, Google Gemini e o Lhia na identificação de problemas da amamentação. O chatbot Lhia está em desenvolvimento pelo nosso time de pesquisadores. Através do consenso entre profissionais de saúde especialistas em amamentação, foi criado um conjunto de dados de relatos de queixa clínica principal anotada em prontuários de atendimento do Hospital Universitário da Universidade Federal do Maranhão para os testes com três abordagens de comandos do tipo zero-shot. Resultados: o melhor desempenho foi com ChatGPT-3.5, que apresentou acurácia variando de 79% a 93%, fallback de 0% a 7% e F1-score de 75% a 100%. Conclusão: chatbots de inteligência artificial podem ser uma ferramenta promissora para auxiliar mães e profissionais de saúde na detecção precoce de problemas na amamentação.

Biografia do Autor

Ari Pereira de Araújo Neto, Universidade Federal do Delta do Parnaíba

Mestre em Biotecnologia, Programa de Pós-Graduação em Biotecnologia, Universidade Federal do Delta do Parnaíba, Parnaíba (PI), Brasil.

Giovanny Rebouças Pinto, Universidade Federal do Delta do Parnaíba

Doutor em Ciências Biológicas, Programa de Pós-Graduação em Biotecnologia, Universidade Federal do Delta do Parnaíba, Parnaíba (PI), Brasil.

Joeckson dos Santos Corrêa, Universidade Federal do Maranhão

Mestre em Ciência da Computação, Programa de Pós-Graduação em Ciência da Computação, Universidade Federal do Maranhão, São Luís (MA), Brasil.

Liane Batista da Cruz Soares, Universidade Federal do Maranhão

Mestra em Gestão de Programas e Serviços de Saúde, Banco de Leite Humano, Hospital Universitário da Universidade Federal do Maranhão, São Luís (MA), Brasil.

Christyann Lima Campos Batista, Universidade Federal do Maranhão

Doutor em Pediatria, Banco de Leite Humano, Hospital Universitário da Universidade Federal do Maranhão, São Luís (MA), Brasil.

Feliciana Santos Pinheiro, Universidade Federal do Maranhão

Doutora em Pediatria, Departamento de Medicina III, Universidade Federal do Maranhão, São Luís (MA), Brasil.

Ariel Soares Teles, Instituto Federal do Maranhão

Doutor em Engenharia Elétrica, Instituto Federal do Maranhão, Araioses (MA), Brasil.

Referências

Victora CG, Bahl R, Barros AJ, França GV, Horton S, Krasevec J, et al. Breastfeeding in the 21st century: epidemiology, mechanisms, and lifelong effect. The Lancet. 2016;387(10017):475-90. DOI: https://doi.org/10.1016/S0140-6736(15)01024-7

Rollins NC, Bhandari N, Hajeebhoy N, Horton S, Lutter CK, Martines JC, et al. Breastfeeding in the 21st century: epidemiology, mechanisms, and lifelong effect. Lancet. 2016;387(10017):491-504 DOI: https://doi.org/10.1016/S0140-6736(15)01044-2

World Health Organization. Infant and Young Child Feeding: Model Chapter for Textbooks for Medical Students and Allied Health Professionals; Technical Report; WHO: Geneva, Switzerland, 2009

Bhattacharjee NV, Schaeffer LE, Hay SI, Lu D, Schipp MF, Lazzar-Atwood A, et al. Mapping inequalities in exclusive breastfeeding in low- and middle-income countries 2000–2018. Nat Hum Behav. 2021; 5,1027–1045.

Softić A, Husić JB, Softić A, Baraković S. Health chatbot: design, implementation, acceptance and usage motivation. In 20th International Symposium Infoteh-Jahorina; 2021 17-19 March; East Sarajevo, Bosnia and Herzegovina. IEEE; 2021, pp. 1-6, Available from: doi:10.1109/INFOTEH51037.2021.9400693. DOI: https://doi.org/10.1109/INFOTEH51037.2021.9400693

Prasad VA, Ranjith R. Intelligent chatbot for lab security and automation. In 11th international conference on computing, communication and networking Technologies, 2020 1-3 July; Kharagpur, India. IEEE, 2020, pp. 1-4, Available from: doi:10.1109/ICCCNT49239.2020.9225641.

Yadav D, Malik P, Dabas K, Singh P. Feedpal: Understanding Opportunities for Chatbots in Breastfeeding Education of Women in India. Proceedings of the ACM on Human-Computer Interaction. 2019;3(CSCW):170:1–30. DOI: https://doi.org/10.1145/3359272

Gupta V, Arora N, Jain Y, Mokashi S, Panda C. Assessment on Adoption Behavior of First-time Mothers on the Usage of Chatbots for Breastfeeding Consultation. J Mahatma Gandhi Univ Med Sci Tech. 2021;6(2):64-68. DOI: https://doi.org/10.5005/jp-journals-10057-0161

Montenegro JL, Costa CA, Janssen LP. Evaluating the use of chatbot during pregnancy: A usability study. Healthcare Analytics. 2022;2(100072):1-9. DOI: https://doi.org/10.1016/j.health.2022.100072

Campos-Filho AS, Cursino JR, Barros-Júnior TD, Lima EC. Assistente Virtual na Educação em Saúde dos Homens. J Health Inform. 2023;15(Esp):1-14. DOI: https://doi.org/10.59681/2175-4411.v15.iEspecial.2023.1087

Luykx JJ, Gerritse F, Habets PC, Vinkers CH. The performance of ChatGPT in generating answers to clinical questions in psychiatry: a two-layer assessment. World Psychiatry. 2023;22(3):479-480. DOI: https://doi.org/10.1002/wps.21145

Abdullahi T, Singh R, Eickhoff C. Learning to make rare and complex diagnoses with generative ai assistance: qualitative study of popular large language models. JMIR Medical Education. 2024;10(1), 1-11. DOI: https://doi.org/10.2196/51391

Spallek S, Birrell L, Kershaw S, Devine EK, Thornton L. Can we use chatgpt for mental health and substance use education? examining its quality and potential harms. JMIR Medical Education. 2023;9(1), 1-10. DOI: https://doi.org/10.2196/51243

Nori H, King N, McKinney SM, Carignan D, Horvitz E. Capabilities of gpt-4 on medical challenge problems. arXiv preprint arXiv. 2023:2(2303.13375), 1-35.

Lautrup AD, Hyrup T, Schneider-Kamp A, Dahl M, Lindholt JS, Schneider-Kamp P. Heart-to-heart with ChatGPT: the impact of patients consulting AI for cardiovascular health advice. Open Heart. 2023;10(2), 1-8. DOI: https://doi.org/10.1136/openhrt-2023-002455

Andrew A. Potential applications and implications of large language models in primary care. Fam Med Community Health, 2024;12(Suppl 1), 1-6. DOI: https://doi.org/10.1136/fmch-2023-002602

Corrêa JS, Araújo-Neto AP, Pinto GR, Lima LD, Teles AS. Lhia: a smart chatbot for breastfeeding education and recruitment of human milk donors. Appl Sci. 2023;13(12): 1-19 DOI: https://doi.org/10.3390/app13126923

Zhao WX, Zhou K, Li J, Tang T, Wang X, Hou Y, et al. A survey of large language models. arXiv preprint arXiv: 2023:13(2303.18223), 1-124.

Espejel JL, Ettifouri EH, Alassan MS, Chouham EM, Dahhane W. GPT-3.5, GPT-4, or BARD? evaluating LLMs reasoning ability in zero-shot setting and performance boosting through prompts. Natural Language Processing Journal. 2023;5(100032), 1-192. DOI: https://doi.org/10.1016/j.nlp.2023.100032

Grandini M, Bagli E, Visani G. Metrics for multi-class classification: an overview. arXiv preprint arXiv: 2020:1(2008.05756), 1-17.

Jedrzejczak WW, Kochanek K. Comparison of the audiological knowledge of three chatbots-ChatGPT, Bing Chat, and Bard. Audiol Neurootol. 2023:11(38710158), 1-7. DOI: https://doi.org/10.1159/000538983

Lim ZW, Pushpanathan K, Yew SM, Lai Y, Sun CH, Lam JS, et al. Benchmarking large language models’ performances for myopia care: a comparative analysis of ChatGPT-3.5, ChatGPT-4.0, and Google Bard. EBioMedicine. 2023:95(104770), 1-11. DOI: https://doi.org/10.1016/j.ebiom.2023.104770

Kim SH, Schramm S, Berberich C, Rosenkranz E, Schmitzer L, Serguen K, et al. Human-AI collaboration in large language model-assisted brain mri differential diagnosis: a usability study. medRxiv 2024:02(05), 1-22. DOI: https://doi.org/10.1101/2024.02.05.24302099

Simas WL, Penha JS, Soares LB, Rabêlo PP, Oliveira BL, Pinheiro FS. Insegurança materna na amamentação em lactantes atendidas em um banco de leite humano. Rev. Bras. Saude Mater. Infant. 2021:21(1), 251-259. DOI: https://doi.org/10.1590/1806-93042021000100013

Downloads

Publicado

19-11-2024

Como Citar

de Araújo Neto, A. P., Pinto, G. R., Corrêa, J. dos S., Soares, L. B. da C., Batista, C. L. C., Pinheiro, F. S., & Teles, A. S. (2024). Chatbots na identificação de problemas de amamentação: avaliação de desempenho. Journal of Health Informatics, 16(Especial). https://doi.org/10.59681/2175-4411.v16.iEspecial.2024.1370

Artigos Semelhantes

1 2 3 4 5 6 7 8 9 10 > >> 

Você também pode iniciar uma pesquisa avançada por similaridade para este artigo.