Usability evaluation of the Food and Nutrition Monitoring System
DOI:
https://doi.org/10.59681/2175-4411.v17.2025.1398Keywords:
Information Systems, Usability Testing, Nielsen's Heuristic EvaluationAbstract
Objective: To evaluate the quality of interactions between users and the SISVAN (Health Information System for Food and Nutrition Monitoring) Web platform by identifying possible usability problems during system use. Method: This mixed-methods study employed heuristic and usability evaluations to assess the SISVAN Web platform. Researchers experienced in web applications conducted the heuristic evaluation based on Nielsen's heuristics for each system interface. A task-based roadmap was developed for the usability assessment, highlighting the main features and involving both new and experienced users. Results: Half of the problems identified based on the heuristics were classified as unimportant or cosmetic. Frequent technical errors were observed in all usability tests. Some design flaws made the system confusing, particularly during the registration process. These issues persisted regardless of user experience. Conclusions: The system's usability issues affect both new and experienced users, highlighting the need for regular software evaluation, updates, and frequent user training.
Downloads
References
Brasil. Ministério da Saúde. Organização Pan-Americana da Saúde. A experiência brasileira em sistemas de informação em saúde. Brasília: Editora do Ministério da Saúde, 2009 [cited on 2023 April 4]. Available at: https://bvsms.saude.gov.br/bvs/publicacoes/experiencia_brasileira_sistemas_saude_volume1.pdf.
Universidade Aberta do Sistema Único de Saúde (UNASUS). Maior sistema público de saúde do mundo, SUS completa 31 anos, 2021 [cited on 1 Feb 2023]. Available at: https://www.unasus.gov.br/noticia/maior-sistema-publico-de-saude-do-mundo-sus-completa-31-anos
Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Marco de referência da vigilância alimentar e nutricional na atenção básica. Brasília, DF; 2015 2015 [cited on 2 Feb 2023]. Available at: http://189.28.128.100/dab/docs/portaldab/publicacoes/marco_referencia_vigilancia_alimentar.pdf
Nascimento FA, Silva SA, Jaime PC, Cobertura da avaliação do estado nutricional no Sistema de Vigilância Alimentar e Nutricional brasileiro: 2008 a 2013. Cad. Saude Publica. 2017; 33(12): e00161516. DOI: 10.1590/0102-311X00161516.
Nascimento FA, Silva SA, Jaime PC. Cobertura da avaliação do consumo alimentar no Sistema de Vigilância Alimentar e Nutricional Brasileiro: 2008 a 2013. Rev. Bras. Epidemiol. 2019; 22: e190028. DOI: 10.1590/1980-549720190028.
Rolim MD, Lima SML, Barros DCD, Andrade CLT. Avaliação do SISVAN na gestão de ações de alimentação e nutrição em Minas Gerais, Brasil. Ciênc Saúde Colet. 2015; 20(8): 2359-2369. DOI: 10.1590/1413-81232015208.00902015.
Associação Brasileira de Normas Técnicas. NBR ISO/IEC 29110: Engenharia De Software Qualidade De Produto. Rio De Janeiro (RJ): ABNT; 2011. [cited on February 2, 2023]. Available at: http://www.abntcatalogo.Com.Br/Norma.Aspx?Id=002815
Nielsen J. Nielsen Norman Group. Usability 101: Introduction To Usability; 2012 [cited 2023 April 4]. Available at: https://www.nngroup.com/articles/usability-101-introduction-to-usability/
Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Indicadores de Vigilância Alimentar e Nutricional: Brasil 2006. Brasília, DF: 2009 [cited on 2023 Apr 5]. Available at: http://189.28.128.100/nutricao/docs/geral/indicadores_vigilancia_alimentar_nutricional.pdf
Recine E, Vasconcellos AB. Políticas nacionais e o campo da Alimentação e Nutrição em Saúde Coletiva: cenário atual. Ciênc. Saúde Colet. 2011; 16(1): 73-79, DOI: 10.1590/S1413-81232011000100011.
Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Manual operacional para uso do Sistema de Vigilância Alimentar e Nutricional SISVAN – versão 3.0. Brasília, DF: 2017 [cited on 2023 April 7]. Available at: http://sisaps.saude.gov.br/sisvan/public/file/ManualDoSisvan.pdf
Mourão E, Gallo CDO, Nascimento FAD, Jaime PC. Tendência temporal da cobertura do Sistema de Vigilância Alimentar e Nutricional entre crianças menores de 5 anos da região norte do Brasil, 2008-2017. Epidemiol. Serv. Saude. 2020; 29(2): e2019377. DOI: 10.5123/s1679-49742020000200026.
Brasil. Ministério da Saúde. Portaria n° 2.436, de 21 de setembro de 2017. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes para a organização da Atenção Básica, no âmbito do Sistema Único de Saúde (SUS), Brasília, DF; 2017 [cited on 2023 Feb 2]. Available from: https://bvsms.saude.gov.br/bvs/saudelegis/gm/2017/prt2436_22_09_2017.html
Brasil. Ministério da Saúde. E-Gestor Atenção Básica: espaço para informação e acesso aos sistemas de Atenção Básica. 2019 [cited on 2023 Feb 2]. Available from: https://egestorab.saude.gov.br/paginas/acessoPublico/relatorios/relHistoricoPagamentoEsf.xhtml
Rogers Y, Sharp H, Preece J. Design de interação. Porto Alegre: Bookman Editora, 2013. 585 p.
Cybis W, Betiol AH, Faust R. Ergonomia e usabilidade: conhecimentos, métodos e aplicações. Novatec editora, 2017.
Bangor A, Kortum P, Miller J. Determining what individual SUS scores mean: Adding an adjective rating scale. J. Usability Studies. 2009; 4(3): 114-123.
Cintho LMM, Machado RR, Moro CMC. Métodos para avaliação de sistema de informação em saúde. J. Health Inform. 2016; 8 (2): 41-8.
Morato YC, Carvalho BF, Oliveira VC, Dias TMR, Cavalcante RB, Amaral GG et al., Análise do Sistema de Informação em Imunizações do Brasil sob a ótica das heurísticas de usabilidade. Rev. Cubana Inf. Cienc. Salud. 2020; 31: 1-20. DOI: 10.36512/rcics.v31i2.1515.
Machado LCB, Meirelles BHS. Avaliação da Usabilidade do Sistema Informações Nascidos Vivos no Estado de Santa Catarina. J. Health Informatics. 2021; 12: 229-34.
Padrini-Andrade LL, Balda RCX, Areco KCN, Bandiera-Paiva P, Nunes MDV, Marba STM et al. Avaliação da usabilidade de um sistema de informação em saúde neonatal segundo a percepção do usuário. Rev. Paul. Pediatr. 2018; 37(1): 90-96, DOI: 10.1590/1984-0462/;2019;37;1;00019.
Dias CR, Pereira MR, Freire AP. Qualitative review of usability problems in health information systems for radiology. J. Biomed Inform. 2017; 76: 19-33. DOI: 10.1016/j.jbi.2017.10.004
Keenan HL, Duke SL, Wharrad HJ, Doody GA, Patel RS. Usability: An introduction to and literature review of usability testing for educational resources in radiation oncology. Tech. Innovat. Pat. Supp. Radiat. Oncol. 2022; 24: 67-72. DOI: 10.1016/j.tipsro.2022.09.001
Jaspers MWM. A comparison of usability methods for testing interactive health technologies: Methodological aspects and empirical evidence. Int. J. Med. Inf. 2009; 78: 340-353. DOI: 10.1016/j.tipsro.2022.12.002
Lewis JR. The System Usability Scale: Past, Present, and Future. Int J Hum-Comput Interact. 2018; 34: 577-590. DOI: 10.1080/10447318.2018.1455307
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Magda Maria Farias Martins, Brena Barreto Barbosa, Yuri Nekan Soares Fontes, Davi Lopes Teixeira, José Fernando Rodrigues Ferreira Neto, Matheus Leite Pirani Mafra, José Eurico Vasconcelos Filho, Claudia Machado Coelho Souza de Vasconcelos, Lia Silveira Adriano, Antônio Augusto Ferreira Carioca
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Submission of a paper to Journal of Health Informatics is understood to imply that it is not being considered for publication elsewhere and that the author(s) permission to publish his/her (their) article(s) in this Journal implies the exclusive authorization of the publishers to deal with all issues concerning the copyright therein. Upon the submission of an article, authors will be asked to sign a Copyright Notice. Acceptance of the agreement will ensure the widest possible dissemination of information. An e-mail will be sent to the corresponding author confirming receipt of the manuscript and acceptance of the agreement.
