Ativos na terceira idade: Validação e usabilidade de um aplicativo móvel para o Programa Academia da Cidade e Saúde

Ativos na terceira idade: Validação e usabilidade de um aplicativo móvel para o Programa Academia da Cidade e Saúde

Activo en la vejez: Validación y usabilidad de una aplicación móvil para el Programa Academia da Cidade e Saúde

Active in Old Age: Validation and Usability of a Mobile Application for the Academia da Cidade e Saúde Program

Citación: Feitosa-Lopes LG, da Silva-Sobrinho AC, da Silva-Rodrigues G, Sousa-de Araújo RH, de Lima-Silva A, Souza-Marques MJ, et al. Ativos na terceira idade: Validação e usabilidade de um aplicativo móvel para o Programa Academia da Cidade e Saúde. Univ. Salud. 2024; 26(3):C19-C29. DOI https://doi.org/10.22267/rus.242603.337.


# Resumo

Introdução: O envelhecimento associado a uma má qualidade de vida contribui para o desenvolvimento de Doenças Crônicas Não Transmissíveis (DCNTs). As DCNTs são uma das principais causas de mortalidade mundial. Objetivo: Validar o conteúdo e a usabilidade do App “Ativos na terceira idade” para profissionais e usuários do Programa Academia da Cidade e Saúde/ Programa Academia da Saúde (PACID/PAS). Materiais e Métodos: Estudo exploratório realizado entre março de 2021 e janeiro de 2022 em quatro polos de academias de uma cidade do interior de Pernambuco. Participaram dez usuários (maiores de 60 anos), dez profissionais e dez juízes. Foram utilizados os instrumentos SUS, SAM e IVC para validação. Resultados: O SAM global foi de 87,04%, considerado material superior. Todos os itens obtiveram IVC ≥ 0,80, com média global de IVC de 0,94. A usabilidade pelos usuários foi de 76,75% e pelos profissionais de 84,5%. Conclusão: O App “Ativos na terceira idade” apresentou parâmetros satisfatórios de usabilidade e validade de conteúdo para uso no PACID/PAS.

Palavras chave: Exercício físico; Idosos; Saúde; Estudo de validação; Design centrado no usuário. (Fonte: DeCS, Bireme).


# Abstract

Introducción: El envejecimiento asociado a una mala calidad de vida contribuye al desarrollo de Enfermedades Crónicas No Transmisibles (ENT). Las ENT son una de las principales causas de mortalidad en todo el mundo. Objetivo: Validar el contenido y la usabilidad de la App “Activos en la Tercera Edad” para profesionales y usuarios del Programa Academia da Cidade e Saúde/Programa Academia da Saúde (PACID/PAS). Materiales y Métodos: Estudio exploratorio realizado entre marzo de 2021 y enero de 2022 en cuatro gimnasios de una ciudad del interior de Pernambuco. Participaron diez usuarios (mayores de 60 años), diez profesionales y diez jueces. Fueron utilizados os instrumentos do SUS, SAM E IVC para la validación. Resultados: La SAM global fue de 87,04%, considerado material superior. Todos los ítems obtuvieron un CVI ≥ 0,80, con un CVI medio global de 0,94. La usabilidad para los usuarios fue del 76,75% y para los profesionales del 84,5%. Conclusión: La App “Activos en la Tercera Edad” presentó parámetros satisfactorios de usabilidad y validez de contenido para su uso en PACID/PAS.

Palabras clave: Ejercicio físico; Adulto mayor; Salud; Estudio de validación; Diseño centrado en el usuario. (Fuente: DeCS, Bireme).


# Resumen

Introduction: Aging, when associated with poor quality of life, contributes to the development of Non-Communicable Diseases (NCDs). NCDs are among the leading causes of mortality worldwide. Objective: To validate the content and usability of the "Active in Old Age" app for professionals and users of the Academia da Cidade e Saúde/Academia da Saúde Program (PACID/PAS). Materials and Methods: An exploratory study conducted between March 2021 and January 2022 in four gyms from a city in the interior of Pernambuco, Brazil. The study included ten users (aged 60 years or older), ten professionals, and ten evaluators. The SUS, SAM, and CVI instruments were used for validation. Results: The overall SAM score was 87.04%, categorizing the material as superior. All items achieved a CVI ≥ 0.80, with a global average CVI of 0.94. Usability scores were 76.75% for users and 84.5% for professionals. Conclusion: The "Active in Old Age" app demonstrated satisfactory parameters for usability and content validity, making it suitable for use in PACID/PAS.

Keywords: Physical exercise; Elderly; Health; Validation study; User-centered design. (Source: DeCS, Bireme).


# Introdução

O envelhecimento associado a uma má qualidade de vida, consumo de álcool, tabagismo e inatividade física contribui para o desenvolvimento das Doenças Crônicas Não Transmissíveis (DCNTs)1. As DCNTs são doenças de longa duração e progressão geralmente lenta, que incluem condições como hipertensão arterial, diabetes mellitus, doenças cardiovasculares, câncer, doenças respiratórias crônicas e obesidade. Elas são diretamente relacionadas a fatores de risco modificáveis, como o sedentarismo, alimentação inadequada, tabagismo e consumo excessivo de álcool. Mundialmente, as DCNTs englobam sete dos dez principais motivos que levam os indivíduos a óbito2 o que impacta diretamente na qualidade de vida e gera uma sobrecarga significativa nas Unidades Básicas de Saúde (UBS), além de aumentar os custos com assistência médica e previdência social3.

A Hipertensão Arterial Sistêmica (HAS) e a Diabetes Mellitus (DM) são dois exemplos que fazem parte das DCNTs e são consideradas problemas de saúde pública no Brasil e no mundo4. A inatividade física, combinada à obesidade, e a uma má alimentação, com alta ingestão de sódio e açúcar, são encarados como fatores importantes para o desenvolvimento de DCNTs5,6. Indivíduos fisicamente inativos apresentam um risco 20% a 30% maior de mortalidade quando comparados aos que praticam atividades físicas7.

No que concerne às ações fundamentais para o controle dos níveis pressóricos da HAS, DM e outras DCNTs, são as medidas imprescindível para o controle dessas condições que incluem a adesão ao tratamento farmacológico, a prática regular de atividade física e adotar uma dieta saudável, rica em verduras, legumes, frutas, baixa ingesta de carboidratos simples e sódio8.

Em suas diretrizes, a Política Nacional de Promoção da Saúde (PNPS) priorizou a atividade física, com os envios financeiros e vigilância dessas ações por meio de acordos com universidades no Brasil e no exterior9,10. Em 2011, foi instituído pelo Ministério da Saúde (MS) o Programa Academia da Saúde (PAS) pela Portaria n.º 719/2011, cuja finalidade é garantir a promoção à saúde, introduzindo nos espaços públicos estruturas que garantam a prática de exercícios físicos dotados de aparelhamentos e profissionais habilitados com o objetivo de garantir uma melhor qualidade de vida para toda população11. Além disso, o emprego das Tecnologias da Informação e Comunicação (TICs) tem sido uma estratégia importante para apoiar esses programas, permitindo o monitoramento contínuo dos participantes, a coleta de dados em tempo real e a comunicação eficaz entre os profissionais de saúde e os usuários. O uso das TICs facilita o acompanhamento dos resultados e a adaptação das intervenções, contribuindo para maior adesão às práticas de promoção da saúde e melhorando os resultados gerais dos programas, como o PAS11.

As TICs, além de facilitarem a disseminação de informações, desempenham um papel crucial na integração das práticas de saúde, possibilitando uma maior abrangência no cuidado à saúde12. Um aspecto fundamental para garantir o sucesso de programas como o Programa Academia da Saúde é o monitoramento constante dos participantes, o que pode ser amplamente facilitado pelas TICs11. O uso das TICs permite não apenas uma coleta de dados mais ágil e precisa, mas também o acompanhamento contínuo da evolução dos usuários, garantindo uma intervenção mais eficiente e personalizada. Para o público da PAS, composto em sua maioria por idosos com Doenças Crônicas Não Transmissíveis (DCNTs), o monitoramento por meio das TICs é essencial para promover uma adesão mais eficaz às práticas de saúde, identificar precocemente potenciais riscos e ajustar o plano de cuidados conforme necessário12. Além disso, as TICs favorecem a comunicação entre profissionais e usuários, permitindo um suporte contínuo e personalizado, o que é especialmente importante para uma população que pode apresentar limitações físicas ou dificuldade de locomoção, como os idosos11.

Vários aplicativos têm sido desenvolvidos e empregados na área de educação em saúde, oferecendo ferramentas eficazes para melhorar o conhecimento e o engajamento dos usuários em práticas de autocuidado12. Aplicativos como "Minha Saúde," voltado para o acompanhamento de condições crônicas, e "Vida Saudável," que promove hábitos de vida saudáveis por meio de dicas de nutrição e exercícios, são exemplos de como as TICs podem ser aplicadas para educação em saúde. Além disso, plataformas como o "Health Buddy" e o "Cuidar+" são focadas na educação de pacientes sobre doenças específicas, oferecendo informações personalizadas, lembretes para medicamentos e monitoramento de sinais vitais. Esses aplicativos ajudam a melhorar a adesão ao tratamento, a capacitação do paciente e a comunicação entre usuários e profissionais de saúde, demonstrando o grande potencial das TICs em promover uma saúde mais acessível e personalizada12.

O App, compatível com dispositivos Android, permite que os profissionais acompanhem dados dos alunos e registrem atividades de saúde, como circunferência da cintura, pressão arterial, glicemia, força muscular, capacidade cardiorrespiratória e qualidade de vida. Além disso, inclui um game para incentivar a adesão aos hábitos saudáveis e envio de lembretes com base em evidências científicas.

Este estudo visa validar o aplicativo "Ativos na Terceira Idade", desenvolvido para favorecer a troca de informações, interações e experiências entre idosos, com foco específico nos participantes do Programa Academia da Cidade e Saúde (PACID) e PAS. O aplicativo busca conscientizar os usuários sobre a importância da atividade física regular e a mudança de hábitos de vida, contribuindo para uma maior adesão e frequência no programa, em um município do interior de Pernambuco (Brasil), onde foi realizada a validação.

A validação do protótipo é importante, pois o grau de acessibilidade do App interfere na forma como os usuários se relacionam com ele, ou seja, o usuário deve ser atendido de maneira rápida, com eficiência e sem defeito de programação13. O processo envolve uma equipe multidisciplinar das áreas de saúde e programação, visando minimizar falhas e aperfeiçoar a usabilidade do aplicativo14,15.

Dessa forma, este estudo tem como objetivo validar, em termos de conteúdo e usabilidade, o App "Ativos na Terceira Idade", voltado para profissionais e usuários do PACID/PAS, no contexto do município do interior de Pernambuco.


# Materiais e Métodos

O desenho do estudo trata-se de um estudo exploratório de validação de conteúdo e usabilidade de um aplicativo móvel direcionado a profissionais e usuários de programas de saúde para idosos, realizado em polos de academias de uma cidade do interior de Pernambuco-Brasil.

Este é um estudo exploratório que foi desenvolvido no período de março de 2021 a janeiro de 2022, tendo como foco a validação de conteúdo do instrumento de coleta de dados presente em um App inserido no PACID/PAS de uma cidade do interior de Pernambuco que conta com quatro polos de academias atuantes. Participaram do processo de validação três grupos, que responderam às perguntas organizadas que nos proporcionou conhecer a responsividade do sistema. Eles foram informados da garantia de anonimato e possibilidade de retirar-se da pesquisa a qualquer momento. Os grupos que integralizaram a pesquisa foram juízes, profissionais e usuários idosos das academias. Para controle de viés foi realizado um grupo controle.

Foram usados três instrumentos para validação: o System Usability Scale (SUS), o Suitability Assessment of Materials (SAM) e o Índice de Validade de Conteúdo (IVC): O SUS foi respondido por usuários e profissionais da PACID/PAS, enquanto o SAM e o IVC foram respondidos apenas pelos juízes16,17. Na literatura, não há uma norma estabelecida no que se refere aos critérios para a definição de um juiz, profissionais ou usuários, e nem consenso em relação à quantidade necessária de pessoas inseridas nesta etapa18. Existem recomendações divergentes quanto ao número de juízes necessários para uma validação, variando entre cinco e vinte juízes. Além disso, a classificação e seleção da escolha leva em conta a formação, a qualificação e a disponibilidade dos profissionais19-21.

Foram escolhidos dez usuários de forma aleatória, número esse capaz de analisar a validação e usabilidade de aplicativos móveis, todos com idade a partir de 60 anos, frequentadores do PACID/PAS, e dez professores do mesmo programa. Justificou-se a escolha de idosos a partir de 60 anos, pois esta faixa etária é comumente usada em estudos de saúde pública e são os maiores frequentadores destes estabelecimentos, especialmente em projetos voltados ao envelhecimento ativo. Não foi definida uma idade limite para inclusão, mas foram considerados os desafios potenciais que o uso de tecnologia pode apresentar para essa população mais idosa, especialmente acima de 75 anos. Foram incluídos idosos que tivessem familiaridade com smartphones, enquanto aqueles com dificuldades cognitivas ou motoras graves que impedissem o uso do aplicativo foram excluídos. Ambos os grupos foram abordados presencialmente nos polos das academias20-22.

Estes grupos responderam o instrumento SUS que no final de cada item avaliativo contou com um espaço para as possíveis sugestões. Quanto aos juízes, foi enviado convite por e-mail após a avaliação do Currículo Lattes por meio da Plataforma do CNPq a partir dos seguintes critérios: ter formação na área de desenvolvimento de software voltado para a área de saúde, ter formação mínima de especialista, publicar e/ou pesquisar sobre e-Health, e ter conhecimento metodológico sobre a construção de instrumentos e escala20-22.

Após o convite, consolidou-se comunicação com os dez juízes escolhidos via endereço eletrônico, pelo qual foram encaminhados os instrumentos SAM e IVC elaborados por meio do Microsoft Forms, que no final de cada item avaliativo contou com um espaço para as possíveis sugestões dos especialistas. Todos os participantes da pesquisa assinaram o Termo de Consentimento Livre e Esclarecido (TCLE) e receberam uma carta convite explanando a intenção do estudo23. Após os critérios acima mencionados, outros fatores foram considerados para a seleção TIC dos especialistas, tais como: para os que tinham doutorado foi atribuído 03 pontos; mestrado 02 pontos; mestre com dissertação pertinente na área (saúde coletiva ou tecnologia da informação e comunicação) 01 ponto; pesquisa com publicação na área saúde coletiva ou TICs 02 pontos; artigo científico publicado na área 02 pontos e experiência profissional na área afim (mínimo de um ano) 01 ponto24.

Para minimizar o viés na seleção dos participantes, foi utilizada uma amostra aleatória para os usuários idosos, e os juízes foram selecionados com base em critérios rigorosos e pontuações estabelecidas pelo “The Fehring Model”. Além disso, foi mantida a confidencialidade dos participantes e assegurada a anonimização dos dados para evitar qualquer influência dos avaliadores nos resultados25.

Sobre os instrumentos utilizados, o SAM é um instrumento americano composto de checklist que tem a finalidade de analisar 22 itens agrupados em 6 grupos de avaliações principais, sendo eles: conteúdo, compreensão do texto, ilustrações, apresentação, adaptação cultural e motivação. São pontuados em uma escala de 0 a 2, na qual 2 sugere uma avaliação considerada ótima, 1 adequado e 0 não adequado - logo, a maior pontuação total possível será de 44 pontos. Posteriormente, esses valores julgados por cada item são somados e divididos pelo total de pontos que se pode alcançar, que é 44, e multiplicado por 100, que se refere a cem por cento da totalidade de pontos. É considerado um material não adequado (0% - 39%), adequado (40% - 69%) ou superior (70% - 100%)26,27.

O IVC é uma ferramenta que mede a proporção quanto à concordância de um determinado instrumento tecnológico isoladamente e/ou em sua plenitude analisado por um comitê de especialistas por meio da escala do tipo Likert28. As medidas de valorização que compõem a escala de Likert são: 1 - Inadequado; 2 - Parcialmente adequado; 3 - Adequado e 4 - Totalmente adequado, que observam o nível de relevância/representatividade do instrumento29.

Para se analisar o grau de concordância de cada item o cálculo do IVC se deu da seguinte forma: para cada item pontuado 3 e 4 recebeu-se 1 ponto, que foi somado e dividido pela quantidade de juízes que responderam o IVC e para se analisar o sistema como um todo, ou seja, a média global, somou-se todos os resultados do IVC e dividiu-se pela quantidade de perguntas respondidas. O resultado final de validação do App é considerado um conteúdo excelente se atingir ≥0,78% na média global, IVC entre 0,60 e 0,77 bom, e IVC < 0,59 ruim. Portanto, IVC que apresentasse uma pontuação menor que 0,78% deve ser revisado e/ou excluído, bem como os itens que foram pontuados com 1 e 224.

A usabilidade do sistema foi realizada por meio da utilização do SUS, executada com a escala de Likert. Trata-se de um questionário em inglês que foi traduzido para a língua portuguesa e organizado em fases que podem ser conhecidas pela obra de Tenório et al30. Foi criado pelo John Brooke no ano de 1986, e pode ser utilizado para analisar itens, funções, websites, software, dentre outros. Esse teste trata-se de uma análise qualitativa para enfatizar o quanto é fácil o software na percepção dos usuários24.

A ferramenta é composta por 10 questões, com 5 possíveis respostas que possui a seguinte legenda; 1 - Discordo plenamente; 2 - Discordo; 3 - Nem concordo nem discordo; 4 - Concordo e 5 - concordo plenamente. O SUS é considerado um instrumento confiável e eficaz para medir a usabilidade de um serviço, além de ser gratuito e fácil de ser aplicado, pois as perguntas são objetivas e diretas. Por essa razão, tornou-se um instrumento amplamente utilizado por pesquisadores e referenciado por muitas pesquisas12,31.

Para realizar o cálculo do SUS, leva-se em consideração as 10 afirmativas - das afirmações que são ímpares (1, 3, 5, 7, 9) devem-se subtrair 1 da pontuação que o avaliador responder, e para as que são pares (2, 4, 6, 8, 10) subtrai-se 5. Por fim, soma-se todos os números e multiplica-se pela constante 2,5 para atingir o valor global que vai de 0 a 100 (Brooke, 1996)24. Após a realização dos cálculos do SUS, segundo Bangor et al32, tem um sistema com 3 usabilidade ruim (<51 pontos), boa usabilidade (>71 pontos), excelente usabilidade (>86 pontos) e melhor usabilidade alcançada (>91 pontos).

Os protocolos do estudo foram aprovados pelo Comitê de Ética em Pesquisa com Seres Humanos da Escola de Educação Física e Esporte de Ribeirão Preto da Universidade de São Paulo (EEFERP- USP) - (CAAE: 50813715.0.0000.5208). Todos os aspectos éticos disciplinados pela Resolução 466/12 Ministério da Saúde, regulamentada pelo Conselho Nacional de Saúde, foram observados e respeitados33.

# Analise Estatística

A análise estatística dos dados coletados foi realizada utilizando o software Statistical Package for the Social Sciences (SPSS), versão 25.0, que permitiu organizar e tratar os dados quantitativamente. Os dados foram expressos em medidas descritivas, como média, desvio padrão, frequência e porcentagem, conforme a natureza das variáveis. Os instrumentos utilizados na coleta de dados foram o System Usability Scale (SUS), o Suitability Assessment of Materials (SAM) e o Índice de Validade de Conteúdo (IVC), que foram analisados conforme descrito abaixo.

Para a análise descritiva, a caracterização da amostra foi feita por meio do cálculo de frequências absolutas e relativas para variáveis categóricas, como o perfil dos participantes (idade, gênero e experiência profissional no caso dos professores). Para variáveis contínuas, como as pontuações obtidas nos instrumentos SUS, SAM e IVC, foram calculadas médias e desvios padrão.

Já na análise inferencial, o Índice de Validade de Conteúdo (IVC) foi feita com base na proporção de concordância para cada item do instrumento, considerando as respostas dos juízes em uma escala K de 1 a 4. A fórmula utilizada para o cálculo foi:

I V C = N ú m e r o   d e   r e s p o s t a s   3   e   4 T o t a l   d e   r e s p o s t a s

# Interface do Aplicativo

# Figura 1. Telas iniciais de cadastro dos usuários e profissionais
Figura 1
# Figura 2. Telas do App, dados das academias, fichas dos participantes
Figura 2
# Figura 3. Telas do App, ficha dos participantes com questionário formulado, informações e referências
Figura 3
# Figura 4. Telas do App, variável da Pressão Arterial e referências
Figura 4

# Resultado

Seguindo os critérios de seleção aleatória dos profissionais segundo os seus currículos, segue abaixo a classificação da pontuação Tabela 1.

No que se refere ao SAM, foram avaliados os 22 itens agrupados em 6 grupos. No geral, levando em consideração todas as respostas, o SAM global foi de 87,04%, o que é considerado um material superior.

No IVC, o App foi avaliado levando em consideração dez pontos, são eles: utilidade/pertinência, consistência, clareza, objetividade, simplicidade, exequibilidade, atualização, vocabulário, precisão e sequência instrucional de tópicos. Os juízes também designaram, de forma escrita, sugestões a fim de que os itens pudessem ser melhorados. Nenhum dos itens foi avaliado como inadequado e todos obtiveram IVC ≥ 0,80, sendo considerado excelente. No parecer final dos 10 pontos avaliados, a média global do IVC foi de 0,94 (Tabela 2).

# Tabela 1. Pontuação dos juízes conforme os critérios de pontuação de “The Fehring Model
Juízes Doutorado Mestrado Mestrado + dissertação Pesquisa + publicação Artigo publicado Experiência na área Total
Juiz 1 0 2 1 2 2 0 7
Juiz 2 3 0 0 2 2 0 7
Juiz 3 3 2 0 0 0 0 5
Juiz 4 0 2 1 2 2 0 7
Juiz 5 0 2 1 2 2 0 7
Juiz 6 3 2 1 2 2 0 10
Juiz 7 0 2 1 2 2 0 7
Juiz 8 0 2 0 0 2 1 5
Juiz 9 0 2 1 2 0 1 6
Juiz 10 0 2 1 2 2 1 8
  1. Pontuação alcançada pelos juízes.
  2. Doutorado (03 pontos).
  3. Mestrado (02 pontos).
  4. Mestrado + Dissertação pertinente na área (saúde coletiva ou tecnologia da informação e comunicação) (01 ponto).
  5. Pesquisa com publicação na área saúde coletiva ou tecnologia da informação e comunicação (02 pontos).
  6. Artigo científico publicado na área (02 pontos).
  7. Experiência profissional na área afim (mínimo de um ano) 01 ponto.
  8. É considerado apto aquele que atingir 05 pontos conforme “The Fehring Model25.
# Tabela 2. Distribuição dos Índices de Validação de Conteúdo (IVC) do aplicativo com base na avaliação dos juízes especialistas
Itens avaliados Juiz 1 Juiz 2 Juiz 3 Juiz 4 Juiz 5 Juiz 6 Juiz 7 Juiz 8 Juiz 9 Juiz 10 IVC
1. Utilidade/ pertinência 4 4 4 3 4 4 4 4 3 4 1
2. Simplicidade 4 4 4 4 3 3 4 4 3 4 1
3. Exequível 3 4 4 3 4 4 4 4 4 4 1
4. Objetividade 2 3 4 3 4 4 4 4 3 4 0,90
5. Atualização 4 2 4 2 4 3 4 4 4 4 0,80
6. Precisão 3 4 4 4 4 4 4 4 4 4 1
7. Consistência 4 3 4 3 4 3 4 4 3 4 1
8. clareza 3 3 3 2 4 4 4 4 3 4 0,90
9. Sequência instrucional dos tópicos 2 4 3 2 4 4 4 4 4 4 0,80
10. Vocabulário 3 4 4 3 4 3 4 4 4 4 1
Média global 0,94
  1. Adaptado de Doak et al42.

O estudo apresentou sugestões dos juízes para melhorar aspectos relevantes do aplicativo, as quais a equipe de programação levará em consideração para o aprimoramento dele. Primeiramente, os juízes recomendaram modificar o padrão de escolha da data de nascimento para torná-lo mais preciso para os usuários. Em relação à simplicidade, foi sugerido tornar mais intuitivo o recurso que permite inserir a informação de ser participante ou profissional, a fim de facilitar seu uso. Quanto à exequibilidade, foi relatado que, caso ocorra demora no cadastro de um usuário, o aplicativo retorna automaticamente à tela inicial antes da conclusão do processo, o que pode gerar frustração. A falta de objetividade também foi apontada, visto que o retorno frequente do aplicativo à tela inicial durante a digitação, devido à sincronização, exigia a reinicialização de todo o processo em andamento.

Sobre a atualização do aplicativo, os juízes destacaram que ela prejudica a experiência do usuário tanto no momento da entrada no aplicativo quanto ao salvar os dados. Além disso, no campo destinado à inserção de valores de pressão arterial foi identificado um zero desnecessário à esquerda dos dados da segunda medição, o que compromete a precisão da informação. A consistência também foi mencionada como um problema, com relatos de falhas no sistema, como o retorno à tela inicial ao preencher os dados de um participante no módulo profissional, em vez de direcionar ao detalhamento desse participante. No quesito clareza, embora o aplicativo apresente boa visualização, alguns recursos, como o detalhamento e a edição de dados dos participantes, ainda geram dúvidas sobre sua usabilidade.

Foi sugerido tornar mais intuitivo o mecanismo de edição, visto que o arraste lateral para acessar os dados do usuário não é claro, sendo que botões visíveis poderiam melhorar a experiência. Além disso, o aplicativo contém perguntas similares e textos longos, o que poderia ser corrigido com a adição de um padrão de cores para indicar a mudança de pergunta, facilitando a navegação do usuário. Outra questão levantada foi a segurança na sequência instrucional dos tópicos, especialmente na tela de login, que atualmente requer apenas o CPF e a data de nascimento, dados facilmente acessíveis. Os juízes sugeriram a implementação de um sistema de login mais seguro, como o uso de nome de usuário e senha, para proteger as informações sensíveis dos usuários. Adicionalmente, após o cadastro, algumas funcionalidades não estavam claras, o que indica a necessidade de descrições mais detalhadas após as etapas iniciais.

Por fim, o vocabulário utilizado no aplicativo foi considerado de fácil compreensão, embora tenham sido observados alguns erros de digitação. Essas sugestões são fundamentais para o aprimoramento do aplicativo, visando oferecer uma melhor experiência de uso e maior segurança para os usuários

Quanto ao SUS - para obtenção da média final, multiplica-se o valor encontrado por 2,5. Logo, a média da usabilidade pelos usuários foi de 76,75%, sendo considerado de boa usabilidade pelos usuários e a média final dos profissionais foi de 84,5%, o que consiste em excelente usabilidade, conforme apresentado e detalhado na Tabela 3.

# Tabela 3. Análise da usabilidade realizada por usuários e profissionais do Programa Academia da Cidade e Saúde (Jorge, Costa, Carvalho et al, 2020)
Alternativas Itens Nº Usuários % Nº Profissionais %
1 Eu acho que gostaria de usar esse sistema com frequência 32 10,42 39 11,54
2 Eu acho o sistema desnecessariamente complexo 24 7,82 35 10,36
3 Eu achei o sistema fácil de usar 30 9,77 33 9,76
4 Eu acho que precisaria de ajuda de uma pessoa com conhecimentos técnicos para usar o sistema 26 8,47 22 6,51
5 Eu acho que as várias funções do sistema estão muito bem integradas 33 10,75 40 11,83
6 Eu acho que o sistema apresenta muita inconsistência 33 10,75 37 10,95
7 Eu imagino que as pessoas aprenderão como usar esse sistema rapidamente 32 10,42 34 10,06
8 Eu achei o sistema atrapalhado de usar 38 12,38 38 11,24
9 Eu me senti confiante ao usar o sistema 31 10,1 40 11,83
10 Eu precisei aprender várias coisas novas antes de conseguir usar o sistema 28 9,12 20 5,92
Total 307 100 338 100
  1. (Nº de respostas dos participantes).
  2. Porcentagem da usabilidade dos usuários.
  3. (Nº de respostas dos participantes)
  4. Porcentagem da usabilidade dos profissionais.

# Discussão

Esta pesquisa visa validar por conteúdo e usabilidade o App “Ativos na terceira idade” direcionado para os profissionais e usuários do PACID/PAS. Neste contexto a tecnologia já é uma realidade instalada no Sistema Único de Saúde (SUS), a exemplo do SUS eletrônico (e-SUS), que é um mecanismo tecnológico que foi implantado e que visa reestruturar os sistemas de informação em saúde, garantindo que os dados de saúde sejam simultâneos nos diferentes níveis de atenção oferecidos, possibilitando agilidade e informação precisa34.

O uso de Apps é crescente no Brasil e no mundo e possui dentre as muitas finalidades, acompanhamento de saúde e qualidade de vida. O sistema operacional varia entre Android e IOS. Além disso, rompe as limitações referentes à mobilidade, estando com o usuário 24 horas por dia35-37.

O levantamento do relatório anual State of Mobile 2021, da consultoria em análise de dados App Annie mediu o crescimento dos Apps em dispositivos com o sistema iOS e Android, em diferentes países das Américas, Ásia e Europa. Nas Américas, o Brasil lidera em crescimento de downloads, à frente de países como México, Argentina, Canadá e Estados Unidos. Além disso, o total de downloads destes Apps cresceu 45% no Brasil, comparado com 2019 (204 bilhões/2019). O número é maior do que a alta mundial, que foi de 30% a 40%. O uso de dispositivos móveis avançou três anos em apenas um, ao longo de 2020, considerando horas gastas, consumo via Apps e investimento em mídia38.

A população idosa vem aderindo de forma positiva ao uso de App nas suas atividades diárias, e alguns são criados especificamente para esse público que responde satisfatoriamente ao uso. E unem o elo profissionais de saúde ou da gerontologia e usuário39.

Esses dados destacam a crescente inserção dos idosos no mundo digital, reforçando a importância de desenvolver soluções tecnológicas que atendam às suas necessidades de saúde. No contexto das PACID/PAS, os usuários ainda não dispõem de nenhum instrumento tecnológico que os auxilie a monitorar o próprio progresso ao longo das atividades físicas. Atualmente, os profissionais de saúde responsáveis utilizam fichas impressas para registrar as informações dos participantes, o que aumenta o risco de perda de dados e não envolve os usuários ativamente no processo de acompanhamento. A validação do aplicativo "Ativos na Terceira Idade" busca justamente preencher essa lacuna, oferecendo uma ferramenta digital que integre o monitoramento de saúde e facilite a comunicação entre usuários e profissionais de forma acessível e eficiente, especialmente para um público que já utiliza regularmente smartphones para outras atividades.

Hoje, muitos Apps são desenvolvidos na área da saúde e apesar de não haver consenso sobre algumas tomadas de decisões, como a quantidade de juízes ou de usuários e profissionais que responderão os instrumentos (SUS, SAM e IVC), a validação é muito importante, pois se baseia em instrumentos consolidados com questões referentes a usabilidade, material e visão de especialista ao que se propõe oferecer, permitindo identificar falhas e se adequar ao público-alvo40,41.

Doak et al42,43, autores e idealizadores do SAM consideram que para que o material seja considerado superior, ele deverá apresentar valor de 70% a 100% em relação ao total de escores do instrumento42. Como apresentado nos resultados o valor do SAM foi de 85,9%, alcançando então uma excelente avaliação. Esse resultado vai de encontro com estudo mostrado na literatura, no qual o resultado da SAM foi de 83,5%, cujo objetivo foi o uso de App pelos profissionais do Núcleo de Apoio à Saúde da Família (NASF), para fortalecer o vínculo da equipe com a rede de atenção e consequentemente melhorar a assistência à saúde. O NASF também tem relação direta com o PACID/PAS e Atenção Básica (AB), sendo por vezes os profissionais do NASF atuantes diretos nas academias. Isso permite dizer que cada vez mais os programas de saúde vigentes aderem à tecnologia e ao uso dos Apps. Quando o SAM não se apresenta avaliado (0 a 39%) significa que precisa haver melhoras no estilo da escrita, aparência e motivação do material desenvolvido42,43.

O Índice de Validade de Conteúdo alcançou um valor satisfatório, comprovando que o material desenvolvido é válido e adequado para uso nos serviços de saúde. A contribuição dos juízes foi essencial para ajustar e aprimorar a tecnologia, uma vez que as sugestões desses especialistas foram fundamentais para melhorar o material, agregando conhecimento e valor à sua versão final.

O IVC atingiu valor considerado excelente, 0,89, o que significa que o App está apto nesse quesito. Além disso, os juízes trouxeram sugestões presentes nos resultados, que serão acatadas pelos desenvolvedores para aperfeiçoar o dispositivo móvel. A contribuição dos juízes permite maior entendimento sobre a necessidade de adequação e aprimoramento de tecnologia43.

Estudo realizado com mesmo público-alvo, mas com objetivo de o App ser voltado a idosos frágeis apresentou IVC excelente, 1,0. Já outro App para utilização de profissionais do NASF e AB teve IVC de ≥0,71, contribuindo para reforçar a importância de Apps validados e com embasamento científico para estarem disponíveis aos idosos e ao Sistema Único de Saúde. A contribuição dos juízes permite maior entendimento sobre a necessidade de adequação e aprimoramento de tecnologia43-45.

A contribuição do usuário na validação garante a sua visão quanto à funcionalidade, desempenho do sistema, comportamento interativo e capacidade de assistência de um sistema que é interativo, tanto em hardware quanto de software. A usabilidade é definida em o quanto o produto App pode ser utilizado por usuários específicos (idosos e profissionais de saúde em nosso caso), para alcançar as metas propostas, eficácia, eficiência e satisfação na sua circunstância de uso46.

Além de permitir que o usuário opine sobre dificuldades comuns apresentadas para eles no App, a validação consegue focar nas necessidades colocadas com o objetivo de tornar o instrumento o mais aceitável ao seu público. Há Apps de larga escala para idosos, mas que não possuem por vezes cunho científico. Um estudo pontuou que há dificuldade de acesso e que 72% dos idosos da pesquisa apontaram que o motivo de não usar internet é devido a não habilidade com computadores ou App muito complexos (apresentam letras pequenas, direcionamentos difíceis, símbolos não entendíveis) - 39% também mencionaram insegurança e/ou medo de perder a privacidade47.

A validação do App “Ativos na terceira idade” auxiliará os profissionais de saúde quanto ao estímulo da adesão dos usuários, as informações essenciais para o acompanhamento de algumas variáveis (circunferência da cintura, pressão arterial, glicemia, perfil lipídico, força muscular, capacidade cardiorrespiratória e qualidade de vida), proporcionará aos usuários idosos um acompanhamento efetivo bem como contará com informações diárias de saúde, lembretes e games que estimulará o uso e a prática de atividade física, alimentação saudável e mudanças no estilo de vida em cidades do interior de Pernambuco.

Pode-se inferir que as conclusões e os achados deste estudo, bem como a validação do App "Ativos na terceira idade", podem ser utilizados em outros cenários de estudo, não se limitando apenas ao interior do estado de Pernambuco. As ferramentas tecnológicas desenvolvidas para melhorar a adesão à prática de atividades físicas e monitoramento de saúde por idosos têm potencial de replicação em diversas regiões e contextos, principalmente devido à crescente aceitação do uso de aplicativos móveis entre a população idosa. Estudos futuros podem explorar a aplicabilidade do App em diferentes localidades e populações para verificar sua eficácia em distintos contextos.


# Conclusão

O uso do App "Ativos na terceira idade" para idosos e profissionais de saúde do PACID/PAS, com base nos resultados da validação, atingiu parâmetros satisfatórios em relação ao que se propõe. Além disso, a usabilidade, também objeto de estudo, demonstrou que o aplicativo é eficaz, eficiente e adequado para o público-alvo, proporcionando uma experiência positiva tanto para os idosos quanto para os profissionais de saúde. É perceptível que o uso de Apps está cada vez mais presente e acessível ao público idoso, mas poucos possuem embasamento científico de qualidade e adequação de uso para essa faixa etária. A validação é uma etapa essencial para mensurar fragilidades e necessidades de correção, tornando o aplicativo cientificamente viável e adequado ao uso, assegurando sua eficácia e aceitação pelo público idoso e pelos profissionais de saúde.


# Referências

  1. Silocchi C, Junges JR. Equipes de atenção primária: dificuldades no cuidado de pessoas com doenças crônicas não transmissíveis. Trab Educ Saúde [Internet]. 2017; 15(2):599-615. DOI: 10.1590/1981-7746-sol00056.
  2. World Health Organization. WHO reveals leading causes of death and disability worldwide: 2000-2019 [Internet]. Genebra (CHE): WHO; 2020. Disponível em: https://www.who.int/news/item/09-12-2020-who-reveals-leading-causes-of-death-and-disability-worldwide-2000-2019
  3. Malta DC, Silva AG, Cardoso LSM, Andrade FM, Sá ACMGN, Prates EJS, et al. Doenças crônicas não transmissíveis na revista ciência & saúde coletiva: um estudo bibliométrico. Ciên Saúde Colet [Internet]. 2020; 25(12):4757-4769. DOI: 10.1590/1413-812320202512.16882020.
  4. Camargo PNN, Tenani CF, Bulgareli JV, Guerra LM, Da Silva RP, Batista MJ. Estudo qualitativo da percepção de usuários hipertensos e diabéticos sobre saúde na Atenção Primária. Rev Ciênc Méd [Internet]. 2021; 30:e215047. DOI: 10.24220/2318-0897v30e2021a5047.
  5. Reis LLM, Silva RCM, Silva HCDA, Silva MRB, Souza CC, Cunha AL. Métodos não farmacológicos utilizados pelo Enfermeiro na prevenção e controle da Hipertensão Arterial Sistêmica. Nursing [Internet]. 2018; 21(244):2338-2341. Disponível em: https://pesquisa.bvsalud.org/portal/resource/pt/biblio-946670
  6. Faria WF, Mendonça FR, Elias RGM, Oliveira RG, Neto AS. HIIT, Treinamento resistido e fatores de risco em adolescentes: Uma revisão sistemática. Rev Bras Med Esporte [Internet]. 2020; 26(6):558-564. DOI: 10.1590/1517-869220202606201837.
  7. Ide PH, Martins MSAS, Segri NJ. Tendência dos diferentes domínios da atividade física em adultos brasileiros: dados do Vigitel de 2006-2016. Cad Saúde Pública [Internet]. 2020; 36(8):e00142919. DOI: 10.1590/0102-311X00142919.
  8. Solbiat VP, Oliveira NRC, Teixeira CVLS, Gomes RJ. Adesão ao tratamento para prevenir agravos relacionados à hipertensão arterial e ao diabetes. RBONE [Internet]. 2018; 12(73):629-633. Disponível em: https://www.rbone.com.br/index.php/rbone/article/view/755
  9. Dias MAS, Oliveira IP, Silva LMS, Vasconcelos MIO, Machado MFAS, Forte FDS, et al. Política Nacional de Promoção da Saúde: um estudo de avaliabilidade em uma região de saúde no Brasil. Ciênc Saúde Coletiva [Internet]. 2018; 23(1):103-114. DOI: 10.1590/1413-81232018231.24682015.
  10. Fernandes AP, Andrade ACS, Costa DAS, Dias MAS, Malta DC, Caiaffa WT. Programa Academias da Saúde e a promoção da atividade física na cidade: a experiência de Belo Horizonte, MG, Brasil. Ciênc Saúde Coletiva [Internet]. 2017; 22(12):3903-3914. DOI: 10.1590/1413-812320172212.25282017.
  11. Lopes TAS, Cunha SDM. Análise da percepção dos gestores e dos profissionais envolvidos no Projeto Academia da Saúde sobre os processos de implantação, acompanhamento e avaliação. REAS [Internet]. 2019; 11(8):e543. DOI: 10.25248/reas.e543.2019.
  12. Santos AF, Fonseca SD, Araújo LL, Procópio CSD, Lopes EAS, Lima AMLD et al. Incorporação de tecnologias de informação e comunicação e qualidade na atenção básica em saúde no Brasil. Cad Saúde Pública [Internet]. 2017; 33(5):e00172815. DOI: 10.1590/0102-311X00172815.
  13. Krone C. Validação de heurísticas de usabilidade para celulares touchscreen. Florianópolis (BRA): Universidade Federal de Santa Catarina, Grupo de Qualidade de Software; 2013. Disponível em: http://www.gqs.ufsc.br/files/2020/03/WorkingPaper_WP_GQS_01-2013_v10.pdf
  14. Lira TB, Rocha FCV, Almeida CAPL, Amorim FCM, Rocha LPV. Elaboração e avaliação de um protótipo-aplicativo para cuidador de idosos. Enf Global [Internet]. 2020; 19(3):389-399. DOI: 10.6018/eglobal.396671.
  15. Leite SS, Áfio ACE, Carvalho LV, Silva JM, Almeida PC, Pagliuca LMF. Construction and validation of an Educational Content Validation Instrument in Health. Rev Bra Enfermagem [Internet]. 2018; 71(Suppl 4):1635-1641. DOI: 10.1590/0034-7167-2017-0648.
  16. Rubio DM, Berg-Weger M, Tebb SS, Lee ES, Rauch S. Objectifying content validity: Conducting a content validity study in social work research. Soc Work Res [Internet]. 2003; 27(2):94-104. DOI: 10.1093/swr/27.2.94.
  17. Cunha CM, Neto OPA, Stackfleth R. Principais métodos de avaliação psicométrica da validade de instrumentos de medida. Revista de Atenção à Saúde [Internet]. 2016; 14(47):75-83. DOI: 10.13037/ras.vol14n47.3391.
  18. Lopes MVO, Silva VM, Araújo TL. Methods for establishing the accuracy of clinical indicators in predicting nursing diagnoses. Int J Nurs Knowle [Internet]. 2012; 23(3):134-139. DOI: 10.1111/j.2047-3095.2012.01213.x.
  19. Haynes SN, Richard DCS, Kubany ES. Content validity in psychological assessment: a functional approach to concepts and methods. Psychol Assess [Internet]. 1995; 7(3):238-247. DOI: 10.1037/1040-3590.7.3.238.
  20. Lynn MR. Determination and quantification of content validity. Nurs Res [Internet]. 1986; 35(6):382-385. DOI: 10.1097/00006199-198611000-00017.
  21. Grant JS, Davis LL. Selection and use of content experts for instrument development. Res Nurs Health [Internet]. 1997; 20(3):269-274. Disponível em: https://pubmed.ncbi.nlm.nih.gov/9179180
  22. Davis LL. Instrument review: getting the most from a panel of experts. Appl Nurs Res [Internet]. 1992; 5(4):194-197. DOI: 10.1016/S0897-1897(05)80008-4.
  23. Corrêa AA, Marrero L, Porto GAC, Silva DWR, Silva ACR, Pimenta IT, et al. Construção e validação de tecnologia educativa para o cuidado domiciliar. RSD [Internet]. 2021 Mar 20; 10(3):e40410313532. DOI: 10.33448/rsd-v10i3.13532.
  24. Moreira WEM, Rodrigues GD, Mello JLC, Maia PR, Souza DMST. Aplicativo móvel: intervenções fisioterapêuticas à idosos frágeis. Fisioter Pesqui [Internet]. 2021; 28(2):220-229. DOI: 10.1590/1809-2950/21002128022021.
  25. Fehring R, Lawrence DM, Philpot C. Eficácia de uso do método de ovulação modelo Creighton de planejamento familiar natural. J Obstet Gynecol Neonatal Nurs [Internet]. 1994; 23(4):303-309. DOI: 10.1111/j.1552-6909.1994.tb01881.x.
  26. Sadeghi R, Mazloomy Mahmoodabad SS, Fallahzadeh H, Rezaeian M, Bidaki R, Khanjani N. Readability and Suitability Assessment of Adolescent Education Material in Preventing Hookah Smoking. International Journal of High Risk Behaviors and Addiction [Internet]. 2019; 8(1):e83117. DOI: 10.5812/ijhrba.83117.
  27. Sousa CS, Turrini RNT, Poveda VB. Tradução e adaptação do instrumento “suitability assessment of materials” (SAM) para o português. Revista de Enfermagem UFPE [Internet]. 2015; 9(5):7854-7861. DOI: 10.5812/ijhrba.83117.
  28. Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciên Saúde Colet [Internet]. 2011; 16(7):3061-3068. DOI: 10.1590/S1413-81232011000800006.
  29. Costa FJ, Orsini ACR, Carneiro JS. Variações de Mensuração por Tipos de Escalas de Verificação: Uma Análise do Construto de Satisfação Discente. Revista Gestão Org [Internet]. 2018; 16(2):132-144. DOI: 10.21714/1679-18272018v16n2.p132-144.
  30. Tenório JM, Cohrs FM, Sdepanian VL, Pisa IT, Fátima Marin H. Desenvolvimento e Avaliação de um Protocolo Eletrônico para Atendimento e Monitoramento do Paciente com Doença Celíaca. RITA [Internet]. 2010; 17(2):210-220. DOI: 10.22456/2175-2745.12119.
  31. Padrini-Andrade L, Balda RD, Areco KC, Bandiera-Paiva P, Nunes MV, Marba STM, et al. Evaluation of usability of a neonatal health information system according to the user 's perception. Rev Paul Pediatr [Internet]. 2019; 37(1): 90-96. DOI: 10.1590/1984-0462/;2019;37;1;00019.
  32. Bangor A, Miller J, Kortum P. Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. J Usability Stud [Internet]. 2009; 4(3):114-123. Disponível em: https://uxpajournal.org/determining-what-individual-sus-scores-mean-adding-an-adjective-rating-scale
  33. Conselho Nacional de Saúde do Brasil. Resolução nº 466, de 12 de dezembro de 2012. Brasília (BRA): Ministério da Saúde do Brasil; 2012. Disponível em: https://www.gov.br/conselho-nacional-de-saude/pt-br/acesso-a-informacao/legislacao/resolucoes/2012/resolucao-no-466.pdf/view
  34. Ministério da Saúde do Brasil. Secretaria de Atenção à Saúde. e-syts AB Atenção Básica: Manual do Sistema com Coleta de Dados Simplificada - CDS. Brasília (BRA); 2014. Disponível em: http://189.28.128.100/dab/docs/portaldab/documentos/manual_CDS_ESUS_1_3_0.pdf
  35. Lee SH, Nurmatov UB, Nwaru BI, Mukherjee M, Grant L, Pagliari C. Effectiveness of mHealth interventions for maternal, newborn and child health in low- and middle-income countries: Systematic review and meta-analysis. J Glob Health [Internet]. 2016; 6(1):010401. DOI: 10.7189/jogh.06.010401.
  36. Formagini TDB, Ervilha RR, Machado NM, Andrade BABB, Gomide HP, Ronzani TM. Revisão dos aplicativos de smartphones para cessação do tabagismo disponíveis em língua portuguesa. Cad Saúde Pública [Internet]. 2017; 33(2):e00178215. DOI: 10.1590/0102-311X00178215.
  37. Tibes CMS, Dias JD, Zem-Mascarenhas SH. Aplicativos móveis desenvolvidos para a área da saúde no Brasil: Revisão integrativa da literatura. Rev Min Enferm [Internet]. 2014; 18(2):471-478. Disponible en: https://periodicos.ufmg.br/index.php/reme/article/view/50169
  38. Helmond A, Van Der Vlist F. Platform and app histories: Assessing source availability in web archives and app repositories. Em: The Past Web. Cham (CHE): Springer. 2021: 203-214. Disponível em: https://link.springer.com/chapter/10.1007/978-3-030-63291-5_16
  39. Sampaio LVP, Castilho LB, Carvalho GDA. Desenvolvimento de um aplicativo para dispositivos móveis de avaliação do equilíbrio e risco de quedas em idosos. Rev Bras Geriatr Gerontol [Internet]. 2017; 20(6):811-819. DOI: 10.1590/1981-22562017020.170017.
  40. Alves LFPA, Maia MM, Araújo MFM, Damasceno MMC, Freitas RWJF. Development and validation of a MHEALTH technology for the promotion of self-care for adolescents with diabetes. Ciên Saúde Colet [Internet]. 2021; 26(5):1691-1700. DOI: 10.1590/1413-81232021265.04602021.
  41. Chaves FF, Paraíso EC, Pagano AS, Reis IA, Silva IN, Torres HC. Elaboração, validação e adequação de protocolo para aplicativo em diabetes tipo 1. Acta Paul Enferm [Internet]. 2020; 33:eAPE20190253. DOI: 10.37689/acta-ape/2020AO0253.
  42. Doak CC, Doak LG, Root JH. Learner verification and revision of materials. In: Doak CC, Doak LG, Root JH editors. Teaching patients with low literacy skills. 2nd ed. Philadelphia (USA): Lippincott Company. 1996:167-188. Disponível em: https://search.library.ucla.edu/discovery/fulldisplay?vid=01UCS_LAL:UCLA&search_scope=ArticlesBooksMore&docid=alma9911029853606533
  43. Jorge MSB, Costa LSP, Carvalho MRR, Mamede RSB, Morais JB, Paula ML. Aplicativo móvel para utilização do Núcleo Ampliado de Saúde da Família e Atenção Básica: Validação de conteúdo e de usabilidade. Rev CEFAC [Internet]. 2020; 22(3):e3519. DOI: 10.1590/1982-0216/20202233519.
  44. Medeiros AP, Cieto BB, Garbuio DC, Napoleão AA. Validação de material educativo para homens em uso de cateter urinário de demora no domicílio. Rev Min Enferm [Internet]. 2019; 23:e-1171. Disponível em: https://pesquisa.bvsalud.org/portal/resource/pt/biblio-1005432
  45. Moreira WEM, Rodrigues GD, Mello JLC, Maia PR, Souza DMST. Aplicativo móvel: intervenções fisioterapêuticas à idosos frágeis. Fisioter Pesqui [Internet]. 2021; 28(2):220-229. DOI: 10.1590/1809-2950/21002128022021.
  46. International Standard Organization. Human-centred. Design for interactive systems (9241-210). Genebra (USA): ISO; 2010. Disponível em: https://www.iso.org/standard/52075.html
  47. Centro Regional de Estudos para o Desenvolvimento da Sociedade da Informação. C2 - indivíduos, por último acesso à Internet [Internet]. São Paulo: CETIC; 2019 [citado 2024 Dez 23]. Disponível em: https://cetic.br/pt/tics/domicilios/2019/individuos/C2