Adaptación y validación de instrumento para evaluar habilidades psicosociales y hábitos saludables en escolares

Instrument adaptation and validation to evaluate psychosocial skills and healthy habits in schoolchildren
 

Resumen

Objetivo:

Adaptar y validar un instrumento de evaluación sobre habilidades psicosociales para la vida y hábitos saludables en escolares de una localidad de Bogotá, Colombia.

Materiales y métodos:

El estudio, transversal cuantitativo con enfoque empírico analítico no experimental, evaluó respuestas de escolares de 3° y 4° primaria con el instrumento adaptado y reconstruido para establecer calidad técnica de ítems, confiabilidad y validez del mismo. El instrumento (18 de habilidades psicosociales y 19 de hábitos saludables, más 4 ítems de identificación) fue de auto diligenciamiento con opción de respuesta dicotómica de Sí, No. Tuvo prueba de validez aparente con escolares de otras instituciones pares y prueba en 32 colegios públicos y fue analizada mediante el modelo de Rasch.

Resultados:

En total participaron 1.066 escolares. Los ítems de los dos constructos mostraron buen ajuste al modelo de Rasch, unidimensionalidad y medidas de confiabilidad y separación por encima de los valores recomendados; no hubo funcionamiento diferencial del ítem por sexo.

Conclusión:

El instrumento de 37 ítems presentó buenas propiedades de validez, confiabilidad y ajuste a Rasch, aunque no tiene suficientes ítems de alto nivel de dificultad, lo cual se podrá corregir en futuras aplicaciones.

Abstract

Objective:

To adapt and validate an evaluation tool on psychosocial skills for life and healthy habits in Schoolchildren from a locality in Bogota, Colombia.

Materials and methods:

This quantitative transversal with empirical analytical non-experimental approach study evaluated responses of schoolchildren in third and fourth grade of primary school with the instrument adapted and reconstructed to establish technical quality of items, reliability and validity of it. The instrument (18 psychosocial skills and 19 healthy habits, plus 4 identification items) was self-diligence with Yes, No dichotomous answer option. It had evidence of apparent validity with schoolchildren from other peer institutions and was tested at 32 Public schools and analyzed using the Rasch model.

Results:

1,066 schoolchildren participated in total. The items of the two constructs showed a good fit to the Rasch model as well as unidimensionality, reliability and separation measures above the recommended values. There was no differential functioning of the item by sex.

Conclusion:

The instrument of 37 items presented good properties of validity, reliability and adjustment to Rasch; although it does not have enough items of high difficulty level, which can be corrected in future applications.


Introducción

La evaluación de las habilidades psicosociales para la vida y los hábitos saludables en escolares es un reto importante para los colectivos docentes y otros profesionales sociales que conducen procesos educativos en el tema, en razón a que hacen parte importante de la formación integral que deben recibir los educandos. La Ley General de Educación - Ley 115 de 19941, artículos 5 y 21, establecen: "i) formar para cuidar y preservar el ambiente, promover y preservar la propia salud y la higiene fundamentado en la valoración de sí mismo, como pilar del desarrollo individual y social, y ii) incluir las habilidades psicosociales para la vida como parte de la formación de los educandos".

De otra parte, la evaluación es una etapa muy importante del aprendizaje pues permite constatar en qué medida se ha logrado relacionar la experiencia educativa con aspectos relevantes de la vida2) y hasta dónde se han alcanzado los objetivos o las competencias definidas; la evaluación orienta sucesivamente sobre los momentos de afirmación o de correcciones en el proceso educativo para llegar a los resultados esperados3. Sin embargo, para evaluar dos constructos complejos como las habilidades psicosociales para la vida y los hábitos saludables se requiere disponer de instrumentos pertinentes además de válidos y confiables, tema sobre el cual se enfoca esta investigación.

Hay evidencia sobre los beneficios de una formación más integral en escolares, cuando se incluyen las habilidades psicosociales y los hábitos saludables, por su función de protección y prevención de comportamientos y hábitos nocivos para la salud física, emocional y social4,5. No obstante, lo que se observa en términos de medición de resultados sobre intervenciones para mejoramiento de la formación, es que cada investigador o grupo de investigadores genera su propio instrumento de medición, y pocas veces se valida previo a su uso, lo cual puede producir resultados imprecisos o lecturas equivocadas; de otra parte, esta diversidad de instrumentos hace difícil la comparación y discusión de resultados y no permite ir mejorando sistemáticamente un buen instrumento (en términos de validez y confiabilidad) para ser utilizado por quienes trabajan en la temática.

Es útil recordar que en psicología hay un área dedicada a la medición de las características psicológicas de las personas, la psicometría, que ha logrado perfeccionar instrumentos de muchos tipos, haciendo un uso sistemático de éstos por décadas y repitiendo las pruebas de validación en cada nuevo ajuste, lo cual ha ido consolidando cada instrumento6. Este es un comportamiento deseable cuando se quiere disponer de buenos instrumentos de medición y evaluación7, aplicable también al campo de las habilidades psicosociales y los hábitos saludables en escolares, sin embargo, aún no es el escenario que se observa.

En la búsqueda bibliográfica sobre el tema realizada en tres bases de datos (Redalyc, SciELO y Dialnet) donde se publican estudios fundamentalmente de América Latina y el Caribe, contexto conveniente para hacer la búsqueda del tema por la similitud en condiciones sociales, económicas y culturales con los escolares sujetos de estudio, no se encontraron artículos sobre validación de instrumentos utilizados para evaluar niños que han recibido capacitación en habilidades para la vida y hábitos saludables; estos temas son muy específicos y se han desarrollado con mayor énfasis en las dos últimas décadas y posiblemente estas características presentan aún poco interés para los investigadores y dificultan la búsqueda, lo cual representa un gran vacío para el trabajo en el área. Lo más cercano fue un trabajo de revisión sobre habilidades sociales en niñas y niños, que incluyó 62 artículos, solo 7 abordaban la construcción y/o validación de instrumentos de evaluación8; este hallazgo permite reafirmar que los procesos de validación de instrumentos de medición en el área social deben ser utilizados como paso previo a la etapa de evaluación, pues es fundamental para poder medir con certeza y ofrecer resultados confiables, comparables y reproducibles.

Sobre hábitos saludables la situación es similar, se encontró más artículos que presentan intervenciones para mejorar hábitos en escolares que investigaciones que den cuenta de la validación de instrumentos para realizar medición confiable en el área. Los hábitos alimentarios generadores de sobrepeso y obesidad en escolares predominan en los trabajos en donde se hizo validación del instrumento así como los referidos al sedentarismo por su conexión con los problemas antes mencionados9-11.

Respecto de instrumentos existentes para evaluar habilidades psicosociales para la vida y hábitos saludables, se dispone de uno elaborado por EDEX12 que ha sido utilizado por diferentes grupos en más de 16 países de Iberoamérica; sin embargo, no se encontró evidencia de que hubiese sido validado previo a su uso, por tanto no se cuenta con datos sobre su validez y confiabilidad.

EDEX ha venido trabajando como socio del Instituto de Programas Interdisciplinarios de Atención Primaria para la Salud - PROINAPSA de la Universidad Industrial de Santander (UIS) desde 2008 en diferentes proyectos ejecutados en varios municipios de Colombia y por ello se consideró importante aportar en la revisión, adaptación y validación del instrumento para la evaluación de las intervenciones realizadas en habilidades psicosociales para la vida y hábitos saludables en escolares, por cuanto este fue construido para evaluar los dos constructos con escolares españoles. Para llevar a cabo este propósito, se tomó dicho instrumento y sobre su estructura conceptual y operacional se re diseñaron y construyeron nuevos ítems ajustando las situaciones y el lenguaje al contexto, el cual posteriormente, se sometió al proceso de validación mediante el modelo de Rasch, pues en esencia ofrece mejores resultados al permitir analizar en forma simultanea la habilidad del estudiante frente al asunto por el que se le interroga y la dificultad del ítem en relación con el tema que se quiere evaluar, presentados sobre una métrica común para los dos; sus ventajas se precisan a continuación.

Dado que en la Teoría de respuesta al ítem (TRI), el modelo de Rasch aún es poco utilizado por los investigadores que se interesan en pruebas aplicables en el campo educativo, pues sigue siendo de uso común la Teoría Clásica de los Test (TCT), es importante anotar sus ventajas, que superan las ofrecidas por la TCT: i) invarianza de los parámetros, ii) estimación del grado de precisión de los ítems y del test, iii) medición conjunta de ítems y personas, iv) objetividad específica, v) propiedades de intervalo y especificidad del error típico de medida y vi) capacidad de medir grupos y personalizar la prueba; todas estas características le otorgan al modelo de Rasch una gran capacidad para validar instrumentos, así mismo para hacer diagnóstico y evaluar resultados de intervenciones mediante instrumentos validados; por todo ello es deseable que poco a poco se vaya aumentando la frecuencia de su uso en estudios del área social13-16. Las ventajas mencionadas se presentaron en reunión de Rectores en Costa Rica, en informe titulado "El modelo de Rasch: Una herramienta esencial para la evaluación educativa de gran escala"17) insistiendo en la necesidad de que en Colombia, se conozca y utilice dicho método para mejorar los procesos evaluativos. El objetivo del estudio fue adaptar y validar mediante el modelo de Rasch un instrumento para evaluar habilidades psicosociales para la vida y hábitos saludables en escolares de educación básica primaria.

Materiales y métodos

Se llevó a cabo un estudio transversal de corte cuantitativo con enfoque empírico analítico no experimental, mediante el cual se evaluaron las respuestas dadas por escolares en el instrumento construido para establecer la calidad técnica de los ítems y la confiabilidad y validez del mismo utilizando el modelo de Rasch.

Muestreo

El universo de personas para el estudio lo constituyó el total de escolares de 3° y 4° primaria de los 32 colegios públicos de Engativá - Bogotá, donde el Instituto PROINAPSA UIS, desarrollaba un trabajo de intervención educativa con el personal docente de básica primaria. Se utilizó el muestreo aleatorio simple sin reposición y para el cálculo de la muestra se definió el 95% como límite de confianza y error máximo el 5%; una vez obtenido el tamaño muestral, se dividió por el número de cursos y en cada uno se realizó la escogencia de escolares al azar hasta completar su cuota en la muestra. No existieron criterios de exclusión.

Diseño del instrumento

Dado que se decidió tomar el instrumento EDEX para ajustarlo al contexto colombiano y validarlo mediante el modelo de Rasch, el primer paso fue identificar los componentes que hacían parte de cada uno de los dos constructos que lo conforman; así, se precisó que el constructo de habilidades psicosociales para la vida, incluía 5 componentes (auto respeto, toma de decisiones, afrontar desafíos, relacionarse y manejo de tensiones) y el de hábitos saludables 7 (alimentación, actividad y descanso, higiene, alcohol, tabaco, drogas y seguridad). Luego de la discusión realizada por el equipo investigador sobre conservar o modificar los componentes de cada constructo se acordó conservarlos en razón a que dicho instrumento es parte del programa "La aventura de la vida" que se desarrolla hace más de una década en múltiples instituciones educativas de Colombia y otros países de América Latina; se consideró importante ofrecer un instrumento de evaluación que resultara familiar por sus componentes de habilidades psicosociales y hábitos saludables, así como propiciar la comparabilidad de resultados por componente, lo cual incrementaría la utilidad de éstos.

Del instrumento EDEX se modificó: i) de 51 se seleccionaron 41, ii) de ítems negativos y positivos se pasó, en su mayoría, a ítems positivos, iii) de una variedad de opciones de respuesta (escalas tipo Likert, dicotómicas y de intervalo) se trabajó sólo con respuesta dicotómica de sí, no, y iv) se puso especial atención en el lenguaje utilizado para hacerlo compatible con el contexto. Algunos de estos cambios en el instrumento (los ítems en un mismo sentido o sea expresando el comportamiento correcto y no una mezcla de ítems con acciones correctas e incorrecta y utilizar opción de respuesta dicotómica) corresponden a recomendaciones para tener resultados más confiables al utilizar el análisis Rasch.

Selección de escolares para revisión de validez aparente

Esta prueba se realizó en las Escuelas Normales de dos municipios del área metropolitana de Bucaramanga, asegurando la selección de escolares con características sociodemográficas comparables al grupo con quien se haría la prueba del instrumento. Se solicitó autorización a los Directivos de los colegios y firma del asentamiento informado a madres/padres de familia. Obtenida la aprobación de las autoridades en los colegios, se propuso un grupo de tercero y otro de cuarto primaria en cada institución (30 a 35 niñas y niños por grupo) y solo participaron las niñas y niños que fueron autorizados por sus progenitores a través de la firma de asentamiento informado. A las niñas y niños participantes se les solicitó: i) subrayar las palabras desconocidas o que no entendieran y ii) responder el cuestionario señalando las preguntas de difícil comprensión.

Selección de escolares para prueba del instrumento

Se Realizó en los colegios públicos de Engativá - Bogotá donde los padres y/o madres del grupo de escolares y los niños y niñas recibieron información sobre los objetivos de la investigación y usos del instrumento; así mismo se les explicó la importancia de la participación en la prueba y el carácter voluntario de la misma. A padres y/o madres se les solicitó su consentimiento de manera verbal y quienes decidieron no permitir la participación de sus hijos o hijas se les respetó su decisión. Por su parte, la institución educativa avaló y apoyo el trabajo con escolares. El diligenciamiento del instrumento por parte de los estudiantes se realizó en los respectivos salones de clase con el acompañamiento del equipo de profesionales de PROINAPSA UIS, quienes brindaron las orientaciones y respondieron a las preguntas que surgieron durante el proceso.

Procesamiento y análisis de datos

Los datos recogidos en el instrumento se digitaron dos veces en Excel por diferente persona y se hicieron las correcciones de errores detectados quedando las bases de datos listas para transferir al paquete estadístico Stata 10.018 y al programa Winstep 3.8119 para su análisis, utilizando el modelo de Rasch.

Los siguientes son los aspectos evaluados: i) ajuste de los datos al modelo utilizando el infit y el outfit (valores MNSQ); el infit detecta desajustes en respuestas cerca de la zona de medición del ítem y el outfit desajustes lejos de la zona de medición del ítem, es decir, puede ser afectado por los casos atípicos; el criterio de aceptación para ambos está entre el 0,5 y el 1,5. ii) la dimensionalidad de los ítems en el instrumento lo cual informa sobre la pertenencia de éstos a un mismo constructo; se define por los resultados de infit y outfit dentro del rango ya mencionado y se corrobora por la varianza no explicada en el análisis de componentes principales de los residuales, con un límite de 3,0 autovalores para el primer contraste, ideal, 1,5; iii) la fiabilidad o confiabilidad que es la capacidad de reproducir la clasificación de escolares por medio de la prueba y se considera como aceptable valores de 0.80 o superiores. iv) la separación indica en qué grado está repartida la dificultad de los ítems a lo largo de la variable en estudio; el índice de separación deberá tener un valor mínimo de 2 para considerarse aceptable. v) la colocación de la dificultad de los ítems del instrumento en la misma escala de medición así como la capacidad de los escolares para responder el instrumento utilizando el mapa de Wright20 y vi) se utilizó la prueba de Mantel-Haenszel (MH)21,22) como método de estimación del funcionamiento diferencial del ítem -DIF- por sexo.

Consideraciones éticas

De acuerdo con la Resolución 008430 de 1993 del Ministerio de Salud de Colombia, el estudio fue considerado como una investigación sin riesgo que contó con el aval de las directivas de la institución educativa y el consentimiento informado verbal de padres y/o madres. En el trascurso de la investigación se protegió la privacidad de niñas y niños y se respondió a toda pregunta que formularon. Igualmente se siguieron las recomendaciones para investigación en seres humanos incluidas en la Declaración de Helsinki de 2013.

Resultados

En la Tabla 1 se puede observar los grupos escolares que participaron en cada etapa de la validación del instrumento.

Tabla 1. Grupos escolares en el estudio por etapa de validación y sexo
Etapas validación Hombres Mujeres # Total
N %N %
Validez aparente 66 (48,7)70 (51,3)136
Validez con Rasch 428 (46,1)502 (53,9)930

El total de escolares en el estudio, incluyendo las dos etapas de validación, fue de 1.066. En la prueba de validez mediante el modelo de Rasch con los 930 niñas y niños de los 32 colegios públicos de Engativá - Bogotá se observó que la participación femenina fue superior a la poblacional reportada por el DANE23 y la Secretaría de Educación de Bogotá, donde la cifra de mujeres en educación básica fue del 47,9%24.

Prueba de validez aparente

Para el diligenciamiento del instrumento las niñas y niños utilizaron entre 35 y 40 minutos en responderlo. Las preguntas relacionadas con la identificación fueron difíciles de responder por parte de los niños (la sede del colegio -no sabían que era una sede-, documento de identificación, el grado del curso en que estaban, el año de nacimiento); por ello se decidió que para las siguientes aplicaciones del instrumento, esta información debería ser diligenciada previamente por las personas encargadas de administrarla, utilizando otras fuentes de información.

Hubo dificultad en la comprensión de algunos ítems por los escolares (ej. Puedo hacer las cosas tan bien como la mayoría de mis compañeros. Para mi es fácil pedir ayuda para buscar solución a un problema). Otra dificultad fue la falta de familiarización con algunas palabras (ej. chat, medicamentos, bebida alcohólica) o no tener claro el significado de otras (ej. exceso, conflicto, crítica, derechos, justo, obeso, reciclaje). La situación se superó dando ejemplos de cotidianidad a los escolares que pidieron ayuda. Una dificultad más que se logró detectar por las integrantes del equipo, fue la aprensión subyacente en los estudiantes a responder las preguntas sobre fumar y uso de bebidas alcohólicas pues temían ser reportados al Instituto Colombiano de Bienestar Familiar y ser separados de sus familias; esta preocupación, que hicieron circular en voz baja por los demás escolares en el salón, fue identificada y aclarada pública y oportunamente para todos los asistentes.

Al finalizar la prueba se les invitó a hacer preguntas que les hubieran surgido durante el proceso, plantearon dos contundentes interrogantes: ¿Por qué tiene tantas preguntas? ¿Porque nos hicieron preguntas de adultos? (las relacionadas con fumar, ingerir bebidas embriagantes y tomar medicamentos). Con base en estas preguntas y observaciones se ajustó el instrumento: se eliminaron 10 ítems y se mejoró la redacción de 25. Posteriormente, se realizaron varios ejercicios de revisión cruzada de los reactivos, elaborados de acuerdo a las observaciones consignadas en los diarios de campo, para tratar de asegurar la comprensión por parte de grupos de escolares. Quedaron 18 ítems de habilidades psicosociales para la vida y 19 de hábitos saludables; los cuatro de identificación no se incluyen en el listado siguiente (Tabla 2).

Tabla 2. Ítems para evaluación del Programa habilidades psicosociales para la vida y hábitos saludables
1. A mis amigas y amigos les gusta mi forma de ser
2. Sólo hago amistad con niños y niñas que me tratan bien
3. Trato a los demás como me gusta que me traten a mí
4. Soy una persona con cualidades
5. Puedo hacer las cosas tan bien como la mayoría de mis compañeros
6. Me gusta ponerle apodos o sobrenombres a otros compañeros o compañeras
7. Cuando tengo un problema pido ayuda
8. Acepto chatear con nuevos amigos en Facebook, si los conozco
9. Si alguien dice algo de mí que no es cierto, le respondo lo que yo pienso
10. Cuando me invitan a una pelea, digo que no estoy de acuerdo con pegarle a otra persona
11. Si creo que tengo derecho a algo, lo pido
12. Participo en clase sin miedo
13. Cuando mis amigos o amigas me piden que haga algo que yo no quiero, les digo que no estoy de acuerdo
14. Cuando en mi casa hay peleas entre los mayores, espero que les pase el mal genio y les digo lo mal que me he sentido
15. Antes de hacer algo, pienso en lo que podría pasar
16. Salgo a jugar con mis amigos y amigas aunque tenga que estudiar
17. Cuando debo tomar una decisión, primero pienso en diferentes soluciones
18. Cuando llegan nuevos estudiantes a mí salón, hago amistad con ellos
19. Cuando me enfermo, los medicamentos que tomo son los que me ha formulado el médico
20. En las fiestas o reuniones familiares he tomado licor
21. Por curiosidad he probado el cigarrillo
22. Últimamente he vuelto a fumar
23. Después de llegar del colegio paso mucho tiempo en internet, viendo televisión o en video juegos
24. Me gusta hacer deporte o jugar al aire libre con otras personas
25. En la noche duermo mínimo 8 horas
26. Me gusta la comida que sirven en mi casa
27. Si como golosinas con frecuencia, puedo dañar mis dientes
28. Todos los días como frutas ya sea en jugo, enteras o picadas
29. Como verduras todos los días en sopa, ensalada o en guiso
30. Si como seguido "comida chatarra" me puedo engordar mucho
31. Antes de cruzar la calle siempre miro a lado y lado para asegurarme que esté libre de carros, motos o ciclas
32. Si monto en bicicleta, patines o patineta tomo precauciones para evitar accidentes
33. Me gusta cepillarme los dientes después de cada comida
34. Me gusta comer en ventas de comida callejera
35. En mi casa reciclamos
36. Me gusta lavarme las manos antes de cada comida
37. En mi colegio separo la basura para reciclarla

Prueba del instrumento

Los resultados de los análisis para los dos constructos son:

Habilidades psicosociales para la vida: i) buen ajuste de los 18 ítems al modelo de Rasch con infit entre 0,95 y 1,13, outfit entre 0,83 y 1,34; ii) unidimensionalidad confirmada por la varianza inexplicada en el primer contraste de 1,5 autovalores; iii) varianza explicada por medidas fue 21,9 (baja); iv) buena confiabilidad de ítems (0,98), muy cercana a 1; iv) separación de los ítems 7,46, lo cual permitió la conformación de 10 grupos de estudiantes con diferente capacidad en el manejo de las habilidades psicosociales; v) medida en lógitos sobre la métrica fue de -1.49 a 1.46 vi) dificultad de los ítem: 9.79% del total de escolares, respondieron todo el instrumento de manera positiva, lo cual habla de ítems de dificultad media y algunos baja para el grupo de estudiantes (máximo aceptado en Rasch 5%); vi) ningún resultado p para la prueba de Mantel-Haenszel fue significativo, por tanto no hubo funcionamiento diferencial del ítem según el sexo (Tabla 3).

Tabla 3. Consolidado de resultados de análisis Rasch - Habilidades psicosociales para la vida
Estadístico analizado Resultados - Prueba de instrumento
Estudiantes en la prueba 929
Ajuste - outfit (MNSQ) infit (MNSQ) 0,83 a 1,34 - Promedio 0,98 0,95 a 1,13 - Promedio 1,00
Unidimensionalidad Varianza inexplicada primer contraste Sí 1,5
Total de la Varianza 21,9%
Confiabilidad Ítems 0,98
Separación Ítems 7,46
Medida de la escala (en lógitos) Ítems -1,49 a 1,46
Personas con puntaje máximo 91 (9,8%)
Funcionamiento diferencial ítem por sexo No

El mapa de Wright, Figura 1, permite formar una idea visual sobre los niveles de dificultad de los ítems y el grado de habilidad de los estudiantes al responderlos, observando estos resultados en la misma escala de medición, una de las grandes ventajas que ofrece el modelo de Rasch, que en nuestro caso va de -2 a 4 lógitos. La distribución de ítems y escolares se observan como dos histogramas verticales: los ítems al lado derecho identificando el número correspondiente del mismo en el instrumento o encuesta y se distribuyen desde los más fáciles en la parte inferior hasta los más difíciles en la parte superior de la escala; al lado izquierdo se observa el comportamiento de los escolares, donde los símbolos "#" y "." equivalen a un número determinado de personas, los cuales se especifican al final del mapa respectivo, y permiten identificar visualmente donde se ubica la mayor cantidad de escolares así como donde están los más hábiles o capaces de responder - en la parte superior - y los menos hábiles - en la parte inferior de la escala.

0124-7107-reus-19-03-00366-gf1.jpg

Figura 1. Habilidades psicosociales para la vida - Mapa de Wright análisis Rasch

Como ya se comentó, los ítems existentes se ajustan bien al modelo de Rasch; su validez y confiabilidad no tiene reparos pero faltaron ítems con nivel de dificultad alto. La gráfica deja ver que el espacio donde deberían estar los ítems de dificultad alta está vacío (tercera parte superior de la escala) y la distribución del grupo de escolares -a la izquierda- se ubica claramente en las dos terceras partes superiores de la escala, mostrando que la mayoría de los escolares que diligenciaron el instrumento tienen una habilidad que va de media a alta para responderlo.

Hábitos saludables: i) buen ajuste de los 19 ítems al modelo de Rasch con infit de 0,89 a 1,11 y outfit entre 0,53 y 1,55; ii) unidimensionalidad confirmada por la varianza inexplicada en el primer contraste de 1,4 autovalores; iii) las medidas de ítems y personas explicaron el 24,5 de la varianza; iv) la confiabilidad para los ítems fue muy buena (0,99); iv) la separación de ítems fue de 8,86 lo cual permitió conformar 12 grupos de escolares v) la medida en lógitos sobre la métrica, fue de -2,43 a 1,76 vi) respecto a la dificultad de los ítems, 92 escolares, 9,89% del total, respondieron todo el instrumento de manera positiva, lo cual indica como ya se dijo, que también los ítems de este constructo fueron fáciles para el grupo de estudiantes; vi) no se encontró funcionamiento diferencial del ítem según el sexo pues ningún resultado p para la prueba de Mantel-Haenszel fue significativo (Tabla 4).

Tabla 4. Consolidado de resultados de análisis Rasch
Estadístico analizado Resultados - Prueba instrumento
Estudiantes en la prueba 930
Ajuste - outfit (MNSQ) infit (MNSQ) 0,53 a 1,55 - Promedio 0,96 0,93 a 1,11 - Promedio 0,99
Unidimensionalidad Varianza inexplicada primer contraste Sí 1,4
Total de la Varianza 24,5
Confiabilidad Ítems 0,99
Separación Ítems 8,86
Medida de la escala (en lógitos) Ítems -2,43 a 1,76
Personas con puntaje máximo 92 (9,9%)
Funcionamiento diferencial ítem por sexo No

En la Figura 2, se muestra también el mapa de Wright para analizar sobre la misma escala de medición, que va de -3 a 4 lógitos, el comportamiento del nivel de dificultad de los ítems -lado derecho- y la capacidad de los escolares para responder el instrumento -lado izquierdo de la misma.

0124-7107-reus-19-03-00366-gf2.jpg

Figura 2. Hábitos saludables - mapa de Wright análisis Rasch

La posición de ítems y escolares respecto de la escala de medición tiene un comportamiento muy parecido al de habilidades psicosociales para la vida: ítems ajustados a Rasch, con buenas medidas de validez y confiabilidad, pero sin algunos de alto nivel de dificultad en el tercio más alto de la escala y escolares capaces para responder el instrumento, por tanto la mayoría ubicados entre los 0 y 4 lógitos de la escala.

Discusión

La primera reflexión fundamental en este artículo, es ratificar la importancia de la validación de instrumentos antes de utilizarlos para medir variables latentes, pues es necesario estar seguro de que al medir se haga con un instrumento que muestre evidencias de validez, confiabilidad y sea adecuado al nivel de competencia del grupo a evaluar7. El proceso de validación empleado y el uso del modelo de Rasch permitieron compartir lecciones aprendidas muy importantes, en particular por estar validando un instrumento re construido por un equipo de profesionales para ser utilizado con niñas y niños entre 8 y 11 años de edad.

La prueba del instrumento puso en evidencia una serie de consideraciones de fondo y de forma que se requiere tener más en cuenta en procesos de construcción de instrumentos para escolares: es importante recordar que los participantes en la prueba de validez aparente pidieron aclaraciones sobre i) el significado de palabras como chat, medicamento, exceso, conflicto, crítica, derechos, justo, obeso, reciclaje, que en el escenario de las personas que construyeron el instrumento, eran sencillas y de uso y escucha cotidiana; ii) orientación para comprender frases como Puedo hacer las cosas tan bien como la mayoría de mis compañeros; y iii) expresaron malestar por la extensión del instrumento y cuestionaron la pertinencia de algunos ítems al interrogar por ejemplo, ¿Por qué nos hicieron preguntas de adultos?.

Esta situación resaltó la necesidad de tomar en consideración el nivel de desarrollo del lenguaje, insumo crítico al construir instrumentos para escolares y recordar que éste se perfecciona en forma diferencial según la riqueza cultural y social del medio donde viven las niñas y los niños, según su edad mental, sus habilidades perceptivas auditivas, el desarrollo de los procesos cognitivos y el conocimiento del mundo25 y que antes de construir los ítems es necesario realizar entrevistas individuales y en grupo para conocer y manejar el mundo del lenguaje de los escolares que responderán el instrumento.

Las correcciones realizadas, gracias a los aportes del grupo de escolares en la prueba de validez aparente, permitieron tener ítems con buenos resultados de validez y confiabilidad en los dos constructos evaluados; sin embargo, no se logró redactar ítems con suficiente grado de dificultad para la capacidad de los niños respecto al conocimiento y manejo de los temas. Frente a la capacidad de los escolares para responder los ítems del instrumento surgieron también interrogantes acerca de la presencia de la deseabilidad social la cual se define como "la tendencia psicológica a atribuirse a sí mismo cualidades de personalidad socialmente deseables y rechazar aquellas indeseables", siendo dichas conductas más frecuentes en la niñez26. De esta discusión surgió la recomendación de utilizar en paralelo, instrumentos validados para medir la deseabilidad social o incluir acciones orientadas a minimizar su influencia, dado que puede afectar los resultados de cualquier estudio con infantes. Retomando el tema de los ítems de dificultad alta, se consideró necesario incluir en las entrevistas previas con escolares el sondeo pertinente para identificar su nivel de competencia en el tema a evaluar; también, conversar o incluir en el equipo de trabajo a profesores. Toda esta evidencia ha confirmado el grado de complejidad que conlleva la construcción de instrumentos, la rigurosidad metodológica que se debe utilizar en dicho proceso y los resultados riesgosos de evaluar con instrumentos que no han surtido el proceso de validación27) y que pueden ser usados en decisiones que afectan la vida de niños.

Respecto de los ítems que conforman los dos constructos, ambos mostraron buen ajuste al modelo de Rasch lo cual permitió mantenerlos en el instrumento. En cuanto al nivel de dificultad, la mayoría de los ítems quedaron en nivel medio, lo cual se puede corregir en futuras aplicaciones incluyendo ítems de alto nivel de dificultad para ser validados con Rasch; tal como está el instrumento, puede ser utilizado en escolares de 3° y 4° de básica primaria previo a procesos de capacitación. Una vez lograda la configuración del mismo con ítems de bajo, medio y alto nivel de dificultad se tendrá disponible para ser usado con los escolares de 8 a 11 años independientemente de si han recibido o no, capacitación en las temáticas mencionadas.

Los resultados con los escolares en los dos constructos mostraron baja confiabilidad y separación indicando que el grupo era muy homogéneo, posiblemente por el proceso educativo que recibieron sobre los dos temas evaluados como se comentó anteriormente, además de sus condiciones de contexto; la homogeneidad en los grupos es característica no deseable para utilizar el modelo de Rasch28. Adicionalmente, es importante recordar que en este modelo la evaluación de la habilidad o destreza de las personas es independiente de la dificultad de los ítems.

Sobre el 9% de los estudiantes que respondieron todos los ítems de manera positiva -tanto en habilidades psicosociales para la vida como en hábitos saludables, este resultado puede deberse a que "ya habían aprendido lo que hay que responder" y la deseabilidad social. Esta situación también fue objeto de preocupación en un estudio de habilidades para la vida y consumo de drogas en adolescentes mexicanos29. Los ítems que fueron respondidos por este 9% de escolares deben ser reformulados, para incrementar su nivel de dificultad, ya sea porque sus reflexiones o acciones son muy fáciles y el grupo de escolares las realizan o porque ya han aprendido su respuesta y en cualquiera de los casos, no tienen suficiente poder de discriminación.

Asimismo, es importante comentar que la conformación del instrumento -en la cual se incluyen dos constructos complejos y de diferente categoría para ser evaluados- parece bastante particular. En la búsqueda de estudios de referencia se observó que se validan pruebas para habilidades independientes o que hacen parte de una misma categoría como por ejemplo, habilidades de pensamiento básico y superior30, asertividad31) y los estudios sobre habilidades sociales que son los más frecuentes32, en estos predominan las habilidades de interacción social y comunicativas y en segundo lugar las de cooperación y asertividad. El análisis de resultados en estos estudios se hizo en el marco de la teoría clásica de los test -TCT; predominó el análisis factorial, en el cual, los factores obtenidos y su interpretación fueron diferente en cada estudio. Es de recordar que los procesos analíticos en la TCT son de diferente estructura conceptual y metodológica frente al modelo de Rasch.

Se encontraron dos estudios relacionados con el constructo de habilidades psicosociales para la vida: el primero33 incluyó las 10 habilidades propuestas por la OMS en un instrumento de 80 ítems dirigidos a adolescentes y adultos jóvenes que fue analizado en el marco de la TCT, por lo cual no fue posible compararlo con la presente investigación y el segundo34 presentado en el Congreso Iberoamericano de Ciencia, Tecnología, Innovación y Educación en Buenos Aires - Argentina, donde evaluaron habilidades cognitivas, sociales y tecnológicas de estudiantes de 8 a 12 años; el instrumento de 239 ítems fue analizado con el modelos Rasch para ítems politómicos. No se mostraron resultados numéricos de validez y confiabilidad, se presentaron los mapas de Wright para cada categoría y se observó que, al igual que en los resultados de la presente investigación, las escalas adolecían de ítems de alto nivel de dificultad; es claro que éste es el reto más grande cuando se construye y valida un instrumento mediante Rasch35,36.

En la validación de instrumentos relacionados con los hábitos saludables, se encontraron algunos estudios que se enfocaron solamente en hábitos alimentarios, que en su análisis hicieron uso de factores y Alfa de Cronbach que en el caso de las habilidades sociales, no son comparables con los resultados de la presente investigación.

Es deseable que cada vez sea más frecuente el uso y publicación de artículos en donde se haya utilizado el método de Rasch para los procesos de validación de instrumentos de medición en los campos de la salud y la educación, por las ventajas que ofrece tanto en el proceso como en los resultados, comparado con la teoría clásica de los test Rasch es un modelo cada vez más reconocido y utilizado por importantes organizaciones; por ejemplo la OCDE37 ha realizado un esfuerzo por diseñar y validar sistemáticamente instrumentos para medir destrezas o competencias generadas por el proceso educativo a los 15 años de edad (Pruebas PISA) alrededor del mundo, utilizando Rasch. UNESCO38 desde inicios del siglo ha evaluado la calidad de la educación en los países de América Latina y el Caribe y ha tomado como referente el proceso PISA.

Conclusiones

Se dispone de un instrumento para evaluar habilidades psicosociales para la vida (18 ítems) y hábitos saludables (19 ítems) en escolares de básica primaria con buen ajuste al modelo de Rash: son unidimensionales en cada constructo y tienen una confiabilidad y separación muy cercana a los valores óptimos recomendados; adicionalmente, el instrumento no mostró funcionamiento diferencial del ítem por sexo, lo cual da la tranquilidad de no tener sesgos de diseño por este aspecto; por todo lo anterior, el instrumento con los ítems que contiene mostró evidencias de validez y confiabilidad en el marco del modelo de Rasch. Es de anotar que los ítems de cada constructo pueden ser utilizados independientemente, en razón a su unidimensionalidad comprobada y su buen ajuste a Rasch, si se desea evaluar solo uno de los dos componentes.

Dadas las buenas medidas que los ítems del instrumento presentan, el reto para las autoras y otros grupos de investigadores que deseen utilizarlo, es ir incluyendo nuevos ítems de mayor dificultad en los futuros usos, y volver a analizar con Rasch hasta lograr disponer de un instrumento mejor equilibrado con ítems de dificultad baja, media y alta que permita evaluar niveles de entrada y de resultado en procesos educativos y trabajo con habilidades psicosociales para la vida y hábitos saludables en escolares; la inclusión de nuevos ítems más difíciles también podrá influir y mejorar la varianza explicada.

Agradecimientos

La realización del estudio fue posible gracias al espíritu de colaboración de madres y padres de familia que aceptaron la participación de sus hijas e hijos en el estudio, al interés y disposición de las niñas y niños que diligenciaron el instrumento y a la aceptación de los colegios para llevar a cabo el trabajo investigativo. Por siempre nuestro agradecimiento profundo para el profesor Luis Carlos Orozco Vargas, Médico Epidemiólogo de la Universidad Industrial de Santander, quien apoyó el procesamiento, análisis y discusión de los resultados del trabajo.

Conflicto de intereses Ninguno declarado por las autoras.

Referencias

1Colombia. Ministerio de Educación. Ley 115 de 8 de febrero 1994 por lo cual se expide la ley general de la educación. Bogotá: MinEducación; 1994.

2. Vallejo M, Molina J. La evaluación auténtica de los procesos educativos. Revista iberoamericana de educación. 2014;(64):11-25.

3. Jiménez Y, González MA, Hernández J. Propuesta de un modelo para la evaluación integral del proceso enseñanza-aprendizaje acorde con la Educación Basada en Competencias. CPU-e. Revista de Investigación Educativa. 2011;(13):1-25.

4. Bühler A, Schroder E, Silbereisen RK. The role of life skills promotion in substance abuse prevention: a mediation analysis. Health Educ Res. 2008;23(4):621-32.

5Choque-Larrauri R, Chirinos-Cáceres J. Eficacia del programa de habilidades para la vida en adolescentes escolares de Huancavelica - Perú. Revista de Salud Pública. 2009;11(1):169-181.

6Zambrano R. Revisión sistemática del cuestionario de personalidad de Eysenck (Eysenck Personality Questionnarie - EPQ). Liber. 2011;17(2):147-155.

7. Montero E. Referentes conceptuales y metodológicos sobre la noción moderna de validez de instrumentos de medición: implicaciones para el caso de personas con necesidades educativas especiales. Actual Psicol. 2013;27(114):113-128.

8. Reyna C, Brussino S. Avaliação de habilidades sociais de crianças na América Latina. Psicol Estud. 2011;16(3):359-367.

9. Lera L, Salinas J, Fretes G, Vio F. Validación de un instrumento para evaluar prácticas alimentarias en familias chilenas de escolares de 4 a 7 años. Nutr Hosp. 2013;28(6):1961-70.

10. Gómez R, Vilcazán É, De Arruda M, Hespañol JE, Cossio-Bolaños MA. Validación de un cuestionario para la valoración de la actividad física en escolares adolescentes. An Fac med. 2012;73(4):307-13.

11. Camargo DM, Ortiz CJ. Actividad física en niños y adolescentes: determinantes y medición. Salud UIS. 2010;42(2):153-165.

12EDEX. Evaluación de la aplicación en diez países de Iberoamérica del programa de educación sobre drogas "La aventura de la vida". Bilbao: EDEX; 2002.

13. Delgado-Maldonado L, Sánchez-Mendiola M. Análisis del examen profesional de la Facultad de Medicina de la UNAM: Una experiencia de evaluación objetiva del aprendizaje con la teoría de respuesta al ítem. Investigación en Educación Médica. 2012;1(3):130-139.

14Muñiz J. Las teorías de los tests: teoría clásica y teoría de respuesta a los ítems. Papeles del Psicólogo. 2010;31(1):57-66.

15. Leenen I. Virtudes y limitaciones de la teoría de respuesta al ítem para la evaluación educativa en las ciencias médicas. Inv Ed Med. 2014;3(9):40-55.

16. Hidalgo-Montesinos MD, French BF. Una introducción didáctica a la Teoría de Respuesta al Ítem para comprender la construcción de escalas. Revista de Psicología Clínica con Niños y Adolescentes. 2016; 3(2):13-21.

17. Rojas Sh, Montero E. El modelo de Rasch: una herramienta esencial para la evaluación educativa de gran escala. IV Informe Estado de la Educación. Costa Rica: Consejo Nacional de Rectores; 2012.

18. StataCorp. Stata Statistical Software, College Station. Texas: StataCorp; 2010.

19. Linacre JM. WINSTEPS: Rasch measurement computer program, Versión 3.81. Chicago: Winsteps; 2013.

20Rueda I, Sánchez L, Herrero A, Blanco B, Fernández A. ¿Existen niveles adecuados de formación y financiación que incentiven la intención emprendedora?. Revista FIR. 2013;2(3):28-38.

21. Moreira-Mora TE. El funcionamiento diferencial del ítem: un asunto de validez y equidad. Avances en Medición. 2008;6:5-16.

22. Silva F, Santelices MV. Funcionamiento Diferencial del Ítem en una Evaluación Estandarizada según necesidades educativas especiales transitorias. Revista Iberoamericana de Evaluación Educativa. 2016;9(1):145-160.

23. Departamento Administrativo Nacional de Estadística. Investigación de educación formal. Boletín de prensa. Bogotá: DANE; 2014. Disponible en: https://www.dane.gov.co/files/investigaciones/boletines/educacion/bol_EDUC_2012.pdf.

24Alcaldía Mayor de Bogotá. Caracterización del Sector Educativo de Bogotá Localidad de Tunjuelito. Bogotá: Alcaldía Mayor de Bogotá; 2015.

25. Johnston J. Factores que afectan el desarrollo del lenguaje. Enciclopedia sobre el Desarrollo de la Primera Infancia [Internet]. Canadá: University of British Columbia; 2010. [citado 11 de julio de 2016]. Disponible en: https://es.scribd.com/document/235788361/Johnston-Esp-Xp.

26. Lemos V. Construcción y validación de una escala para la evaluación de la deseabilidad social infantil (EDESI). Interdisciplinaria. 2005; 22(1):77-96.

27. Romo-Pardo B, Liendo-Vallejos S, Vargas-López G, Rizzoli-Córdoba A, Buenrostro-Márquez G. Pruebas de tamizaje de neurodesarrollo global para niños menores de 5 años de edad validadas en Estados Unidos y Latinoamérica: revisión sistemática y análisis comparativo. Boletín Médico del Hospital Infantil de México. 2012;69(6):450-462.

28. Velasco M, Londoño C, Alejo I. Validación del cuestionario de optimismo disposicional usando la teoría de respuesta al ítem. Diversitas. 2014;10(2):275-92.

29. Pérez de la Barrera C. Habilidades para la vida y consumo de drogas en adolescentes escolarizados mexicanos. Adicciones. 2012; 24(2):153-160.

30Tapia MV, Luna AJ. Validación de una prueba de habilidades de pensamiento para alumnos de cuarto y quinto de secundaria y primer año de universidad. Revista de Investigación en Psicología. 2010;13(2):17-59.

31. García AD. Estudio sobre la asertividad y las habilidades sociales en el alumnado de Educación Social. Revista de Educación- Universidad de Huelva. 2010;12:225-240.

32. Morán V, Olaz F. Instrumentos de evaluación de habilidades sociales en América Latina: un análisis bibliométrico. Revista de Psicología. 2014;23(1):93-105.

33.  Díaz LE, Rosero R, Melo MP, Aponte D. Habilidades para la vida: análisis de las propiedades psicométricas de un test creado para su medición. Revista colombiana de Ciencias Sociales 2013;4(2):181-200.

34. Salinas M, Santiago R, Jesús M, Pesqueira NG, Barrientos S. Escalas de medición de habilidades cognitivas, sociales y tecnológicas (EMHCoST) para niños de 9 a 12 años. En: Congreso Iberoamericano de Ciencia, Tecnología, Innovación y Educación; Buenos Aires 2014 nov 12-14. Buenos Aires: Argentina; 2014.

35. Jiménez K, Montero E. Aplicación del modelo de Rasch, en el análisis psicométrico de una prueba de diagnóstico en matemática. Revista digital Matemática, Educación e Internet. 2013;13(1):1-38.

36. Meneses AL. Cuestionario de estrategias para la escritura de ensayos argumentativos. Acta Colombiana de Psicología. 2013;16(1):137-148

37. Martínez Arias R. La metodología de los estudios PISA. Revista de Educación. 2006;(extraordinario):111-129.

38. UNESCO. Tercer estudio regional comparativo y explicativo - TERCE: Los aprendizajes de los estudiantes de América Latina y el Caribe. Santiago: OREALC/UNESCO; 2014.