Revista de Ciencias Sociales (RCS)

Vol. XXIX, No. 4, Octubre - Diciembre 2023. pp. 415-427

FCES - LUZ ● ISSN: 1315-9518 ● ISSN-E: 2477-9431

 

Como citar: Aliaga-Pacora, A. A., Juárez-Hernández, L. G., y Sumarriva-Bustinza, L. A. (2023). Validez de una rúbrica para evaluar competencias investigativas en postgrado. Revista De Ciencias Sociales, 29(4), 415-427.

 

Validez de una rúbrica para evaluar competencias investigativas en postgrado

 

Aliaga-Pacora, Alicia Agromelis*

Juárez-Hernández, Luis Gibran**

Sumarriva-Bustinza, Liliana Asunción***

 

Resumen  

 

Las competencias investigativas son el dominio de actitudes cognitivas puestas en prácticas por los estudiantes. El objetivo fue analizar la validez de constructo de una rúbrica analítica para evaluar las competencias investigativas de estudiantes de posgrado. Docentes asesores evaluaron 260 tesis mediante la rúbrica. El análisis de validez de constructo se efectuó mediante un proceso de validación cruzada entre el análisis factorial exploratorio, que es una técnica estadística que explora con precisión las dimensiones subyacentes de las variables latentes de las variables observadas y el análisis factorial comprobatorio, que encuadra los modelos de ecuaciones estructurales, analizando las relaciones entre los indicadores de las variables observadas y las variables latentes. Los resultados del análisis factorial exploratorio mostraron correspondencia con la propuesta teórica, donde un solo factor explicó el 51% de la varianza que fue representado por la totalidad de ítems. La evaluación de este modelo mediante el análisis factorial comprobatorio reveló un buen ajuste (X2/gl: 2.197; RMSA: 0,085; GFI: 0,902; CFI: 0,932; TLI: 0,912), y se encontró evidencia de validez convergente (CFE>0,50; CC: 0,902; VME: 0,464). La confiabilidad de la rúbrica fue óptima (α=0,903). Se concluye que el constructo formulado está representado en la estructura del instrumento.

 

Palabras clave: Competencias investigativas; fiabilidad; instrumento; postgrado; validación.  

 

 

Validity of a rubric to assess graduate research skills

 

Abstract

 

Research competencies are the domain of cognitive attitudes put into practice by students. The objective of this study was to analyze the construct validity of an analytical rubric to assess the research competencies of graduate students. Consulting professors assessed 260 theses using this rubric. Construct validity analysis was performed using a cross-validation process between exploratory, which is a statistical technique that accurately explores the underlying dimensions of the latent variables of the observed variables and the test factor analysis, which frames the structural equation models, analyzing the relationships between the indicators of the observed variables and the latent variables. The results of the EFA showed correspondence with the theoretical proposal, where a single factor explained 51% of the variance represented by all items. Evaluation of this model using the EFA revealed a good fit (X2/gl: 2,197; RMSA: 0.085; GFI: 0.902; IFC: 0.932; TLI: 0.912) and evidence of convergent validity (CFE>0.50; CC: 0.902; VME: 0.464). The reliability of the rubric was optimal (α=0.903). It is concluded that the formulated construct is represented within the structure of the instrument.

 

Keywords: Research competencies; reliability; instrument; postgraduate; validation.

 

 

Introducción

A inicios del siglo XXI surge una nueva sociedad en donde el saber es el activo principal en la dinámica social. En este marco, la universidad como comunidad académica cumple un rol fundamental en la generación y difusión del conocimiento a través de la investigación, por ello debe garantizar el desarrollo de competencias investigativas en la formación universitaria y el dominio de estas en el nivel de postgrado, en tanto se busca con ello replantear el rol de la universidad e insertarla en los procesos de innovación social (Orellana-Navarrete, Tenorio y Abad, 2022).

Las competencias para investigar son claves en el progreso. A través de estas se persigue la modelación de profesionales, cuyo fin está pensado en la inserción dentro de la sociedad, con un claro componente epistémico, axiológico y social intrínseco (Dávila, Agüero y Ruiz, 2021) que, claramente, conducen a la difusión del conocimiento (Lucas y Roa, 2021), la producción científica, la eficiencia (Ibáñez, Morresi y Delbianco, 2017; Pétriz y Rubiralta, 2017), y a garantizar la vigencia de una universidad vinculada a la sociedad; la escasa producción científica fue uno de los criterios para que 14 universidades en Ecuador (Reiban y Álava, 2017), y 18 en el Perú dejaran de funcionar (Superintendencia Nacional de Educación Superior Universitaria [SUNEDU], 2018).

En tal sentido, para identificar y dar solución a un problema, siguiendo la lógica de la investigación científica, que concibe procesos claros, estructura sistemática, trabajo colectivo, fases e interrelaciones específicas (Di Gravia y Campos, 2021), se debe tener el dominio de las habilidades, destrezas y capacidades, que en su conjunto forman la competencia investigativa, con la finalidad de permitir el dominio de acciones prácticas que generen conocimientos a los profesionales, a fin de regular racionalmente su actividad investigativa (Rubio et al., 2018).

Acorde a la significancia e importancia de esta propiedad psicométrica la meta del presente estudio fue analizar la validez de constructo del instrumento “Rúbrica analítica socioformativa para medir las competencias investigativas en posgrado”.

 

1. Fundamentación teórica

En los estudiantes de postgrado, la competencia investigativa es trascendental en su formación como investigadores, en tanto le permite evidenciar la capacidad de integrar conocimientos, para que puedan ejecutar las competencias profesionales eficazmente y poder aplicar a la vida cotidiana y laboral (Celaya et al., 2017); y de esta manera, convertirse en generadores de cambios y formar parte de los procesos productivos para el desarrollo económico de su localidad, región y país; mejorando el vínculo universidad-sociedad (Reiban, De La Rosa y Zeballos, 2017); puesto que, el rol fundamental de la universidad debe estar orientado al trabajo conjunto con las diferentes organizaciones gubernamentales haciendo uso de la investigación científica y favoreciendo su desarrollo.

Las competencias investigativas son entendidas como el dominio de actitudes cognitivas puestas en prácticas por los estudiantes, desde el abordaje de un problema hasta la solución de esta a través de la investigación científica, este proceso implica el manejo de la bibliografía, selección, delimitación del problema, marco teórico, validación del instrumento y contrastación de hipótesis (Antúnez y Veytia, 2020).

En tal sentido, las competencias investigativas permiten desarrollar destrezas y capacidades para realizar con facilidad el proceso investigativo y como parte de este la generación y difusión del saber a partir de la investigación, para comunicar al grupo científico y a la comunidad en general los nuevos avances tanto científicos como tecnológicos (George y Ramírez, 2019).

Las competencias investigativas desde enfoques educativos emergentes (socioformación) se refieren al desarrollo del pensamiento complejo, que demanda de un análisis conceptual, crítico y sistémico, seguido de la creatividad y ser parte de la solución de problemas del contexto con ética, uso de la tecnología, la comunicación, dentro de entornos colaborativos y la autogestión del conocimiento (Tobón, 2017; Dorantes y Tobón, 2017; Salazar-Gómez y Tobón, 2018). 

Desde este enfoque se indica que el trabajo que se realiza a nivel de posgrado debe comprender el cambio del plan de estudio e integrar técnicas y métodos que permita a los discentes la adopción del enfoque de la filosofía de la complejidad para enfrentar cambios vertiginosos que la sociedad actual exige (Navarro, 2019).

Como puede notarse, se considera importante evaluar las competencias investigativas en los posgraduados en la medida que son los responsables directos del desarrollo del país, puesto que, laboran en diferentes instituciones tanto públicas como privadas y son los artífices para generar nuevos proyectos que obedecen a las políticas públicas impartidas.

A este respecto, referente a la evaluación de las competencias investigativas en el nivel de postgrado, se cuentan con diversas propuestas instrumentales como el de Cardoso y Cerecedo (2019), que mide solo el diseño de investigación; el de Grijalva y Urrea (2017), que evalúa la búsqueda de información y metodología; y, el de George y Ramírez (2019), que se centró en medir el nivel de manejo de las Tecnologías de Información y Comunicación (TIC) como apoyo en el proceso de investigación. Los instrumentos se caracterizaban por presentar respuestas de tipo Likert.

De acuerdo a Torres et al. (2022), las rubricas constituyen una didáctica formativa, que lleva al logro de competencias, habilidades y actitudes significativas en la formación universitaria. A partir de lo anterior, Aliaga-Pacora, Juárez-Hernández y Herrera-Meza (2021) diseñaron la “Rúbrica analítica socioformativa para evaluar competencias investigativas en posgrado” (RASeCI), la cual, mediante 11 ítems valora la evidencia del desarrollo de la tesis de acuerdo con cinco ejes (introducción, metodología, resultados, informe final y trabajo colaborativo).

La rúbrica analítica de tipo socioformativa tiene como característica valorar los niveles de capacidades, habilidades y destrezas, en relación con las competencias investigativas que deben ser alcanzadas por los discentes de posgrado para lograr la meta que se va a ver reflejado en el producto final, que es la tesis. La autoevaluación, la gestión de los recursos y el tiempo, son ventajas del uso de la rúbrica (Pulido, 2017; Tobón et al., 2020).

Cada ítem es evaluado acorde a cinco niveles de dominio: Preformal, receptivo, resolutivo, autónomo, estratégico; y cada nivel tiene descriptores, los cuales coadyuvan a determinar con exactitud el nivel de progreso. En este sentido, tanto descriptores y niveles tiene su fundamento en la taxonomía socioformativa (Tobón, 2017). Acorde al autor mencionado los niveles de desempeño son ordenados secuencialmente, cuyo fin es a través de la mejora continua alcanzar el dominio de las competencias. Referente a los descriptores de cada nivel, estos tienen la función de explicar y describir las características del progreso paulatino de las competencias investigativas de forma estratégica y práctica.

Un aspecto para mencionar es que la rúbrica RASeCI fue sujeta a una revisión de expertos y juicio de expertos, enfatizando que cuenta con validez de facie y contenido. Lo anterior atendiendo a lo referido por Boluarte y Tamari (2017), quienes precisan que la validez de un instrumento avala la calidad y utilidad de lo que se pretender medir y que esta se estima de tres formas; de contenido, de criterio y de constructo.

Sin embargo, el instrumento (RASeCI) no fue sujeto del análisis de validez de constructo. En este sentido, la propiedad de validez de constructo se relaciona con la calidad e idoneidad en relación con el constructo hipotético fundamentado en la teoría de Messick (1980), reflejado en el instrumento de recolección de datos. La validez de constructo, es un proceso de rigor científico que tiene como fin la constatación de hipótesis, la vinculación de lo empírico con lo racional, en donde, las inferencias efectuadas sobre la base de las puntuaciones de los instrumentos serían las hipótesis y la validez el proceso de acopio de certezas que apoyan las inferencias (Arias, Rivera y Ceballos, 2019; Chacón, Pérez-Gil y Holgado, 2000).

 

2. Metodología

Se desarrolló un estudio instrumental que, según León y Montero (2020), consiste en analizar las características psicométricas y diseño de un instrumento. En particular en el presente se utilizó un tipo de diseño de investigación experimental, de tipo cuantitativo, donde se analizó la propiedad de validez de constructo y confiabilidad.

Posterior a su definición y construcción, en una primera fase se realizó la validez de prima facie, en la que cuatro expertos determinaron la pertenencia y relevancia de los aspectos incluidos en el instrumento. Posteriormente, se obtuvo evidencia de la validez de contenido por medio de un juicio de expertos (V de Aiken>0,80) (Aliaga-Pacora et al., 2021). Al concluir esta etapa, estos últimos autores administraron la rúbrica a 38 asesores de tesis, muestra piloto del estudio, los cuales denotaron un nivel bueno de comprensión tanto de las instrucciones como de los ítems del instrumento, y de manera inicial se estimó la confiabilidad, cuyo valor fue óptimo (α = 0,832).

La “Rúbrica analítica socioformativa para evaluar competencias investigativas en posgrado” RASeCI (Aliaga-Pacora et al., 2021) está constituida por 11 ítems, cada uno tiene cinco descriptores y compuesta por los niveles: Preformal, receptivo, resolutivo, autónomo y estratégico de acuerdo con la taxonomía socioformativa (Tobón, 2017). Asimismo, los ítems se integraron en cinco ejes: Introducción, metodología, resultados, informe final y trabajo colaborativo (ver Cuadro 1).

Cuadro 1

Aspectos y preguntas

Aspectos

Preguntas del instrumento

Introducción.

 

 

1. ¿En qué nivel el estudiante es capaz de identificar, describir y explicar un problema de investigación de su contexto para proponer alternativas de solución?

2. ¿En qué nivel el estudiante es capaz de recabar, seleccionar y organizar información válida y confiable para la fundamentación del problema identificado?

3. ¿En qué nivel el estudiante es capaz de formular las preguntas, objetivos y/o hipótesis para seguir con el proceso de investigación?

4. ¿En qué nivel el estudiante es capaz de construir el marco teórico integrando diferentes campos del saber en su investigación?

5. ¿En qué nivel el estudiante es capaz de exponer y argumentar la relevancia teórica, metodológica y práctica de la investigación?

Metodología

 

Resultados

6. ¿En qué nivel el estudiante es capaz de seleccionar el diseño de investigación?

7. ¿En qué nivel el estudiante es capaz de registrar y sistematizar los datos obtenidos en el trabajo de campo? 

8. ¿En qué nivel el estudiante es capaz de analizar los datos para estructurar la respuesta a la pregunta de investigación?

9. ¿En qué nivel el estudiante es capaz de interpretar los datos obtenidos para construir, exponer y fundamentar los resultados de la investigación?

Informe final

 

Trabajo colaborativo

10. ¿En qué nivel el estudiante es capaz de redactar el informe final (Tesis) del trabajo con precisión académico-científica (redacción y ortografía) y técnica (normas APA vigente)?

11. ¿En qué nivel el estudiante es capaz de obtener colaboración y apoyo de parte de personajes solventes profesional y académicamente para el desarrollo de su investigación?

 

Fuente: Elaboración propia, 2023 en base a Aliaga-Pacora et al. (2021).

Para la selección de la muestra, se escogió una población de once (11) asesores de tesis de la Escuela Universitaria de Postgrado en la Universidad Nacional Federico Villarreal de Lima Perú (EUPG-UNFV). Dicha muestra es utilizada en base a los criterios de simplicidad, puesto que el tamaño de la misma es suficiente para establecer un grado de representatividad entre los factores y variables considerados. Los asesores escogidos, evaluaron las tesis de 260 doctorandos de los cuales el 64% eran varones y 36% mujeres. Por otra parte, el 100% de los asesores tienen el grado de Doctor y a su vez el 20% de ellos tienen de 10 a 20 años de experiencia en investigación, así como el 80% de 21 a más años.

De manera inicial, se verificó el ajuste a la distribución normal de los ítems mediante la asimetría y curtosis, considerando que ambos aspectos no fueran superiores a ± 1.5 (Curran, West y Finch, 1996). Seguidamente, se analizó la correlación ítem-test tomando como criterio lo establecido por Tabachnick y Fidell (2013), de no considerar ítems con valores menores a 0,20 y mayores a 0,90.

Una vez realizados estos análisis, la muestra se dividió en dos partes para efectuar la validación cruzada que consiste en realizar un Análisis Factorial Exploratorio (AFE), a fin de explorar la estructura latente; y el Análisis Factorial Confirmatorio (AFC), para validar la estructura (Lloret-Segura et al., 2014; Urbano-Contreras, Iglesias-García y Martínez-González, 2019). La obtención de las submuestras se realizó mediante un proceso de aleatorización a través de una hoja de cálculo electrónica. La primera muestra, quedó constituida de 110 trabajos de tesis y se analizó mediante el AFE; y la segunda, se conformó de 150 trabajos de tesis y se analizó a través del AFC.

Para el AFE, en primer orden se analizaron los supuestos de aplicación, siendo los indicadores de correlación y las pruebas de Kaiser-Meyer-Olkin (KMO) y de Barlett (Mavrou, 2015; Juárez, 2018). Después de haber verificado los supuestos, se seleccionó la técnica de máxima verosimilitud y para retener la cantidad de factores se utilizó la regla de Gutman-Kaiser (Mavrou, 2015; Juárez, 2018; López-Aguado y Gutiérrez-Provecho, 2019). Acorde a lo referido por Rositas (2014), se verificó que las cargas factoriales fueran significativas acordes con el tamaño de la muestra (CF> .55). En caso de que se presentara complejidad factorial, se analizó el tipo de rotación de la matriz factorial acorde al tipo de datos y características de relación entre ítems.

El AFC se efectuó con la técnica de estimación de máxima verosimilitud y la evaluación del ajuste del modelo, se consideró la razón Chi-cuadrada/grados de libertad (X2/gl) e índices de ajuste (índice de bondad de ajuste GFI); Error cuadrático medio de aproximación (RMSAE); índice comparativo de ajuste (CFI); Índice de Tucker-Lewis (TLI), acorde a los criterios establecidos por Hu y Bentler (1999).

A partir de las cargas factoriales estandarizadas, se calculó la Varianza Media Extraída (VEM) y la Confiabilidad Compuesta (CC) (Fornell y Larcker, 1981), considerando como valor umbral para la primera, mayor a 0,50; y para la segunda, de 0,70 (Hair et al., 2010). Por último, se aplicó el cálculo de la confiabilidad utilizando el Alfa de Cronbach.

 

3. Resultados y discusión

En ningún caso los ítems presentaron valores superiores a los establecidos para la asimetría y curtosis (ver Tabla 1), por lo que se asume que poseen una distribución normal. Respecto al análisis de correlación ítem-test y acorde a los criterios establecidos, no existió necesidad de eliminar ítems, puesto que todos estuvieron dentro del rango estipulado (0,20>CIT<0,90). 

Tabla 1

Análisis de los ítems

Ítem

Asimetría

Curtosis

Correlación ítem-Test

1

-0,405

-0,965

0,530

2

-0,577

-0,712

0,654

3

-0,373

-1,007

0,657

4

-0,974

0,056

0,646

5

-0,543

-0,292

0,619

6

-0,788

-0,723

0,780

7

-0,577

-0,809

0,677

8

-0,933

-0,576

0,794

9

0,029

-0,882

0,542

10

-0,265

-1,388

0,507

11

0,015

-1,230

0,527

 

Fuente: Elaboración propia, 2023.

La revisión de la adecuación de los datos al análisis factorial fue positiva. En primer orden, se presenta la matriz de correlaciones entre ítems visualizándose en esta la correlación significativa entre ítems (ver Tabla 2).  

Tabla 2

Matriz de correlación entre ítems

ítem

1

2

3

4

5

6

7

8

9

10

11

1

1.000

2

0,400*

1.000

3

0,529*

0,477*

1.000

4

0,410*

0,472*

0,508*

1.000

5

0,437*

0,570*

0,545*

0,603*

1.000

6

0,446*

0,539*

0,529*

0,420*

0,510*

1.000

7

0,389*

0,553*

0,415*

0,556*

0,552*

0,583*

1.000

8

0,585*

0,502*

0,521*

0,543*

0,498*

0,701*

0,617*

1.000

9

0,356*

0,483*

0,343*

0,381*

0,423*

0,548*

0,377*

0,517*

1.000

10

0,426*

0,369*

0,336*

0,362*

0,349*

0,517*

0,354*

0,488*

0,326*

1.000

11

0,401*

0,323*

0,441*

0,321*

0,325*

0,586*

0,390

0,578*

0,187*

0,311*

1.000

Nota: *= p<0.05

 

Fuente: Elaboración propia, 2023.

Mediante las pruebas Kaiser Meyer Olkin (KMO: 0,895) y esfericidad de Bartlett (X2: 579.255 gl: 50; p<0,000), se verificó la adecuación de los datos a fin de analizarlo a través del AFE. Propiamente, en la primera matriz del AFE (comunalidades), se reveló la simbolización de todos los ítems contenido en el modelo factorial, el cual se conformó de un solo factor, y el cual explicó más del 51% de la varianza (ver Tabla 3). El análisis de la matriz factorial indicó la representación de todos los ítems al factor encontrado; puesto que, presentaron cargas factoriales significativas (CF>0,55). La confiabilidad fue óptima (α=0,903; IC al 95%: 0,873 ± 0,928).

Tabla 3

Matriz factorial de comunalidad

Ítem

Comunalidad

Carga Factorial

1

0,441

0,639

2

0,479

0,692

3

0,484

0,684

4

0,501

0,674

5

0,531

0,712

6

0,678

0,803

7

0,537

0,714

8

0,681

0,833

9

0,434

0,579

10

0,339

0,558

11

0,463

0,570

 

Fuente: Elaboración propia, 2023.

El AFC reveló un buen ajuste del modelo obtenido, dado que los diferentes índices mostraron un valor óptimo (X2/gl: 2.197; GFI: 0.902; CFI: 0.932; TLI: 0.912); sin embargo, para el error cuadrático medio de aproximación (RMSAE: 0.085), el valor fue aceptable. Se especifica que se cumplió la condición de la carga factorial estandarizada para todos los ítems (CFE> 0.50) (ver Figura I) y la confiabilidad compuesta (CC> 0.902); sin embargo, la varianza media extraída fue menor a la estipulada (VME: 0.464).

 

 

 

 

 

 

 

 

 

 

 

Fuente: Elaboración propia, 2023.

Figura I: Representación del modelo factorial

Dado los hallazgos encontrados, el desarrollo de competencias investigativas en los discentes de posgrado es esencial, pues estas les facilitan identificar diferentes problemas del contexto en donde se vincula el saber hacer, saber ser, saber conocer y sobre todo saber convivir; con idoneidad y ética; los cuales coadyuvan no sólo en el reconocimiento y análisis, sino que también aporta a la solución de los problemas reales (Aliaga-Pacora y Luna-Nemecio, 2020).

Lo antes mencionado, evidencia una necesidad debido a que las competencias investigativas son relevantes en la formación académica y en forma particular para los graduados, puesto que estas facilitan la capacidad de suplir saberes, para poner en marcha las competencias profesionales eficientemente y poder aplicarlos a la vida diaria e identificar problemas de su comunidad.

En tal sentido, se considera que el instrumento “Rúbrica analítica socioformativa para evaluar competencias investigativas en posgrado” de Aliaga-Pacora et al. (2021) es un aporte al área; puesto que, permite al docente asesor de tesis dar seguimiento al avance de los estudiantes acerca del progreso de las competencias investigativas, evidenciado en el desarrollo del trabajo de tesis de acuerdo con los descriptores que presenta en los diferentes niveles de dominio.

En la misma línea, Tobón et al. (2020) refieren que estos facilitan al docente analizar y reflexionar sobre su práctica y adecuar estrategias que les permita a los estudiantes a que gradualmente logren su desarrollo de las capacidades, habilidades y destrezas dentro del campo investigativo.

Un instrumento se optimiza cuantas más propiedades psicométricas se analicen (Boluarte y Tamari, 2017), una de ellas es la validez de facie que consiste en confirmar la pertinencia, relevancia, claridad y la comprensión de los ítems (Hardesty y Bearden, 2004). Otra propiedad relevante es la validez de contenido, que hace referencia al nivel en el cual los aspectos de un instrumento de medición son pertinentes, relevantes y representativos de un constructo (Haynes, Richard y Kubany, 1995; Polit, 2015; Juárez-Hernández y Tobón, 2018), dado que se vincula con el proceso de axiomas válidos y fundados en el contenido, que posibilita identificar debilidades y fortalezas del instrumento, el cual coadyuva a la toma de decisiones referente a la adecuación, inclusión o exclusión de un ítem (Boluarte y Tamari, 2017).

Conforme a lo antes mencionado, la “Rúbrica analítica socioformativa para evaluar competencias investigativas en posgrado” (RASeCI) ha sido expuesta a estos procesos; por lo que se indica que la misma, cuenta con validez de facie y de contenido (Aliaga-Pacora et al., 2021).

En tal sentido, es trascendental que un instrumento cuente también con validez de constructo; puesto que mediante esta se constata la consistencia entre la teoría hipotetizada y el instrumento, y de esa manera fundamentar la representación del atributo que se está valorando en cada uno de los datos obtenidos (Leyva, 2011).

El análisis de validez del constructo de la RASeCI, se efectuó con un esquema de validación cruzada constituido en primer orden por un método exploratorio y confirmatorio acorde a las recomendaciones clásicas (Lloret-Segura et al., 2014). A este respecto, los resultados del Análisis Factorial Exploratorio mostraron la correspondencia con el modelo teórico, puesto que acorde al modelo factorial obtenido, se encontró un solo factor, el cual explicó más del 51% de la varianza. A este respecto, el valor de la varianza explicada se considera como óptimo a partir del 40% como mínimo para muestras menores de 300 casos (Velicer y Fava, 1998).

Otro resultado destacable, es que todos los ítems se encontraron representados dentro del modelo factorial con cargas factoriales representativas acorde al tamaño de muestra (CF> 0.50), lo que se traduce en que estos efectivamente miden el constructo o la teoría propuesta (Mavrou, 2015). De lo anterior, destaca la fase de validez de contenido, puesto que su estimación es trascendental en la validez de constructo.

La evaluación del modelo factorial mediante el AFC, brindó elementos de comprobación del ajuste del modelo a los datos, puesto que los diversos indicadores empleados (X2/gl, GFI, CFI, TLI) mostraron valores cercanos al óptimo. Si bien para el Error cuadrático medio de aproximación (RMSEA) no se presentó un valor optimo, se puede considerar aceptable de acuerdo con Browne y Cudeck (1992).

Acorde a Fornell y Larcker (1981); y, Hair et al. (2010), para que se pueda indicar que existe validez convergente, se deberá de cumplir las condiciones de que el valor de las cargas factoriales estandarizadas sea superior a 0,50, la confiabilidad compuesta mayor a 0.70, y la varianza extraída media mayor a 0,50. Específicamente en los resultados del presente estudio, todos los ítems presentaron un valor optimo en las cargas factoriales estandarizadas (CFE> 0,50), así como la confiabilidad compuesta (CC: 0,902); sin embargo, la varianza extraída media fue menor a la indicada (VEM: 0,464).

En este orden, Moral (2019) refiere que entre mayor sea el número de ítems que integran un factor, se deteriora la validez convergente medida a través de la varianza extraída media (VEM), por lo que recomienda considerar un valor de VEM ajustado al número de ítems, en correspondencia con la confiabilidad compuesta y las cargas factoriales estandarizadas, las cuales en su mayoría sean mayores a 0,50.

En correspondencia a esta precisión, la varianza extractada media ajustada al número de ítems del presente estudio, debería de ser aceptable si fuese mayor a 0,30 y considerando que la confiabilidad compuesta fuera mayor a 0,80 para revelar un nivel aceptable de validez convergente. Para ambos casos se cumplen estas condiciones en el presente, por lo anterior se puede indicar que existe validez convergente.

Este conjunto de evidencias permite verificar la sustentabilidad empírica del modelo propuesto, y denotar que los indicadores propuestos miden adecuadamente dicho factor (Fornell y Larcker, 1981; Hair et al., 2010). La confiabilidad del instrumento fue optima (α=0,903), lo cual indica que el resultado es confiable al aplicarlo en disímiles momentos; al respecto, Prieto y Delgado (2010) refieren que se trata de una propiedad estable de valoración de un instrumento cuando el proceso se repite. 

 

Conclusiones

Se concluye que el instrumento “Rúbrica analítica socioformativa para evaluar competencias investigativas en posgrado”, mide con precisión el constructo que se pretende estimar. De esta forma, el instrumento RASeCI permitirá al docente asesor de tesis determinar la calidad y avance de los maestrandos y doctorandos, referentes al progreso de sus competencias investigativas durante la elaboración del trabajo de tesis evidenciado en los descriptores que presenta cada nivel de dominio, los cuales facilitan al asesor de tesis brindar diversas estrategias a fin de que los estudiantes de forma gradual logren sus competencias investigativas.

 

Referencias bibliográficas

Aliaga-Pacora, A. A., Juárez-Hernández, L. G., y Herrera-Meza, R. (2021). Diseño y validez de contenido de una rúbrica analítica socioformativa para evaluar competencias investigativas en posgrado. Apuntes Universitarios, 11(2), 62-82. https://doi.org/10.17162/au.v11i2.632

Aliaga-Pacora, A. A., y Luna-Nemecio, J. (2020). La construcción de competencias investigativas del docente de posgrado para lograr el desarrollo social sostenible. Revista Espacios, 41(1), 1. https://www.revistaespacios.com/a20v41n20/a20v41n20p01.pdf

Antúnez, A. G., y Veytia, M. G. (2020). Desarrollo de competencias investigativas y uso de herramientas tecnológicas en la gestión de información. Revista Conrado, 21(1), 96-102. https://conrado.ucf.edu.cu/index.php/conrado/article/view/1219

Arias, W., Rivera, R., y Ceballos, K. (2019). Confiabilidad y Estructura Factorial de la Escala de Malestar Psicológico de Kessler en estudiantes universitarios de Arequipa (Perú). Archivos de Medicina, 19(2), 387-395. https://doi.org/10.30554/archmed.19.2.2854.2019

Boluarte, A., y Tamari, K. (2017). Validez de contenido y confiabilidad inter-observadores de Escala Integral Calidad de Vida. Revista de Psicologia, 35(2), 641-666. https://doi.org/10.18800/psico.201702.009

Browne, M. W., y Cudeck, R. (1992). Alternative ways of assessing model fit. Sociological Methods & Research, 21(2), 230-258. https://doi.org/10.1177/0049124192021002005

Cardoso, E. O., y Cerecedo, M. T. (2019). Valoración de las Competencias Investigativas de los Estudiantes de Posgrado en Administración. Formación Universitaria, 12(1), 35-44. https://doi.org/10.4067/s0718-50062019000100035

Celaya, A., Luque, D., García, J., Amozurrutia, J. A., Preciado, J. M., Laborín, J., y Cabanillas, R. E. (2017). Evaluación de la producción científica de sustentabilidad ambiental en un centro público de investigación (CPI) del Conacyt (1982-2012). Revista de La Educacion Superior, 46(182), 89-112. https://doi.org/10.1016/j.resu.2017.04.002

Chacón, S., Pérez-Gil, J. A., y Holgado, F. P. (2000). Validez en evaluación de programas: Una comparación de técnicas de análisis basadas en modelos estructurales, teoría de la generalizabilidad y modelos multinivel. Psicothema, 12(S-2), 122-126. https://www.psicothema.com/pi?pii=531

Curran, P. J., West, S. G., y Finch, J. F. (1996). The robustness of test statistics to nonnormality and specification error in confirmatory factor analysis. Psychological Methods, 1(1), 16-29. https://doi.org/10.1037/1082-989X.1.1.16

Dávila, R. C., Agüero, E. D. C., y Ruiz, J. L. (2021). Retos de la Educación por Competencias en la Sociedad Contemporánea. Revista de Filosofía, (98), 270-290. https://doi.org/10.5281/zenodo.5527562

Di Gravia, A. R., y Campos, Y. Y. (2021). Componentes sociocontextual y lógicoestructural en el problema de investigación. Revista de Ciencias Sociales (Ve), XXVII(3), 351-364. https://doi.org/10.31876/rcs.v27i3.36774

Dorantes, J. A., y Tobón, S. (2017). Instrumentos de evaluación: Rúbricas socioformativas. Praxis Investigativa ReDIE: Revista Electrónica de la Red Durango de Investigadores Educativos, 9(17), 79-86. https://praxisinvestigativa.mx/assets/17_7_instrumentos.pdf

Fornell, C., y Larcker, D. F. (1981). Structural Equation Models with unobservable variables and measurement error: Algebra and statistics. Journal of Marketing Research, 18(3), 382-388. https://doi.org/10.1177/002224378101800313

George, C. E., y Ramírez, A. (2019). Competencias investigativas y saberes digitales de estudiantes de posgrado en la modalidad virtual. Certiuni Journal, (85), 65-78. http://uajournals.com/ojs/index.php/certiunijournal/article/view/605

Grijalva, A. A., y Urrea, M. L. (2017). Cultura científica desde la universidad. Evaluación de la competencia investigativa en estudiantes de Verano Científico. Education in the Knowledge Society (EKS), 18(3), 15. https://doi.org/10.14201/eks20171831535

Hair, J. F., Black, W. C., Babin, B. J., y Anderson, R. E. (2010). Multivariate Data Analysis. Pearson Education.

Hardesty, D. M., y Bearden, W. O. (2004). The use of expert judges in scale development. Implications for improving face validity of measures of unobservable constructs. Journal of Business Research, 57(2), 98-107. https://doi.org/10.1016/S0148-2963(01)00295-8

Haynes, S. N., Richard, D. C. S., y Kubany, E. S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological Assessment, 7(3), 238-247. https://doi.org/10.1037/1040-3590.7.3.238

Hu, L.-T., y Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6(1), 1-55. https://doi.org/10.1080/10705519909540118

Ibáñez, M. M., Morresi, S. S., y Delbianco, F. (2017). Una medición de la eficiencia interna en una universidad argentina usando el método de fronteras estocásticas. Revista de la Educación Superior, 46(183), 47-62. https://doi.org/10.1016/j.resu.2017.06.002

Juárez, L. G. (2018). Manual práctico de estadística básica para la investigación. KResearch Corp.

Juárez-Hernández, L. G., y Tobón, S. (2018). Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación. Revista Espacios, 39(53), 7. http://www.revistaespacios.com/cited2017/cited2017-23.pdf 

León, O. G., y Montero, I. (2020). Métodos de investigación en Psicología y Educación: Las tradiciones cuantitativa y cualitativa. McGraw-Hill Interamericana de España S.L.

Leyva, Y. E. (2011). Una reseña sobre la validez de constructo de pruebas referidas a criterio. Perfiles Educativos, 33(131), 131-154. https://doi.org/10.22201/iisue.24486167e.2011.131.24238

Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., y Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: Una guía práctica, revisada y actualizada. Anales de Psicologia, 30(3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361

López-Aguado, M., y Gutiérrez-Provecho, L. (2019). Cómo realizar e interpretar un análisis factorial exploratorio utilizando SPSS. REIRE Revista d’Innovació i Recerca en Educació, 12(2), 1-14. https://doi.org/10.1344/reire2019.12.227057

Lucas, E., y Roa, J. (2021). Análisis de la producción científica sobre enseñanza universitaria virtual y semipresencial en revistas españolas de alto impacto. Revista Complutense de Educación, 32(4), 605-616. https://doi.org/10.5209/rced.70887

Mavrou, I. (2015). Análisis factorial exploratorio: Cuestiones conceptuales y metodológicas. Revista Nebrija de Lingüística Aplicada a la Enseñanza de las Lenguas, (19), 71-80. https://doi.org/10.26378/rnlael019283  

Messick, S. (1980). Test validity and the ethics of assessment. American Psychologist, 35(11), 1012-1027. https://doi.org/10.1037/0003-066X.35.11.1012

Moral, J. (2019). Revisión de los criterios para validez convergente estimada a través de la Varianza Media Extraída. Psychologia, 13(2), 25-41. https://revistas.usb.edu.co/index.php/Psychologia/article/view/4119

Navarro, B. (2019). Sobre el pensamiento complejo. Cuadernos de Trabajo Social, 32(2), 471-475. https://doi.org/10.5209/cuts.65080

Orellana-Navarrete, V., Tenorio, F., y Abad, A. (2022). Universidad e innovación: Una mirada desde lo social. Revista de Ciencias Sociales (Ve), XXVIII(3), 204-217. https://doi.org/10.31876/rcs.v28i3.38469

Pétriz, F., y Rubiralta, M. (2017). Las misiones de la universidad. Cuadernos de Pedagogía, (476), 46-50.

Polit, D. F. (2015). Assessing measurement in health: Beyond reliability and validity. International Journal of Nursing Studies, 52(11), 1746-1753. https://doi.org/10.1016/j.ijnurstu.2015.07.002

Prieto, G. y Delgado, A. R. (2010). Fiabilidad y Validez. Papeles del Psicólogo, 31(1), 67-74. https://www.papelesdelpsicologo.es/pdf/1797.pdf

Pulido, J. E. (2017). Nivel de dominio de las copetencias investigativas de los aspirantes a ingresar al programa de postgrado de la UPEL-IMPM. Revista Boletín Redipe, 6(1), 113-128. https://revista.redipe.org/index.php/1/article/view/182

Reiban, R. E., De La Rosa, H., y Zeballos, J. M. (2017). Competencias investigativas en la Educación Superior. Revista Publicando, 4(10), 395-405. https://revistapublicando.org/revista/index.php/crv/article/view/439

Reiban, R., y Álava, J. (2017). Las competencias investigativas en la producción científica docente. Grupo Compás.

Rositas, J. (2014). Los tamaños de las muestras en encuestas de las ciencias sociales y su repercusion en la generacion del conocimiento. Innovaciones de Negocios, 11(22), 235-268. https://doi.org/10.29105/rinn11.22-4

Rubio, M. J., Torrado, M., Quirós, C., y Valls, R. (2018). Autopercepción de las competencias investigativas en estudiantes de último curso de Pedagogía de la Universidad de Barcelona para desarrollar su Trabajo de Fin de Grado. Revista Complutense de Educación, 29(2), 335-354. https://doi.org/10.5209/RCED.52443

Salazar-Gómez, E., y Tobón, S. (2018). Análisis documental del proceso de formación docente acorde con la sociedad del conocimiento. Espacios, 29(53), 17. http://www.revistaespacios.com/cited2017/cited2017-17.pdf

Superintendencia Nacional de Educación Superior Universitaria - SUNEDU (2018). Informe bienal sobre la realidad universitaria peruana. SUNEDU. https://www.sunedu.gob.pe/informe-bienal-sobre-realidad-universitaria/ 

Tabachnick, B. G., y Fidell, L. S. (2013). Using Multivariate Statistics. Pearson Education.

Tobón, S. (2017). Evaluación socioformativa: Estrategias e instrumentos. Kresearch.

Tóbón, S., Pimienta-Prieto, J. H., Herrera-Meza, S. R., Juárez-Hernández, L. G., y Hernández-Mosqueda, J. S. (2020). Validez y confiabilidad de una rúbrica para evaluar las prácticas pedagógicas en docentes de Educación Media (SOCME-10). Revista Espacios, 39(53), 30. http://www.revistaespacios.com/cited2017/cited2017-30.pdf

Torres, G. A., Perea, J. T., García, D. M., y De la Hoz-Escorcia, S. (2022). Atributos didácticos de las rúbricas en la formación del ingeniero civil: Una mirada desde la estática. Revista de Ciencias Sociales (Ve), XXVIII(1), 202-215. https://doi.org/10.31876/rcs.v28i1.37685

Urbano-Contreras, A., Iglesias-García, M. T., y Martínez-González, R. A. (2019). Diseño y validación de la Escala de Tiempo Compartido en la Pareja (TCP). Psychology, Society & Education, 11(2), 165-175. https://ojs.ual.es/ojs/index.php/psye/article/view/1909

Velicer, W. F., y Fava, J. L. (1998). Effects of variable and subject sampling on factor pattern recovery. Psychological Methods, 3(2), 231-251. https://doi.org/10.1037/1082-989X.3.2.231

 

 


* Doctora en Educación. Maestra en Administración en la Educación. Docente en la Universidad Privada San Juan Bautista, Lima, Perú. Docente en la Universidad Tecnológica del Perú, Lima, Perú. E-mail: aliciaaliagapacora@gmail.com ORCID: https://orcid.org/0000-0002-4608-2975

 

** Doctor en Ciencias Biológicas y de la Salud. Magister en Biología. Docente en el Centro Universitario CIFE, Cuernavaca, México. E-mail: luisgibrancife@gmail.com ORCID: https://orcid.org/0000-0003-0658-6818

 

*** Doctora en Ciencias de la Educación. Docente Investigadora en la Universidad Nacional de Educación Enrique Guzmán y Valle, Lima, Perú. E-mail: lsumarriva@une.edu.pe ORCID: https://orcid.org/0000-0002-6128-3089

 

Recibido: 2023-06-12                · Aceptado: 2023-08-29