Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta
This article presents a quantitative study whose objective was to test a new method to collect evidence about the response processes used by examinees in educational tests. As a fundamental precedent, the study starts from the need to have systematic methods to improve the quality of the instruments...
Guardado en:
| Autores principales: | , , |
|---|---|
| Formato: | Online |
| Lenguaje: | spa |
| Publicado: |
Universidad de Costa Rica
2018
|
| Materias: | |
| Acceso en línea: | https://revistas.ucr.ac.cr/index.php/aie/article/view/33456 |
| Etiquetas: |
Agregar Etiqueta
Sin Etiquetas, Sea el primero en etiquetar este registro!
|
| _version_ | 1804220622735147008 |
|---|---|
| author | Brizuela Rodríguez, Armel Pérez Rojas, Nelson Rojas Rojas, Guaner |
| author_facet | Brizuela Rodríguez, Armel Pérez Rojas, Nelson Rojas Rojas, Guaner |
| author_sort | Brizuela Rodríguez, Armel |
| collection | Revista Actualidades Investigativas en Educación (AIE) |
| description | This article presents a quantitative study whose objective was to test a new method to collect evidence about the response processes used by examinees in educational tests. As a fundamental precedent, the study starts from the need to have systematic methods to improve the quality of the instruments used in educational assessment. A traditional method of verbal reports was compared to the Expert-guided Responses method regarding its suitability to gather evidence for scores interpretation in an educational test. For this purpose, a convenience sample of 17 first-year students from the University of Costa Rica was selected and a semistructured interview was applied to each, in which they had to solve reasoning items aloud using the traditional method of verbal reports, or the Expert-guided Responses method. The interviews were coded by a group of raters, and a coefficient of agreement between them was calculated. With the traditional method, a Fleiss kappa coefficient of 0.22 was obtained, whereas with the Expert-guided Responses method it was 0.40. The article concludes with the advantages of using the new method to develop educational assessment tools that adequately represent the students’ abilities, skills, proficiencies, and knowledge. |
| format | Online |
| id | INIE-RAIE-article-33456 |
| institution | Instituto de Investigación en Educación (INIE) |
| language | spa |
| publishDate | 2018 |
| publisher | Universidad de Costa Rica |
| record_format | ojs |
| spelling | INIE-RAIE-article-334562023-06-07T19:35:54Z Expert-guided Responses: Validation of inferences based on response processes Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta Brizuela Rodríguez, Armel Pérez Rojas, Nelson Rojas Rojas, Guaner educational assessment solving strategies verbal reports inter-rater agreement evaluación educativa estrategias de resolución reportes verbales acuerdo entre jueces This article presents a quantitative study whose objective was to test a new method to collect evidence about the response processes used by examinees in educational tests. As a fundamental precedent, the study starts from the need to have systematic methods to improve the quality of the instruments used in educational assessment. A traditional method of verbal reports was compared to the Expert-guided Responses method regarding its suitability to gather evidence for scores interpretation in an educational test. For this purpose, a convenience sample of 17 first-year students from the University of Costa Rica was selected and a semistructured interview was applied to each, in which they had to solve reasoning items aloud using the traditional method of verbal reports, or the Expert-guided Responses method. The interviews were coded by a group of raters, and a coefficient of agreement between them was calculated. With the traditional method, a Fleiss kappa coefficient of 0.22 was obtained, whereas with the Expert-guided Responses method it was 0.40. The article concludes with the advantages of using the new method to develop educational assessment tools that adequately represent the students’ abilities, skills, proficiencies, and knowledge. En este artículo se presenta un estudio cuantitativo cuyo objetivo fue poner a prueba un nuevo método para recabar evidencias sobre los procesos de respuesta utilizados por los examinados en pruebas educativas. Como antecedente fundamental, el estudio parte de la necesidad de contar con métodos sistemáticos para mejorar la calidad de los instrumentos que se utilizan en la evaluación educativa. Se comparó el método tradicional, de los reportes verbales, con el método de la Respuesta Guiada por el Experto con respecto a su idoneidad para recabar evidencias sobre la interpretación de las puntuaciones en una prueba educativa. Para esto, se seleccionó una muestra a conveniencia de 17 estudiantes de primer ingreso de la Universidad de Costa Rica y se le aplicó una entrevista semiestructurada a cada uno, en las cuales debían resolver ítems de razonamiento en voz alta empleando el método tradicional de reportes verbales o el método de la Respuesta Guiada por el Experto. Las entrevistas fueron codificadas por un grupo de expertos y se calculó un coeficente de acuerdo entre ellos. Con el método tradicional se obtuvo un coeficiente kappa de Fleiss de 0.22, mientras que, con el método de la Respuesta Guiada por el Experto, este fue de 0.40. Se concluye con las ventajas de utilizar este método para desarrollar instrumentos de evaluación educativa que representen adecuadamente las habilidades, destrezas, competencias y conocimientos de los estudiantes. Universidad de Costa Rica 2018-09-01 info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion quantitative research Article investigación cuantitativa application/pdf text/html https://revistas.ucr.ac.cr/index.php/aie/article/view/33456 10.15517/aie.v18i3.33456 Actualidades Investigativas en Educación; Vol. 18 No. 3: (September-December) Actualidades Investigativas en Educación; Vol. 18 Núm. 3: (Setiembre - Diciembre) Actualidades Investigativas en Educación; v. 18 n. 3: (Setiembre - Diciembre) 1409-4703 spa https://revistas.ucr.ac.cr/index.php/aie/article/view/33456/32955 https://revistas.ucr.ac.cr/index.php/aie/article/view/33456/34061 Derechos de autor 2018 Actualidades Investigativas en Educación |
| spellingShingle | educational assessment solving strategies verbal reports inter-rater agreement evaluación educativa estrategias de resolución reportes verbales acuerdo entre jueces Brizuela Rodríguez, Armel Pérez Rojas, Nelson Rojas Rojas, Guaner Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta |
| title | Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta |
| title_alt | Expert-guided Responses: Validation of inferences based on response processes |
| title_full | Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta |
| title_fullStr | Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta |
| title_full_unstemmed | Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta |
| title_short | Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta |
| title_sort | respuestas guiadas por el experto validacion de las inferencias basadas en los procesos de respuesta |
| topic | educational assessment solving strategies verbal reports inter-rater agreement evaluación educativa estrategias de resolución reportes verbales acuerdo entre jueces |
| topic_facet | educational assessment solving strategies verbal reports inter-rater agreement evaluación educativa estrategias de resolución reportes verbales acuerdo entre jueces |
| url | https://revistas.ucr.ac.cr/index.php/aie/article/view/33456 |
| work_keys_str_mv | AT brizuelarodriguezarmel expertguidedresponsesvalidationofinferencesbasedonresponseprocesses AT perezrojasnelson expertguidedresponsesvalidationofinferencesbasedonresponseprocesses AT rojasrojasguaner expertguidedresponsesvalidationofinferencesbasedonresponseprocesses AT brizuelarodriguezarmel respuestasguiadasporelexpertovalidaciondelasinferenciasbasadasenlosprocesosderespuesta AT perezrojasnelson respuestasguiadasporelexpertovalidaciondelasinferenciasbasadasenlosprocesosderespuesta AT rojasrojasguaner respuestasguiadasporelexpertovalidaciondelasinferenciasbasadasenlosprocesosderespuesta |