Evaluación de la inteligencia artificial y de la calibración de docentes en los cursos de escritura de inglés como lengua extranjera en una universidad pública costarricense
This article paper explores the evaluation of artificial intelligence (AI) in English as a Foreign Language (EFL) writing courses and the importance of calibration in writing evaluations. The role of calibration has received little attention in language contexts, while the role of artificial intelli...
Guardado en:
| Autor principal: | |
|---|---|
| Formato: | Online |
| Lenguaje: | eng |
| Publicado: |
Universidad de Costa Rica
2024
|
| Materias: | |
| Acceso en línea: | https://revistas.ucr.ac.cr/index.php/aie/article/view/55612 |
| Etiquetas: |
Agregar Etiqueta
Sin Etiquetas, Sea el primero en etiquetar este registro!
|
| _version_ | 1804220836020748288 |
|---|---|
| author | Charpentier Jiménez, William |
| author_facet | Charpentier Jiménez, William |
| author_sort | Charpentier Jiménez, William |
| collection | Revista Actualidades Investigativas en Educación (AIE) |
| description | This article paper explores the evaluation of artificial intelligence (AI) in English as a Foreign Language (EFL) writing courses and the importance of calibration in writing evaluations. The role of calibration has received little attention in language contexts, while the role of artificial intelligence has gained increased attention in the last couple of years. This investigation, conducted from August 2022 to March 2023, involved eight TESOL students enrolled in an English as a Foreign Language (EFL) major at a Costa Rican public university, ten TESOL university professors, and one AI piece of software. It used a quantitative, quasi-experimental design, and a language elicitation data collection process. Data was collected by means of a rubric-based writing assessment. Quantitative data were analyzed using descriptive statistics. Data analyses indicate that: 1) human-created paragraphs (X̄ = 7,56) and AI writing (X̄ = 7,61) yield similar results when evaluated; 2) some criteria may favor human creativity or computer, rule-oriented writing; and 3) professors’ ratings reveal inconsistencies when grading human writing in particular. These findings demonstrate that AI matches, at least to a basic level, human writing skills. Furthermore, data show that students may be falling behind in aspects such as grammar, vocabulary, and mechanics. Finally, the analysis indicates that professors’ grading lacks consistency, and a calibration model should be incorporated as part of regular training workshops. |
| format | Online |
| id | INIE-RAIE-article-55612 |
| institution | Instituto de Investigación en Educación (INIE) |
| language | eng |
| publishDate | 2024 |
| publisher | Universidad de Costa Rica |
| record_format | ojs |
| spelling | INIE-RAIE-article-556122024-03-08T16:55:51Z El Assessing artificial intelligence and professors’ calibration in English as a foreign language writing courses at a Costa Rican public university Evaluación de la inteligencia artificial y de la calibración de docentes en los cursos de escritura de inglés como lengua extranjera en una universidad pública costarricense Charpentier Jiménez, William artificial intelligence assessment higher education second language instruction writing (composition) inteligencia artificial evaluación educación superior enseñanza de una lengua extranjera expresión escrita This article paper explores the evaluation of artificial intelligence (AI) in English as a Foreign Language (EFL) writing courses and the importance of calibration in writing evaluations. The role of calibration has received little attention in language contexts, while the role of artificial intelligence has gained increased attention in the last couple of years. This investigation, conducted from August 2022 to March 2023, involved eight TESOL students enrolled in an English as a Foreign Language (EFL) major at a Costa Rican public university, ten TESOL university professors, and one AI piece of software. It used a quantitative, quasi-experimental design, and a language elicitation data collection process. Data was collected by means of a rubric-based writing assessment. Quantitative data were analyzed using descriptive statistics. Data analyses indicate that: 1) human-created paragraphs (X̄ = 7,56) and AI writing (X̄ = 7,61) yield similar results when evaluated; 2) some criteria may favor human creativity or computer, rule-oriented writing; and 3) professors’ ratings reveal inconsistencies when grading human writing in particular. These findings demonstrate that AI matches, at least to a basic level, human writing skills. Furthermore, data show that students may be falling behind in aspects such as grammar, vocabulary, and mechanics. Finally, the analysis indicates that professors’ grading lacks consistency, and a calibration model should be incorporated as part of regular training workshops. Este artículo explora la evaluación de la inteligencia artificial (IA) en cursos de escritura en inglés como lengua extranjera (ILE) y la importancia de la calibración en las evaluaciones de escritura. El papel de la calibración ha recibido poca atención en contextos lingüísticos, mientras que la inteligencia artificial ha ganado mayor reconocimiento en los últimos años. La investigación se realizó desde agosto de 2022 hasta marzo de 2023, e involucró a ocho estudiantes de TESOL en un bachillerato en inglés como lengua extranjera (ILE) en una universidad pública de Costa Rica: diez docentes de TESOL a nivel universitario y un software de IA. Se utilizó un diseño cuasiexperimental cuantitativo y una recopilación de datos de elicitación de lenguaje. Los datos fueron recopilados mediante una rúbrica que midió la producción escrita. Los datos cuantitativos se analizaron utilizando estadística descriptiva. El análisis de datos indica que: 1) los párrafos creados por humanos (X̄ = 7,56) y la escritura de IA (X̄ = 7,61) producen resultados similares; 2) algunos criterios pueden favorecer la creatividad humana o la escritura orientada a reglas; y 3) el profesorado presenta inconsistencias al calificar la escritura humana en particular. Estos hallazgos demuestran que la IA se equipara, al menos a nivel básico, con las habilidades de escritura humana. Además, los datos muestran que el estudiantado puede estar quedándose atrás en aspectos como gramática, vocabulario y puntuación. Finalmente, el análisis indica que la calificación de docentes carece de consistencia, y un modelo de calibración debería ser incorporado como parte de su formación. Universidad de Costa Rica 2024-01-01 info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion Text Article Texto application/vnd.openxmlformats-officedocument.wordprocessingml.document application/pdf text/xml application/zip https://revistas.ucr.ac.cr/index.php/aie/article/view/55612 10.15517/aie.v24i1.55612 Actualidades Investigativas en Educación; Vol. 24 No. 1 (2024): (January-April); 1-25 Actualidades Investigativas en Educación; Vol. 24 Núm. 1 (2024): (Enero-Abril); 1-25 Actualidades Investigativas en Educación; v. 24 n. 1 (2024): (Janeiro-Abril); 1-25 1409-4703 eng https://revistas.ucr.ac.cr/index.php/aie/article/view/55612/59524 https://revistas.ucr.ac.cr/index.php/aie/article/view/55612/58200 https://revistas.ucr.ac.cr/index.php/aie/article/view/55612/59823 https://revistas.ucr.ac.cr/index.php/aie/article/view/55612/59824 Derechos de autor 2023 William Charpentier Jiménez http://creativecommons.org/licenses/by-nc-nd/4.0 |
| spellingShingle | artificial intelligence assessment higher education second language instruction writing (composition) inteligencia artificial evaluación educación superior enseñanza de una lengua extranjera expresión escrita Charpentier Jiménez, William Evaluación de la inteligencia artificial y de la calibración de docentes en los cursos de escritura de inglés como lengua extranjera en una universidad pública costarricense |
| title | Evaluación de la inteligencia artificial y de la calibración de docentes en los cursos de escritura de inglés como lengua extranjera en una universidad pública costarricense |
| title_alt | El Assessing artificial intelligence and professors’ calibration in English as a foreign language writing courses at a Costa Rican public university |
| title_full | Evaluación de la inteligencia artificial y de la calibración de docentes en los cursos de escritura de inglés como lengua extranjera en una universidad pública costarricense |
| title_fullStr | Evaluación de la inteligencia artificial y de la calibración de docentes en los cursos de escritura de inglés como lengua extranjera en una universidad pública costarricense |
| title_full_unstemmed | Evaluación de la inteligencia artificial y de la calibración de docentes en los cursos de escritura de inglés como lengua extranjera en una universidad pública costarricense |
| title_short | Evaluación de la inteligencia artificial y de la calibración de docentes en los cursos de escritura de inglés como lengua extranjera en una universidad pública costarricense |
| title_sort | evaluacion de la inteligencia artificial y de la calibracion de docentes en los cursos de escritura de ingles como lengua extranjera en una universidad publica costarricense |
| topic | artificial intelligence assessment higher education second language instruction writing (composition) inteligencia artificial evaluación educación superior enseñanza de una lengua extranjera expresión escrita |
| topic_facet | artificial intelligence assessment higher education second language instruction writing (composition) inteligencia artificial evaluación educación superior enseñanza de una lengua extranjera expresión escrita |
| url | https://revistas.ucr.ac.cr/index.php/aie/article/view/55612 |
| work_keys_str_mv | AT charpentierjimenezwilliam elassessingartificialintelligenceandprofessorscalibrationinenglishasaforeignlanguagewritingcoursesatacostaricanpublicuniversity AT charpentierjimenezwilliam evaluaciondelainteligenciaartificialydelacalibraciondedocentesenloscursosdeescrituradeinglescomolenguaextranjeraenunauniversidadpublicacostarricense |