El procesamiento del lenguaje natural puede proporcionar una nueva perspectiva sobre la enseñanza eficaz


Las observaciones en el aula se utilizan en distritos de todo el país para evaluar si los maestros están demostrando prácticas de enseñanza que se sabe que apoyan la participación y el aprendizaje de los estudiantes y en qué medida. Los datos generados a partir de las observaciones del aula también brindan a los maestros comentarios valiosos y respaldan el desarrollo de sus habilidades. En algunos contextos, como Washington, DC, escuelas públicas, dicha información también se usa en decisiones de personal de alto riesgo, incluso si se debe retener a un maestro.

Los desafíos de medir las prácticas docentes

Sin embargo, medir la “buena enseñanza” de manera coherente y justa no es fácil. Una razón es que la enseñanza no es estática. La forma en que un maestro enseña varía según el contenido de instrucción y el objetivo de la lección. Por ejemplo, es posible que deseemos ver discusiones más extensas entre los estudiantes en algunas lecciones y una instrucción más centrada en el maestro al presentar contenido nuevo. Las interacciones entre estudiantes y maestros también evolucionan a lo largo del año escolar. Sin embargo, la mayoría de los maestros solo son observados una o dos veces al año. La naturaleza dinámica de la instrucción hace que sea difícil caracterizar la propia enseñanza a partir de unas pocas lecciones. Incluso si estas lecciones observadas pueden capturar la enseñanza “típica” o “promedio”, la retroalimentación basada en dicha información podría no ser tan útil, ya que lo que un maestro necesita para apoyar a los estudiantes en noviembre bien puede ser distinto de las necesidades del mismo maestro en mayo.

Una complicación adicional con las políticas de observación típicas es que no todas las buenas prácticas de enseñanza son visibles. A los observadores humanos les puede resultar difícil realizar un seguimiento y evaluar todas las interacciones educativas importantes en aulas ocupadas. Incluso los calificadores expertos y altamente capacitados para proyectos de investigación luchan por realizar un seguimiento de múltiples conductas de enseñanza al mismo tiempo y, en última instancia, solo priorizan aspectos fácilmente observables de la enseñanza que podrían no ser los más importantes para apoyar el aprendizaje de los estudiantes. En la práctica, los distritos dependen principalmente de directores menos capacitados y con más tiempo limitado para realizar observaciones o recorridos en el aula. Las limitaciones de tiempo y recursos se ven agravadas por el hecho de que los directores tienden a usar un rango pequeño de puntajes y son reacios a calificar a los maestros como de bajo rendimiento, lo que dificulta aún más medir la calidad de la enseñanza de manera objetiva a partir de políticas y prácticas de observación típicas.

Los nuevos métodos de análisis pueden proporcionar una nueva perspectiva sobre la enseñanza eficaz

Los avances tecnológicos recientes proporcionan un complemento potencialmente invaluable a las observaciones en el aula inherentemente limitadas basadas en humanos. En nuestro recién publicado papel en Evaluación Educativa y Análisis de Políticas, nos propusimos probar esta posibilidad. Nuestra idea es simple: dado que el lenguaje está en el corazón de muchas interacciones de enseñanza, podríamos aprovechar el poder de las computadoras para analizar las características lingüísticas del discurso en el aula y derivar directamente medidas de las prácticas de enseñanza. Si se demuestra que tales medidas automatizadas tienen cualidades de medición iguales o incluso superiores a las observaciones en el aula convencionales, podría ser posible proporcionar información mucho más consistente y continua a los maestros sobre su práctica que lo que podría ofrecer un sistema basado en evaluadores humanos, con costos más bajos. y un mayor potencial de escala.

De hecho, en muchos otros campos de investigación, los métodos de texto como datos o el procesamiento del lenguaje natural se han aplicado ampliamente para estudiar las características de la conversación, como las que puede mejorar el éxito de las entrevistas de trabajo, cambiar la opinión de alguien formando argumentos persuasivos, o abordar cuestiones relacionadas con las enfermedades mentales. En educación, los académicos también han aplicado con éxito estos métodos para estudiar una amplia gama de temas, que incluyen características de entornos productivos de aprendizaje en línea, las percepciones de los maestros sobre las brechas en el rendimiento de los estudiantes, y estrategias que adoptan las escuelas en los esfuerzos de reforma. Sin embargo, el uso de tales métodos es mucho más raro en los entornos naturales del aula y en los esfuerzos de evaluación y mejora de los maestros.

Desde expedientes académicos en el aula hasta marcadores de instrucción de calidad

En nuestro estudio, contratamos a profesionales para transcribir casi 1,000 videos de clases de artes del lenguaje en inglés recopilados durante el Proyecto Medidas de enseñanza eficaz. Estas lecciones contaron con 258 maestros enseñando 4th y 5th grados en seis distritos escolares que atienden principalmente a estudiantes de minorías y de bajos ingresos. A partir de estas transcripciones, construimos dos tipos de medidas de prácticas docentes. El primer conjunto de medidas se centra en los patrones del discurso, como la frecuencia con la que un profesor y los estudiantes se turnan en sus conversaciones y la frecuencia con la que un profesor utiliza un lenguaje analítico (p. Ej., Palabras que reflejan mecanismos cognitivos, como “causa”, “saber, ” y por lo tanto”). Para construir estas medidas, usamos principalmente información sobre fuentes del lenguaje (por ejemplo, maestros o estudiantes), marcas de tiempo y palabras y signos de puntuación asociados con una categoría lingüística específica. El segundo conjunto de medidas que desarrollamos captura aspectos más sustantivos de la enseñanza, como qué tan bien un maestro refleja el idioma de sus alumnos y qué parte del discurso en el aula se centra en temas relacionados con la instrucción.

Luego resumimos estas variables en algunos factores de instrucción. Si bien los maestros pueden cambiar la forma en que enseñan de una lección a otra, hicimos un promedio de las lecciones para que un maestro obtenga un retrato de su estilo de enseñanza típico, como punto de partida. Surgen tres factores o tipos de discurso en el aula: un formato de gestión del aula que apunta a que un maestro dedica mucho tiempo al aula estableciendo rutinas y manejando los comportamientos de los estudiantes; un formato de instrucción interactivo que presenta muchas preguntas abiertas del maestro y abundante interacción entre un maestro y los estudiantes; y un formato de instrucción centrado en el maestro con mucha charla del maestro y una participación mínima de los estudiantes.

Estos factores de instrucción parecen ser intuitivos, pero ¿realmente capturan características de la enseñanza alineadas con las observaciones de los evaluadores humanos? Nuestro hallazgo es sí. Estos tres formatos de aula muestran coherentemente la alineación con muchos de los dominios y dimensiones identificados por varios protocolos de observación populares, incluido el Sistema de puntuación de evaluación en el aula (CLASS), el Marco para la enseñanza (FFT) y el Protocolo para las observaciones de la enseñanza de las artes del lenguaje (PLATO). Por ejemplo, el factor de gestión del aula tiene las correlaciones más fuertes con las dimensiones de gestión del comportamiento tanto en CLASS como en PLATO. El factor de instrucción interactiva se relaciona principalmente con el dominio CLASS de apoyo instructivo, que enfatiza el uso de retroalimentación consistente por parte de los maestros y su enfoque en habilidades de pensamiento de orden superior para mejorar el aprendizaje de los estudiantes. El factor de instrucción centrada en el maestro, que representa prácticas de enseñanza menos deseables, tiene correlaciones negativas y estadísticamente significativas con el diálogo instructivo (CLASS), estableciendo una cultura para el aprendizaje, involucrando a los estudiantes en el aprendizaje, usando preguntas y discusión (FFT) y desafío intelectual ( PLATÓN). Para ser claros, no estamos abogando por una asignación única y óptima de tiempo de instrucción o un solo estilo de discurso. Es probable que diferentes enfoques tengan una utilidad diferente a lo largo de una lección o año escolar. Estos hallazgos reflejan el estilo de discurso promedio en las lecciones de un maestro.

Más allá de correlacionar nuestras medidas generadas por máquinas con las observaciones en el aula, también probamos si estos factores de instrucción predicen la contribución de un maestro al rendimiento de los estudiantes. En particular, el factor de instrucción centrada en el maestro predice negativamente los puntajes de valor agregado de los maestros calculados usando SAT-9, una prueba diseñada para medir habilidades de orden superior.

Las nuevas tecnologías pueden mejorar la evaluación y la enseñanza para las generaciones futuras

Aunque nuestros hallazgos muestran que los métodos de texto como datos son un enfoque prometedor para medir las prácticas de enseñanza, nuestro estudio es solo un paso inicial hacia un sistema automatizado para medir y, en última instancia, respaldar la enseñanza de calidad. Las medidas que desarrollamos son limitadas y su precisión necesita mejorar. Incluso con algoritmos informáticos más refinados, tecnologías de reconocimiento de voz y una gama más completa de medidas, los distritos y las escuelas que deseen implementar un sistema basado en texto deberán invertir en la infraestructura inicial que les permita registrar, transcribir y analizar los datos del aula mientras preservar la privacidad de los datos lingüísticos antes de que puedan beneficiarse de los métodos propuestos.

También se necesita más investigación para comprender cómo los directores y maestros perciben las medidas automatizadas y responden a la información que brindan. Sin embargo, nuestro trabajo muestra que es factible complementar las observaciones convencionales en el aula utilizando un enfoque de texto como datos.

Una vez que se haya implementado un sistema de este tipo, podemos imaginar un mundo en el que se produzcan métricas automatizadas de enseñanza en tiempo real, y los directores y entrenadores centren su tiempo en ayudar a los maestros a comprender la información proporcionada e identificar estrategias de mejora. No estamos defendiendo que tales medidas se utilicen para evaluaciones consecuentes para los maestros. Sin embargo, una mayor y mejor retroalimentación para los maestros sobre su instrucción puede ser fundamental para garantizar que todos los estudiantes tengan acceso a una instrucción consistente y de alta calidad.


Source: Natural language processing may provide a new perspective on effective teaching by www.brookings.edu.

*The article has been translated based on the content of Natural language processing may provide a new perspective on effective teaching by www.brookings.edu. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!

*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.

*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!