Assessing Quality of Kindergarten Classrooms in Singapore: Psychometric Properties of the Early Childhood Environment Rating Scale—Revised

Abstract

The early childhood sector in Singapore has witnessed vast changes in the past two decades. One of the key policy aims is to improve classroom quality. To ensure a rigorous evaluation of the quality of early childhood environments in Singapore, it is important to determine whether commonly used assessments of quality are valid indicators across different national and community contexts. This study investigated the validity of the Early Childhood Environment Rating Scale—Revised (ECERS-R) in Singapore focused on three major aspects: response process, structural, and criterion validity. Data were collected from 108 classrooms of the main providers of kindergarten programs in Singapore. Initial analyses showed that the quality indicators in most of the ECERS-R items were disordered, which indicated problems with the hypothesized response process underlying the standard ECERS-R scoring system in which high-level indicators are only rated if low-level indicators are met (stop-scoring). To deal with the problem of the “stop-scoring” method, we used the data from a full-scoring method (in which every indicator on every item was rated) in subsequent factor analyses to investigate the internal structure of the ECERS-R. Twenty-two of the 34 items were retained and found to load on two factors, one relating to activities/materials and the other related to language/interactions. Both of the identified subscales and the combined scale showed good internal consistency. The factor score on the combined scale mirrored the ECERS-R full score and could discriminate between classrooms in the top and bottom quartiles of quality scores. Findings on the relationship between the identified factors to the teacher–child ratio and to an alternative measure of classroom quality provided further evidence for criterion validity of the ECERS-R. Implications for the future development and use of the ECERS-R are discussed.

Résumé

Le secteur de la petite enfance à Singapour a été témoin de grands changements dans les deux dernières décennies. L’un des principaux objectifs de la politique est d’améliorer la qualité en classe. Pour assurer une évaluation rigoureuse de la qualité des milieux de la petite enfance à Singapour il est important de déterminer si les évaluations de la qualité couramment utilisées sont des indicateurs valides dans différents contextes nationaux et communautaires. Cette étude a examiné la validité de la Early Childhood Environment Rating Scale - Revised (ECERS-R) à Singapour focalisant sur trois aspects principaux: validité du processus de réponse structurelle et de critère. Les données ont été recueillies dans 108 classes des principaux fournisseurs de programmes de maternelle à Singapour. Les premières analyses ont montré que les indicateurs de qualité dans la plupart des items de l’ECERS-R étaient désordonnés ce qui révélait des problèmes avec l’hypothèse du processus de réponse qui sous-tend le système de notation standard de l’ECERS-R où les indicateurs de haut niveau sont cotés seulement si les indicateurs de bas niveau sont atteints (arrêt de notation). Pour résoudre le problème de la méthode « d’arrêt de notation » nous avons utilisé les données d’une méthode de notation complète (chaque indicateur de chaque item était noté) dans des analyses factorielles subséquentes pour étudier la structure interne de l’ECERS-R. Vingt-deux des 34 items ont été retenus et se sont révélés rattachés à deux facteurs l’un relatif aux activités et matériel et l’autre relatif aux langage et interactions. Tant les sous échelles identifiées que l’échelle combinée ont montré une bonne cohérence interne. Le facteur score à l’échelle combinée reflétait le score complet à l’ECERS-R et pouvait discriminer les classes entre les quartiles supérieur et inférieur des scores de qualité. Les résultats sur la relation entre les facteurs identifiés au ratio enseignant/enfant et une mesure alternative de qualité fournissent d’autres preuves de la validité de critère de l’ECERS-R. Les implications pour l’évolution future et l’utilisation de l’ECERS-R sont discutées.

Resumen

El sector de la educación infantil en Singapur ha presenciado numerosos cambios en las últimas dos décadas. Una de las políticas clave en este sentido es la mejora de la calidad de las aulas. Para asegurar una evaluación rigurosa de la calidad del entorno en la primera infancia en Singapur es importante determinar si las escalas de calidad utilizadas comúnmente son indicadores válidos en diferentes contextos nacionales y comunitarios. El presente estudio investigó la validez de la Escala de Evaluación de Contextos Educativos Infantiles – Revisada (ECERS-R por sus siglas en inglés) en Singapur a partir de tres aspectos principales: el proceso de respuesta la validez estructural y la validez de criterio. La recogida de datos se realizó a partir de 108 aulas de entre los principales proveedores de programas de educación infantil en Singapur. Los análisis iniciales mostraron que los indicadores de calidad en la mayoría de los ítems de ECERS-R se encontraban desordenados. Ello derivaba en problemas con el proceso de respuesta hipotético que subyace al sistema de puntuación estándar de ECERS-R en el que los indicadores de nivel alto sólo son contabilizados si se cumplen previamente los indicadores de nivel bajo (stop scoring). Para subsanar este problema respecto al método de “stop scoring” se utilizaron los datos obtenidos a partir de un método de puntuación completa (en el que todos los indicadores de todos los ítems fueron considerados) a partir de los cuales se realizaron análisis factoriales para evaluar la estructura interna de ECERS-R. Veintidós de los 34 ítems fueron retenidos y se encontró que se nutren de dos factores uno relacionado con las actividades/materiales y el otro relativo al lenguaje/interacciones. Tanto las dos subescalas identificadas como la escala combinada mostraron una buena consistencia interna. La puntuación factorial de la escala combinada reflejó la puntuación total de ECERS-R y podría discriminar entre aulas de los cuartiles superior e inferior en las puntuaciones de calidad. Los hallazgos sobre la relación entre los factores identificados respecto a la ratio profesor-alumno y a una medida alternativa de la calidad del aula evidencian la validez de criterio de ECERS-R. En el presente trabajo se discuten además las implicaciones para el futuro desarrollo y uso de ECERS-R.