Orðaheimurinn: The fidelity of a soft-structured intervention evaluated in Icelandic preschools

Abstract

Inngangur: Nýlega hefur fjöldi fjöltyngdra barna á Íslandi aukist til muna og standa þessi börn frammi fyrir miklum áskorunum innan íslenska skólakerfisins. Orðaheimurinn er nýtt kennsluefni fyrir börn á leikskólaaldri, þýtt og staðfært úr Bandaríska kennsluefninu World of Words. Efnið nýtir samræðulestur til að kynna börnunum fyrir orðaforða og hugtökum úr sex mismunandi þemum yfir 18 vikna tímabil. Áhrif kennsluefnisins voru könnuð í íslenskum leikskólum í klasa slembiraðaðri samanburðarrannsókn (CRCT) í byrjun árs 2023. Aðferðir: Kennsluefninu, ásamt þjálfun í notkun þess, var úthlutað til fimm leikskóla og var markmið þessarar meistararannsóknar að meta meðferðarheldni í framkvæmd íhlutunarinnar meðal leikskólakennara í þessum leikskólum. Í þessari rannsókn voru myndbandsupptökur skoðaðar með tilliti til meðferðarheldni. Þetta fól í sér að greina 104 myndbandsupptökum af kennslustundum (21.5% af öllum kennslustundum rannsóknarinnar) þar sem 11 kennarar stýrðu kennslu fyrir 62 börn. Það að rannsaka meðferðarheldni er mikilvægt upp á að tryggja að íhlutun sé framkvæmd eins og lagt var upp með en einnig til að meta áreiðanleika árangurs á kennsluefninu. Ef ekki næst góð meðferðarheldni er erfitt að ákvarða hvort áhrif niðurstaðna stafi af íhlutuninni sjálfri eða vegna annarra þátta. Meðferðarheldni var metin á grundvelli fjögurra þátta: skammts íhlutunnar (e. dose), tryggð við aðalatriði íhlutunarinnar (e. adherence), gæði kennslunnar (e. quality) og viðbrögð barnanna (e. responsiveness). Niðurstöður: Skammtur íhlutunnar var metinn út frá mætingu barnanna í kennslustundirnar og mældist hún að meðaltali 80,2% (Sf=14,4%, Spönn=37,0-100,0%). Tryggð við aðalatriði íhlutunnar var metin með skráningarblaði sem útlistaði þau atriði sem mikilvæg voru að koma til skila til barnanna í hverri kennslustund. Samkvæmt mati kennara komu þeir 9,.3% (Sf=15,3%, Spönn=28,6-100,0%) atriða til skila í kennslustundum en samkvæmt mati rannsakanda var það ekki nema 56,5% (Sf=19,0%, Spönn=0,0-92,9%) fyrir sömu kennslustundir. Gæði voru metin út frá því hversu vel kennararnir tóku efnið til sín og gerðu það að sínu. Kennararnir fengu að meðaltali 3,9 af 5 mögulegum stigum fyrir gæði kennslu (Sf=0,8, Spönn=1,6-5,0) og gáfu niðurstöðurnar til kynna mikinn breytileika milli kennara. Viðbrögð barnanna voru metin út frá þátttöku og athygli þeirra í kennslustundum og fengu þau að meðaltali 3,9 stig af 5 mögulegum. Umræða og ályktanir: Á heildina litið sýndu niðurstöður fram á misgóða meðferðarheldni eftir mismunandi þáttum. Þó að skammtur meðferðar hafi verið tiltölulega hár (þó breytilegur) var tryggð við íhlutunina í meðallagi há og mjög breytileg eftir kennurum. Eins var mikið misræmi á milli sjálfsmats kennara og mats rannsakanda. Gæði og viðbrögð mældust tiltölulega há en sýndu bæði fram á töluverðan breytileika milli kennslustunda. Niðurstöður þessarar rannsóknar munu styðja við áreiðanleika túlkunar á helstu niðurstöðum úr CRCT rannsókninni og hjálpa til við að betrumbæta næstu útgáfur af Orðaheiminum með betri aðlögun kennsluefnisins fyrir íslenskt samfélag og aukinni meðferðarheldni.

Introduction: Recently the number of multilingual children in Iceland has rapidly increased and these children are at a great disadvantage within the Icelandic school system. Orðaheimurinn, an Icelandic adaptation of World of Words (WOW), is an intervention for preschool-aged children that provides an immersive vocabulary learning experience. This teacher-delivered program uses dialogic reading to introduce the children to vocabulary and concepts in six, three-week themes. The effectiveness of Orðaheimurinn was studied in the Icelandic context in a cluster randomised controlled trial. Methods: The aim of this thesis research was to measure the fidelity with which Orðaheimurinn was implemented within the five preschools allocated to this condition. This involved examining 104 recorded intervention sessions (21.5% of all sessions) delivered by 11 teachers to 62 children. Examining the fidelity with which an intervention was delivered is important to ensure that the intervention was implemented as intended and to accurately assess its effectiveness. Without good fidelity, it is difficult to determine whether the outcomes are due to the intervention itself or to variations in its delivery. Results: Four aspects of fidelity were considered: dose, adherence, quality and responsiveness. Dose considered how many of the required sessions children received and the children in this study received an average of 80.2% (SD=14.4%, Range=37.0-100.0%) of the intervention. Adherence described whether the teacher delivered the elements required by the intervention in each session. Teacher’s self-reported adherence was a mean of 91.3% (SD=15.3%, Range=28.6%-100.0%) and researcher observed adherence was 56.5% (SD=19.0%, Range=0.0-92.9%) for the same sessions. Quality described how well the teacher behaviours in sessions align with the intention or essence of the program, with mean quality being 3.9 out of a possible 5 (SD=0.8, Range=1.6-5.0), indicating considerable variation in the quality of teachers’ delivery of the intervention. Responsiveness related to children’s engagement and attention during each session. It also had an average rating of 3.9 of a possible 5 points (SD=0.8, Range=1.7-5.0), also indicating considerable variation in the responsiveness of the children. Discussion and conclusions: Overall, fidelity in the Orðaheimurinn CRCT showed mixed results. While overall dose was relatively high but variable, adherence was moderate and variable and revealed discrepancies between teacher self-reports and researcher observations from recordings of sessions. Quality of delivery and children’s responsiveness were moderately high, but both showed considerable variability across sessions. These findings will support accurate interpretation of the main outcomes of the Orðaheimurinn CRCT and help shape future iterations of the Orðaheimurinn intervention to be better adapted to the Icelandic context with higher levels of fidelity.