Slutevaluering af Engineering i Skolen

Gennem flere år har der været meget fokus på nødvendigheden af, at danske børn og unge tilegner sig kompetencer, viden og forståelse på det naturvidenskabelige område. Det skyldes blandt andet en stigende efterspørgsel på naturvidenskabeligt uddannet arbejdskraft, men også at det i et dannelsesperspektiv er væsentligt, at børn og unge kan følge og involvere sig i samfundsdebatten og bidrage til at løse væsentlige udfordringer i samfundet.

Seks danske kommuner har deltaget i Engineering i Skolen (EiS), hvor primært naturfagslærere har modtaget kompetenceudvikling i den problem- og undersøgelsesbaserede undervisningstilgang engineering. Med EiS ønsker Engineer the Future (EtF), som er projektejer, og VILLUM FONDEN, som finansierer projektet, at styrke naturfagsundervisningen i danske grundskoler med henblik på blandt andet at øge elevers interesse og motivation for naturfag.

VIVE har tidligere gennemført en midtvejsevaluering af projektet, og nu følger en slutevaluering. Slutevalueringens primære formål er at undersøge, om EiS har ført til positive resultater hos både lærere og elever. Sekundært bidrager evalueringen med viden om, hvordan implementeringen er gået, om der på nuværende tidspunkt kan ses tegn på forankring og korte beskrivelser af kommunernes videre planer for forankring.

Resultater

Lærere føler sig mere kompetente

Lærerne, der har modtaget kompetenceudvikling i engineering, føler sig mere kompetente efter kompetenceudviklingen. For eksempel føler de sig i højere grad tilstrækkeligt klædt på til at gennemføre både problem- og undersøgelsesbaseret undervisning. Desuden er lærernes øvrige praksis i højere grad præget af engineeringkendetegn efter kompetenceudviklingen. Lærerne stiller for eksempel i højere grad eleverne åbne spørgsmål og opgaver, som lærerne ikke selv kender svaret på.

Herudover viser evalueringen overordnet, at eleverne har positivt udbytte af engineering på følgende resultatmål:

• Interesse inden for science
  Elevens interesse for science og vurdering af fremtidige jobs inden for science
• Selvvurderede færdigheder inden for science
  Elevens oplevelse af egne faglige evner inden for naturfagene i skolen samt tillid til egen viden, evner og potentiale for at blive endnu bedre inden for dette fagområde
• Almen dannelse inden for science
  Elevens såkaldte science-dannelse – elevens holdning til og viden om nogle af grundprincipperne inden for naturvidenskabernes metoder.
• Holdninger til science
  Elevens vurdering af relevansen og vigtigheden af jobs inden for science
• Skolens rolle inden for science
  Elevens oplevelse af undervisningen og støtte fra lærere i forbindelse med naturfagene
• Engineeringkompetencer
  Elevens anvendelse af sine naturfaglige kompetencer til at løse udfordringer, deltage i designprocesser, samarbejde med andre samt at tage ansvar for sit arbejde.

Slutevalueringen konkluderer overordnet, at EiS har været en succes. Der er dele af projektet, som har skabt udfordringer, for eksempel ledersporet. Der blev oplevet mangel på progression i sporet, og de kommunale koordinatorer efterspørger et mere praksisnært fokus. Også delprocessen forbedre, som er én af syv delprocesser i et engineeringforløb, har udfordret. Det er svært for lærerne at få eleverne til i tilstrækkelig grad at dvæle ved forbedringsprocessen. Men de kommunale koordinatorer udtrykker overordnet tilfredshed med projektet og oplever, at implementeringen og den foreløbige forankring af engineering er gået godt.

Herudover har EiS opnået positive resultater hele vejen gennem den forventede forandringskæde fra kompetenceudvikling over ændringer hos lærerne til udbytte hos eleverne. Samlet set peger evalueringen således i retning af, at EtF og VILLUM FONDEN med EiS er lykkedes med at opnå de positive forandringer hos lærere og elever, som var målet med projektet.

Metode

Evalueringen baserer sig primært på spørgeskemadata suppleret af relevante registerdata samt interview med de kommunale koordinatorer i deltagerkommunerne. Surveydata er både brugt til deskriptive analyser og sammenhængs- og effektanalyser. Analyserne af resultater på lærerniveau er lavet via lærer-fixed-effect-analyser, mens analyserne af resultater på elevniveau er lavet via matching og difference-in-differences-modeller.

Evalueringens validitet afhænger af, at der er gode data til rådighed for analyserne. Udfordringer specifikt for denne evaluering er, at der ikke er en førmåling til matching-analysen, samt at en række kontrolvariable er målt på skole- og skoleklassetrinsniveau frem for på elevniveau på grund af manglende cpr-numre i EiS-data.

Generelt gælder for analysedesignet, at der ikke er tale om rendyrkede effektanalyser, fordi der ikke er tale om et lodtrækningsforsøg. Der er dog tale om avancerede statistiske analyser, som underbygges af robusthedsanalyser og monitoreringen af implementeringsindsatsen. Ikke desto mindre er effektanalyser af denne slags altid forbundet med væsentlig usikkerhed. Flere effektstudier vil være nødvendige for med større sikkerhed at afgøre, om engineering har effekt på eleverne.