Connecting Business & Technology Bilag 13 - Kontrol og Kvalitetsmåling 28. juni 2005 Undervisningsministeriets udbud - Fremme af eva- lueringskulturen i folkeskolen

© Devoteam Fischer & Lorenz A/S 2005 Dette dokument er udarbejdet for Undervisningsministeriet af Devoteam Fischer & Lorenz A/S. Undervisningsministeriet har ret til at kopiere og distribuere dette dokument. Enhver anden kopiering og distribution må kun finde sted efter aftale parterne imellem. Enhver kopi skal være forsynet med rapportens titel, dato og denne notits.

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 1 / 1 2 Indholdsfortegnelse 1. Bilaget indhold   .............................................................. 2 2. Kontrol og kvalitetsmåling ................................ ..........3 3. Succeskriterier for den Generelle, skriftlige vejledning til folkeskolen..5 4. Succeskriterier for de Fagspecifikke inspirationsmaterialer...................6 5. Succeskriterier for Sprogscreeningsmaterialer.........................................7 6. Succeskriterier for de it-baserede test........................................................ 8 7. Succeskriterier for Kampagnen    ................................ 10 8. Evalueringsportalen    ................................................... 11 9. Liste over kravopfyldelse   ................................ ...........12

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 2 / 1 2 1. Bilaget indhold Dette bilag udfyldelse som en del af tilbudet. Dette bilag indeholder Undervisningsministeriets succeskriterier for ydelserne un- der denne kontrakt. Et info - punkt er en vejledning om, hvordan Tjenesteyder skal udforme sit tilbud, infopunkter er angivet på følgende måde: Info. 0. Dette er et eksempel på et infopunkt Dette er et eksempel på en nærmere beskrivelse mht. udformning af tilbud.

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 3 / 1 2 2. Kontrol og kvalitetsmåling Formålet med måling af kvaliteten er at konstatere, om kvaliteten af de leverede ydelser er i overensstemmelse med, hvad der er aftalt, og hvad Undervisningsmi- nisteriet kan forvente. Formålet med denne beskrivelse er at si kre enighed om, hvordan den ønskede kvalitet måles. Undervisningsministeriet har opstillet en række succeskriterier for hver a  f ydel- serne under kontrakten, der skal fungere som et udtryk for en ønsket kvalitet. For så vidt angår ydelserne Generel vejledning om løbende intern evaluering i folkeskolen, Fagspecifikke inspirationsmaterialer, Materialer til brug ved sprog- screening og Kampagnen gælder desuden, at succeskriterierne anvendes til en d  i- rekte måling på, om kontrakten er opfyldt. I modsat fald er der tale om en mange  l- situation som beskrevet under kontraktens punkt 20.1. Måling af kvaliteten kan foretages som led i funktion s- og driftsprøve eller på a  n- dre tidspunkter efter Tjenesteyders valg. Undervisningsministeriet kan ligeledes vælge at lave en kontrol i hele kontraktens løbetid, såfremt Undervisningsminist e- riet måtte finde dette for påkrævet. I det følgende beskrives U ndervisningsministeriets forslag til succeskriterier for hver enkelt ydelse. Krav 1. Måling af succeskriteriernes opfyldelse Tjenesteyder skal gennemføre målinger på, hvorvidt succeskriterierne for de e   n- kelte ydelser er opfyldt. Tjenesteyder skal som minimum gennemføre en årlig evaluerings- og rapporteringsprøve. Info. 1. Tjenesteyders holdning til Succeskriterier Det forventes, at Tjenesteyder forholder sig til succeskriterierne og angiver hvor- vidt Tjenesteyder mener, at de udgør et godt og tilstrækkeligt grundlag til v   urde- ring af kvaliteten. Det forventes ydermere, at Tjenesteyder angiver hvordan et succeskriterium kan afprøves, om det sker med brugbarhedstest eller andre mål  e- metoder. Info. 2. Beskrivelse af målemetoder Tjenesteyder skal beskrive de målemetoder, der påtænkes an vendt for en måling af, hvorvidt succeskriterierne er opfyldt, herunder: Hvordan de udføres (fysiske omstændigheder, hjælpemidler m.m.)

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 4 / 1 2 Hvor de finder sted (hvem stiller faciliteter til rådighed) Hvilke succeskriterier der testes Hvordan succeskriterierne forventes testet (formuleringer m.m.) Hvordan målemetoden tilgodeser målgruppen for succeskriteriet (fx elever, lær  ere ol.) Hvornår de vil blive gennemført I fald målemetoden er afhængig af persondeltagelse, skal Tjenesteyder beskr   i- ve, hvilke deltagere der forventes at deltage i en test, herunder hvilke typer af deltagere (testpersoner, observatører, paneldeltagere el.lign.), hvilke kriterier testpersonerne skal leve op til, hvor mange deltagere inden for hver enkelt ka- tegori. Info. 3. Acceptkriterier Tjenesteyder skal beskrive, hvorledes vurdering kan foretages, herunder med hvil- ke acceptkriterier: Hvordan vurderes det enkelte succeskriterium Med hvilke acceptkriterier Hvilket acceptniveau (hvad er godt nok) Tjenesteyder skal for hvert succeskriterium beskrive, hvilket eller hvilke accept- kriterier der anvendes. Fx en opdeling i fem udfaldskategorier, som udtrykker kvaliteten - acceptkriteriet er mindst 85% skal falde i de to bedste kategorier. Info. 4. Opfølgning på måling af succeskriterier Tjenesteyder skal redegøre fo r, hvorledes opfølgning på en måling af succeskrit   e- rier vil foregå, samt hvorledes tilbagemelding og dialog med Undervisningsmin i- steriets si kres.

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 5 / 1 2 3. Succeskriterier for den Generelle, skriftlige vej- ledning til folkeskolen Undervisningsministeriet foreslår f ølgende succeskriterier  – l- kommen til at foreslå alternativer. 1.    Vejledningen opfattes som målrettet til de forskellige brugeres  – - behov og forudsætninger. 2.    Lærerne oplever, at vejledningen giver konkrete og dækkende anvisn inger på, hvordan folkeskolelovens § 18 kan anvendes på baggrund af en forudgående evaluering, og hvordan § 13 kan anvendes på baggrund af en forudgående evaluering, der har betjent sig af en eller flere af evalueringsmåder. 3.    Lærerne oplever, at vejledning  en giver et godt og dækkende overblik over fo  r- skellige evalueringsværktøjer, deres fordele og ulemper samt mulighederne for opfølgning på evalueringen. Info. 5. Måling af den Generelle vejlednings succeskriterier Tjenesteyder skal beskrive, hvordan Tjenesteyder vil følge op på, om den genere  l- le, skriftlige vejledning til folkeskolen lever op til de ovenfor nævnte succeskrit  e- rier.

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 6 / 1 2 4. Succeskriterier for de Fagspecifikke inspirati- onsmaterialer Undervisningsministeriet foreslår følgende succeskriterier   – r er vel- kommen til at foreslå alternativer. 1.    Alle målgrupper  –  især lærerne – n- hæng mellem de fagspecifikke inspirationsmaterialer og den generelle vejle  d- ning. 2.    Evalueringsredskabernes anvendelse på forskellige fag  be tragtes af alle må l- grupper, men særligt at lærerne, som valide, troværdige og fagligt velfunder e- de. 3.    Lærerne oplever, at materialerne giver praksisnære ekse mpler og dermed et reelt grundlag for lærernes valg mellem forskellige evalu  eringsredskaber og – former. 4.    Lærerne oplever, at eksemplerne i materialet giver inspiration til håndtering af de almindelige problemstillinger med evaluering, som lærerne står overfor i hverdagen i folkeskolen. Info. 6. Måling af de Fagspecifikke inspirationsmat erialers succeskriterier Tjenesteyder skal beskrive, hvordan Tjenesteyder vil følge op på, om de Fagspec  i- fikke inspirationsmaterialer lever op til de ovenfor nævnte succeskrit  erier.

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 7 / 1 2 5. Succeskriterier for Sprogscreeningsmaterialer Undervisningsministeriet foreslår følgende succesk  riterier – l- kommen til at foreslå alternativer. 1.    Brugerne oplever, at brugervejledningerne indeholder klare anvisninger på, hvordan de skal håndtere screeningerne i forhold til de krav, der er i den gæ   l- dende lovgivning. 2.    Brugerne oplever, at tegninger, billeder, tekster og de dertil udarbejdede an- visninger til, hvordan disse indgår i screeningen, giver et godt og brugbart m a- teriale i selve screeningssituationen. 3.    Den rapportering, der er resultatet af  screeningen, giver brugerne de oplys- ninger, som sætter dem i stand til at handle på en ad   æ  kvat måde. Info. 7. Måling af Sprogscreeningsmateriale rnes succeskriterier Tjenesteyder skal beskrive, hvordan Tjenesteyder vil følge op på, om Sprogscre  e- ningsmaterialerne lever op til de ovenfor nævnte succes  kriterier.

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 8 / 1 2 6. Succeskriterier for de it-baserede test Undervisningsministeriet foreslår følgende succeskriterier   – l- kommen til at foreslå alternativer. 1.    Modtagergruppen for rapportering om elevernes resultater oplever de it- baserede test som troværdige, præcise og fagligt velfunderede, dvs. at: a.    tilbagemeldingen på den enkelte elevs præstation vurderes af lærerne at svare til elevens standpunkt, hvad angår kundskaber og færdigheder på klassetrinet. b.   rapporteringen som skolen formidler til hjemmet opleves af forældre og elever at svare til elevens standpunkt, hvad angår kundskaber og færdi   g- heder på klassetrinet. c.    rapporteringen om elevers resultater vurderes af lærere, ledere og komm  u- ner at give hurtige og præcise oplysninger, som bidrager til a  t handle på en adækvat måde. 2.    Lærerne oplever de it  -baserede test som et godt pædagogisk værktøj, der b i- drager: a.   til evalueringen af den enkelte elevs faglige kunnen, b.  med nye vinkler til evalueringen af den enkelte elevs faglige kunnen og c.   til løsningen af a rbejdsopgaver og processer. 3.    Kommuner, skoleledere, lærere og forældre opfatter de it -baserede test og rapporteringen om gennemførelse af testene som redskaber, der på en enkel måde giver oplysninger, som man ellers kun vanskeligt får a  dgang til. 4.    Skolen oplever, at de it-baserede test: a.    er umiddelbart tilgængelige, b.   er lette at anvende, c.    ikke er administrationskrævende   - hverken for skoleledere, lærere eller andre af skolens ansatte, der er involveret i afviklingen af test. 5.    Skolen oplever, at testene kan anvendes når der er behov for dem, så det pa  s- ser ind i skolens planlægning 6.    Eleverne oplever de  it-baserede test som individuelt tilpassede og målrettet mod deres eget faglige niveau. 7.    Eleverne oplever, at de bliver præsenteret for en brugerflade der er:

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 9 / 1 2 a.     let tilgængelig, b.   overskuelig,   c.    inspirerende, d.   engagerende e.    og nem at anvende. 8.    Eleverne oplever ikke, at der er ventetid, når de gennemfører en it  -baseret test. 9.    Skolerne oplever, at driften er stabil og at afviklingen af de it-baserede test er tilpasset skolernes forskelligheder mht. varierende kapacitet, forskelligartet udstyr og browser-anvendelse 10. Lærere og ledere oplever, at introduktionsmaterialet til de it  -baserede test gi- ver en forståelig og let tilgængelig orientering om: a. hvad der testes, b. hvordan det testes og c. hvordan testene tænkes anvendt i undervisningen. 11. Elever, lærere og forældre oplever, at demonstrationsudgaverne af de it - baserede test giver en indsigt i og forståelse for a. hvad der testes, b. hvordan det testes og c. hvordan testene fungerer. Info. 8. Måling af de it -baserede test succeskriterier Tjenesteyder skal beskrive, hvordan Tjenesteyder vil følge op på, om de it  - baserede test lever op til de ovenfor nævnte succeskrit  erier.

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 1 0 / 1 2 7. Succeskriterier for Kampagnen Undervisningsministeriet foreslår følgen  de succeskriterier – l- kommen til at foreslå alternativer. 1.    Alle målgrupper oplever, at kampagnen sætter fokus på at udvikle evalu ering i folkeskolen. 2.    Undervisningsministeriet oplever, at kampagnen proaktivt tager stilling til de kritikpunkter, der er og bliver rejst af folkeskolens parter og interessenter fsva. såvel evaluering som brug af forskellige evalueringsredskaber  – de it - baserede test. 3.    Skolerne oplever, at kampagnen formidler evalueringskulturens fremme over- for lære  re og ledere og andre professionelle, såvel ’på langs’, dvs. lærere, sk o- leledere, kommunale rådgivere (fx PPR, div. konsulenter og skoleforvaltni n- ger), som ’på tværs’ dvs. i alle fagene, på alle klassetrin, men også i forhold til andre skoleformer, der udbyder grundskoleundervisning. 4.    Alle målgrupper oplever, at kampagnen hurtigt og effektivt: a.   bidrager til at øge viden om, hvad evalueringen går ud, b.  bidrager med faktuelle oplysninger i debatten, c.   bidrager til at gøre svært stof tilgængeligt, d.  medvirker til at synliggøre de gode hist orier. Info. 9. Måling af Kampagnens succeskriterier Tjenesteyder skal beskrive, hvordan Tjenesteyder vil følge op på, om Kampagnen lever op til de ovenfor nævnte succeskriterier.

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 1 1 / 1 2 8. Evalueringsportalen Undervisningsministeriet foreslår føl  gende succeskriterier – l- kommen til at foreslå alternativer. 1.    Evalueringsportalen opleves som let at anvende af målgrupperne  - Evalue- ringsportalen er opbygget, så brugerne hurtigt og ubesværet kan finde den i   n- formation, de søger. 2.    Brugerne opfatter og stoler på Evalueringsportalen som informationskilde og værktøj.Evalueringsportalens indhold, navigation, funktioner og services  o   p- fattes som opdaterede, aktuelle og troværdigt af brugerne   - 3.    Brugerne oplever, at Evalueringsportalen skaber sammenhæng i de mange in  i- tiativer. 4. Info. 10. Måling af Evalueringsportalens succeskriterier Tjenesteyder skal beskrive, hvordan Tjenesteyder vil følge op på, om Evalu  e- ringsportalen lever op til de ovenfor nævnte succeskrit  erier.

B i l a g   1 3   -   K o n t r o l   o g   K v a l i t e t s m å l i n g $ A S Q 2 3 7 2 1 1 . D O C 1 2 / 1 2 9. Liste over kravopfyldelse Der henvises til bilag 3 for en konkret vejledning i, hvordan listen skal udfyldes. Krav 1 3 Måling af succeskriteriernes opfyldelse Info. 1 3 Tjenesteyders holdning til Succeskriterier Info. 2 3 Beskrivelse af målemetoder Info. 3 4 Acceptkriterier Info. 4 4 Opfølgning på måling af succeskriterier Info. 5 5 Måling af den Generelle vejlednings succeskriterier Info. 6 6 Måling af de Fagspecifikke inspirationsmaterialers succeskriterier Info. 7 7 Måling af Sprogscreeningsmaterialernes succeskriterier Info. 8 9 Måling af de it-baserede test succeskriterier Info. 9 10 Måling af Kampagnens succeskriterier Info. 10 11 Måling af Evalueringsportalens succeskriterier