Ressurs: Mange spørsmål

Dette innlegget er del 16 av den pågående tipsserien om digitale tester. En oversikt over alle innlegg ser du i bildet til høyre. Dette innlegget handler om hvordan du kan lage mer varierte tester, forvalte mange spørsmål innenfor en test og på tvers av mange tester, og gjenbruke på avanserte måter. Etter å ha lest innlegget vil du trolig være enig i at det å legge flid i å lage gode spørsmål og jobbe strukturert, kan være en god og langsiktig investering.

Problemstilling 1: Hvorfor gruppere spørsmål?

Vil du unngå juks? Vil du skape variasjon eller rett og slett bare lage mer spennende og bedre tester? En test kan ha spørsmål fra mange ulike temaer eller av ulik vanskelighetsgrad. Vet du hva testen din inneholder? Hvordan vil du at testen skal fungere? Kanskje har du 20 spørsmål fra tema X, 5 fra tema Y og 12 fra tema Z? Ønsker du å sette opp et mer avansert tilfeldig uttrekk, slik at de som tar testen får 5 spørsmål fra tema X, 5 fra tema Y og 5 fra tema Z? Da vil Ole, Lise og Kari få noen like spørsmål, og noen forskjellige. Kombinert med tidspress kan du redusere muligheten for juks i en summativ test, eller rett og slett bare skape variasjon i en formativ test. For å gjøre dette i praksis trenger du funksjonalitet for å gruppere spørsmålene.

De fleste testverktøy støtter en eller annen form for gruppering. I it´s learning sitt testverktøy heter det "Kategorisering". Alle spørsmål innenfor en kategori er verdt så mange poeng du måtte ønske, og du kan angi hvor mange spørsmål som skal trekkes tilfeldig fra hver kategori. Dermed kan en med it´s learning løse problemstillingen over på en god måte. Det samme kan en gjøre i Moodle og i AITeL sitt egetuvtiklede testverktøy DigiTEST. Vet noen om en kan gjøre det samme i Fronter?

Visning av hvordan avansert kategorisering settes opp i testverktøyet i it´s learning.

Bildet over viser en test hvor kategoriseringen tilsier at alle deltakerne får 10 (av 10) grunnleggende teorispørsmål, mens hver deltaker får tilfeldig trukket 4 av totalt 7 programmeringsspørsmål samt 2 av totalt 8 skikkelig utfordrende case-baserte spørsmål. Merk at de kan få totalt 40 poeng i denne testen. Neste bilde viser hvordan hvert av de 25 spørsmålene i testen er tilordnet en kategori. Deltakerne får altså ikke 25 spørsmål selv om testen har 25 spørsmål. De får 16 spørsmål. I teorien kan to deltakere få samme spørsmål, men de kan også være forskjellige.

Testen har 25 spørsmål totalt. Hvert spørsmål er kategorisert. Dermed holder du som lærer oversikt og elevene/studentene får ta varierte tester.

Det er mange måter å kategorisere på. Din fantasi setter grenser. Tenk over hva du kan oppnå.

• I summative tester kan du bruke kategorisering til å unngå juks. Det er selvsagt viktig at spørsmålene innenfor en kategori er likeverdige, ellers oppleves det som urettferdig for Ole å få trukket andre spørsmål enn Lise.
• Kategorisering skaper variasjon og passer utmerket i formative tester (der formålet er å støtte opp under læring). Hvis Lise tar testen mange ganger på rad, får hun en ny opplevelse hver gang, siden nye spørsmål siden det er delvis tilfeldig uttrekk.
• Kategoriserte tester åpner for smart repetisjon utover i undervisningsforløpet og kan også motivere til læring og aktivisere elevene/studentene på nye måter.
• Kombiner kategorisering med karantenetid. La det være vanskelig å bestå testen (krev høy poengsum) og sett opp testen med mange forsøk, men med karantenetid mellom hvert forsøk (for eksempel 3 dager). Sett også opp en endelig frist hvor testen må være bestått. Da er du langt på vei mot et automatisert opplegg. Kandidatene må jobbe godt i karantenetiden, samtidig som de får en ny (men likeverdig) test for hvert forsøk. Genialt, rett og slett! Testverktøyet i Fronter har mulighet for karantenetid.
• Selv om tester kan gi umiddelbar og automatisert tilbakemelding, bør du sette testen inn i en sammenheng og vurdere tiltak som øker utbyttet, for eksempel tilbakemeldingsnotater, henvisninger til relevant litteratur og liknende. Dette gjelder for øvrig generelt for all testbruk.

Problemstilling 2: Hvordan gjenbruke hele tester?

Du kan etterhvert lage mange tester og disse er selvsagt verdifulle siden det tar tid å lage dem. Du kan bruke dedikerte testverktøy eller du kan bruke LMS-systemet sitt testverktøy. Du har trolig mange fag og mange elever/studenter i ulike semestre. Hvor plasserer du testene dine? Hvordan kan du gjenbruke dem i praksis? Det kan fort bli rotete hvis du sprer testene dine rundt omkring i ulike systemer eller i ulike virtuelle fagrom.

Effektivititeten og fleksibiliteten kan økes dersom du kan gjenbruke spørsmål og tester uten å måtte bruke tid på å lete. Det å gjenbruke en test er relativt enkelt, og består i de fleste systemer av å lage et duplikat av testen. Selv bruker jeg et LMS-system (tilfeldigvis er dette it´s learning). Jeg starter ethvert nytt semester med å kopiere forrige semesters elementer inn i det nye, tomme faget, og setter alle elementer inaktive. På null komma vips har jeg lærestoff, forum, notater, tester, undersøkelser og så videre klart og kan bare "slå på" elementene etterhvert som det passer seg. Dermed følger jeg en akkumuleringsstrategi hvor siste utgave av et fagrom alltid har de elementene som er verdt å ta med seg videre i "fagets liv". Tester kan slik gjenbrukes og står i sin riktige kontekst. Jeg kan supplere med nye tester der det måtte passe, og disse blir med i neste runde/semester når fagets elementer kopieres. Alle relevante spørsmål og tester ligger dermed i gjeldende fagrom. Studentene mine ser kun aktive elementer, men jeg som lærer ser også de inaktive. Kanskje jeg ikke bruker alt i hvert semester - det vurderer jeg fortløpende.

Et viktig tema er kvalitetssikring. Når du gjenbruker en test, så bør du være sikker på at den fungerte godt forrige gang. Se på resultatene (statistikken) og luk ut spørsmål som er tvetydige eller åpenbart dårlige. Se innlegg 15, 13 og 6 i denne serien for mer om statistikk.

Problemstilling 3: Hvordan gjenbruke på spørsmålsnivå? Spørsmålsbank...

Anta at du har et akutt behov for en test. Kanskje du oppdager det i en pause eller midt i en time. Er det teknisk mulig å lage en god test av høy kvalitet på 2 minutter, basert på vellykkede spørsmål fra tidligere? Kan du "shoppe" spørsmål herfra og derfra på 1-2-3? Svaret er et betinget "ja". Hvis du har riktig funksjonalitet tilgjengelig i systemet du bruker, og gode arbeidsmetoder, så kan du lage en god test på sparket. Er det nyttig? "Ja". Et definitivt "ja". Er det lov? Selvsagt. Ad hoc kan bli veldig bra og det er en viktig (digital) ferdighet å kunne improvisere og sette i gang aktiviteter der og da når behovet plutselig melder seg.

Den enkleste formen for gjenbruk er å kopiere en hel test (som diskutert over). La oss heller se på en test som en samling av spørsmål og rette fokuset mot hvert enkelt spørsmål. Fronter, Moodle og dedikerte testsystemer har en såkalt spørsmålsbank som læreren kan operere mot (det har ikke it´s learning (per våren 2010)). I systemer som bygger på spørsmålsbankfilosofien, ligger alle spørsmål i en sentral spørsmålsbank. Her står gjenbruk på spørsmålsnivå i fokus. Det geniale er at du kan gå inn i spørsmålsbanken og få en oversikt over alle spørsmål, uavhengig av hvilke tester og fag spørsmålet inngår i. Dette gir helt nye muligheter for å gjenbruke, forvalte og kvalitetssikre spørsmål. Her er noen fordeler med spørsmålsbank. Det er varierende i hvilken grad ulike testverktøy har implementert støtte for det som listes opp her:

• Lag en ny test ved å søke, forhåndsvise og plukke ut blant eksisterende spørsmål i banken.
• Gjenbruk spørsmål (og tester) på tvers av fag, kollegaer og kanskje også institusjoner (nasjonal bank eller delt ressursbank).
• Ett og samme spørsmål kan inngå i mange tester.
• Mulighet for å lage tidsbestemt statistikk over hvor populært (hyppig brukt) et spørsmål er, hvor stor andel som har svart riktig som samtidig har gjort det dårlig totalt sett over tid (mange semestre) og liknende.
• Effektive søk og filtreringsmekanismer der en kan se på alle spørsmål, alle spørsmål en selv har laget, alle spørsmål fra et bestemt fag, alle spørsmål som ingen har kvalitetssikret enda, spørsmål en kollega har laget, spørsmål som ikke er brukt i dette semesteret men som tilhører fagområdet, spørsmål som er tagget med "sikkerhet", og så videre. Hvis en i tillegg kombinerer, blir det virkelig interessant.
• Enkelt identifisere dårlige eller overflødige spørsmål basert på statistikk.
• ... (mye mer kan sies her)

Det er både tekniske utfordringer og utfordringer i brukergrensesnittet knyttet til å lage en god spørsmålsbankløsning. Noen systemer, som Moodle, baserer seg på en bank for hvert fagrom. Andre, som DigiTEST-systemet som er under utvikling ved AITeL, ser på muligheten for å dele spørsmål på tvers av fag og muligens institusjoner. Det å velge et verktøy med en god spørsmålsbankløsning kan være en suksessfaktor hvis antall tester og spørsmål blir stort. Ved summativ bruk (typisk eksamen) er det også nyttig å ha gode forvaltningsrutiner for spørsmålene.

Problemstilling 4: Hvordan bygge en spørsmålsbank i it´s learning?

Dette avsnittet er mest relevant for de som liker idéen fra problemstilling 3 (om å forvalte sine spørsmål ved hjelp av en spørsmålsbank), men som samtidig bruker it´s learning eller andre verktøy som ikke har en god spørsmålsbankløsning.

I it´s learning er det ingen eksplisitt spørsmålsbank og tilsynelatende vanskelig å operere på spørsmålsnivå. Med litt kreativitet kan en derimot simulere en spørsmålsbank (til en viss grad i hvertfall), og det er egentlig nokså enkelt å få til i praksis. Her ser du mitt forslag.

Opprett ditt eget fag (ikke prosjekt, for tester virker ikke i prosjekter) hvor du samler alle testene dine. Gjerne få andre kollegaer med i samme fag, og etabler felles rutiner og regler for bruk. For å skape struktur, er det bare å lage mapper som ønsket og tester med logiske navn. Dette er vist i neste figur. Du kan for eksempel gå gjennom alle dine eksisterende fagrom, og kopiere over de testene du mener har verdi til den nye spørsmålsbanken din.

Her er et konkret eksempel på bruk:

• Du har din egen spørsmålsbank (det vil si et fagrom) med 2500 spørsmål, samlet i ulike tester i logiske mapper, som igjen kanskje er gruppert i kategorier internt i testene. (Høhhh? Hvordan lage 2500 spørsmål i dine fag? Se blogginnlegget med forklaring til hvordan elever/studenter kan lage spørsmål).
• Du ønsker å lage en helt ny test på 1-2-3 i et av dine fag.
• Du går til ønsket fagrom i it´s learning, og lager en ny test. Velg innstillinger med omhu.
• Testen har nå 0 spørsmål.
• Velg å importere spørsmål, som eksemplifisert i figuren under. Du kan gjenta prosessen og hente spørsmål fra mange ulike tester. Dette kan også kalles "question shopping", altså å plukke litt her og litt der. Per dags dato følger ikke kategorisering med ved slik "shopping", men det kan du manuelt rekonstruere om du vil det.

I en ny test kan du hente spørsmål fra andre eksisterende tester. Altså kopiere spørsmål mellom tester. Dette åpner for å simulere en middelmådig spørsmålsbankløsning i it´s learning.

Vi ser her at banken fungerer som et arkiv, eller en kilde som du lett kan bruke for å lage nye tester i de faktiske fagene dine. Dette er altså ikke noen fullverdig bank. Statistikk genereres ikke, fordi det lages kun statistikk basert på testene du har opprettet i de ulike fagrommene og ikke i banken. Banken er altså "dum" og vil kun fungere som et arkiv hvor du kan samle alle spørsmål og tester i originalform. Elevene/studentene opererer ikke mot banken - den er hemmelig og kun for deg. Du får dermed flere versjoner av spørsmålene dine, og må klare å skille mellom hva som er originalen og hva som er kopien (eller den kjørbare testen om du vil). Er noe feil i et spørsmål? Dersom du oppdaterer/endrer et spørsmål i en test i et fagrom, så må du ta stilling til om du også skal oppdatere spørsmålet i spørsmålsbanken din. Spørsmål i en bank vil typisk kunne brukes til eksamen, og da er det viktig at de ikke kommer på avveie. Det er derfor lurt å etablere gode rutiner og retningslinjer for bruk av banken. Dette gjelder særlig hvis du deler banken med andre faglærere. Kanskje kan en til og med etablere et eget område i it´s learning Community for å kunne samarbeide på tvers av institusjoner/skoler?

Problemstilling 5: Hvordan gjenbruke spørsmål fra andre?

Ønsker du å dele tester du har laget med andre, eller bruke andres tester? Mange testverktøy følger en standard som heter IMS/QTI og som gjør det mulig å eksportere tester på tvers av testverktøy. Jeg har laget en filmsnutt som viser hvordan en test kan tas ut fra en site i it´s learning og inn i en annen site, slik at flere lærere kan samarbeide og dele på tvers av institusjoner. Filmen er for øvrig publisert på YouTube og tidligere på denne bloggen, og er også en del av lærestoffet i det fjernunderviste faget "LN392D Pedagogisk bruk av digitale tester". Den har med en del detaljer om hvordan QTI fungerer. Tips: Se den i HD-kvalitet (velg 720p fra nedtrekkslisten når filmen er startet).

Oppsummering

Dette ble et lengre innlegg enn først planlagt, men jeg håper du nå har fått noen nye tanker om spørsmålsbanker, gjenbruk, kategorisering og mer avansert bruk av tester generelt. Har du kommentarer, innspill, spørsmål eller idéer? Del gjerne!

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!