Kreative varianter

Her kommer omsider del 20 - siste innlegg - i tipsserien om digitale tester. 

En digital test er en samling av spørsmål som kan tas digitalt og rettes automatisk. Gjennom denne tipsserien har vi sett hvordan digitale tester kan både brukes som et viktig ledd i læringsprosessen (formativt bruk) og inngå i vurderingsgrunnlaget (summativt bruk). Vi har også sett på noen tekniske aspekter ved slike tester. I dette siste innlegget skal vi tenke ut noen kreative varianter. Disse har kommet som ideer gjennom samtaler med folk opp gjennom årene og egne tanker.

Grei ut om gale svar: Lag en test, og la elevene/studentene ta testen. Sett opp testen slik at de ikke får se hva korrekt svar er, men bare hvilke spørsmål de har fått feil på. De skal deretter skrive en forklaring på hva som er riktig og hvorfor de svarte galt. Tanken bak denne øvelsen er at de skal jobbe aktivt med det de ikke fikk til i den digitale testen, og reflektere over hvorfor de svarte feil. Altså vil testen fungere som et redskap for å sile ut hva de trenger å fokusere på og jobbe mer med. Målet er ikke testen, målet er læring. Testen er til for å bevisstgjøre eleven/studenten.

Forberede lab-undervisning: I dag finner vi avansert, moderne og kostbart utstyr på mange laboratorie-rom (lab-er). Dette gjelder alt fra IT-fag til mat-teknologi, fysikk, kjemi, helsefag og liknende. I stedet for å kastes rett ut på en lab, kan en forberede seg og ”kvalifiseres” for bruk av lab ved å bestå en test. Hvorfor er det lurt? Fordi utstyret er dyrt og slike rom er en begrenset ressurs. Ved å møte forberedt vil utbyttet økes. 

Oppsummere lab-undervisning: Oppsummering av lab-forsøk i form av en digital test, kan være nyttig. Læreren kan lage en slik test, eller noen av elevene/studentene kan utfordres til å lage testen. Kanskje på rundgang (gruppe 1 lager test i uke 29, gruppe 2 i uke 31 og så videre).

Oppsummere lab-undervisning med video: Siden lab-undervisningen ofte er praktisk rettet, kan en lærer være kreativ og konkret. Hva med å gå rundt og filme det elevene/studentene gjør med et lite videokamera (gjerne mobiltelefonen din) og så la de små snuttene du tar opp brukes som stimuli i spørsmål i en digital test? Du kan jo inkludere video i spørsmålene dine. Tenk deg at det er lab hvor Lise, Ole og Per jobber med noe praktisk. Du filmer det de gjør, og lager i ettertid et spørsmål som sier: "Se på denne videoen hvor noen elever/studenter prøver å gjøre dette. Du ser at det ikke går helt bra, og det skyldes dårlig forarbeid. Hva er det de har glemt å gjøre før de startet? [alternativ a, b, c og d]". Dette spørsmålet viser flere ting: 

• Det er motiverende og veldig konkret å få en test med spørsmål basert på eget arbeid.
• Det er lett å lage spørsmål som tester på forståelse (dette eksempelet krever jo at en setter seg inn i problemet, forstår hva som går galt og svarer).
• Gjenbruksfaktoren er til stede, men det kan være lurt å ikke ta opp ansikter for å lage videoene mer generelle. 

Gruppevis oppgaveløsing: Det er lærerikt å jobbe sammen med andre. Hvorfor ikke løse tester gruppevis? Det er ikke bare morsomt, men også noe å bryne seg på når en må diskutere og bli enige om hvilket svar som er riktig. En kan også arrangere konkurranse for å se hvilken gruppe som gjør det best. Dette kan bidra til å gjøre studentene ekstra engasjerte. Tenk bare hvordan en quiz i et bryllup eller juleselskap kan engasjere...

Spørsmål først, så testen: Tidligere kollega Truls Fretland prøvde ut følgende i matematikk-fag ved AITeL: Først deles en rekke spørsmål ut (for eksempel per e-post). Studentene får jobbe med disse spørsmålene i en uke, og deretter skal de ta en digital test som har 4 alternativer til hvert spørsmål. Det er veldig mange spørsmål som skal besvares på kort tid, av den art der det tar lang tid å regne ut oppgaven for å finne ut hvilket alternativ som stemmer. Det er dermed bare de som har jobbet med spørsmålene og regnet ut det meste på forhånd, som klarer å bli ferdige i tide. Hensikten er altså ikke å sile ut de som er flinkest, men å sørge for at alle jobber godt gjennom uken med å løse regnestykker. De som gjennom ukens arbeid har regnet feil på en oppgave, vil se at sitt svar ikke fins blant alternativene, og dermed ønske å prøve på nytt igjen under testen (hvis tid, vel og merke :-).

Og snipp snapp snute, med det var tipsserie nr 1 ferdig. Den har altså handlet om digitale tester. Puh! Da er det bare å fortsette på tipsserie 2, om Web 2.0. Følg gjerne med videre på ferden. Ambisjonen er å fullføre tipsserie 2 relativt raskt, og også starte en tipsserie 3... Takk for følget, håper dette var nyttig og lykke til med pedagogisk bruk av digitale tester!

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Grupper...

Her kommer del 19 av den pågående tipsserien om digitale tester, om gruppearbeid.
Samarbeid er bra. Går det an å tenke samarbeid i forbindelse med digitale tester? Tenk over det. Her er noen idéer:

• La elevene/studentene samarbeide om å ta tester, der de skal diskutere seg fram til riktig svar og argumenere for hva som er riktig og kanskje like viktig; begrunne hvorfor en velger bort gale argumenter.
• Gruppevis konkurranse der det er om å gjøre å få høyest poengsum. Nesten som i bryllup og selskaper der ulike "bord" konkurrerer mot hverandre...
• La elevene/studentene samarbeide om å lage tester.

Ofte vil et vanlig gruppearbeid bety at en fordyper seg i et tema. Det kan være samme tema for alle gruppene eller ulike temaer. Uansett så vil gruppen lære mye underveis, og produsere et resultat, kanskje i form av en skriftlig rapport. En utfordring er å få gruppene til å sette seg inn i hverandres arbeider. Her følger en mer sammensatt variant som jeg først hørte av kollega Geir Maribu:

• Steg 1 er at alle gjør gruppearbeidet og produserer det som skal produseres (kanskje en rapport).
• Steg 2 er å sette seg inn i det som en annen gruppe har gjort. La oss si at for eksempel gruppe B setter seg inn i det som gruppe A har gjort, C inn i det B har gjort og så videre.
• Steg 3 er at hver gruppe skal lage en test om det arbeidet de setter seg inn i. Altså vil B lage en test på A sitt arbeid, C på B sitt og så videre.
• Steg 4 er at hver gruppe skal ta testen som omhandler sitt eget arbeid. Altså skal A ta testen som B har laget om A-arbeidet. A testes dermed i sitt eget "lærestoff"!

Spennende, ikke sant? Hva betyr et slikt opplegg for læring? For engasjement? For motivasjon og arbeid underveis? For repetisjon? Interesse for andres arbeid?
Her kan en også tenke seg mange varianter. En kan for eksempel samle sammen alle testene og vente noen uker før alle tar alle testene (som repetisjon). Eller en kan la testene være utgangspunkt for en diskusjon der en i uke 1 ser på arbeidet som gruppe A har gjort, og diskuterer (lærer) rundt det. Som prebetingelse må alle ha bestått testen som B har laget. Hvorfor? Fordi da blir diskusjonen (og engasjementet) bedre. Testen bidrar til å hjelpe alle opp på et nivå som gjør det mulig å komme med gode innspill.
Det er spennende å tenke gruppearbeid og samarbeid i forbindelse med tester. Samarbeid kan være alt fra å fordele spørsmål mellom hverandre, til å bli enige om noe en i fellesskap kan stå inne for, eller som vi har sett, at testaktiviteten inngår som motivator og del av et større gruppebasert opplegg.
Har du noen erfaringer med gruppearbeid der tester inngår?

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Metatester

Her kommer del 18 av den pågående tipsserien om digitale tester.

En metatest er vel strengt tatt en test om en test, men hvis vi trekker begrepet litt videre, kan vi si at en metatest er en test om noe som i utgangspunktet ikke er assosiert med læring/utdanning. For eksempel bruk av it´s learning. Jeg har laget tre slike "metatester" som du kan prøve ut selv om du vil:

1. Metatest om spørsmålstyper i testverktøyet til it´s learning
2. Metatest om it´s learning (uten tilbakemelding)
3. Metatest om it´s learning (med tilbakemelding)

Jeg har laget disse tre metatestene i it´s learning i et eget fagrom. Hvordan dele disse testene slik at du kan se på dem og prøve dem? Det er ikke mulig å eksportere en hel test (per dags dato) men det er mulig å eksportere ut spørsmål fra en test, nærmere bestemt som en zip-fil i henhold til standarden IMS/QTI. Vil du prøve, så må du ha it´s learning og du kan lese mer her: Svend Andreas sine metatester om it´s learning

Kan vi bli inspirert av metatester? Det er av og til ønskelig å spre informasjon og faktisk "nå fram" med budskapet. Tester kan lages med det mål for øye å motivere til lesing, det har vi sett på tidligere i denne tipsserien. La oss ta utgangspunkt i noe så kjedelig som "informasjon om brannvern" som er obligatorisk å lese for ansatte i en virksomhet. Gjør de det? Får de med seg poengene? Hva om en legger ut informasjonen på nett (eller lager som brosjyre) og så lager en digital test med spørsmål som bare kan bestås om en jobber med informasjonskilden? Da blir det ikke bare utfordrende, men også en aktivitet i stedet for passiv informasjon.

Hva med å lage en test om et spesielt dataverktøy, for eksempel "wiki" eller "bruk av it´s learning" eller bruk av "økonomisystemet"? Hensikten er ikke å sile ut de flinke brukerne, men å sikre seg at alle kommer opp på et ønsket nivå før verktøyene tas i bruk. Tester kan brukes til å øke bevisstheten på digital kompetanse. De gir umiddelbar tilbakemelding til deltakeren, er veldig konkrete og kan stimulere til nysgjerrighet om å utforske nyttige sider ved for eksempel et dataverktøy.

Har du brukt tester på denne måten? Erfaringer?

Vil du lære mer om digitale tester, så har høstens fag "LN392D Pedagogisk bruk av digitale tester" akkurat startet opp (fortsatt mulig å bli med).
Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Her er alle innleggene til nå. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

it´s a test

Her kommer del 17 av den pågående tipsserien om digitale tester. Denne gang må du i kreativmodus og gjerne bidra til å tenke høyt :-)

Utgangspunkt: "it´s a quest"

Rune Vindenes, tidligere ansatt i firmaet "it´s learning", kom med et knalltips på et seminar i Bergen om pedagogisk bruk av digitale tester for et par år siden. Han tenkte seg et opplegg med en rekke tester, der de som klarte en test, fikk en ledetråd som skulle tas med videre. Målet slik han så det for seg, var å samle sammen et større nøkkelord, og levere inn dette i en endelig test (med bare ett spørsmål). Hver test ville altså gi dem en del av ”rebusen”. En utfordring med å lage et slikt opplegg, er at læreren i så fall manuelt må dele ut nøkkelordet etterhvert som studentene består testene siden det dessverre ikke er mulig i dagens testverktøy å gi en betinget tilbakemelding basert på oppnådd poengsum.

Idéen til Rune Vindenes om å knytte sammen flere tester, inspirerte meg til å spinne videre. Jeg skrev et blogginnlegg som jeg kalte "it´s a quest" . Tanken bak "it´s a quest" er at læreren lager undersøkelser, forum, tester, notater, pekere og så videre, og knytter disse finurlig sammen som en rebus som skal løses gradvis. Hver deltaker skal prøve å komme seg gjennom rebusen, og sende inn løsningsordet til læreren. For eksempel vil stien være slik:

• Et notat som viser til en lenke/webside som må leses og forstås for å finne ut første ord av rebusen. Websiden er selvsagt faglig relevant, for eksempel historie, samfunnsfag, matematikkhistorie, anvendelse av noe e.l.
• Deretter tar eleven/studenten en test hvor svaret på et av spørsmålene også gir en ledetråd til hvor en skal gå videre.
• En blir ledet til mer lærestoff og nye ledetråder.
• Deretter bærer det til et forum hvor en skal skrive et innlegg, og kanskje er ledetråden gjemt direkte i et eksisterende innlegg, eller kanskje heller: indirekte. For eksempel at en skal finne et ord på 7 bokstaver som oppsummerer og beskriver det diskusjonen egentlig handler om. Da må en lese og forstå diskusjonen, og så klare å abstrahere innholdet og finne et egnet ord. Dette krever refleksjon, prosessering etc. Diskusjonen kan være "gammel", for eksempel fra et tidligere semester.
• Deretter skal en lese et notat som blant annet har inkludert en video om noe fra YouTube.

Fantasien setter grenser. Hele tiden samles nye biter og ledetråder av rebusen opp. Ledetrådene og ord som inngår i rebusen finnes bare ved å gjøre det som skal gjøres og følge alle instruksjoner. Hensikten er selvsagt ikke å løse rebusen, men å aktivisere elevene/studentene slik at de lærer mye underveis. Alt som skal gjennomgås er faglig relevant. it´s a quest blir altså bare en metode for læring.

Dette er altså bakteppet og inspirasjonskilde for dette innlegget.

Tanker om et opplegg med tester: it´s a test

Det som fasinerer meg med "it´s a quest", er at elevene/studentene er på jakt etter noe, og aktiviseres underveis. De lærer mye, og det er motiverende og morsomt å jobbe seg videre. Kan digitale tester brukes på en liknende måte for å fremme læring og drive aktivitet? La oss prøve å konstruere en eller flere tester med hensikt å motivere for å lære noe eller øve en ferdighet. Altså slik at testen blir et redskap som driver læringen fremover.

Jeg vet ikke hva som er det beste navnet på noe slikt, men siden det er motivert i "it´s a quest" så kaller jeg det "it´s a test". Jeg prøver meg på to eksempler (ett i programmering og ett i kjemi/realfag) for å forklare konseptet, og så utfordres du i kommentarfeltet til å eksemplifisere for ditt fagfelt.

Eksempel 1: Programmeringsfag

Selv om du ikke kan eller har interesse for programmering, er det viktig å skumme gjennom dette eksempelet og få med hovedpoenget i "it´s a test". Et viktig mål i programmeringsfag er å øve praktiske ferdigheter og lære seg å slå opp i ressurser på Internett som kan hjelpe til i problemløsning. I stedet for å bare instruere elevene/studentene om å utforske ressursen, eller lage lærestoff som forklarer bruken, så kan jeg bruke "it´s a test"-metodikken. Kollega Geir Maribu inspirerte meg til å tenke anderledes, siden han har gjort noe liknende i sine fag.

• Studentene skal lære å programmere. Ingen kan lære alle hemmeligheter og kriker og kroker i et programmeringsspråk. De trenger hjelp fra språkets dokumentasjon, og må lære seg å slå opp i den. I vår tilfelle er dette den såkalte "PHP-manualen" med adresse http://www.php.net/manual/en/.
• Jeg lager en test som fordrer aktiv bruk av PHP-manualen.
• Jeg vet hva som er viktig å kjenne til i praksis, nemlig strukturen og organiseringen av manualen. Det å kunne tolke informasjonen de finner og sette den inn i en sammenheng, står sentralt. Jeg lager derfor spørsmål som krever at de må slå opp i PHP-manualen for å finne svaret.

La meg konkretisere. Et spørsmål kan kanskje være

Hvor mange argumenter krever funksjonen strstr() i programmeringsspråket PHP?

Dette er noe ingen programmerere går rundt og husker. Svaret står i klartekst i PHP-manualen, og ved å slå opp i denne ressursen, finner de svaret. Studentene mine må altså lære seg å bruke PHP-manualen og forstå informasjonen som står der. Et annet spørsmål kan være:

Hva brukes funksjonen mktime() til?

Ingen programmerere går rundt og husker dette, men i PHP-manualen står det en beskrivelse som forklarer både hva funksjonen mktime() gjør, samt relaterte funksjoner og eksempler på bruk.

En student slår opp i PHP-manualen på Internett på jakt etter hva hensikten med funksjonen mktime() er.

Eksempel 2: Kjemi og liknende fag

Kjemi er et fagfelt som krever kunnskaper og øvelse/eksperimentering. Det egner seg derfor perfekt for "it´s a test". Vi kan tenke oss at en lærer lager en test med noen spørsmål. For å kunne svare må elevene/studentene gjøre en rekke ting. Spørsmålene kan kreve at de gjennomfører konkrete eksperimenter, forbereder kjemiske forsøk og liknende. Noe som er sentralt (så vidt jeg husker) er å forstå og klare å bruke den periodiske tabellen, samt å sette sammen molekyler. Dette må egne seg kjempegodt for "it´s a quest". Det er spørsmålene og jakten på svaret som driver dem framover, men hensikten er at de skal lære og øve seg i noe helt annet.

Når de har løst problemene, så kan de svare. Poenget er at da har de lært mye underveis. Letingen kan ta laaaang tid. Det å ta testen kan være fort gjort.

Oppsummering: Hvorfor "it´s a test"?

Du forstår sikkert poenget nå. Poenget med et slikt opplegg er at elevene/studentene kan svare bare ved å slå opp eller gjøre noe. Gjennom det så lærer de å bli kjent med noe og anvende noe i praksis. Læreren kan lage en video som demonstrerer eller forklare (undervisning), men det blir mer passivt og trolig ikke så lærerikt. Med "it´s a test" blir den lærende aktivisert. De må selv utforske for å finne svaret. I stedet for at læreren detaljert forklarer hvordan ting fungerer, så må de lete og tenke selv, og svare på spørsmål. Det er spørsmålene (i testen) som driver elevene/studentene fremover.

Hvorfor bruke tester på denne måten? Fordi det bidrar til å automatisere alle sider av læringen. Testen retter seg selv og driver kjerneaktiviteten fremover. Elevene/studentene motiveres av målet, nemlig å bestå testen (eller evt. finne svar). De lærer det de skal underveis, og det skjer i tillegg på en god måte.

Kanskje kan læreren også flette inn andre aktiviteter, for eksempel krav om refleksjonsinnlegg underveis, bidrag i forum e.l. mens en tar testen og gjennomfører de aktivitetene som kreves for å klare testen? Kan en kanskje tenke seg å kjøre et slikt opplegg gruppevis, kanskje som en gruppevis konkurranse? Da får de et ekstra insentiv for å løse problemene fort og effektivt, og må lære sammen og samarbeide på nye måter. Tankene går til orienteringsløp og gruppekonkurranser på ute-dager i barneskolen, der vi gruppevis gikk sammen og skulle løse oppgaver underveis og fylle ut ord i en rebus. Jeg innser nå (20 år etterpå) at målet fra skolens side med slike ute-dager ikke var at vi skulle finne alle postene og vinne, men at vi skulle lære ting underveis. Løypen var bare virkemiddelet. Det samme handler "it´s a test" om. Testen er bare virkemiddelet.

Har du tanker om "it´s a test"? Kommenter i vei, dette kan bli fruktbart om mange konkretiserer. Gjerne tenk høyt om ditt eget fag og prøv å tenke anvendelse og praktiske cases hvor en test kan drive arbeidet, og hvor målet ikke er testen som sådan, men å lære underveis i jakten på svaret.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Ressurs: Mange spørsmål

Dette innlegget er del 16 av den pågående tipsserien om digitale tester. En oversikt over alle innlegg ser du i bildet til høyre. Dette innlegget handler om hvordan du kan lage mer varierte tester, forvalte mange spørsmål innenfor en test og på tvers av mange tester, og gjenbruke på avanserte måter. Etter å ha lest innlegget vil du trolig være enig i at det å legge flid i å lage gode spørsmål og jobbe strukturert, kan være en god og langsiktig investering.

Problemstilling 1: Hvorfor gruppere spørsmål?

Vil du unngå juks? Vil du skape variasjon eller rett og slett bare lage mer spennende og bedre tester? En test kan ha spørsmål fra mange ulike temaer eller av ulik vanskelighetsgrad. Vet du hva testen din inneholder? Hvordan vil du at testen skal fungere? Kanskje har du 20 spørsmål fra tema X, 5 fra tema Y og 12 fra tema Z? Ønsker du å sette opp et mer avansert tilfeldig uttrekk, slik at de som tar testen får 5 spørsmål fra tema X, 5 fra tema Y og 5 fra tema Z? Da vil Ole, Lise og Kari få noen like spørsmål, og noen forskjellige. Kombinert med tidspress kan du redusere muligheten for juks i en summativ test, eller rett og slett bare skape variasjon i en formativ test. For å gjøre dette i praksis trenger du funksjonalitet for å gruppere spørsmålene.

De fleste testverktøy støtter en eller annen form for gruppering. I it´s learning sitt testverktøy heter det "Kategorisering". Alle spørsmål innenfor en kategori er verdt så mange poeng du måtte ønske, og du kan angi hvor mange spørsmål som skal trekkes tilfeldig fra hver kategori. Dermed kan en med it´s learning løse problemstillingen over på en god måte. Det samme kan en gjøre i Moodle og i AITeL sitt egetuvtiklede testverktøy DigiTEST. Vet noen om en kan gjøre det samme i Fronter?

Visning av hvordan avansert kategorisering settes opp i testverktøyet i it´s learning.

Bildet over viser en test hvor kategoriseringen tilsier at alle deltakerne får 10 (av 10) grunnleggende teorispørsmål, mens hver deltaker får tilfeldig trukket 4 av totalt 7 programmeringsspørsmål samt 2 av totalt 8 skikkelig utfordrende case-baserte spørsmål. Merk at de kan få totalt 40 poeng i denne testen. Neste bilde viser hvordan hvert av de 25 spørsmålene i testen er tilordnet en kategori. Deltakerne får altså ikke 25 spørsmål selv om testen har 25 spørsmål. De får 16 spørsmål. I teorien kan to deltakere få samme spørsmål, men de kan også være forskjellige.

Testen har 25 spørsmål totalt. Hvert spørsmål er kategorisert. Dermed holder du som lærer oversikt og elevene/studentene får ta varierte tester.

Det er mange måter å kategorisere på. Din fantasi setter grenser. Tenk over hva du kan oppnå.

• I summative tester kan du bruke kategorisering til å unngå juks. Det er selvsagt viktig at spørsmålene innenfor en kategori er likeverdige, ellers oppleves det som urettferdig for Ole å få trukket andre spørsmål enn Lise.
• Kategorisering skaper variasjon og passer utmerket i formative tester (der formålet er å støtte opp under læring). Hvis Lise tar testen mange ganger på rad, får hun en ny opplevelse hver gang, siden nye spørsmål siden det er delvis tilfeldig uttrekk.
• Kategoriserte tester åpner for smart repetisjon utover i undervisningsforløpet og kan også motivere til læring og aktivisere elevene/studentene på nye måter.
• Kombiner kategorisering med karantenetid. La det være vanskelig å bestå testen (krev høy poengsum) og sett opp testen med mange forsøk, men med karantenetid mellom hvert forsøk (for eksempel 3 dager). Sett også opp en endelig frist hvor testen må være bestått. Da er du langt på vei mot et automatisert opplegg. Kandidatene må jobbe godt i karantenetiden, samtidig som de får en ny (men likeverdig) test for hvert forsøk. Genialt, rett og slett! Testverktøyet i Fronter har mulighet for karantenetid.
• Selv om tester kan gi umiddelbar og automatisert tilbakemelding, bør du sette testen inn i en sammenheng og vurdere tiltak som øker utbyttet, for eksempel tilbakemeldingsnotater, henvisninger til relevant litteratur og liknende. Dette gjelder for øvrig generelt for all testbruk.

Problemstilling 2: Hvordan gjenbruke hele tester?

Du kan etterhvert lage mange tester og disse er selvsagt verdifulle siden det tar tid å lage dem. Du kan bruke dedikerte testverktøy eller du kan bruke LMS-systemet sitt testverktøy. Du har trolig mange fag og mange elever/studenter i ulike semestre. Hvor plasserer du testene dine? Hvordan kan du gjenbruke dem i praksis? Det kan fort bli rotete hvis du sprer testene dine rundt omkring i ulike systemer eller i ulike virtuelle fagrom.

Effektivititeten og fleksibiliteten kan økes dersom du kan gjenbruke spørsmål og tester uten å måtte bruke tid på å lete. Det å gjenbruke en test er relativt enkelt, og består i de fleste systemer av å lage et duplikat av testen. Selv bruker jeg et LMS-system (tilfeldigvis er dette it´s learning). Jeg starter ethvert nytt semester med å kopiere forrige semesters elementer inn i det nye, tomme faget, og setter alle elementer inaktive. På null komma vips har jeg lærestoff, forum, notater, tester, undersøkelser og så videre klart og kan bare "slå på" elementene etterhvert som det passer seg. Dermed følger jeg en akkumuleringsstrategi hvor siste utgave av et fagrom alltid har de elementene som er verdt å ta med seg videre i "fagets liv". Tester kan slik gjenbrukes og står i sin riktige kontekst. Jeg kan supplere med nye tester der det måtte passe, og disse blir med i neste runde/semester når fagets elementer kopieres. Alle relevante spørsmål og tester ligger dermed i gjeldende fagrom. Studentene mine ser kun aktive elementer, men jeg som lærer ser også de inaktive. Kanskje jeg ikke bruker alt i hvert semester - det vurderer jeg fortløpende.

Et viktig tema er kvalitetssikring. Når du gjenbruker en test, så bør du være sikker på at den fungerte godt forrige gang. Se på resultatene (statistikken) og luk ut spørsmål som er tvetydige eller åpenbart dårlige. Se innlegg 15, 13 og 6 i denne serien for mer om statistikk.

Problemstilling 3: Hvordan gjenbruke på spørsmålsnivå? Spørsmålsbank...

Anta at du har et akutt behov for en test. Kanskje du oppdager det i en pause eller midt i en time. Er det teknisk mulig å lage en god test av høy kvalitet på 2 minutter, basert på vellykkede spørsmål fra tidligere? Kan du "shoppe" spørsmål herfra og derfra på 1-2-3? Svaret er et betinget "ja". Hvis du har riktig funksjonalitet tilgjengelig i systemet du bruker, og gode arbeidsmetoder, så kan du lage en god test på sparket. Er det nyttig? "Ja". Et definitivt "ja". Er det lov? Selvsagt. Ad hoc kan bli veldig bra og det er en viktig (digital) ferdighet å kunne improvisere og sette i gang aktiviteter der og da når behovet plutselig melder seg.

Den enkleste formen for gjenbruk er å kopiere en hel test (som diskutert over). La oss heller se på en test som en samling av spørsmål og rette fokuset mot hvert enkelt spørsmål. Fronter, Moodle og dedikerte testsystemer har en såkalt spørsmålsbank som læreren kan operere mot (det har ikke it´s learning (per våren 2010)). I systemer som bygger på spørsmålsbankfilosofien, ligger alle spørsmål i en sentral spørsmålsbank. Her står gjenbruk på spørsmålsnivå i fokus. Det geniale er at du kan gå inn i spørsmålsbanken og få en oversikt over alle spørsmål, uavhengig av hvilke tester og fag spørsmålet inngår i. Dette gir helt nye muligheter for å gjenbruke, forvalte og kvalitetssikre spørsmål. Her er noen fordeler med spørsmålsbank. Det er varierende i hvilken grad ulike testverktøy har implementert støtte for det som listes opp her:

• Lag en ny test ved å søke, forhåndsvise og plukke ut blant eksisterende spørsmål i banken.
• Gjenbruk spørsmål (og tester) på tvers av fag, kollegaer og kanskje også institusjoner (nasjonal bank eller delt ressursbank).
• Ett og samme spørsmål kan inngå i mange tester.
• Mulighet for å lage tidsbestemt statistikk over hvor populært (hyppig brukt) et spørsmål er, hvor stor andel som har svart riktig som samtidig har gjort det dårlig totalt sett over tid (mange semestre) og liknende.
• Effektive søk og filtreringsmekanismer der en kan se på alle spørsmål, alle spørsmål en selv har laget, alle spørsmål fra et bestemt fag, alle spørsmål som ingen har kvalitetssikret enda, spørsmål en kollega har laget, spørsmål som ikke er brukt i dette semesteret men som tilhører fagområdet, spørsmål som er tagget med "sikkerhet", og så videre. Hvis en i tillegg kombinerer, blir det virkelig interessant.
• Enkelt identifisere dårlige eller overflødige spørsmål basert på statistikk.
• ... (mye mer kan sies her)

Det er både tekniske utfordringer og utfordringer i brukergrensesnittet knyttet til å lage en god spørsmålsbankløsning. Noen systemer, som Moodle, baserer seg på en bank for hvert fagrom. Andre, som DigiTEST-systemet som er under utvikling ved AITeL, ser på muligheten for å dele spørsmål på tvers av fag og muligens institusjoner. Det å velge et verktøy med en god spørsmålsbankløsning kan være en suksessfaktor hvis antall tester og spørsmål blir stort. Ved summativ bruk (typisk eksamen) er det også nyttig å ha gode forvaltningsrutiner for spørsmålene.

Problemstilling 4: Hvordan bygge en spørsmålsbank i it´s learning?

Dette avsnittet er mest relevant for de som liker idéen fra problemstilling 3 (om å forvalte sine spørsmål ved hjelp av en spørsmålsbank), men som samtidig bruker it´s learning eller andre verktøy som ikke har en god spørsmålsbankløsning.

I it´s learning er det ingen eksplisitt spørsmålsbank og tilsynelatende vanskelig å operere på spørsmålsnivå. Med litt kreativitet kan en derimot simulere en spørsmålsbank (til en viss grad i hvertfall), og det er egentlig nokså enkelt å få til i praksis. Her ser du mitt forslag.

Opprett ditt eget fag (ikke prosjekt, for tester virker ikke i prosjekter) hvor du samler alle testene dine. Gjerne få andre kollegaer med i samme fag, og etabler felles rutiner og regler for bruk. For å skape struktur, er det bare å lage mapper som ønsket og tester med logiske navn. Dette er vist i neste figur. Du kan for eksempel gå gjennom alle dine eksisterende fagrom, og kopiere over de testene du mener har verdi til den nye spørsmålsbanken din.

Her er et konkret eksempel på bruk:

• Du har din egen spørsmålsbank (det vil si et fagrom) med 2500 spørsmål, samlet i ulike tester i logiske mapper, som igjen kanskje er gruppert i kategorier internt i testene. (Høhhh? Hvordan lage 2500 spørsmål i dine fag? Se blogginnlegget med forklaring til hvordan elever/studenter kan lage spørsmål).
• Du ønsker å lage en helt ny test på 1-2-3 i et av dine fag.
• Du går til ønsket fagrom i it´s learning, og lager en ny test. Velg innstillinger med omhu.
• Testen har nå 0 spørsmål.
• Velg å importere spørsmål, som eksemplifisert i figuren under. Du kan gjenta prosessen og hente spørsmål fra mange ulike tester. Dette kan også kalles "question shopping", altså å plukke litt her og litt der. Per dags dato følger ikke kategorisering med ved slik "shopping", men det kan du manuelt rekonstruere om du vil det.

I en ny test kan du hente spørsmål fra andre eksisterende tester. Altså kopiere spørsmål mellom tester. Dette åpner for å simulere en middelmådig spørsmålsbankløsning i it´s learning.

Vi ser her at banken fungerer som et arkiv, eller en kilde som du lett kan bruke for å lage nye tester i de faktiske fagene dine. Dette er altså ikke noen fullverdig bank. Statistikk genereres ikke, fordi det lages kun statistikk basert på testene du har opprettet i de ulike fagrommene og ikke i banken. Banken er altså "dum" og vil kun fungere som et arkiv hvor du kan samle alle spørsmål og tester i originalform. Elevene/studentene opererer ikke mot banken - den er hemmelig og kun for deg. Du får dermed flere versjoner av spørsmålene dine, og må klare å skille mellom hva som er originalen og hva som er kopien (eller den kjørbare testen om du vil). Er noe feil i et spørsmål? Dersom du oppdaterer/endrer et spørsmål i en test i et fagrom, så må du ta stilling til om du også skal oppdatere spørsmålet i spørsmålsbanken din. Spørsmål i en bank vil typisk kunne brukes til eksamen, og da er det viktig at de ikke kommer på avveie. Det er derfor lurt å etablere gode rutiner og retningslinjer for bruk av banken. Dette gjelder særlig hvis du deler banken med andre faglærere. Kanskje kan en til og med etablere et eget område i it´s learning Community for å kunne samarbeide på tvers av institusjoner/skoler?

Problemstilling 5: Hvordan gjenbruke spørsmål fra andre?

Ønsker du å dele tester du har laget med andre, eller bruke andres tester? Mange testverktøy følger en standard som heter IMS/QTI og som gjør det mulig å eksportere tester på tvers av testverktøy. Jeg har laget en filmsnutt som viser hvordan en test kan tas ut fra en site i it´s learning og inn i en annen site, slik at flere lærere kan samarbeide og dele på tvers av institusjoner. Filmen er for øvrig publisert på YouTube og tidligere på denne bloggen, og er også en del av lærestoffet i det fjernunderviste faget "LN392D Pedagogisk bruk av digitale tester". Den har med en del detaljer om hvordan QTI fungerer. Tips: Se den i HD-kvalitet (velg 720p fra nedtrekkslisten når filmen er startet).

Oppsummering

Dette ble et lengre innlegg enn først planlagt, men jeg håper du nå har fått noen nye tanker om spørsmålsbanker, gjenbruk, kategorisering og mer avansert bruk av tester generelt. Har du kommentarer, innspill, spørsmål eller idéer? Del gjerne!

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Viktig testoppsett

Dette innlegget er del 15 av den pågående tipsserien om digitale tester og tar opp noe særdeles viktig som ofte gis for liten omtanke: Testoppsettet i testverktøyet. Det er en direkte sammenheng mellom opplevd kvalitet og testens egenskaper, så det er veldig viktig å ta stilling til avanserte innstillinger.

Det er selvsagt lurt å ha en plan med en test. Hvem er mottakeren? Skal alle (elevene/studentene) ta testen, eller bare en utvalgt gruppe? Når skal testen settes i gang? Hvor mange forsøk skal de få? Hvordan skal tilbakemelding gis og når skal svarene vises? Skal det være tilfeldig uttrekk av spørsmål? Er det noe lærestoff som forutsettes gjort før testen tas? En må stille seg slike spørsmål fordi det vil påvirke hvilke innstillinger en må gjøre i testen.

Se alltid på avanserte innstillinger

Når du skal lage en test kan du i de fleste testverktøy angi en rekke egenskaper for testen. Mange av de mer avanserte valgene er valgfrie, men absolutt verdt å se på og prøve ut. Under ser du eksempel på en test hvor avanserte opsjoner er angitt (I it´s learning må en gå til arkfanen som heter "Alternativer" bak "rediger"-lenken. Elevene/studentene får her 3 forsøk hver på testen, og det er det beste forsøket som blir stående som tellende i evt. statistikker. I it´s learning er for øvrig standarden at en får 1 forsøk. Om du vil bruke testen formativt (støtte opp under læring) vil du trolig tillate flere (gjerne ubegrenset antall) forsøk.

Tunga rett i munnen

Konsekvensene kan bli dramatiske hvis du ikke tenker nøye gjennom dine valg i testoppsettet. Hvis elevene/studentene skal kunne ta testen flere ganger, så er det som regel ønskelig at svarene IKKE skal avsløres etter første forsøk. Som standard (i it´s learning) vises svarene, så her må du være ekstra varsom. Undertegnede lagde høsten 2009 en test i it´s learning som del av en nettbasert eksamen. Studentene satt rundt omkring i Norge og gjorde eksamen. Faglærer hadde ikke vært varsom nok med innstillingene. De første studentene som leverte inn fikk se svarene når de leverte testen sin (faglærer oppdaget det etter at 4 hadde levert og fikk slått av visning av løsningen), men skaden var i teorien skjedd. Studentene kunne nemlig meget gjerne ha formidlet riktige svar til de andre studentene (via e-post, SMS, chat og liknende). Slikt er selvsagt uheldig, men det viser hvor vanskelig det er (også for lærere som er drevne i testverktøy) å forutsi innstillingene. Det er viktig at læreren tester selv hvordan ting fungerer før en deler ut til elevene/studentene. Dette gjelder også ved formative tester. Et godt tips er å be en elev/student om å ta testen mens du ser på. Merk deg da spesielt hvilken informasjon som vises, når svarene vises og så videre. Det er også helt sentralt å ha en egen elevbruker/studentbruker til slik testing.

Eksplisitt informasjon

Selv om testverktøyet informerer implisitt om testen gjennom sitt brukergrensesnitt, er det fornuftig å informere eksplisitt om testen, gjerne i en separat melding i tillegg til i beskrivelsesfeltet som vises rett før testen tas. Her er eksempel på nyttig informasjon om testen:

• Det er totalt 40 spørsmål i denne testen.
• Noen av spørsmålene har bilder eller videofilmer knyttet til seg. Du må ha på lyd. Det står tydelig i spørsmålsformuleringen at spørsmålet har bilde/lyd/video. Hvis du ikke skulle se noe bilde/lyd/video, så si fra for da er noe galt.
• Du får 1 poeng for riktig svar på de fleste spørsmål, men noen spørsmål er vanskeligere og gir 2 eller 3 poeng. Dette står opplyst for de aktuelle spørsmålene underveis i testen.
• Du kan gå tilbake til tidligere besvarte spørsmål og endre svaret ditt hvis du vil det.
• Du har totalt 60 minutter på å fullføre testen.
• Dersom du ikke oppnår godkjent (mer enn 80 % riktig) så kan du prøve på nytt, men du må da vente minst 2 dager.
• Testen teller ikke på karakteren.
• Du får ikke se svarene før læreren har åpnet for dette. Læreren vil også gå gjennom løsningen i plenum.

Du kan selvsagt lage dine egne regler selv om det ikke fins funksjonalitet i testverktøyet for å styre oppførselen. Du kan oppnå mye gjennom informasjon om testen og spørsmålsformuleringene. Samtidig er det viktig å prøve ut hvordan testen oppleves i praksis. Hvis elevene/studentene ser mulighet for smutthull/snarveier, så er det sannsynlig at mange vil benytte seg av nettopp det uansett hva du har instruert om.

Karantenetid

I noen testverktøy er det mulig å sette opp karantenetid. Da vil testverktøyet sørge for at de som ikke oppnår nok poeng til å få godkjent, må vente før de kan ta testen på nytt igjen. Dette er spesielt gunstig i formativ bruk av tester, for det bidrar til å eliminere prøv-og-feil-metodikken. Du kan for eksempel sette opp testen til å være aktiv mellom 4. og 15. oktober. Testen må bestås, og det er 2 dager karantenetid. Dermed oppfordres elevene/studentene til å jobbe med stoffet før de prøver på nytt, og du kan med fordel sette en streng grense for å bestå.

I testoppsettet i de fleste verktøy kan en også angi form for tilbakemelding. Dette temaet ble tatt opp i det første innlegget i denne tipsserien, i dette innlegget.

Det er mulig å randomisere spørsmålene slik at Ole, Kari og Per får spørsmålene i forskjellig rekkefølge. Det er til og med mulig å la dem få ulike spørsmål, ved hjelp av såkalte kategorier. I neste innlegg i denne tipsserien skal vi blant annet se på hvordan kategorisering kan brukes.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Test før og etter

Dette er del 14 av tipsserien om digitale tester. Denne gangen kommer et veldig håndfast tips som du garantert kan prøve ut i egen undervisning, og det er ikke tidkrevende å lage. Eksempelet stammer fra programmeringsfaget ”Webprogrammering i PHP” for nettstudenter ved HiST, men kan også brukes i klasserom (noe som forklares i siste avsnitt).

Tester kan brukes på mange måter. Et eksempel fra programmeringsfaget ”Webprogrammering i PHP” for fjernstudenter ved HiST, kan for så vidt også brukes i klasserom (ved å skrive ut på ark). I stedet for å dele ut lærestoffet som en PDF-leksjon på 15 A4-sider, har læreren her i leksjon 11 laget mer omfattende opplegg. PDF-leksjonen distribueres fortsatt, men først skal testen i elementet ”2. Flervalgstest om sikkerhet” tas (se Figur 2). Denne testen har noen spørsmål fra forrige gang, som studentene bør klare å svare på, og noen spørsmål fra den kommende leksjonen, som enda ikke er lest.


Hver student vil nå trolig komme i læringsmodus på grunn av de repeterene spørsmålene. Ønsket fra lærers side er at de vanskelige spørsmålene skal surre i hodet til studenten mens lærestoffet leses (elementet ”3. Leksjon 11: Sikkerhet II”), og kanskje gjøre studenten mer engasjert og aktiv under lesingen.

Etter at leksjonen er lest, skal elementet ”4. Flervalgstest om sikkerhet” tas. Det spesielle er at denne testen er nøyaktig lik den forrige testen, altså vil studenten trolig klare de første spørsmålene fra forrige gang, og også de fleste av spørsmålene som omfatter teorien fra leksjonen som nettopp er lest.

Siste fase av opplegget går ut på å sammenlikne resultatet fra de to testene. Nesten alle vil naturlig nok gjøre det bedre på test nummer 2 enn test nummer 1. Dette kan i seg selv være en morsom observasjon. Tilbakemeldinger på opplegget, viser at dette oppfattes som spennende og lærerikt, men det skaper også frustrasjon blant de som mener spørsmålene er dårlige eller vanskelige å forstå. Studenter ønsker gjerne å yte godt på digitale tester, og da kan det være ekstra vanskelig å få dem til å gjøre ting i riktig rekkefølge. I bildet over er nummereringen av elementer ett tiltak for å styre rekkefølgen, men det er lurt å informere muntlig i tillegg. Det er også viktig å formidle at dette opplegget er formativt slik at de skjønner at resulatet på testene ikke spiller inn på karakter eller liknende.

Dette opplegget har vært prøvd i klasserom med ulike størrelser, alt fra 30 til 80 studenter til stede. Lærer kan i så fall dele ut ark før timen starter, og la dem få 5-10 minutter på å svare. Tanken er at de nå er i læringsmodus og vil følge bedre med og reflektere mer rundt det som foreleses, siden de har fått en pre-test før forelesningen. Etter at forelesningen/undervisningen er ferdig, brukes de siste 10 minuttene til å ta en ny test, som i opplegget ovenfor faktisk er samme test på nytt. Læreren informerer i så fall om at dette er samme test, og at de ikke må se på forrige svar når de fyller ut, men prøve så godt som mulig basert på deres nåværende forståelse og kunnskap. Til slutt går læreren gjennom "fasiten" og de gir seg selv poeng på begge testene og teller opp sine totale poeng. En enkel håndsopprekning viser hvor mange som fikk bedre resultat på den siste testen, hvor mange som fikk samme resultat og evt. dårligere resultat. Dette er et godt eksempel på hvordan en lærer med en digital test som utgangspunkt kan lage et bedre læringsopplegg "offline" i et klasserom, som kan bidra til å øke motivasjonen og engasjementet.

Som alltid interessant å høre: Hva synes du om et slikt opplegg? Vil du prøve det ut selv?

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Skreddersøm, kompetansekartlegging og differensiering

Dette er del 13 av tipsserien om digitale tester. Tror du dette kan brukes i din undervisning?


Tester kan brukes formativt for å støtte opp under læring. De kan også brukes summativt for å konstantere kunnskapsnivå. Når et visst antall elever/studenter har tatt en test, så kan det være verdifullt å analysere resultatene for å se etter trender. Er det noen spørsmål som ingen fikk til? Er det noen tema som synes å være vanskelige? Er det et klart skille i forståelse på et gitt tema? I bunn og grunn vil resultatet si noe om sterke og svake faglige sider. En analyse av resultater åpner for en del spennende muligheter.

Kompetansekartlegging

En test i forkant av et semester eller en læringsøkt med det til hensikt å kartlegge kompetanse. Slik kan du skape forventninger og skape motivasjon for å lære. Noen spørsmål kan være lette og for eksempel ta opp ting som er forutsett kjent. Andre spørsmål kan være vanskelige rett og slett ved å basere dem på det lærestoffet som skal gjennomgås i løpet av kommende semester (eller måned/uke/læringsøkt). Da bør læreren understreke at ”etter ferdig kurs vil du klare å svare på disse”. Dette kan virke motiverende.

Det er også mulig å bruke testresultatene fra en slik kompetansekartlegging som grunnlag for gruppeinndeling. Vil du plassere bare flinke elever/studenter i samme gruppe, så kan du lett plukke ut slike uten å kjenne personene. Ønsker du å blande slik at ikke alle de flinke ved en tilfeldighet kommer på samme gruppe, så kan du lettere gjøre det ved å analysere resultatene.


Summen av testresultatene kan også gi læreren en bedre forståelse av hele kullet som sådan, med mulighet for å se nærmere på resultatet til enkeltpersoner og eventuelt sette inn preventive tiltak for de som henger etter i starten. Det kan være fornuftig å lage en test som repeterer ting som forventes å være kjent før første forelesning, for eksempel teori fra et kurs tidligere i studiet. Hva bør en god lærer gjøre dersom så og si alle mangler forutsetninger i forkant av et fysikkfag? Er det da lurt å ture på med lærestoff som ingen har forutsetninger for å forstå? Med en test kan du avsløre tilstanden, i hvertfall delvis, og så bestemme om du vil iverksette tiltak eller ikke.

Statistikk- og rapportfunksjonaliteten gir i de fleste testverktøy en ganske god og detaljert oversikt over status. Det er mulig å raskt finne ut hvor mange som har klart en test, men det er også mulig å gå inn på hvert enkelt spørsmål og se diagrammer over hvor mange som har svar på de ulike alternativene. Dersom mange har misforstått spørsmålet om makroøkonomi, så bør læreren kanskje ikke rase videre uten først å oppsummere hva makroøkonomi egentlig går ut på.

Skreddersøm

Det er også mulig å gå nærmere inn på hver enkelt kandidat og analysere resultatene, eventuelt over tid. Dermed vil grunnlaget for å tilby skreddersydde opplegg være større, men en slik oppfølging kan være tidkrevende. I forbindelse med veiledning av for eksempel hovedprosjektstudenter i høgere utdanning, eller elever med spesielle behov i grunnskolen, kan dette derimot være veldig fornuftig. Hvordan veilede best mulig? I stedet for bare å ha et vanlig veiledningsmøte, kan du først tilby en test om ting dere skal ta opp (gjerne med noen åpne spørsmål slik at det blir mer som en kombinert test/undersøkelse)). Dermed får du et bedre grunnlag for å veilede på en god måte. Testen kan brukes for å kartlegge interesser og faglige forutsetninger, og dere vil få en felles referanse for veiledningsmøtet. Det er for eksempel ikke alle som forstår prosessene rundt et prosjektarbeid, og faglige spørsmål knyttet til frister, hva formålet med ulike rapporter og prosesser er, og roller, kan være til hjelp. En kan også ta med noen åpne spørsmål som ikke har noe fasitsvar, men kanskje spør om interesseområde eller er mer reflektive av natur. Fordeler med en test (eller evt. en undersøkelse) i forkant, er at dere får en felles referanse for selve veiledningsmøtet.


Hva menes egentlig med skreddersøm? Er det nødvendig at læreren skreddersyr opplegg til den enkelte, eller er det nok å tilby en hel rekke ulike varianter av lærestoff og la elevene/studentene selv velge hva de skal ta, basert på for eksempel et testresultat? Følgende tenkte eksempel er enkelt å gjennomføre for læreren, og kan skape læring og gi økt refleksjon i etterkant. Læreren må rett og slett ha en rekke ulike læringsressurser klart, og så informere i etterkant av at testen er tatt til alle elevene/studentene:

”Testen er nå ferdig. Alle har tatt testen. Nå er det på tide å reflektere og lære basert på resultatene. Du skal nå selv se over resultatene og analyserer din egen besvarelse. Dersom du fikk riktig på spørsmålene om makroøkonomi, men fikk galt på kjernespørsmålene om økonomiske modeller, bør du se på videofilm X. Hvis du hadde mange riktige men ikke klarte det vanskelige spørsmålet om inflasjon, kan du se diskusjonen i fjorårets forum, for der var den diskusjonen oppe til debatt. Først når du klarte alle spørsmål, bør du gå videre til neste test, som ligger i mappen ”Vanskelige tester”.

Differensiering:
Til slutt nevnes at differensiering kan oppnås relativt enkelt. En kan lage tester av ulik vanskelighetsgrad, og så enten dele inn i grupper basert på nivå, eller la elevene/studentene velge nivå på testene selv. I stedet for å bare lage en stor, vanskelig test til en læringsøkt, kan læreren lage en lett, en middels og en vanskelig test med bare noen få spørsmål i hver test. Tenk over motivasjonen det kan gi ved å ta flere mindre tester av stigende vanskelighetsgrad, i stedet for én stor test.


En variant som gjør det lett å utvikle tester på formen lett-middels-vanskelig, er å starte med å lage den vanskelige testen, og så rett og slett kopiere denne testen og kalle den nye kopien middels. Denne kan ha noen hint i oppgaveformuleringene som gjør testen lettere, eller oppgavene kan endres litt (og de vanskeligste spørsmålene kan fjernes). Den enkleste testen kan ha basisspørsmål som i lys av den vanskelige testen, oppfattes som banale. Fordelen med en slik inndeling, er at elevene/studentene får noe å strekke seg etter og lettere ser graderingen av kunnskapsnivå i faget.

En kan også sette opp som arbeidskrav at en må oppnå for eksempel 20 poeng i løpet av et semester. De kan samle poeng ved å ta ulike tester. Hver vanskelige test gir 5 poeng, mens lette tester kun gir 2 poeng. Slik kan elevene/studentene samle poeng og ta lette/middels/vanskelige tester slik de føler for. Med ett er testene mer morsomme. En kan for eksempel gi en ekstra oppmerksomhet (en bonustest? :-) til de som klarer å oppnå 20 poeng ved hjelp av bare vanskelige tester. Dessverre er det nok ikke noen eksisterende testprogramvare som støtter slike opplegg, men ved å kontrollere besvarelsene eller ha klare regler på hvordan elevene/studentene skal velge tester, kan en oppnå mange morsomme varianter av differensiering.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Lærestoff som test

Det har vært en pause i tipsserien om digitale tester, men nå er den endelig tilbake! De forrige tre innleggene (9, 10 og 11) handlet om spørsmålstyper i it´s learning. De første 8 innleggene tok opp ulike måter å bruke tester på, fordeler og utfordringer og en del konkrete tips. Vil du se gamle innlegg, så klikk på lenken "Tipsserie 1" i margen. Serien er på langt nær ferdig. Heretter postes et nytt innlegg hver uke (ferdigskrevet på forhånd, autoposting :-) inntil serien er ferdig.

Denne gangen er det klart for et pedagogisk tips som går ut på hvordan en kan presentere lærestoff i form av en test. Utgangspunktet for de følgende eksemplene er en mengde tekst, for eksempel en halv A4-side med faktaopplysninger om temaet ”norske konger” (temaet kunne vært hva som helst). La oss anta at mange vil synes dette er et kjedelig tema. Er det mulig å tenke anderledes, og presentere deler av lærestoffet i form av en test? Kan lærestoffet bli morsommere, og kan det skape variasjon og engasjement?

Variant 1:

En enkel variant er å skrive inn teksten i et spørsmål av typen ”Velg fra liste” (eksempelet under er fra testverktøyet i it´s learning). Deretter velges noen utvalgte ord i teksten som ”blanke områder”. Oppgaven blir da å fylle inn riktig ord fra nedtrekkslisten på hvert sted som er blanket ut. Målet er å få eleven/studenten til å bli mer konsentrert ved å aktivt måtte ta del i teksten på denne måten. Dersom ordene som blankes ut ikke har noe med hverandre å gjøre, vil svaret ofte gi seg selv av sammenhengen.

For å gjøre denne oppgaven litt vanskeligere kan andre passende alternativer (såkalte lure-alternativer) legges inn. Det er ikke noe i veien for at teksten kan være veldig lang og bare ha noen få sentrale ord som skal fylles ut. Legg merke til at spørsmål av denne typen kan formuleres slik at eleven/studenten må forstå sammenhengen og budskapet i teksten for å kunne svare. Det krever aktiv lesing, og det er jo nettopp det som er hele målet. De må gjerne få alt rett, men for å klare det må de aktivt lese og forstå. En får ikke gå videre før en har svart alt rett. Sammenlikn dette med å lese i en bok - da kan gjerne teksten gå eleven/studenten hus forbi.

Det er også mulig å integrere bilder, lyd og video innimellom annen tekst i slike spørsmål. Hvis spørsmålet blir nokså komplekst, kan det være aktuelt å stille inn slik at spørsmålet gir for eksempel 15 poeng i stedet for 1 poeng. Dersom eleven/studenten i spørsmålet i Figur 1 får riktig på noe, men ikke alt, vil en da kunne få for eksempel 9 av 15 poeng.

Variant 2:

Ved å bruke umiddelbar tilbakemelding (noe som er mulig i de fleste testsystemer), kan lærestoff presenteres på en enda mer avansert måte. Trikset her blir å først formulere et spørsmål tilhørende et stykke tekst, lage noen alternativer, og til slutt legge originalteksten inn i en tilbakemelding som vises ved feil/riktig svar. En kan for eksempel spørre: ”Er det riktig å påstå at norsk folkedans har sitt utspring i bla bla bla” og så vise tilbakemelding med en forklaring, uansett valgt alternativ. Det vil dermed både bli en utfordring å klare å svare riktig, og deretter vil det skape nysgjerrighet for å få den utdypende forklaringen. Det er altså tilbakemeldingen som er selve lærestoffet i denne varianten.

Variant 3:

En kan dra forrige eksempel et skritt videre, og tenke seg at oppgaveteksten ikke bare inneholder et spørsmål, men også en god del av teorien. Altså skal både teori og spørsmålstekst skrives av læreren i samme felt – i spørsmålsfeltet! ”Men vent – da blir det jo nokså lett å svare på spørsmålet”, tenker du kanskje. Joda, men bare for den som leser teksten. At løsningen står formelig sort på hvitt i spørsmålsteksten, er ikke noe problem. Det er hele hensikten. Et problem er nemlig rett og slett at elevene/studentene ikke leser lærestoffet - eller at det ikke prosesseres (tankene er et annet sted). Denne varianten kan gjøres mer spennende ved å ha noe av teorien sammen med spørsmålet, og resten av teorien som tilbakemelding som vises først etter at spørsmålet er besvart.

Variant 4:

En lærer har mange roller i en undervisningssituasjon, men en viktig del er å prøve å hjelpe elevene/studentene til læring. Fakta står ofte i boka. Noen få elever/studenter er smarte nok til å selv oppdage større sammenhenger ved å lese mellom linjene. Mange andre trenger hjelp av læreren til å oppdage smarte, finurlige observasjoner og/eller større linjer i fagstoffet. Hva med å oppgi teorien og spørsmålet sammen (som i variant 3), og deretter stille et vanskelig spørsmål som tester nettopp på linjer/forståelse? Siden mange ikke vil klare å svare, kan en forklaring av den art som en lærer typisk vil kunne forklare i en forelesning eller i en time, gis i en tilbakemelding. Slik blir også spørsmålet gradvis mer avansert - fra teori som forklares i spørsmålsteksten, til et spørsmål som kontrollerer at en har fått med seg poenget, til en tilbakemelding som drar fagstoffet et hakk lengre.

Variant 5:

En variant jeg har prøvd ut på denne bloggen, er denne: Et alternativt referat fra Kongsberg. I korte trekk gikk det ut på at jeg skrev en oppsummering (etter å ha vært på Kongsbergkonferansen 2009) i form av en digital test, og la dette ut på bloggen. Jeg logget svarene, og vet dermed at det var veldig mange som tok testen og svarte riktig (og med det ikke bare leste oppsummeringen, men også forstod innholdet i den). På samme måte kan en lærer tenke kreativt om informasjon som i utgangspunktet er kjedelig, for eksempel oppsummeringer av klasseturer/ekskursjoner, møtereferater, brannvern-reglement, generell informasjon og liknende. Husk at morsomme krumspring lettere huskes, men vær også sikker på at du slike tester virkelig gir merverdi sammenliknet med vanlig informasjon :-)

Dette innlegget har nok en gang diskutert hvordan digitale tester kan brukes formativt - for å forsterke læring. Jeg tar alltid opp "lærestoff som test" blant eksemplene i foredragene/kursene jeg holder om digitale tester, og det virker på lærerne/tilhørerne som at idéen slår an. Idéen slår veldig godt an i mitt eget hode. For høsten 2009 har jeg planlagt enda en ny variant av "lærestoff som test" som skal testes ut i programmeringsfaget Webprogrammering i PHP i forbindelse med et FoU-prosjekt om læringsmål, formativ vurdering og summativ vurdering. Mer om dette i et kommende blogginnlegg (blir for langt å ta inn her ;-)

Går det an å tenke "lærestoff som test" i ditt fag? Det får du selv avgjøre. Har du forslag til andre varianter, erfaringer med dette eller andre kommentarer, så del gjerne med meg og de andre som leser denne bloggen.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Spørsmålstyper del 3

Dette er del 11 av tipsserien om digitale tester. Alle testverktøy har ulike spørsmålstyper. Det er totalt 10 spørsmålstyper i it´s learning (som tilfeldigvis brukes som eksempel i denne tipsserien) men andre testverktøy har også ulike spørsmålstyper som er mer eller mindre like. Derfor vil du som ikke bruker it´s learning trolig få nytte av gjennomgangen.

Til nå har vi sett på typer som ja/nei, flervalg, fritekst og korte fritekstsvar og vi skal nå se på de 5 siste typene. Flere av disse er såkalte "interaktive" spørsmålstyper som krever at brukeren klikker i bilder eller drar i bokser. De 5 typene som gjennomgås her, er "velg fra liste", "fyll inn blank", "finn par", "rekkefølge" og "klikkpunkt".

Hvorfor er det greit å kjenne til slike spørsmålstyper? Variasjon er et nøkkelord. En test kan virke mindre kjedelig dersom en varierer med ulike spørsmålstyper. I tillegg er det mulig å stille en annen type spørsmål med mer avanserte spørsmålstyper. Du vil også få overordnede tips mot slutten av dette innlegget

Type: Velg fra liste

Figuren under viser en spørsmålstype som egner seg for prosatekster der eleven/studenten skal fylle inn det som mangler. Denne typen skaper variasjon, og kan være nyttig også for å øve opp evnen til å forstå skriftlige formuleringer.

For å lage et slikt spørsmål må først spørsmålsteksten skrives inn. Deretter opprettes såkalte blanke ord. Hver gang du lager en ny ”blank”, vil it´s learning erstatte dette området i teksten med en nedtrekksliste.

Legg merke til hvordan det er mulig å legge til ”lure-alternativer” som ikke forekommer i teksten, i tillegg til de områdene som markeres som blanke (grønn pluss-knapp nederst).

Oppgaven blir nå for eleven/studenten å velge blant mulige kandidater fra nedtrekkslisten (innholdet er stokket om på). Når spørsmål av typen ”Velg fra liste” tas, vises blanke områder og lure-alternativene i tilfeldig rekkefølge i nedtrekkslister der de blankede områdene er i teksten. Dette er vist i neste figur.

Oppgaven kan selvsagt ha verdi selv om kun ett blankt område defineres, så lenge det er flere alternativer å velge mellom i nedtrekkslisten.

Type: Fyll inn blank

Denne oppgavetypen passer til mange fagfelt: norsk, programmering, fysikk, matematikk, økonomi, kjemi, samfunnsfag, historie, språkfag, helsefag og så videre. Spørsmål av typen ”Fyll inn blank” likner veldig på typen ”Velg fra liste”, men til den forskjell at eleven/studenten her bare får se et tomt tekstfelt i stedet for en liste av alternativer. Utfordringen for eleven/studenten blir å skrive riktig ord inn i tekstfeltet.

Slike spørsmål kan rettes automatisk, basert på de nøkkelord du som lærer måtte oppgi på forhånd, men de samme hensyn som diskutert i blogginnlegget om kortsvartypen (forrige gang), bør tas. Sitat fra it´s learning sin hjelpetekst: ”Denne spørsmålstypen er nyttig i språkoppgaver, for eksempel vokabulartester, men kan brukes i stort sett all tekstbasert læring”.

Denne spørsmålstypen kan brukes kreativt ...

Legg merke til hvordan formuleringen er gjort i figuren over. I stedet for å skrive prosatekst i spørsmålet (som kanskje er mest nærliggende å gjøre), kan en lage linjeskift, og slik etterlikne en vanlig gloseprøve eller liknende. Her skal altså eleven/studenten fylle ut forkortelsen (tekstfeltet til venstre) basert på teksten til høyre. Det er læreren selv som har satt inn likhetstegnet - ikke testverktøyet! Figuren under viser hvordan oppgaven kan lages. Legg merke til plasseringen av linjeskiftene i stedet for å skrive alt på én linje.

Med denne oppgavetypen er det bare å være kreativ. Denne oppgavetypen kan brukes til gloseprøver, små matematikk-utsagn og liknende. Det er for eksempel mulig å trene barn på gangetabellen ved å skrive 4x1=(tekstfelt) på en linje, 4x2=(tekstfelt) på en ny linje, og så videre. Tilsvarende kan en kanskje tenke mer avanserte regnestykker i matematikk/fysikk/kjemi også i høgere utdanning, rett og slett for å øve inn regneferdigheter? En lærer i programmeringsfag, kan for eksempel ta et kode-eksempel fra lærestoffet sitt, og markere enkelte kodeord eller kodesetninger som blanke. Dette gir mening siden programmering er en øvelse som krever nøyaktig korrekt formulering. Slik må studenten fylle ut det som mangler av programmeringskode. Det vil kreve at hensikten med koden forstås, at studenten klarer å forstå nåværende kode, og også klarer å fylle inn det som mangler slik at den blir komplett og oppfyller hensikten!

Type: Finn par

it´s learning tilbyr 3 interaktive spørsmålstyper. Den første er ”Finn par”. Med denne oppgavetypen skal en sammenlikne det som står på høyre side med det som står på venstre side. Boksene helt til høyre skal dras til områdene med spørsmålstegn i, slik at høyre og venstre side passer sammen. Det er liten tvil om at oppgavetypen likner på de to foregående typene (”Velg fra liste” og ”Fyll inn blank”).

En kan også bruke bilder i denne oppgavetypen, for eksempel av et produkt og navn på produktet, bilder fra et kjemisk eksperiment og navn på ingrediensene, bilde av viktige personer innen et fagfelt og navn på disse, bilder av planeter og bilder av måner (som tilhører planetene) og så videre. Din fantasi setter grenser.

Type: Rekkefølge

Den andre interaktive spørsmålstypen i it´s learning, er ”Rekkefølge”. Eleven/studenten skal i denne oppgavetypen sortere en liste i riktig rekkefølge. Det gjøres ved å dra boksene i den øverste raden til riktig posisjon på den nederste raden. Neste figur viser et typisk spørsmål som kan stilles i for eksempel medievitenskap. Riktig svar er King Kong (som kom ut i 1933), Modern Times (1936), Citizen Kane (1941), Bambi (1942) og Casablanca (1943).

Denne typen gir rom for spørsmål langt utover vanlig kunnskapsnivå, det vil si spørsmål som krever refleksjon, å trekke linjer, se sammenhenger, organisere og gjøre rede for sin kunnskap, og så videre. En kan for eksempel se for seg spørsmålsstillinger ala:

"Organiser krigene i riktig rekkefølge basert på årstall"

"Du har nå fått presentert starten av en prosess. Forstå det som er gjort så langt, og organiser boksene slik at prosessens videre fremdrift gir mening"

Type: Klikkpunkt - klikk på bildet

Den siste interaktive spørsmålstypen i it´s learning, er ”Klikkpunkt”. Oppgavetypen krever at du bruker et bilde og definerer såkalte klikkpunkter, det vil si områder på bildet som kan klikkes på. Det er enklere å skulle forklare plassering ved å klikke på en posisjon, enn å måtte forklare med ord. Dersom oppgaven brukes i helsefag, for eksempel anatomi, kan en for eksempel vise et bilde av hjernen og be eleven/studenten klikke på hypofysen. Det er bare mulig å stille ett spørsmål, men det kan være mange svar til dette spørsmålet. Dermed kan en be studenten om å klikke på alle land på Europakartet som har monarki, og dermed åpner denne oppgaven for delvis uttelling.

Dersom du skulle ønske å lage flere uavhengige spørsmål til samme bilde, må du lage helt nye oppgaver og bruke samme bilde flere ganger. Dette er aktuelt for komplekse figurer, og det gir dermed mening å legge flid i å finne gode bilder/figurer til denne oppgavetypen. Et bilde sier mer enn tusen ord, så det bør være rom for flere enn ett spørsmål for ethvert bilde!

I matematikkfag kan oppgaven være å klikke på de av de grønne geometriske figurene som har større areal enn den blå firkanten (og oppgi mål på alle figurene). I siste tilfelle må elevene/studentene regne ut arealet til hver enkelt figur og sammenlikne med arealet til den blå firkanten, for å kunne svare riktig. Her kan en tenke seg enkle figurer for bruk i barneskolen, eller mer avanserte figurer for bruk i et avansert matematikkfag på en høgskole/universitet. Det er ikke umulig å lage en oppgave av denne typen som tar en halvtime å løse! I så fall bør en vurdere å gi mer enn bare 1 poeng for riktig svar.

Oppgavetypen passer også godt til spørsmål hvor du har lyst til å bruke et eksisterende bilde eller figur. Den kreative lærer, har kanskje tatt bilde med digitalkamera/mobilkamera av en fin figur som ble utledet under forelesning (på tavle), og ønsker så å stille et oppfølgingsspørsmål til dette bildet på en rask måte. Da kan bildet lastes inn på datamaskinen og hentes inn i it´s learning i et spørsmål av type ”Klikkpunkt”.

I neste figur er det forsøkt å lage et mer avansert spørsmål som krever grundige kunnskaper om meteorologi (mye bedre enn undertegnede innehar...). Les oppgaveteksten, så ser du konturene av vanskelighetsgraden slike spørsmål kan ha. Merk at spørsmålet er fiktivt. Eleven/studenten har her lest oppgaveteksten øverst, og satt sitt klikkpunkt mellom Røros og Ulsberg (noe som til fortreffelighet stemmer med den fiktive fasiten :-)

En kan selvsagt formulere denne type spørsmål som andre spørsmålstyper, for eksempel rent flervalg, men klikkpunkt er med på å variere og gjøre testen morsommere, noe som kan skape engasjement. En utfordring med denne spørsmålstypen, er nøyaktighet. Som vist i neste figur ble svaret feil på grunn av klikk noen millimeter utenfor fasitområdet. En elev/student vil da trolig protestere på å ikke få uttelling for sitt svar.

Tips til slutt:

Tipsserien har brukt totalt 3 blogginnlegg på å gjennomgå spørsmålstyper i it´s learning sitt testverktøy. Andre testverktøy har kanskje andre spørsmålstyper. Som nevnt er det viktig å kunne variere med ulike spørsmålstyper i en test. Her er noen tips på tampen:

• Unngå bruk av alle 10 spørsmålstypene i én og samme test
• Varier derimot på tvers av tester
• God bruk av bilder kan bidra til variasjon
• Interaktive spørsmålstyper kan hjelpe eller teste elever/studenter til å se større linjer i fagstoffet / røde tråder.

Håper dette var nyttig! Videre utover i denne tipsserien går vi videre med en del eksempler på formativt bruk av tester, og avanserte tema.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Spørsmålstyper del 2

Dette er del 10 av tipsserien om digitale tester. Før jul ble vanlige spørsmålstyper som ja/nei og flervalg tatt opp. Det er på tide å se på mer avanserte spørsmålstyper og hvordan disse gir grunnlag for bedre og mer varierte tester. Vi starter med å se på to former for åpne spørsmål.

I følge Svein Magne Sirnes sin bok Flervalgsoppgaver - konstruksjon og analyse har et lukket spørsmål et begrenset sett av alternativer som en kan velge mellom. Åpne spørsmål er spørsmål hvor kandidaten må skrive inn noe selv, og vi kjenner denne formen fra både drøftingsoppgaver, essay og vanlige spørsmål der en skal svare med egne ord. Når et testverktøy helt eller delvis tillater åpne spørsmål (i tillegg til lukkede), gir dette en del interessante muligheter for en lærer som vil teste på ulike nivåer og skape variasjon i testen.

En av de nye spørsmålstypene i testverktøyet til it´s learning (Test 2.0), heter ”Kortsvar”. Med denne typen vil eleven/studenten måtte formulere et svar i et tekstfelt. Svaret skal være relativt kort, typisk ett eller noen få ord, men den faktiske begrensning på slike spørsmål er ca 90 tegn. Det som gjør denne typen ekstra attraktiv, er at den kan rettes automatisk hvis nøkkelord oppgis, og slik kan en stille en helt ny form for spørsmål.

Klikk på bildet for å åpne i større versjon

Dersom læreren krysser av for automatisk vurdering vil it´s learning rette svaret. Figuren viser hvordan alternative svar kan angis.

Dersom du ønsker at to (eller flere) ord må forekomme i kandidatens svar, skal to (eller flere) linjer brukes. Det riktige svaret på gåten i vårt tilfelle, er ett ord, nemlig ”vindu”. Ordene ”glassrute”, ”vindusrute”, ”rute” og ”vinduet” godtas også som riktige svar. En ulempe med denne oppgaven er at hvis noen skriver: ”Jeg tror det er vindu, men det kan også være dør eller sofa eller speil. Vet ikke egentlig” så blir svaret riktig fordi ordet ”vindu” forekommer i teksten. Det er altså mulig for kreative elever/studenter å helgardere seg.

En vanlig innvending mot tradisjonelle flervalgstester, er at spørsmålene er lukkede, det vil si med forhåndsdefinerte alternativer. Med moderne digitale testverktøy kan du lage åpne spørsmål, altså spørsmål hvor eleven/studenten skal skrive inn svaret sitt i et større tekstområde. Dette blir altså helt likt den vanlige skriftlige vurderingsformen, og passer til essay-oppgaver, drøftinger, utledninger, artikler, forklaringer og så videre. Det fine er at du selvsagt kan kombinere åpne spørsmål med de andre lukkede spørsmålstypene. Det kan absolutt gi mening å lage en test med for eksempel 20 lukkede spørsmål (som tester i dybden/bredden) og så ha noen få spørsmål som er åpne og som tester mer forståelse og evne til skriftlig redegjørelse ala ”Drøft/grei ut om bla di bla di bla” . De lukkede oppgavene kan du gi for eksempel 1 poeng, mens du kan velge å gi drøftingsoppgaven for eksempel inntil 20 poeng. Slike kombi-tester vil altså kunne teste elevene/studentene på ulike nivå og samtidig være tidseffektive.

I neste figur ser du spørsmålsteksten øverst, og hvordan en person har begynt å svare med tekst, overskrifter, formatterte ord og et bilde. Det er liten tvil om at denne typen er fleksibel, og med fordel kan brukes for å øve evne til å formulere seg skriftlig. Hvis testen er formativ av natur, så trenger en heller ikke å bruke mye tid på å rette/vurdere slike åpne spørsmål som lærer!

Klikk på bildet for å åpne i større versjon

Hvis du retter en vanlig eksamen, retter du gjerne alle oppgavene samtidig. Da er det lett å vurdere likt. Dersom du skal rette de manuelle spørsmålene sporadisk, etterhvert som elevene/studentene tar testene, blir det vanskeligere å vurdere ulike besvarelser likt. Det er lurt med en nøkkel/fasit med stikkord for din egen del. Du kan faktisk angi en slik fasit for deg selv som lærer i det du lager en ny oppgave av type Åpent svar. Denne fasiten vises ikke til elevene/studentene.

I likhet med spørsmål av typen Kortsvar, kan du velge å la it´s learning rette åpne svar automatisk basert på forekomster av oppgitte nøkkelord, men primærbruken vil nok for de fleste være manuell retting. Du kan også begrense antall ord i svaret, slik at elevene/studentene ikke får lov å skrive mer enn for eksempel 1000 ord.

Gitt at du har en test med mange flervalgsspørsmål og vil bruke den formativt for å oppsummere i etterkant. Da gir det mening å ha et åpent spørsmål som har til hensikt å skape refleksjon og oppsummering hos eleven/studenten. Hvis du lar dette spørsmålet rettes automatisk, og gir bare 1 poeng uttelling (og som i tillegg kanskje søker etter forekomsten av vanlige ord ala "og" for å være sikker på at svaret gir match mot fasiten, har du en 100% automatisert test som også kan skape refleksjon:

”I timen gjennomgikk vi et konkret eksempel der en person møtte ulike problemer i praksisperioden sin. Lag et kort sammendrag med egne ord og kom med forslag til løsning på hvordan denne situasjonen kunne vært unngått.”

Tidligere i denne tipsserien har vi sett på det såkalte distraktørtipset. En distraktør er et alternativ som er galt. Distraktørtipset går ut på at læreren samler sammen alle svar fra et åpent spørsmål. De svarene som ofte går igjen, og samtidig er gale, gir grunnlag for å lage gode distraktører i et tilsvarende lukket spørsmål (typisk flervalgsspørsmål). Årsaken er åpenbar: Når mange formulerer samme gale svar, reflekterer dette faglige misforståelser. Dersom en får presentert et lukket spørsmål med disse gale svarene som alternativer, vil en trolig tilsvarende velge galt. Dette handler ikke om å lure elevene/studentene, men rett og slett om å klare å lage gode nok distraktører i lukkede spørsmål. Poenget er: Når testverktøyet støtter åpne spørsmål, blir det tidseffektivt å la noen av spørsmålene i en test være åpne. Deretter kan en foreta en analyse av svarene og tilslutt oversette spørsmålet tilbake til lukket form.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Spørsmålstyper del 1

Med spørsmålstypene i digitale testverktøy har en som lærer litt større rom for å lage varierte tester. Det er spennende og engasjerende å prøve ut nye spørsmålstyper, og det vil skape nye spørsmålsformuleringer og kanskje nye måter å vri lærestoffet på. Dette er nr 1 av 3 deler om spørsmålstyper. Når jeg holder kurs om digitale tester, bruker jeg å gjennomgå spørsmålstyper (i it´s learning) i lys av teori om gode spørsmål (fra forrige time). Disse tre blogginnleggene om spørsmålstyper forsøker å ha et tilsvarende praktisk og pedagogisk utgangspunkt, men det er litt vanskelig å forklare skriftlig det en ellers demonstrerer og kan gjøre dialog ut av :-). Jeg må nesten bruke det nye verktøyet til it´s learning, ”Test 2.0”, som case siden det er dette jeg bruker i min daglige undervisning. Diskusjonen bør likevel være overførbar til andre verktøy.

De kommende figurene taler mye for seg selv, og bør studeres. (For at du skal slippe å spekulere på hva som er riktig svar, er svaret angitt for hvert eksempel :-) Det skal også vise seg å være noen spørsmålstyper som ikke er så forutsigbare i bruk som en kanskje først skulle tro... Spennende!

Type: Ja-Nei

Det er enkelt å lage Ja-Nei-spørsmål ved å formulere en påstand. Det er også nokså kurant å gjøre om et vanlig flervalgsspørsmål til flere Ja-Nei-spørsmål og motsatt. Dette kan gjøres for å skape variasjon i oppgavene og testene dine, uten at det krever veldig mye tid.

En kan si at spørsmålet over ikke er rent faktapreget. Det står neppe noe sted at Kristian 7. ikke elsket sin kone, men den oppvakte testtaker kan slutte seg til dette ved å huske at Kristian helst lekte med sine tinnsoldater. Det er viktig å være varsom med bruken av negasjoner i slike spørsmål. Det kan fort bli forvirrende om spørsmålsteksten har en eller flere forekomster av ordet ”ikke”.

Type: Flervalg (en av mange)

Mange er vant til å bruke vanlige flervalgsspørsmål hvor kun ett alternativ er riktig (merk bruk av radioknapper). Slike er relativt enkle å lage, og det passer godt å bruke tilbakemelding på alternativnivå. Det kan likevel være vanskelig å lage gode, troverdige alternativer som er gale. Les mer om denne problematikken i innlegget om Distraktørtipset".

Type: Flervalg (mange av mange)

Ved flervalg der kun ett alternativ kan velges, må studenten velge det alternativet som virker mest fornuftig.

Dersom en åpner for å velge at flere alternativer kan være riktige samtidig (avkrysningsbokser i stedet for radioknapper), må plutselig eleven/studenten ta stilling til sannheten for hvert alternativ, altså blir hvert alternativ som en påstand å regne som kan være sann eller usann. Legg merke til hvordan spørsmålsteksten kan avsløre at minst ett kryss forventes. Det er for så vidt greit, fordi det i it´s learning må angis minst ett riktig alternativ.

Observasjon 1: Løsningen er Lincoln og Nixon. Hvis bare Nixon velges, oppnås delvis score, men ikke halv score som en kanskje skulle tro i farten. En får da 83% riktig, som vist i neste figur. Hvorfor det?

Svaret finner vi ved å klikke på poengsummen 0,83 i grønt, da vil vi se poengberegningen som ligger bak. Det gis 1 poeng totalt på oppgaven, men det er også kunnskap å vite hva som ikke skal krysses ut. Denne oppavetypen krever jo at studenten tar stilling til hvert enkelt alternativ, og derfor blir ikke utfordringen å plassere riktige kryss, men heller å plassere riktig status (kryss/ikke kryss) for hvert utsagn. Det å ikke krysse ut et alternativ, er altså et aktivt valg. Derav 0,17 poeng for alle korrekt plasserte kryss og alle korrekt plasserte ikke-kryss! Dette gir mening da eleven/studenten ikke kan vite hvor mange alternativer som er korrekte på forhånd, i motsetning til ren flervalg.

Observasjon 2 (meget viktig): Takk til kollega Mildrid Ljosland for denne observasjonen. Dersom eleven/studenten prøver å helgardere seg ved å sette kryss i alle, vil en ende opp med 0 poeng. Hvis en ikke setter noen kryss, fås også 0 poeng (selv om dette jo egentlig strider mot utregningsreglene i henhold til tidligere figurer). I alle andre tilfeller vil antall poeng bli summen av korrekt plasserte kryss og korrekt plasserte ikke-kryss, delt på totalt antall alternativer.

Dette får en skummel konsekvens. Jo flere uriktige alternativer en oppgave har, dess høyere poengsum vil elever/studenter som kun setter ett kryss få, uansett om dette krysset er plassert riktig eller ikke! Dette vises egentlig ganske tydelig i oppgaven med Nixon. Hvis eleven/studenten krysser av for Kennedy (galt) og bare ham, så vil en få 0,51 poeng, fordi 0,17+0,17+0,17 er 0,51. Disse oppnås fordi Washington, Roosevelt og Johnson var korrekt "ikke avkrysset".

Hvis læreren legger til 4 ekstra alternativer som er gale (for å lure elevene/studentene ytterligere), så vil oppgaven ha totalt 10 alternativer og fortsatt er bare to riktige. Dersom eleven/studenten fortsatt krysser av for bare Kennedy, vil en nå få hele 0,7 poeng. Nå er det 10 alternativer, så hvert alternativ gir 0,1 poeng. Det var hele 7 korrekt plasserte ikke-kryss, så eleven/studenten får galt på Nixon, galt på Lincoln og galt på Kennedy, men ikke mer!!! Du som lærer bør altså ikke legge til gale lurealternativer i den tro å skulle gjøre oppgaven vanskeligere, da dette kan utnyttes.

Dette var innlegg nr 1 av 3 om spørsmålstyper, og vi nærmer oss halvveis i hele tipsserien.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Hvem lærer?

Enhver som har prøvd å lage en digital test vet at det er vanskelig. Det er krevende å lage gode spørsmål. Det fordrer en viss oversikt over fagfeltet, og en må vri hjernen litt for å klare å formulere gode spørsmål og ikke minst klare å lage gode distraktører (gale alternativer).

Når du lager tester, jobber du aktivt med lærestoffet innenfor det aktuelle fagfeltet. Du kan trolig ditt fagfelt ut og inn, og det er derfor ikke sikkert du har tenkt over følgende: Det er et stort potensial for læring i prosessen med å lage tester/spørsmål. Denne observasjonen leder til en spennende læringsaktivitet. La elevene/studentene lage sine egne tester! Nettopp dette er utprøvd i flere fag over flere semestre av undertegnede, med suksess. Her følger en kort forklaring til opplegget. Dersom du er interessert i detaljer kan du lese Horgen (2007).

I den nye Web 2.0-verdenen er det vanlig å se på hver enkelt som potensiell produsent av informasjon. I LMS-ene er det nok mer vanlig å se på læreren som den som produserer noe, mens elever/studenter skal gjøre det læreren har lagt ut. Heldigvis er det mulig å åpne opp for at elever/studenter får skrivetilgang til et område, og slik kan lage for eksempel en digital test. Det er også mulig å dele inn i grupper og gi hver gruppe eksklusiv tilgang. For de som bruker it´s learning betyr det at elevene/studentene får se den grønne plussknappen i sin mappe.

Erfaring viser at det er lurt å dele ut en oppgavetekst som forklarer læringsopplegget nokså detaljert. Det er viktig at de forstår hensikten bak øvelsen, hvordan de skal jobbe, hva de skal produsere og hva de skal levere.

Etter at elevene/studentene har levert testene sine, er det rimelig at du som lærer gir tilbakemelding på kvaliteten. Det beste er en individuell tilbakemelding basert på innholdet i testene, men en felles, generell tilbakemelding kan også ha verdi. Ta testene og noter deg kommentarer til spørsmålene mens du tar testen.

Selve testene som produseres, har selvsagt stor verdi. Du som lærer kan bruke testene i fremtidige eksamener/prøver/sammenhenger. Det er også lurt å la elevene/studentene ta alle de andre sine tester. Det er motiverende å lage en test dersom en vet at de andre skal få ta testen i ettertid. Elevene/studentene vil i så fall trolig legge mer flid i arbeidet ved å utforme testene. Her ser en kimen til læring i underveis og repetisjon i etterkant!

Det er viktig å være tydelig på oppgaven. Hva skal gjøres? Hva skal leveres? Hvordan skal de jobbe? Her er oppskriften på et vellykket opplegg, som du gjerne må bruke i din sammenheng. I praksis utgjør punktene under kjernen i oppgaveteksten som studentene får utdelt, men teksten må selvsagt omformuleres til å passe inn i din egen kontekst.

• Først skal alle individuelt lage sin egen test med 10 spørsmål fra lærestoffet. Det er valgfritt hvilke spørsmålstyper de velger å bruke.
• Nå har gruppen totalt sett produsert 4 tester á 10 spørsmål. De skal så ta hverandres tester internt på gruppen.
• Basert på erfaringene med å besvare hverandres spørsmål, skal de møtes og diskutere positive og negative ting med testene. Resultatet av diskusjonen skal være at gruppen produserer én test som består av de 25 gode spørsmål, og det er lov å forbedre eksisterende spørsmål.
• Gruppen må også skrive et refleksjonsnotat om hvordan de jobbet, hva de kunne gjort anderledes og hvorvidt de tror at deres test vil bli nyttig for andre studenter. Det er refleksjonsnotatet og gruppens test som utgjør det endelige produktet.
• Etter at alle har levert og fått godkjent, kan læreren velge hva som skal skje med testene. Det mest fornuftige er å tilby testene til alle elevene/studentene. For it´s learning sitt vedkommende, gjøres det enkelt ved å først lage en helt ny mappe som heter ”Alle tester” og så gå gjennom de 10 gruppemappene og kopiere hver gruppetest dit. Siden nye mapper som standard er lesbare for elevene/studentene (uten noen grønn plussknapp) kan de nå ta testene til hverandre uten at du trenger å gjøre mer! Det kan være lurt å sjekke at tidsfrist ikke er satt, og at alle testene for eksempel har 5 forsøk.

Du vil bli imponert og kanskje også inspirert av noen av spørsmålene. Det er utrolig hvor kreative elever/studenter kan være om de bare får sjansen!

Det er krevende å lage spørsmål. Når elevene/studentene først får i oppdrag å lage noen spørsmål individuelt, må de virkelig sette seg ned og tenke seg om. De må ha forstått lærestoffet, og eventuelt lese parallelt med at de lager spørsmålene. Det er ikke særlig høy terskel å ta hverandres tester internt på gruppen, og erfaringene fra denne fasen legger premissene for å en god gruppevis diskusjon. For at gruppen skal komme fram til sin endelige test, må de jobbe godt sammen. De må bryne seg på hverandre. De må kritisere andres og egne spørsmål på en konstruktiv måte. Denne prosessen involverer både kvalitetssikring og videreutvikling av spørsmål.

Etter å ha laget testen, skal alt klargjøres for innlevering. De må bli enige om innholdet i et refleksjonsnotat, og finpusse testen sin slik at hele gruppen kan stå inne for produktet. Det å ta hverandres tester, er en fin måte å oppsummere og avslutte øvelsen på. Det blir også en fin mulighet til å oppsummere en større teoriblokk på! Det er ingenting i veien for å vente noen uker med å dele ut testene til alle, slik at siste fase skjer når det nærmer seg eksamen.

De aller fleste refleksjonsnotater og muntlige samtaler, viser at studentene ved datautdanningen på HiST er veldig godt fornøyde med denne oppgavetypen, fordi det skaper variasjon, det er morsomt og faglig utfordrende, og det er spennende å ta andres tester. Det samme sier lærere i skoleverket som har prøvd tilsvarende aktivitet.

Alt du produserer er verdifullt, særlig ditt digitale lærestoff. Spørsmål og digitale tester er spesielt verdifulle, fordi slike er nyttige samtidig som det tar tid (og tid er penger). Tid er også en viktig kvalitetsfaktor. En utfordring blir dermed å skape nok og godt lærestoff på liten tid, uten at kvaliteten forringes.

Ved å la elevene/studentene lage sine egne tester, lærer de mye underveis, og det er jo det beste av alt. Bonusen er stor. Du som lærer fanger opp en rekke spørsmål gratis. Mange er av god kvalitet, noen spørsmål er tilnærmet like, og noen bør forkastes. Det er uansett mye enklere for deg som lærer å gå gjennom noe og plukke ut det som duger, enn å lage noe helt nytt fra grunnen av. Det er altså mulig å samle sammen 2.500 spørsmål i en spørsmålsbank ved å gå gjennom elevenes/studentenes tester, om du vil det, uten å gjøre mer enn å arrangere en litt alternativ øvingsoppgave i ny og ne! Det er lurt å skrive eksplisitt i oppgaveteksten at du som lærer vil komme til å bruke spørsmålene som produseres i fremtidige tester, både for dette og kommende studenter, så får de som eventuelt ikke sier seg enige, levere på alternativ form eller filtreres bort fra dine gjenbruksplaner.

Over tid kan du som lærer tilby studentene fine muligheter til å repetere lærestoffet, uten at du selv må bruke tid på å produsere. Du kan for eksempel starte et semester med å tilby tester som ble laget i fjor. Du må gjerne opplyse om dette, til motivasjon for kommende øvelse for nåværende kull. Kanskje starter idémyldringen allerede ved semesterstart, når de vet hva som kommer senere?

Helt til slutt sitter forhåpentligvis du igjen med følgende observasjoner:

• Elevene/studentene har lært mye ved å gjøre en grundig jobb og bearbeide lærestoffet på nye måter.
• Aktiviteten har vært spennende, og er med på å skape variasjon totalt sett i fagopplegget.
• Elevene/studentene har fått muligheten til å repetere lærestoffet ved å ta hverandres tester.
• Du som lærer sitter igjen med en stor samling av til dels veldig gode spørsmål som kan inngå i dine egne digitale tester.

Det er også viktig å understreke at en ikke skal overdrive et slikt opplegg. Hvis du tradisjonelt har 12 øvinger i et fag, bør du ikke kjøre en slik aktivitet for mer enn noen få av disse øvingene. Variasjon, spenning og motivasjon krever et visst overraskelsesmoment.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Utfordringer

Tradisjonelt sett har flervalgstester (tester med spørsmål av type multiple choice/flervalg) blitt brukt summativt – typisk til eksamen. Ved å sammenlikne kryss fra svararkene med kryss i en fasit, vil rettingsarbeidet kunne effektiviseres noe, og vurderingen bli mer objektiv. Det fins også eksempler på systemer som kan tolke svarark optisk og slik automatisere retteprosessen.

Kritikerne hevder blant annet at tester med flervalgsspørsmål ikke egner seg til å vurdere godt nok. Her er noen typiske innvendinger:

• "Hvordan skal en kunne avdekke forståelse, analytiske evner og skriftlig fremstillingsevne med en flervalgstest?"
• "Hvordan kan en sikre en riktig vurdering med noe som rettes automatisk?"
• "Hvordan unngå mekanisk læring som er tilpasset denne vurderingsformen?"
• "Slike tester passer kun for tekniske fag."

Det fins også en rekke studier der en har gått systematisk til verks og sammenliknet resultater der både flervalgsoppgaver og essayoppgaver brukes i samme eksamen, for eksempel fra psykologiundervisningen ved NTNU (Bjørgen og Ask, 2005).

En digital test er noe mer enn en tradisjonell flervalgstest. Digitale tester kan utvilsomt brukes innen alle fagområder, til alt fra matematikk, fysikk, kjemi, økonomi og data til norsk (språkfag), historie, psykologi, samfunnsfag, helsefag, pedagogikk, filosofi, musikk, mediefag, meteorologi og så videre. Selv har jeg jobbet en del med formativt bruk av tester, altså tester for læring. Jeg synes det er utfordrende å bruke tester summativt (karakter), men når det gjelder formativ bruk kan jeg rope ut: Digitale tester bør appelere til alle fagfelt.

Mange av de som aktivt bruker flervalgstester, har erfart at det er vanskelig å lage gode spørsmål (veldig viktig tematikk for summativ bruk), men mener at det er mulig å formulere spørsmål som både tester kunnskap, forståelse, ferdigheter og evner av høyere kognitiv orden. Uavhengig av spørsmålskvalitet, vil mange av innvendingene mot tradisjonelle flervalgstester fortsatt være aktuelle. Det er mange hensyn å ta for å oppnå høy kvalitet både i utforming, bruk og forvaltning av slike tester. Det interessante er at mange utfordringer også gjelder ved formativ bruk av tester! En bør som lærer strebe etter å lage gode formative tester for slik å gi best mulig læringsutbytte.

Når vi ser nærmere på de mulighetene som for eksempel it´s learning og Fronter tilbyr gjennom sine digitale testverktøy, er det liten tvil om at digitale tester kan være et meget sentralt pedagogisk redskap for de fleste lærere som har lyst til å tilby studentene/elevene sine en ny og spennende læringsform og evt. vurderingsform. Digitale tester utgjør et viktig supplement i lærerens pedagogiske verktøykasse. En bør selvsagt ikke utelukkende bruke slike tester, men bør heller ikke velge bort bruken av tester basert på gammeldagse, ugyldige fordommer.

Det er mye mulig du eller andre kollegaer er grunnleggende skeptiske til bruk av digitale tester. Denne tipsserien har som formål å vise bredden i hvordan digitale tester kan brukes, men det er helt klart en del utfordringer som må overkommes. Mitt tips til alle lærere er: Start med formative tester, og vurder senere om du vil utvide til summativ bruk. Formativ bruk (som du vil se gjennom tidligere og kommende blogginnlegg i denne tipsserien) kan åpne for helt nye muligheter for å skape engasjement, læring og aktivitet. Utfordringer er til for å løses, og gjennom diskusjon, utvikling av beste praksis og samarbeid med fagfeller, blir premissene bedre for å lykkes.

Noen spørsmål til slutt:

• Har du noen eksempler på utfordinger (gjerne konkrete erfaringer), evt. også med forslag til løsning? (1)
• Er testverktøyene i LMS-ene så gode at de virkelig kan hjelpe den jevne lærer til å lykkes med å lage gode tester (2)
• Hvis ikke, hva synes du generelt om digitale tester? (3)
• Hva tenker du om det å lage gode spørsmål og gode tester innenfor rammene som Kunnskapsløftet setter, når Blooms taksonomi ikke lenger står særlig sentralt? (4)

^{(1) ja, dette er et...
(2) ...halv-desperat forsøk på å...
(3) ...skape litt engasjement rundt digitale tester...
(4) ... og særlig denne om Bloms vil jeg gjerne ha innspill på}

Kilder: Bjørgen, I. Ask, H.: ”Læringsmøter IV – Kvalitetsreformen ved Psykologisk Institutt”. Trondheim 2005. ISBN 82-8094-008-1.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!