Hvorfor video i flervalgsspørsmål?

Jeg blir fra tid til annen spurt om hvordan en kan lage flervalgsspørsmål på høyere taksonomisk nivå. Det er vanskelig å formulere gode spørsmål, og folk trenger konkrete teknikker for å lykkes.

Jeg synes problematikken er vanskelig selv. Et konkret tips jeg ofte gir, er å bruke video i digitale tester. De fleste digitale testverktøy gjør det mulig å inkludere video som en firkantet videoboks med tekst over/under videoen. Da kan eleven/studenten se videosnutten som del av spørsmålet, uten å måtte forlate testverktøyet.

Her er eksempel på noen (tenkte) spørsmål hvor video inngår:

• Se på denne videoen (videoboks rett nedenfor). Analyser situasjonen som gjennomgås i videoen og ta stilling til det som skjer i filmen. Velg deretter riktig alternativ (a, b, c). 
• Se alle disse tre videoene. Nedenfor har du fem påstander. Hvilke av påstandene er gyldige for alle tre videoene? For å svare riktig må du forstå innholdet, klare å trekke slutninger basert på videoenes innhold hvor du relaterer påstandene til meningsinnholdet i videoene (eventuelt sammenlikne de tre videoene med hverandre eller liknende). 
• Se på disse tre videoene. Hvilke generelle begrep vil du si karakteriserer alle videoene? (velg mellom ulike alternativer)
• Nedenfor til venstre ser du fire korte videosnutter (á 10 sekunder) som beskriver ulike situasjoner. Til høyre ser du noen begreper. Finn par slik at videoene hører sammen med riktig begrep. 
• De neste fem spørsmålene forutsetter at du har sett og forstått innholdet i dette videoklippet... 

Bruk av video i flervalgsspørsmål har flere fordeler:

• Testen blir mer omfangsrik rent tidsmessig. Det tar minst så lang tid å svare på et spørsmål som det tar å se videosnutten(e).
• Det er lettere å formulere spørsmål på høyere kognitivt nivå.
• Video skaper variasjon og gjør således testen mer "levende".
• Video åpner for nye muligheter for formativt bruk av tester. 
• Du kan gjenbruke video fra YouTube eller andre kilder, men du kan også med letthet lage dine egne videoer. Det er veldig effektivt å lage gode pedagogisk brukbare videosnutter i følge snarfilm-bloggen :-)

Har du erfaringer med bruk av video i digitale tester? Er dette noe du ser nytten av? 

Kreative varianter

Her kommer omsider del 20 - siste innlegg - i tipsserien om digitale tester. 

En digital test er en samling av spørsmål som kan tas digitalt og rettes automatisk. Gjennom denne tipsserien har vi sett hvordan digitale tester kan både brukes som et viktig ledd i læringsprosessen (formativt bruk) og inngå i vurderingsgrunnlaget (summativt bruk). Vi har også sett på noen tekniske aspekter ved slike tester. I dette siste innlegget skal vi tenke ut noen kreative varianter. Disse har kommet som ideer gjennom samtaler med folk opp gjennom årene og egne tanker.

Grei ut om gale svar: Lag en test, og la elevene/studentene ta testen. Sett opp testen slik at de ikke får se hva korrekt svar er, men bare hvilke spørsmål de har fått feil på. De skal deretter skrive en forklaring på hva som er riktig og hvorfor de svarte galt. Tanken bak denne øvelsen er at de skal jobbe aktivt med det de ikke fikk til i den digitale testen, og reflektere over hvorfor de svarte feil. Altså vil testen fungere som et redskap for å sile ut hva de trenger å fokusere på og jobbe mer med. Målet er ikke testen, målet er læring. Testen er til for å bevisstgjøre eleven/studenten.

Forberede lab-undervisning: I dag finner vi avansert, moderne og kostbart utstyr på mange laboratorie-rom (lab-er). Dette gjelder alt fra IT-fag til mat-teknologi, fysikk, kjemi, helsefag og liknende. I stedet for å kastes rett ut på en lab, kan en forberede seg og ”kvalifiseres” for bruk av lab ved å bestå en test. Hvorfor er det lurt? Fordi utstyret er dyrt og slike rom er en begrenset ressurs. Ved å møte forberedt vil utbyttet økes. 

Oppsummere lab-undervisning: Oppsummering av lab-forsøk i form av en digital test, kan være nyttig. Læreren kan lage en slik test, eller noen av elevene/studentene kan utfordres til å lage testen. Kanskje på rundgang (gruppe 1 lager test i uke 29, gruppe 2 i uke 31 og så videre).

Oppsummere lab-undervisning med video: Siden lab-undervisningen ofte er praktisk rettet, kan en lærer være kreativ og konkret. Hva med å gå rundt og filme det elevene/studentene gjør med et lite videokamera (gjerne mobiltelefonen din) og så la de små snuttene du tar opp brukes som stimuli i spørsmål i en digital test? Du kan jo inkludere video i spørsmålene dine. Tenk deg at det er lab hvor Lise, Ole og Per jobber med noe praktisk. Du filmer det de gjør, og lager i ettertid et spørsmål som sier: "Se på denne videoen hvor noen elever/studenter prøver å gjøre dette. Du ser at det ikke går helt bra, og det skyldes dårlig forarbeid. Hva er det de har glemt å gjøre før de startet? [alternativ a, b, c og d]". Dette spørsmålet viser flere ting: 

• Det er motiverende og veldig konkret å få en test med spørsmål basert på eget arbeid.
• Det er lett å lage spørsmål som tester på forståelse (dette eksempelet krever jo at en setter seg inn i problemet, forstår hva som går galt og svarer).
• Gjenbruksfaktoren er til stede, men det kan være lurt å ikke ta opp ansikter for å lage videoene mer generelle. 

Gruppevis oppgaveløsing: Det er lærerikt å jobbe sammen med andre. Hvorfor ikke løse tester gruppevis? Det er ikke bare morsomt, men også noe å bryne seg på når en må diskutere og bli enige om hvilket svar som er riktig. En kan også arrangere konkurranse for å se hvilken gruppe som gjør det best. Dette kan bidra til å gjøre studentene ekstra engasjerte. Tenk bare hvordan en quiz i et bryllup eller juleselskap kan engasjere...

Spørsmål først, så testen: Tidligere kollega Truls Fretland prøvde ut følgende i matematikk-fag ved AITeL: Først deles en rekke spørsmål ut (for eksempel per e-post). Studentene får jobbe med disse spørsmålene i en uke, og deretter skal de ta en digital test som har 4 alternativer til hvert spørsmål. Det er veldig mange spørsmål som skal besvares på kort tid, av den art der det tar lang tid å regne ut oppgaven for å finne ut hvilket alternativ som stemmer. Det er dermed bare de som har jobbet med spørsmålene og regnet ut det meste på forhånd, som klarer å bli ferdige i tide. Hensikten er altså ikke å sile ut de som er flinkest, men å sørge for at alle jobber godt gjennom uken med å løse regnestykker. De som gjennom ukens arbeid har regnet feil på en oppgave, vil se at sitt svar ikke fins blant alternativene, og dermed ønske å prøve på nytt igjen under testen (hvis tid, vel og merke :-).

Og snipp snapp snute, med det var tipsserie nr 1 ferdig. Den har altså handlet om digitale tester. Puh! Da er det bare å fortsette på tipsserie 2, om Web 2.0. Følg gjerne med videre på ferden. Ambisjonen er å fullføre tipsserie 2 relativt raskt, og også starte en tipsserie 3... Takk for følget, håper dette var nyttig og lykke til med pedagogisk bruk av digitale tester!

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Grupper...

Her kommer del 19 av den pågående tipsserien om digitale tester, om gruppearbeid.
Samarbeid er bra. Går det an å tenke samarbeid i forbindelse med digitale tester? Tenk over det. Her er noen idéer:

• La elevene/studentene samarbeide om å ta tester, der de skal diskutere seg fram til riktig svar og argumenere for hva som er riktig og kanskje like viktig; begrunne hvorfor en velger bort gale argumenter.
• Gruppevis konkurranse der det er om å gjøre å få høyest poengsum. Nesten som i bryllup og selskaper der ulike "bord" konkurrerer mot hverandre...
• La elevene/studentene samarbeide om å lage tester.

Ofte vil et vanlig gruppearbeid bety at en fordyper seg i et tema. Det kan være samme tema for alle gruppene eller ulike temaer. Uansett så vil gruppen lære mye underveis, og produsere et resultat, kanskje i form av en skriftlig rapport. En utfordring er å få gruppene til å sette seg inn i hverandres arbeider. Her følger en mer sammensatt variant som jeg først hørte av kollega Geir Maribu:

• Steg 1 er at alle gjør gruppearbeidet og produserer det som skal produseres (kanskje en rapport).
• Steg 2 er å sette seg inn i det som en annen gruppe har gjort. La oss si at for eksempel gruppe B setter seg inn i det som gruppe A har gjort, C inn i det B har gjort og så videre.
• Steg 3 er at hver gruppe skal lage en test om det arbeidet de setter seg inn i. Altså vil B lage en test på A sitt arbeid, C på B sitt og så videre.
• Steg 4 er at hver gruppe skal ta testen som omhandler sitt eget arbeid. Altså skal A ta testen som B har laget om A-arbeidet. A testes dermed i sitt eget "lærestoff"!

Spennende, ikke sant? Hva betyr et slikt opplegg for læring? For engasjement? For motivasjon og arbeid underveis? For repetisjon? Interesse for andres arbeid?
Her kan en også tenke seg mange varianter. En kan for eksempel samle sammen alle testene og vente noen uker før alle tar alle testene (som repetisjon). Eller en kan la testene være utgangspunkt for en diskusjon der en i uke 1 ser på arbeidet som gruppe A har gjort, og diskuterer (lærer) rundt det. Som prebetingelse må alle ha bestått testen som B har laget. Hvorfor? Fordi da blir diskusjonen (og engasjementet) bedre. Testen bidrar til å hjelpe alle opp på et nivå som gjør det mulig å komme med gode innspill.
Det er spennende å tenke gruppearbeid og samarbeid i forbindelse med tester. Samarbeid kan være alt fra å fordele spørsmål mellom hverandre, til å bli enige om noe en i fellesskap kan stå inne for, eller som vi har sett, at testaktiviteten inngår som motivator og del av et større gruppebasert opplegg.
Har du noen erfaringer med gruppearbeid der tester inngår?

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Metatester

Her kommer del 18 av den pågående tipsserien om digitale tester.

En metatest er vel strengt tatt en test om en test, men hvis vi trekker begrepet litt videre, kan vi si at en metatest er en test om noe som i utgangspunktet ikke er assosiert med læring/utdanning. For eksempel bruk av it´s learning. Jeg har laget tre slike "metatester" som du kan prøve ut selv om du vil:

1. Metatest om spørsmålstyper i testverktøyet til it´s learning
2. Metatest om it´s learning (uten tilbakemelding)
3. Metatest om it´s learning (med tilbakemelding)

Jeg har laget disse tre metatestene i it´s learning i et eget fagrom. Hvordan dele disse testene slik at du kan se på dem og prøve dem? Det er ikke mulig å eksportere en hel test (per dags dato) men det er mulig å eksportere ut spørsmål fra en test, nærmere bestemt som en zip-fil i henhold til standarden IMS/QTI. Vil du prøve, så må du ha it´s learning og du kan lese mer her: Svend Andreas sine metatester om it´s learning

Kan vi bli inspirert av metatester? Det er av og til ønskelig å spre informasjon og faktisk "nå fram" med budskapet. Tester kan lages med det mål for øye å motivere til lesing, det har vi sett på tidligere i denne tipsserien. La oss ta utgangspunkt i noe så kjedelig som "informasjon om brannvern" som er obligatorisk å lese for ansatte i en virksomhet. Gjør de det? Får de med seg poengene? Hva om en legger ut informasjonen på nett (eller lager som brosjyre) og så lager en digital test med spørsmål som bare kan bestås om en jobber med informasjonskilden? Da blir det ikke bare utfordrende, men også en aktivitet i stedet for passiv informasjon.

Hva med å lage en test om et spesielt dataverktøy, for eksempel "wiki" eller "bruk av it´s learning" eller bruk av "økonomisystemet"? Hensikten er ikke å sile ut de flinke brukerne, men å sikre seg at alle kommer opp på et ønsket nivå før verktøyene tas i bruk. Tester kan brukes til å øke bevisstheten på digital kompetanse. De gir umiddelbar tilbakemelding til deltakeren, er veldig konkrete og kan stimulere til nysgjerrighet om å utforske nyttige sider ved for eksempel et dataverktøy.

Har du brukt tester på denne måten? Erfaringer?

Vil du lære mer om digitale tester, så har høstens fag "LN392D Pedagogisk bruk av digitale tester" akkurat startet opp (fortsatt mulig å bli med).
Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Her er alle innleggene til nå. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

it´s a test

Her kommer del 17 av den pågående tipsserien om digitale tester. Denne gang må du i kreativmodus og gjerne bidra til å tenke høyt :-)

Utgangspunkt: "it´s a quest"

Rune Vindenes, tidligere ansatt i firmaet "it´s learning", kom med et knalltips på et seminar i Bergen om pedagogisk bruk av digitale tester for et par år siden. Han tenkte seg et opplegg med en rekke tester, der de som klarte en test, fikk en ledetråd som skulle tas med videre. Målet slik han så det for seg, var å samle sammen et større nøkkelord, og levere inn dette i en endelig test (med bare ett spørsmål). Hver test ville altså gi dem en del av ”rebusen”. En utfordring med å lage et slikt opplegg, er at læreren i så fall manuelt må dele ut nøkkelordet etterhvert som studentene består testene siden det dessverre ikke er mulig i dagens testverktøy å gi en betinget tilbakemelding basert på oppnådd poengsum.

Idéen til Rune Vindenes om å knytte sammen flere tester, inspirerte meg til å spinne videre. Jeg skrev et blogginnlegg som jeg kalte "it´s a quest" . Tanken bak "it´s a quest" er at læreren lager undersøkelser, forum, tester, notater, pekere og så videre, og knytter disse finurlig sammen som en rebus som skal løses gradvis. Hver deltaker skal prøve å komme seg gjennom rebusen, og sende inn løsningsordet til læreren. For eksempel vil stien være slik:

• Et notat som viser til en lenke/webside som må leses og forstås for å finne ut første ord av rebusen. Websiden er selvsagt faglig relevant, for eksempel historie, samfunnsfag, matematikkhistorie, anvendelse av noe e.l.
• Deretter tar eleven/studenten en test hvor svaret på et av spørsmålene også gir en ledetråd til hvor en skal gå videre.
• En blir ledet til mer lærestoff og nye ledetråder.
• Deretter bærer det til et forum hvor en skal skrive et innlegg, og kanskje er ledetråden gjemt direkte i et eksisterende innlegg, eller kanskje heller: indirekte. For eksempel at en skal finne et ord på 7 bokstaver som oppsummerer og beskriver det diskusjonen egentlig handler om. Da må en lese og forstå diskusjonen, og så klare å abstrahere innholdet og finne et egnet ord. Dette krever refleksjon, prosessering etc. Diskusjonen kan være "gammel", for eksempel fra et tidligere semester.
• Deretter skal en lese et notat som blant annet har inkludert en video om noe fra YouTube.

Fantasien setter grenser. Hele tiden samles nye biter og ledetråder av rebusen opp. Ledetrådene og ord som inngår i rebusen finnes bare ved å gjøre det som skal gjøres og følge alle instruksjoner. Hensikten er selvsagt ikke å løse rebusen, men å aktivisere elevene/studentene slik at de lærer mye underveis. Alt som skal gjennomgås er faglig relevant. it´s a quest blir altså bare en metode for læring.

Dette er altså bakteppet og inspirasjonskilde for dette innlegget.

Tanker om et opplegg med tester: it´s a test

Det som fasinerer meg med "it´s a quest", er at elevene/studentene er på jakt etter noe, og aktiviseres underveis. De lærer mye, og det er motiverende og morsomt å jobbe seg videre. Kan digitale tester brukes på en liknende måte for å fremme læring og drive aktivitet? La oss prøve å konstruere en eller flere tester med hensikt å motivere for å lære noe eller øve en ferdighet. Altså slik at testen blir et redskap som driver læringen fremover.

Jeg vet ikke hva som er det beste navnet på noe slikt, men siden det er motivert i "it´s a quest" så kaller jeg det "it´s a test". Jeg prøver meg på to eksempler (ett i programmering og ett i kjemi/realfag) for å forklare konseptet, og så utfordres du i kommentarfeltet til å eksemplifisere for ditt fagfelt.

Eksempel 1: Programmeringsfag

Selv om du ikke kan eller har interesse for programmering, er det viktig å skumme gjennom dette eksempelet og få med hovedpoenget i "it´s a test". Et viktig mål i programmeringsfag er å øve praktiske ferdigheter og lære seg å slå opp i ressurser på Internett som kan hjelpe til i problemløsning. I stedet for å bare instruere elevene/studentene om å utforske ressursen, eller lage lærestoff som forklarer bruken, så kan jeg bruke "it´s a test"-metodikken. Kollega Geir Maribu inspirerte meg til å tenke anderledes, siden han har gjort noe liknende i sine fag.

• Studentene skal lære å programmere. Ingen kan lære alle hemmeligheter og kriker og kroker i et programmeringsspråk. De trenger hjelp fra språkets dokumentasjon, og må lære seg å slå opp i den. I vår tilfelle er dette den såkalte "PHP-manualen" med adresse http://www.php.net/manual/en/.
• Jeg lager en test som fordrer aktiv bruk av PHP-manualen.
• Jeg vet hva som er viktig å kjenne til i praksis, nemlig strukturen og organiseringen av manualen. Det å kunne tolke informasjonen de finner og sette den inn i en sammenheng, står sentralt. Jeg lager derfor spørsmål som krever at de må slå opp i PHP-manualen for å finne svaret.

La meg konkretisere. Et spørsmål kan kanskje være

Hvor mange argumenter krever funksjonen strstr() i programmeringsspråket PHP?

Dette er noe ingen programmerere går rundt og husker. Svaret står i klartekst i PHP-manualen, og ved å slå opp i denne ressursen, finner de svaret. Studentene mine må altså lære seg å bruke PHP-manualen og forstå informasjonen som står der. Et annet spørsmål kan være:

Hva brukes funksjonen mktime() til?

Ingen programmerere går rundt og husker dette, men i PHP-manualen står det en beskrivelse som forklarer både hva funksjonen mktime() gjør, samt relaterte funksjoner og eksempler på bruk.

En student slår opp i PHP-manualen på Internett på jakt etter hva hensikten med funksjonen mktime() er.

Eksempel 2: Kjemi og liknende fag

Kjemi er et fagfelt som krever kunnskaper og øvelse/eksperimentering. Det egner seg derfor perfekt for "it´s a test". Vi kan tenke oss at en lærer lager en test med noen spørsmål. For å kunne svare må elevene/studentene gjøre en rekke ting. Spørsmålene kan kreve at de gjennomfører konkrete eksperimenter, forbereder kjemiske forsøk og liknende. Noe som er sentralt (så vidt jeg husker) er å forstå og klare å bruke den periodiske tabellen, samt å sette sammen molekyler. Dette må egne seg kjempegodt for "it´s a quest". Det er spørsmålene og jakten på svaret som driver dem framover, men hensikten er at de skal lære og øve seg i noe helt annet.

Når de har løst problemene, så kan de svare. Poenget er at da har de lært mye underveis. Letingen kan ta laaaang tid. Det å ta testen kan være fort gjort.

Oppsummering: Hvorfor "it´s a test"?

Du forstår sikkert poenget nå. Poenget med et slikt opplegg er at elevene/studentene kan svare bare ved å slå opp eller gjøre noe. Gjennom det så lærer de å bli kjent med noe og anvende noe i praksis. Læreren kan lage en video som demonstrerer eller forklare (undervisning), men det blir mer passivt og trolig ikke så lærerikt. Med "it´s a test" blir den lærende aktivisert. De må selv utforske for å finne svaret. I stedet for at læreren detaljert forklarer hvordan ting fungerer, så må de lete og tenke selv, og svare på spørsmål. Det er spørsmålene (i testen) som driver elevene/studentene fremover.

Hvorfor bruke tester på denne måten? Fordi det bidrar til å automatisere alle sider av læringen. Testen retter seg selv og driver kjerneaktiviteten fremover. Elevene/studentene motiveres av målet, nemlig å bestå testen (eller evt. finne svar). De lærer det de skal underveis, og det skjer i tillegg på en god måte.

Kanskje kan læreren også flette inn andre aktiviteter, for eksempel krav om refleksjonsinnlegg underveis, bidrag i forum e.l. mens en tar testen og gjennomfører de aktivitetene som kreves for å klare testen? Kan en kanskje tenke seg å kjøre et slikt opplegg gruppevis, kanskje som en gruppevis konkurranse? Da får de et ekstra insentiv for å løse problemene fort og effektivt, og må lære sammen og samarbeide på nye måter. Tankene går til orienteringsløp og gruppekonkurranser på ute-dager i barneskolen, der vi gruppevis gikk sammen og skulle løse oppgaver underveis og fylle ut ord i en rebus. Jeg innser nå (20 år etterpå) at målet fra skolens side med slike ute-dager ikke var at vi skulle finne alle postene og vinne, men at vi skulle lære ting underveis. Løypen var bare virkemiddelet. Det samme handler "it´s a test" om. Testen er bare virkemiddelet.

Har du tanker om "it´s a test"? Kommenter i vei, dette kan bli fruktbart om mange konkretiserer. Gjerne tenk høyt om ditt eget fag og prøv å tenke anvendelse og praktiske cases hvor en test kan drive arbeidet, og hvor målet ikke er testen som sådan, men å lære underveis i jakten på svaret.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Ressurs: Mange spørsmål

Dette innlegget er del 16 av den pågående tipsserien om digitale tester. En oversikt over alle innlegg ser du i bildet til høyre. Dette innlegget handler om hvordan du kan lage mer varierte tester, forvalte mange spørsmål innenfor en test og på tvers av mange tester, og gjenbruke på avanserte måter. Etter å ha lest innlegget vil du trolig være enig i at det å legge flid i å lage gode spørsmål og jobbe strukturert, kan være en god og langsiktig investering.

Problemstilling 1: Hvorfor gruppere spørsmål?

Vil du unngå juks? Vil du skape variasjon eller rett og slett bare lage mer spennende og bedre tester? En test kan ha spørsmål fra mange ulike temaer eller av ulik vanskelighetsgrad. Vet du hva testen din inneholder? Hvordan vil du at testen skal fungere? Kanskje har du 20 spørsmål fra tema X, 5 fra tema Y og 12 fra tema Z? Ønsker du å sette opp et mer avansert tilfeldig uttrekk, slik at de som tar testen får 5 spørsmål fra tema X, 5 fra tema Y og 5 fra tema Z? Da vil Ole, Lise og Kari få noen like spørsmål, og noen forskjellige. Kombinert med tidspress kan du redusere muligheten for juks i en summativ test, eller rett og slett bare skape variasjon i en formativ test. For å gjøre dette i praksis trenger du funksjonalitet for å gruppere spørsmålene.

De fleste testverktøy støtter en eller annen form for gruppering. I it´s learning sitt testverktøy heter det "Kategorisering". Alle spørsmål innenfor en kategori er verdt så mange poeng du måtte ønske, og du kan angi hvor mange spørsmål som skal trekkes tilfeldig fra hver kategori. Dermed kan en med it´s learning løse problemstillingen over på en god måte. Det samme kan en gjøre i Moodle og i AITeL sitt egetuvtiklede testverktøy DigiTEST. Vet noen om en kan gjøre det samme i Fronter?

Visning av hvordan avansert kategorisering settes opp i testverktøyet i it´s learning.

Bildet over viser en test hvor kategoriseringen tilsier at alle deltakerne får 10 (av 10) grunnleggende teorispørsmål, mens hver deltaker får tilfeldig trukket 4 av totalt 7 programmeringsspørsmål samt 2 av totalt 8 skikkelig utfordrende case-baserte spørsmål. Merk at de kan få totalt 40 poeng i denne testen. Neste bilde viser hvordan hvert av de 25 spørsmålene i testen er tilordnet en kategori. Deltakerne får altså ikke 25 spørsmål selv om testen har 25 spørsmål. De får 16 spørsmål. I teorien kan to deltakere få samme spørsmål, men de kan også være forskjellige.

Testen har 25 spørsmål totalt. Hvert spørsmål er kategorisert. Dermed holder du som lærer oversikt og elevene/studentene får ta varierte tester.

Det er mange måter å kategorisere på. Din fantasi setter grenser. Tenk over hva du kan oppnå.

• I summative tester kan du bruke kategorisering til å unngå juks. Det er selvsagt viktig at spørsmålene innenfor en kategori er likeverdige, ellers oppleves det som urettferdig for Ole å få trukket andre spørsmål enn Lise.
• Kategorisering skaper variasjon og passer utmerket i formative tester (der formålet er å støtte opp under læring). Hvis Lise tar testen mange ganger på rad, får hun en ny opplevelse hver gang, siden nye spørsmål siden det er delvis tilfeldig uttrekk.
• Kategoriserte tester åpner for smart repetisjon utover i undervisningsforløpet og kan også motivere til læring og aktivisere elevene/studentene på nye måter.
• Kombiner kategorisering med karantenetid. La det være vanskelig å bestå testen (krev høy poengsum) og sett opp testen med mange forsøk, men med karantenetid mellom hvert forsøk (for eksempel 3 dager). Sett også opp en endelig frist hvor testen må være bestått. Da er du langt på vei mot et automatisert opplegg. Kandidatene må jobbe godt i karantenetiden, samtidig som de får en ny (men likeverdig) test for hvert forsøk. Genialt, rett og slett! Testverktøyet i Fronter har mulighet for karantenetid.
• Selv om tester kan gi umiddelbar og automatisert tilbakemelding, bør du sette testen inn i en sammenheng og vurdere tiltak som øker utbyttet, for eksempel tilbakemeldingsnotater, henvisninger til relevant litteratur og liknende. Dette gjelder for øvrig generelt for all testbruk.

Problemstilling 2: Hvordan gjenbruke hele tester?

Du kan etterhvert lage mange tester og disse er selvsagt verdifulle siden det tar tid å lage dem. Du kan bruke dedikerte testverktøy eller du kan bruke LMS-systemet sitt testverktøy. Du har trolig mange fag og mange elever/studenter i ulike semestre. Hvor plasserer du testene dine? Hvordan kan du gjenbruke dem i praksis? Det kan fort bli rotete hvis du sprer testene dine rundt omkring i ulike systemer eller i ulike virtuelle fagrom.

Effektivititeten og fleksibiliteten kan økes dersom du kan gjenbruke spørsmål og tester uten å måtte bruke tid på å lete. Det å gjenbruke en test er relativt enkelt, og består i de fleste systemer av å lage et duplikat av testen. Selv bruker jeg et LMS-system (tilfeldigvis er dette it´s learning). Jeg starter ethvert nytt semester med å kopiere forrige semesters elementer inn i det nye, tomme faget, og setter alle elementer inaktive. På null komma vips har jeg lærestoff, forum, notater, tester, undersøkelser og så videre klart og kan bare "slå på" elementene etterhvert som det passer seg. Dermed følger jeg en akkumuleringsstrategi hvor siste utgave av et fagrom alltid har de elementene som er verdt å ta med seg videre i "fagets liv". Tester kan slik gjenbrukes og står i sin riktige kontekst. Jeg kan supplere med nye tester der det måtte passe, og disse blir med i neste runde/semester når fagets elementer kopieres. Alle relevante spørsmål og tester ligger dermed i gjeldende fagrom. Studentene mine ser kun aktive elementer, men jeg som lærer ser også de inaktive. Kanskje jeg ikke bruker alt i hvert semester - det vurderer jeg fortløpende.

Et viktig tema er kvalitetssikring. Når du gjenbruker en test, så bør du være sikker på at den fungerte godt forrige gang. Se på resultatene (statistikken) og luk ut spørsmål som er tvetydige eller åpenbart dårlige. Se innlegg 15, 13 og 6 i denne serien for mer om statistikk.

Problemstilling 3: Hvordan gjenbruke på spørsmålsnivå? Spørsmålsbank...

Anta at du har et akutt behov for en test. Kanskje du oppdager det i en pause eller midt i en time. Er det teknisk mulig å lage en god test av høy kvalitet på 2 minutter, basert på vellykkede spørsmål fra tidligere? Kan du "shoppe" spørsmål herfra og derfra på 1-2-3? Svaret er et betinget "ja". Hvis du har riktig funksjonalitet tilgjengelig i systemet du bruker, og gode arbeidsmetoder, så kan du lage en god test på sparket. Er det nyttig? "Ja". Et definitivt "ja". Er det lov? Selvsagt. Ad hoc kan bli veldig bra og det er en viktig (digital) ferdighet å kunne improvisere og sette i gang aktiviteter der og da når behovet plutselig melder seg.

Den enkleste formen for gjenbruk er å kopiere en hel test (som diskutert over). La oss heller se på en test som en samling av spørsmål og rette fokuset mot hvert enkelt spørsmål. Fronter, Moodle og dedikerte testsystemer har en såkalt spørsmålsbank som læreren kan operere mot (det har ikke it´s learning (per våren 2010)). I systemer som bygger på spørsmålsbankfilosofien, ligger alle spørsmål i en sentral spørsmålsbank. Her står gjenbruk på spørsmålsnivå i fokus. Det geniale er at du kan gå inn i spørsmålsbanken og få en oversikt over alle spørsmål, uavhengig av hvilke tester og fag spørsmålet inngår i. Dette gir helt nye muligheter for å gjenbruke, forvalte og kvalitetssikre spørsmål. Her er noen fordeler med spørsmålsbank. Det er varierende i hvilken grad ulike testverktøy har implementert støtte for det som listes opp her:

• Lag en ny test ved å søke, forhåndsvise og plukke ut blant eksisterende spørsmål i banken.
• Gjenbruk spørsmål (og tester) på tvers av fag, kollegaer og kanskje også institusjoner (nasjonal bank eller delt ressursbank).
• Ett og samme spørsmål kan inngå i mange tester.
• Mulighet for å lage tidsbestemt statistikk over hvor populært (hyppig brukt) et spørsmål er, hvor stor andel som har svart riktig som samtidig har gjort det dårlig totalt sett over tid (mange semestre) og liknende.
• Effektive søk og filtreringsmekanismer der en kan se på alle spørsmål, alle spørsmål en selv har laget, alle spørsmål fra et bestemt fag, alle spørsmål som ingen har kvalitetssikret enda, spørsmål en kollega har laget, spørsmål som ikke er brukt i dette semesteret men som tilhører fagområdet, spørsmål som er tagget med "sikkerhet", og så videre. Hvis en i tillegg kombinerer, blir det virkelig interessant.
• Enkelt identifisere dårlige eller overflødige spørsmål basert på statistikk.
• ... (mye mer kan sies her)

Det er både tekniske utfordringer og utfordringer i brukergrensesnittet knyttet til å lage en god spørsmålsbankløsning. Noen systemer, som Moodle, baserer seg på en bank for hvert fagrom. Andre, som DigiTEST-systemet som er under utvikling ved AITeL, ser på muligheten for å dele spørsmål på tvers av fag og muligens institusjoner. Det å velge et verktøy med en god spørsmålsbankløsning kan være en suksessfaktor hvis antall tester og spørsmål blir stort. Ved summativ bruk (typisk eksamen) er det også nyttig å ha gode forvaltningsrutiner for spørsmålene.

Problemstilling 4: Hvordan bygge en spørsmålsbank i it´s learning?

Dette avsnittet er mest relevant for de som liker idéen fra problemstilling 3 (om å forvalte sine spørsmål ved hjelp av en spørsmålsbank), men som samtidig bruker it´s learning eller andre verktøy som ikke har en god spørsmålsbankløsning.

I it´s learning er det ingen eksplisitt spørsmålsbank og tilsynelatende vanskelig å operere på spørsmålsnivå. Med litt kreativitet kan en derimot simulere en spørsmålsbank (til en viss grad i hvertfall), og det er egentlig nokså enkelt å få til i praksis. Her ser du mitt forslag.

Opprett ditt eget fag (ikke prosjekt, for tester virker ikke i prosjekter) hvor du samler alle testene dine. Gjerne få andre kollegaer med i samme fag, og etabler felles rutiner og regler for bruk. For å skape struktur, er det bare å lage mapper som ønsket og tester med logiske navn. Dette er vist i neste figur. Du kan for eksempel gå gjennom alle dine eksisterende fagrom, og kopiere over de testene du mener har verdi til den nye spørsmålsbanken din.

Her er et konkret eksempel på bruk:

• Du har din egen spørsmålsbank (det vil si et fagrom) med 2500 spørsmål, samlet i ulike tester i logiske mapper, som igjen kanskje er gruppert i kategorier internt i testene. (Høhhh? Hvordan lage 2500 spørsmål i dine fag? Se blogginnlegget med forklaring til hvordan elever/studenter kan lage spørsmål).
• Du ønsker å lage en helt ny test på 1-2-3 i et av dine fag.
• Du går til ønsket fagrom i it´s learning, og lager en ny test. Velg innstillinger med omhu.
• Testen har nå 0 spørsmål.
• Velg å importere spørsmål, som eksemplifisert i figuren under. Du kan gjenta prosessen og hente spørsmål fra mange ulike tester. Dette kan også kalles "question shopping", altså å plukke litt her og litt der. Per dags dato følger ikke kategorisering med ved slik "shopping", men det kan du manuelt rekonstruere om du vil det.

I en ny test kan du hente spørsmål fra andre eksisterende tester. Altså kopiere spørsmål mellom tester. Dette åpner for å simulere en middelmådig spørsmålsbankløsning i it´s learning.

Vi ser her at banken fungerer som et arkiv, eller en kilde som du lett kan bruke for å lage nye tester i de faktiske fagene dine. Dette er altså ikke noen fullverdig bank. Statistikk genereres ikke, fordi det lages kun statistikk basert på testene du har opprettet i de ulike fagrommene og ikke i banken. Banken er altså "dum" og vil kun fungere som et arkiv hvor du kan samle alle spørsmål og tester i originalform. Elevene/studentene opererer ikke mot banken - den er hemmelig og kun for deg. Du får dermed flere versjoner av spørsmålene dine, og må klare å skille mellom hva som er originalen og hva som er kopien (eller den kjørbare testen om du vil). Er noe feil i et spørsmål? Dersom du oppdaterer/endrer et spørsmål i en test i et fagrom, så må du ta stilling til om du også skal oppdatere spørsmålet i spørsmålsbanken din. Spørsmål i en bank vil typisk kunne brukes til eksamen, og da er det viktig at de ikke kommer på avveie. Det er derfor lurt å etablere gode rutiner og retningslinjer for bruk av banken. Dette gjelder særlig hvis du deler banken med andre faglærere. Kanskje kan en til og med etablere et eget område i it´s learning Community for å kunne samarbeide på tvers av institusjoner/skoler?

Problemstilling 5: Hvordan gjenbruke spørsmål fra andre?

Ønsker du å dele tester du har laget med andre, eller bruke andres tester? Mange testverktøy følger en standard som heter IMS/QTI og som gjør det mulig å eksportere tester på tvers av testverktøy. Jeg har laget en filmsnutt som viser hvordan en test kan tas ut fra en site i it´s learning og inn i en annen site, slik at flere lærere kan samarbeide og dele på tvers av institusjoner. Filmen er for øvrig publisert på YouTube og tidligere på denne bloggen, og er også en del av lærestoffet i det fjernunderviste faget "LN392D Pedagogisk bruk av digitale tester". Den har med en del detaljer om hvordan QTI fungerer. Tips: Se den i HD-kvalitet (velg 720p fra nedtrekkslisten når filmen er startet).

Oppsummering

Dette ble et lengre innlegg enn først planlagt, men jeg håper du nå har fått noen nye tanker om spørsmålsbanker, gjenbruk, kategorisering og mer avansert bruk av tester generelt. Har du kommentarer, innspill, spørsmål eller idéer? Del gjerne!

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Viktig testoppsett

Dette innlegget er del 15 av den pågående tipsserien om digitale tester og tar opp noe særdeles viktig som ofte gis for liten omtanke: Testoppsettet i testverktøyet. Det er en direkte sammenheng mellom opplevd kvalitet og testens egenskaper, så det er veldig viktig å ta stilling til avanserte innstillinger.

Det er selvsagt lurt å ha en plan med en test. Hvem er mottakeren? Skal alle (elevene/studentene) ta testen, eller bare en utvalgt gruppe? Når skal testen settes i gang? Hvor mange forsøk skal de få? Hvordan skal tilbakemelding gis og når skal svarene vises? Skal det være tilfeldig uttrekk av spørsmål? Er det noe lærestoff som forutsettes gjort før testen tas? En må stille seg slike spørsmål fordi det vil påvirke hvilke innstillinger en må gjøre i testen.

Se alltid på avanserte innstillinger

Når du skal lage en test kan du i de fleste testverktøy angi en rekke egenskaper for testen. Mange av de mer avanserte valgene er valgfrie, men absolutt verdt å se på og prøve ut. Under ser du eksempel på en test hvor avanserte opsjoner er angitt (I it´s learning må en gå til arkfanen som heter "Alternativer" bak "rediger"-lenken. Elevene/studentene får her 3 forsøk hver på testen, og det er det beste forsøket som blir stående som tellende i evt. statistikker. I it´s learning er for øvrig standarden at en får 1 forsøk. Om du vil bruke testen formativt (støtte opp under læring) vil du trolig tillate flere (gjerne ubegrenset antall) forsøk.

Tunga rett i munnen

Konsekvensene kan bli dramatiske hvis du ikke tenker nøye gjennom dine valg i testoppsettet. Hvis elevene/studentene skal kunne ta testen flere ganger, så er det som regel ønskelig at svarene IKKE skal avsløres etter første forsøk. Som standard (i it´s learning) vises svarene, så her må du være ekstra varsom. Undertegnede lagde høsten 2009 en test i it´s learning som del av en nettbasert eksamen. Studentene satt rundt omkring i Norge og gjorde eksamen. Faglærer hadde ikke vært varsom nok med innstillingene. De første studentene som leverte inn fikk se svarene når de leverte testen sin (faglærer oppdaget det etter at 4 hadde levert og fikk slått av visning av løsningen), men skaden var i teorien skjedd. Studentene kunne nemlig meget gjerne ha formidlet riktige svar til de andre studentene (via e-post, SMS, chat og liknende). Slikt er selvsagt uheldig, men det viser hvor vanskelig det er (også for lærere som er drevne i testverktøy) å forutsi innstillingene. Det er viktig at læreren tester selv hvordan ting fungerer før en deler ut til elevene/studentene. Dette gjelder også ved formative tester. Et godt tips er å be en elev/student om å ta testen mens du ser på. Merk deg da spesielt hvilken informasjon som vises, når svarene vises og så videre. Det er også helt sentralt å ha en egen elevbruker/studentbruker til slik testing.

Eksplisitt informasjon

Selv om testverktøyet informerer implisitt om testen gjennom sitt brukergrensesnitt, er det fornuftig å informere eksplisitt om testen, gjerne i en separat melding i tillegg til i beskrivelsesfeltet som vises rett før testen tas. Her er eksempel på nyttig informasjon om testen:

• Det er totalt 40 spørsmål i denne testen.
• Noen av spørsmålene har bilder eller videofilmer knyttet til seg. Du må ha på lyd. Det står tydelig i spørsmålsformuleringen at spørsmålet har bilde/lyd/video. Hvis du ikke skulle se noe bilde/lyd/video, så si fra for da er noe galt.
• Du får 1 poeng for riktig svar på de fleste spørsmål, men noen spørsmål er vanskeligere og gir 2 eller 3 poeng. Dette står opplyst for de aktuelle spørsmålene underveis i testen.
• Du kan gå tilbake til tidligere besvarte spørsmål og endre svaret ditt hvis du vil det.
• Du har totalt 60 minutter på å fullføre testen.
• Dersom du ikke oppnår godkjent (mer enn 80 % riktig) så kan du prøve på nytt, men du må da vente minst 2 dager.
• Testen teller ikke på karakteren.
• Du får ikke se svarene før læreren har åpnet for dette. Læreren vil også gå gjennom løsningen i plenum.

Du kan selvsagt lage dine egne regler selv om det ikke fins funksjonalitet i testverktøyet for å styre oppførselen. Du kan oppnå mye gjennom informasjon om testen og spørsmålsformuleringene. Samtidig er det viktig å prøve ut hvordan testen oppleves i praksis. Hvis elevene/studentene ser mulighet for smutthull/snarveier, så er det sannsynlig at mange vil benytte seg av nettopp det uansett hva du har instruert om.

Karantenetid

I noen testverktøy er det mulig å sette opp karantenetid. Da vil testverktøyet sørge for at de som ikke oppnår nok poeng til å få godkjent, må vente før de kan ta testen på nytt igjen. Dette er spesielt gunstig i formativ bruk av tester, for det bidrar til å eliminere prøv-og-feil-metodikken. Du kan for eksempel sette opp testen til å være aktiv mellom 4. og 15. oktober. Testen må bestås, og det er 2 dager karantenetid. Dermed oppfordres elevene/studentene til å jobbe med stoffet før de prøver på nytt, og du kan med fordel sette en streng grense for å bestå.

I testoppsettet i de fleste verktøy kan en også angi form for tilbakemelding. Dette temaet ble tatt opp i det første innlegget i denne tipsserien, i dette innlegget.

Det er mulig å randomisere spørsmålene slik at Ole, Kari og Per får spørsmålene i forskjellig rekkefølge. Det er til og med mulig å la dem få ulike spørsmål, ved hjelp av såkalte kategorier. I neste innlegg i denne tipsserien skal vi blant annet se på hvordan kategorisering kan brukes.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Pedagogisk bruk av IKT - erfaringer

Nå er det klart for tredje runde med fag for lærere som ønsker å lære mer om bruk av IKT i undervisningen: LN504D Læringssystemer, pedagogikk, teknologi og innholdsproduksjon og LN392D Pedagogisk bruk av digitale tester. Våren 2009 rettet jeg mange øvingsoppgaver der studentene (eh, kremt kremt, lærerne) hadde levert oppgaver om blant annet ulike måter å bruke IKT på i undervisningen.

Jeg har samlet sammen en del godbiter fra kommentarene deres. Disse er lagt ut som 3 PDF-filer:

• digitale tester
• Web 2.0
• Deling, gjenbruk og innholdsproduksjon

Kanskje finner du noen gode idéer som kan brukes i din undervisning eller øke din forståelse for LMS, digitale tester og nye Web 2.0-tjenester brukt i undervisningen? En del av kommentarene er mine, mens en del er godbiter skrevet av "studentene".

Jeg håper det blir mange studenter (lærere) som tar fagene høsten 2009 også, fordi det er mye å lære av kommunikasjonen med deltakerne. I tillegg er det givende å måtte holde seg oppdatert og lære stadig mer av det som skjer innen det spennende feltet IKT og læring. Har du selv lyst, eller har en kollega som du tror fagene vil passe for, så send gjerne tipset videre. Påmeldingsfrist er 1.september, og opplegget er veldig fleksibelt.

Test før og etter

Dette er del 14 av tipsserien om digitale tester. Denne gangen kommer et veldig håndfast tips som du garantert kan prøve ut i egen undervisning, og det er ikke tidkrevende å lage. Eksempelet stammer fra programmeringsfaget ”Webprogrammering i PHP” for nettstudenter ved HiST, men kan også brukes i klasserom (noe som forklares i siste avsnitt).

Tester kan brukes på mange måter. Et eksempel fra programmeringsfaget ”Webprogrammering i PHP” for fjernstudenter ved HiST, kan for så vidt også brukes i klasserom (ved å skrive ut på ark). I stedet for å dele ut lærestoffet som en PDF-leksjon på 15 A4-sider, har læreren her i leksjon 11 laget mer omfattende opplegg. PDF-leksjonen distribueres fortsatt, men først skal testen i elementet ”2. Flervalgstest om sikkerhet” tas (se Figur 2). Denne testen har noen spørsmål fra forrige gang, som studentene bør klare å svare på, og noen spørsmål fra den kommende leksjonen, som enda ikke er lest.


Hver student vil nå trolig komme i læringsmodus på grunn av de repeterene spørsmålene. Ønsket fra lærers side er at de vanskelige spørsmålene skal surre i hodet til studenten mens lærestoffet leses (elementet ”3. Leksjon 11: Sikkerhet II”), og kanskje gjøre studenten mer engasjert og aktiv under lesingen.

Etter at leksjonen er lest, skal elementet ”4. Flervalgstest om sikkerhet” tas. Det spesielle er at denne testen er nøyaktig lik den forrige testen, altså vil studenten trolig klare de første spørsmålene fra forrige gang, og også de fleste av spørsmålene som omfatter teorien fra leksjonen som nettopp er lest.

Siste fase av opplegget går ut på å sammenlikne resultatet fra de to testene. Nesten alle vil naturlig nok gjøre det bedre på test nummer 2 enn test nummer 1. Dette kan i seg selv være en morsom observasjon. Tilbakemeldinger på opplegget, viser at dette oppfattes som spennende og lærerikt, men det skaper også frustrasjon blant de som mener spørsmålene er dårlige eller vanskelige å forstå. Studenter ønsker gjerne å yte godt på digitale tester, og da kan det være ekstra vanskelig å få dem til å gjøre ting i riktig rekkefølge. I bildet over er nummereringen av elementer ett tiltak for å styre rekkefølgen, men det er lurt å informere muntlig i tillegg. Det er også viktig å formidle at dette opplegget er formativt slik at de skjønner at resulatet på testene ikke spiller inn på karakter eller liknende.

Dette opplegget har vært prøvd i klasserom med ulike størrelser, alt fra 30 til 80 studenter til stede. Lærer kan i så fall dele ut ark før timen starter, og la dem få 5-10 minutter på å svare. Tanken er at de nå er i læringsmodus og vil følge bedre med og reflektere mer rundt det som foreleses, siden de har fått en pre-test før forelesningen. Etter at forelesningen/undervisningen er ferdig, brukes de siste 10 minuttene til å ta en ny test, som i opplegget ovenfor faktisk er samme test på nytt. Læreren informerer i så fall om at dette er samme test, og at de ikke må se på forrige svar når de fyller ut, men prøve så godt som mulig basert på deres nåværende forståelse og kunnskap. Til slutt går læreren gjennom "fasiten" og de gir seg selv poeng på begge testene og teller opp sine totale poeng. En enkel håndsopprekning viser hvor mange som fikk bedre resultat på den siste testen, hvor mange som fikk samme resultat og evt. dårligere resultat. Dette er et godt eksempel på hvordan en lærer med en digital test som utgangspunkt kan lage et bedre læringsopplegg "offline" i et klasserom, som kan bidra til å øke motivasjonen og engasjementet.

Som alltid interessant å høre: Hva synes du om et slikt opplegg? Vil du prøve det ut selv?

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Skreddersøm, kompetansekartlegging og differensiering

Dette er del 13 av tipsserien om digitale tester. Tror du dette kan brukes i din undervisning?


Tester kan brukes formativt for å støtte opp under læring. De kan også brukes summativt for å konstantere kunnskapsnivå. Når et visst antall elever/studenter har tatt en test, så kan det være verdifullt å analysere resultatene for å se etter trender. Er det noen spørsmål som ingen fikk til? Er det noen tema som synes å være vanskelige? Er det et klart skille i forståelse på et gitt tema? I bunn og grunn vil resultatet si noe om sterke og svake faglige sider. En analyse av resultater åpner for en del spennende muligheter.

Kompetansekartlegging

En test i forkant av et semester eller en læringsøkt med det til hensikt å kartlegge kompetanse. Slik kan du skape forventninger og skape motivasjon for å lære. Noen spørsmål kan være lette og for eksempel ta opp ting som er forutsett kjent. Andre spørsmål kan være vanskelige rett og slett ved å basere dem på det lærestoffet som skal gjennomgås i løpet av kommende semester (eller måned/uke/læringsøkt). Da bør læreren understreke at ”etter ferdig kurs vil du klare å svare på disse”. Dette kan virke motiverende.

Det er også mulig å bruke testresultatene fra en slik kompetansekartlegging som grunnlag for gruppeinndeling. Vil du plassere bare flinke elever/studenter i samme gruppe, så kan du lett plukke ut slike uten å kjenne personene. Ønsker du å blande slik at ikke alle de flinke ved en tilfeldighet kommer på samme gruppe, så kan du lettere gjøre det ved å analysere resultatene.


Summen av testresultatene kan også gi læreren en bedre forståelse av hele kullet som sådan, med mulighet for å se nærmere på resultatet til enkeltpersoner og eventuelt sette inn preventive tiltak for de som henger etter i starten. Det kan være fornuftig å lage en test som repeterer ting som forventes å være kjent før første forelesning, for eksempel teori fra et kurs tidligere i studiet. Hva bør en god lærer gjøre dersom så og si alle mangler forutsetninger i forkant av et fysikkfag? Er det da lurt å ture på med lærestoff som ingen har forutsetninger for å forstå? Med en test kan du avsløre tilstanden, i hvertfall delvis, og så bestemme om du vil iverksette tiltak eller ikke.

Statistikk- og rapportfunksjonaliteten gir i de fleste testverktøy en ganske god og detaljert oversikt over status. Det er mulig å raskt finne ut hvor mange som har klart en test, men det er også mulig å gå inn på hvert enkelt spørsmål og se diagrammer over hvor mange som har svar på de ulike alternativene. Dersom mange har misforstått spørsmålet om makroøkonomi, så bør læreren kanskje ikke rase videre uten først å oppsummere hva makroøkonomi egentlig går ut på.

Skreddersøm

Det er også mulig å gå nærmere inn på hver enkelt kandidat og analysere resultatene, eventuelt over tid. Dermed vil grunnlaget for å tilby skreddersydde opplegg være større, men en slik oppfølging kan være tidkrevende. I forbindelse med veiledning av for eksempel hovedprosjektstudenter i høgere utdanning, eller elever med spesielle behov i grunnskolen, kan dette derimot være veldig fornuftig. Hvordan veilede best mulig? I stedet for bare å ha et vanlig veiledningsmøte, kan du først tilby en test om ting dere skal ta opp (gjerne med noen åpne spørsmål slik at det blir mer som en kombinert test/undersøkelse)). Dermed får du et bedre grunnlag for å veilede på en god måte. Testen kan brukes for å kartlegge interesser og faglige forutsetninger, og dere vil få en felles referanse for veiledningsmøtet. Det er for eksempel ikke alle som forstår prosessene rundt et prosjektarbeid, og faglige spørsmål knyttet til frister, hva formålet med ulike rapporter og prosesser er, og roller, kan være til hjelp. En kan også ta med noen åpne spørsmål som ikke har noe fasitsvar, men kanskje spør om interesseområde eller er mer reflektive av natur. Fordeler med en test (eller evt. en undersøkelse) i forkant, er at dere får en felles referanse for selve veiledningsmøtet.


Hva menes egentlig med skreddersøm? Er det nødvendig at læreren skreddersyr opplegg til den enkelte, eller er det nok å tilby en hel rekke ulike varianter av lærestoff og la elevene/studentene selv velge hva de skal ta, basert på for eksempel et testresultat? Følgende tenkte eksempel er enkelt å gjennomføre for læreren, og kan skape læring og gi økt refleksjon i etterkant. Læreren må rett og slett ha en rekke ulike læringsressurser klart, og så informere i etterkant av at testen er tatt til alle elevene/studentene:

”Testen er nå ferdig. Alle har tatt testen. Nå er det på tide å reflektere og lære basert på resultatene. Du skal nå selv se over resultatene og analyserer din egen besvarelse. Dersom du fikk riktig på spørsmålene om makroøkonomi, men fikk galt på kjernespørsmålene om økonomiske modeller, bør du se på videofilm X. Hvis du hadde mange riktige men ikke klarte det vanskelige spørsmålet om inflasjon, kan du se diskusjonen i fjorårets forum, for der var den diskusjonen oppe til debatt. Først når du klarte alle spørsmål, bør du gå videre til neste test, som ligger i mappen ”Vanskelige tester”.

Differensiering:
Til slutt nevnes at differensiering kan oppnås relativt enkelt. En kan lage tester av ulik vanskelighetsgrad, og så enten dele inn i grupper basert på nivå, eller la elevene/studentene velge nivå på testene selv. I stedet for å bare lage en stor, vanskelig test til en læringsøkt, kan læreren lage en lett, en middels og en vanskelig test med bare noen få spørsmål i hver test. Tenk over motivasjonen det kan gi ved å ta flere mindre tester av stigende vanskelighetsgrad, i stedet for én stor test.


En variant som gjør det lett å utvikle tester på formen lett-middels-vanskelig, er å starte med å lage den vanskelige testen, og så rett og slett kopiere denne testen og kalle den nye kopien middels. Denne kan ha noen hint i oppgaveformuleringene som gjør testen lettere, eller oppgavene kan endres litt (og de vanskeligste spørsmålene kan fjernes). Den enkleste testen kan ha basisspørsmål som i lys av den vanskelige testen, oppfattes som banale. Fordelen med en slik inndeling, er at elevene/studentene får noe å strekke seg etter og lettere ser graderingen av kunnskapsnivå i faget.

En kan også sette opp som arbeidskrav at en må oppnå for eksempel 20 poeng i løpet av et semester. De kan samle poeng ved å ta ulike tester. Hver vanskelige test gir 5 poeng, mens lette tester kun gir 2 poeng. Slik kan elevene/studentene samle poeng og ta lette/middels/vanskelige tester slik de føler for. Med ett er testene mer morsomme. En kan for eksempel gi en ekstra oppmerksomhet (en bonustest? :-) til de som klarer å oppnå 20 poeng ved hjelp av bare vanskelige tester. Dessverre er det nok ikke noen eksisterende testprogramvare som støtter slike opplegg, men ved å kontrollere besvarelsene eller ha klare regler på hvordan elevene/studentene skal velge tester, kan en oppnå mange morsomme varianter av differensiering.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Lærestoff som test

Det har vært en pause i tipsserien om digitale tester, men nå er den endelig tilbake! De forrige tre innleggene (9, 10 og 11) handlet om spørsmålstyper i it´s learning. De første 8 innleggene tok opp ulike måter å bruke tester på, fordeler og utfordringer og en del konkrete tips. Vil du se gamle innlegg, så klikk på lenken "Tipsserie 1" i margen. Serien er på langt nær ferdig. Heretter postes et nytt innlegg hver uke (ferdigskrevet på forhånd, autoposting :-) inntil serien er ferdig.

Denne gangen er det klart for et pedagogisk tips som går ut på hvordan en kan presentere lærestoff i form av en test. Utgangspunktet for de følgende eksemplene er en mengde tekst, for eksempel en halv A4-side med faktaopplysninger om temaet ”norske konger” (temaet kunne vært hva som helst). La oss anta at mange vil synes dette er et kjedelig tema. Er det mulig å tenke anderledes, og presentere deler av lærestoffet i form av en test? Kan lærestoffet bli morsommere, og kan det skape variasjon og engasjement?

Variant 1:

En enkel variant er å skrive inn teksten i et spørsmål av typen ”Velg fra liste” (eksempelet under er fra testverktøyet i it´s learning). Deretter velges noen utvalgte ord i teksten som ”blanke områder”. Oppgaven blir da å fylle inn riktig ord fra nedtrekkslisten på hvert sted som er blanket ut. Målet er å få eleven/studenten til å bli mer konsentrert ved å aktivt måtte ta del i teksten på denne måten. Dersom ordene som blankes ut ikke har noe med hverandre å gjøre, vil svaret ofte gi seg selv av sammenhengen.

For å gjøre denne oppgaven litt vanskeligere kan andre passende alternativer (såkalte lure-alternativer) legges inn. Det er ikke noe i veien for at teksten kan være veldig lang og bare ha noen få sentrale ord som skal fylles ut. Legg merke til at spørsmål av denne typen kan formuleres slik at eleven/studenten må forstå sammenhengen og budskapet i teksten for å kunne svare. Det krever aktiv lesing, og det er jo nettopp det som er hele målet. De må gjerne få alt rett, men for å klare det må de aktivt lese og forstå. En får ikke gå videre før en har svart alt rett. Sammenlikn dette med å lese i en bok - da kan gjerne teksten gå eleven/studenten hus forbi.

Det er også mulig å integrere bilder, lyd og video innimellom annen tekst i slike spørsmål. Hvis spørsmålet blir nokså komplekst, kan det være aktuelt å stille inn slik at spørsmålet gir for eksempel 15 poeng i stedet for 1 poeng. Dersom eleven/studenten i spørsmålet i Figur 1 får riktig på noe, men ikke alt, vil en da kunne få for eksempel 9 av 15 poeng.

Variant 2:

Ved å bruke umiddelbar tilbakemelding (noe som er mulig i de fleste testsystemer), kan lærestoff presenteres på en enda mer avansert måte. Trikset her blir å først formulere et spørsmål tilhørende et stykke tekst, lage noen alternativer, og til slutt legge originalteksten inn i en tilbakemelding som vises ved feil/riktig svar. En kan for eksempel spørre: ”Er det riktig å påstå at norsk folkedans har sitt utspring i bla bla bla” og så vise tilbakemelding med en forklaring, uansett valgt alternativ. Det vil dermed både bli en utfordring å klare å svare riktig, og deretter vil det skape nysgjerrighet for å få den utdypende forklaringen. Det er altså tilbakemeldingen som er selve lærestoffet i denne varianten.

Variant 3:

En kan dra forrige eksempel et skritt videre, og tenke seg at oppgaveteksten ikke bare inneholder et spørsmål, men også en god del av teorien. Altså skal både teori og spørsmålstekst skrives av læreren i samme felt – i spørsmålsfeltet! ”Men vent – da blir det jo nokså lett å svare på spørsmålet”, tenker du kanskje. Joda, men bare for den som leser teksten. At løsningen står formelig sort på hvitt i spørsmålsteksten, er ikke noe problem. Det er hele hensikten. Et problem er nemlig rett og slett at elevene/studentene ikke leser lærestoffet - eller at det ikke prosesseres (tankene er et annet sted). Denne varianten kan gjøres mer spennende ved å ha noe av teorien sammen med spørsmålet, og resten av teorien som tilbakemelding som vises først etter at spørsmålet er besvart.

Variant 4:

En lærer har mange roller i en undervisningssituasjon, men en viktig del er å prøve å hjelpe elevene/studentene til læring. Fakta står ofte i boka. Noen få elever/studenter er smarte nok til å selv oppdage større sammenhenger ved å lese mellom linjene. Mange andre trenger hjelp av læreren til å oppdage smarte, finurlige observasjoner og/eller større linjer i fagstoffet. Hva med å oppgi teorien og spørsmålet sammen (som i variant 3), og deretter stille et vanskelig spørsmål som tester nettopp på linjer/forståelse? Siden mange ikke vil klare å svare, kan en forklaring av den art som en lærer typisk vil kunne forklare i en forelesning eller i en time, gis i en tilbakemelding. Slik blir også spørsmålet gradvis mer avansert - fra teori som forklares i spørsmålsteksten, til et spørsmål som kontrollerer at en har fått med seg poenget, til en tilbakemelding som drar fagstoffet et hakk lengre.

Variant 5:

En variant jeg har prøvd ut på denne bloggen, er denne: Et alternativt referat fra Kongsberg. I korte trekk gikk det ut på at jeg skrev en oppsummering (etter å ha vært på Kongsbergkonferansen 2009) i form av en digital test, og la dette ut på bloggen. Jeg logget svarene, og vet dermed at det var veldig mange som tok testen og svarte riktig (og med det ikke bare leste oppsummeringen, men også forstod innholdet i den). På samme måte kan en lærer tenke kreativt om informasjon som i utgangspunktet er kjedelig, for eksempel oppsummeringer av klasseturer/ekskursjoner, møtereferater, brannvern-reglement, generell informasjon og liknende. Husk at morsomme krumspring lettere huskes, men vær også sikker på at du slike tester virkelig gir merverdi sammenliknet med vanlig informasjon :-)

Dette innlegget har nok en gang diskutert hvordan digitale tester kan brukes formativt - for å forsterke læring. Jeg tar alltid opp "lærestoff som test" blant eksemplene i foredragene/kursene jeg holder om digitale tester, og det virker på lærerne/tilhørerne som at idéen slår an. Idéen slår veldig godt an i mitt eget hode. For høsten 2009 har jeg planlagt enda en ny variant av "lærestoff som test" som skal testes ut i programmeringsfaget Webprogrammering i PHP i forbindelse med et FoU-prosjekt om læringsmål, formativ vurdering og summativ vurdering. Mer om dette i et kommende blogginnlegg (blir for langt å ta inn her ;-)

Går det an å tenke "lærestoff som test" i ditt fag? Det får du selv avgjøre. Har du forslag til andre varianter, erfaringer med dette eller andre kommentarer, så del gjerne med meg og de andre som leser denne bloggen.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Film: Eksport av spørsmål med QTI

Det tar tid å lage digitale tester (flervalgstester). Det gir mening å dele det en har laget med andre. Mange testverktøy følger en standard som heter IMS/QTI og som gjør det mulig å eksportere tester ut av et verktøy og inn i et annet. Filmen viser hvordan en test kan tas ut fra en site i it´s learning og inn i en annen site, slik at lærere kan samarbeide og dele på tvers av institusjoner. I tillegg forklares hva zip-filen som brukes under eksporten inneholder, det vil si hvordan QTI standarden fungerer overordnet.Her er lenken. Filmen er spilt inn i 1280x720 som for tiden er maks av det YouTube støtter - derfor kan du se den i HD (for bedre kvalitet, HD-ikonet er nederst til høyre).

Det tar forresten laaaang tid å lage slike filmer har jeg funnet ut, men øvelse gjør mester og en lærer seg etterhvert noen teknikker for å bli mer effektiv. Det er lett å henge seg opp i detaljer som egentlig er ubetydelige overfor sluttbrukeren. Har du noen innspill til hva som kan gjøres bedre? Hvordan opplever du å se filmen, er det for mye tekstlig informasjon, for eksempel? Setter pris på alle typer innspill!

Cheat Sheet: Spørsmålstyper

I min tipsserie om digitale tester, har jeg tidligere gått gjennom spørsmålstyper i det nye verktøyet i it´s learning (fordelt på 3 innlegg). Det kan være vanskelig å huske hvordan spørsmålstypene fungerer og ser ut. Når du starter med en blank test, kan det derfor være nyttig med et såkalt "Cheat Sheet", altså et jukseark. Jeg har laget et slikt Cheat Sheet over spørmsålstypene i testverktøyet i it´s learning, med tips og konkrete eksempler. Arket er utskriftsvennlig (2 A4-ark, skriv gjerne ut dobbeltsidig i farger for best resultat).

Enjoy! Håper det kommer til nytte.

Spørsmålstyper del 3

Dette er del 11 av tipsserien om digitale tester. Alle testverktøy har ulike spørsmålstyper. Det er totalt 10 spørsmålstyper i it´s learning (som tilfeldigvis brukes som eksempel i denne tipsserien) men andre testverktøy har også ulike spørsmålstyper som er mer eller mindre like. Derfor vil du som ikke bruker it´s learning trolig få nytte av gjennomgangen.

Til nå har vi sett på typer som ja/nei, flervalg, fritekst og korte fritekstsvar og vi skal nå se på de 5 siste typene. Flere av disse er såkalte "interaktive" spørsmålstyper som krever at brukeren klikker i bilder eller drar i bokser. De 5 typene som gjennomgås her, er "velg fra liste", "fyll inn blank", "finn par", "rekkefølge" og "klikkpunkt".

Hvorfor er det greit å kjenne til slike spørsmålstyper? Variasjon er et nøkkelord. En test kan virke mindre kjedelig dersom en varierer med ulike spørsmålstyper. I tillegg er det mulig å stille en annen type spørsmål med mer avanserte spørsmålstyper. Du vil også få overordnede tips mot slutten av dette innlegget

Type: Velg fra liste

Figuren under viser en spørsmålstype som egner seg for prosatekster der eleven/studenten skal fylle inn det som mangler. Denne typen skaper variasjon, og kan være nyttig også for å øve opp evnen til å forstå skriftlige formuleringer.

For å lage et slikt spørsmål må først spørsmålsteksten skrives inn. Deretter opprettes såkalte blanke ord. Hver gang du lager en ny ”blank”, vil it´s learning erstatte dette området i teksten med en nedtrekksliste.

Legg merke til hvordan det er mulig å legge til ”lure-alternativer” som ikke forekommer i teksten, i tillegg til de områdene som markeres som blanke (grønn pluss-knapp nederst).

Oppgaven blir nå for eleven/studenten å velge blant mulige kandidater fra nedtrekkslisten (innholdet er stokket om på). Når spørsmål av typen ”Velg fra liste” tas, vises blanke områder og lure-alternativene i tilfeldig rekkefølge i nedtrekkslister der de blankede områdene er i teksten. Dette er vist i neste figur.

Oppgaven kan selvsagt ha verdi selv om kun ett blankt område defineres, så lenge det er flere alternativer å velge mellom i nedtrekkslisten.

Type: Fyll inn blank

Denne oppgavetypen passer til mange fagfelt: norsk, programmering, fysikk, matematikk, økonomi, kjemi, samfunnsfag, historie, språkfag, helsefag og så videre. Spørsmål av typen ”Fyll inn blank” likner veldig på typen ”Velg fra liste”, men til den forskjell at eleven/studenten her bare får se et tomt tekstfelt i stedet for en liste av alternativer. Utfordringen for eleven/studenten blir å skrive riktig ord inn i tekstfeltet.

Slike spørsmål kan rettes automatisk, basert på de nøkkelord du som lærer måtte oppgi på forhånd, men de samme hensyn som diskutert i blogginnlegget om kortsvartypen (forrige gang), bør tas. Sitat fra it´s learning sin hjelpetekst: ”Denne spørsmålstypen er nyttig i språkoppgaver, for eksempel vokabulartester, men kan brukes i stort sett all tekstbasert læring”.

Denne spørsmålstypen kan brukes kreativt ...

Legg merke til hvordan formuleringen er gjort i figuren over. I stedet for å skrive prosatekst i spørsmålet (som kanskje er mest nærliggende å gjøre), kan en lage linjeskift, og slik etterlikne en vanlig gloseprøve eller liknende. Her skal altså eleven/studenten fylle ut forkortelsen (tekstfeltet til venstre) basert på teksten til høyre. Det er læreren selv som har satt inn likhetstegnet - ikke testverktøyet! Figuren under viser hvordan oppgaven kan lages. Legg merke til plasseringen av linjeskiftene i stedet for å skrive alt på én linje.

Med denne oppgavetypen er det bare å være kreativ. Denne oppgavetypen kan brukes til gloseprøver, små matematikk-utsagn og liknende. Det er for eksempel mulig å trene barn på gangetabellen ved å skrive 4x1=(tekstfelt) på en linje, 4x2=(tekstfelt) på en ny linje, og så videre. Tilsvarende kan en kanskje tenke mer avanserte regnestykker i matematikk/fysikk/kjemi også i høgere utdanning, rett og slett for å øve inn regneferdigheter? En lærer i programmeringsfag, kan for eksempel ta et kode-eksempel fra lærestoffet sitt, og markere enkelte kodeord eller kodesetninger som blanke. Dette gir mening siden programmering er en øvelse som krever nøyaktig korrekt formulering. Slik må studenten fylle ut det som mangler av programmeringskode. Det vil kreve at hensikten med koden forstås, at studenten klarer å forstå nåværende kode, og også klarer å fylle inn det som mangler slik at den blir komplett og oppfyller hensikten!

Type: Finn par

it´s learning tilbyr 3 interaktive spørsmålstyper. Den første er ”Finn par”. Med denne oppgavetypen skal en sammenlikne det som står på høyre side med det som står på venstre side. Boksene helt til høyre skal dras til områdene med spørsmålstegn i, slik at høyre og venstre side passer sammen. Det er liten tvil om at oppgavetypen likner på de to foregående typene (”Velg fra liste” og ”Fyll inn blank”).

En kan også bruke bilder i denne oppgavetypen, for eksempel av et produkt og navn på produktet, bilder fra et kjemisk eksperiment og navn på ingrediensene, bilde av viktige personer innen et fagfelt og navn på disse, bilder av planeter og bilder av måner (som tilhører planetene) og så videre. Din fantasi setter grenser.

Type: Rekkefølge

Den andre interaktive spørsmålstypen i it´s learning, er ”Rekkefølge”. Eleven/studenten skal i denne oppgavetypen sortere en liste i riktig rekkefølge. Det gjøres ved å dra boksene i den øverste raden til riktig posisjon på den nederste raden. Neste figur viser et typisk spørsmål som kan stilles i for eksempel medievitenskap. Riktig svar er King Kong (som kom ut i 1933), Modern Times (1936), Citizen Kane (1941), Bambi (1942) og Casablanca (1943).

Denne typen gir rom for spørsmål langt utover vanlig kunnskapsnivå, det vil si spørsmål som krever refleksjon, å trekke linjer, se sammenhenger, organisere og gjøre rede for sin kunnskap, og så videre. En kan for eksempel se for seg spørsmålsstillinger ala:

"Organiser krigene i riktig rekkefølge basert på årstall"

"Du har nå fått presentert starten av en prosess. Forstå det som er gjort så langt, og organiser boksene slik at prosessens videre fremdrift gir mening"

Type: Klikkpunkt - klikk på bildet

Den siste interaktive spørsmålstypen i it´s learning, er ”Klikkpunkt”. Oppgavetypen krever at du bruker et bilde og definerer såkalte klikkpunkter, det vil si områder på bildet som kan klikkes på. Det er enklere å skulle forklare plassering ved å klikke på en posisjon, enn å måtte forklare med ord. Dersom oppgaven brukes i helsefag, for eksempel anatomi, kan en for eksempel vise et bilde av hjernen og be eleven/studenten klikke på hypofysen. Det er bare mulig å stille ett spørsmål, men det kan være mange svar til dette spørsmålet. Dermed kan en be studenten om å klikke på alle land på Europakartet som har monarki, og dermed åpner denne oppgaven for delvis uttelling.

Dersom du skulle ønske å lage flere uavhengige spørsmål til samme bilde, må du lage helt nye oppgaver og bruke samme bilde flere ganger. Dette er aktuelt for komplekse figurer, og det gir dermed mening å legge flid i å finne gode bilder/figurer til denne oppgavetypen. Et bilde sier mer enn tusen ord, så det bør være rom for flere enn ett spørsmål for ethvert bilde!

I matematikkfag kan oppgaven være å klikke på de av de grønne geometriske figurene som har større areal enn den blå firkanten (og oppgi mål på alle figurene). I siste tilfelle må elevene/studentene regne ut arealet til hver enkelt figur og sammenlikne med arealet til den blå firkanten, for å kunne svare riktig. Her kan en tenke seg enkle figurer for bruk i barneskolen, eller mer avanserte figurer for bruk i et avansert matematikkfag på en høgskole/universitet. Det er ikke umulig å lage en oppgave av denne typen som tar en halvtime å løse! I så fall bør en vurdere å gi mer enn bare 1 poeng for riktig svar.

Oppgavetypen passer også godt til spørsmål hvor du har lyst til å bruke et eksisterende bilde eller figur. Den kreative lærer, har kanskje tatt bilde med digitalkamera/mobilkamera av en fin figur som ble utledet under forelesning (på tavle), og ønsker så å stille et oppfølgingsspørsmål til dette bildet på en rask måte. Da kan bildet lastes inn på datamaskinen og hentes inn i it´s learning i et spørsmål av type ”Klikkpunkt”.

I neste figur er det forsøkt å lage et mer avansert spørsmål som krever grundige kunnskaper om meteorologi (mye bedre enn undertegnede innehar...). Les oppgaveteksten, så ser du konturene av vanskelighetsgraden slike spørsmål kan ha. Merk at spørsmålet er fiktivt. Eleven/studenten har her lest oppgaveteksten øverst, og satt sitt klikkpunkt mellom Røros og Ulsberg (noe som til fortreffelighet stemmer med den fiktive fasiten :-)

En kan selvsagt formulere denne type spørsmål som andre spørsmålstyper, for eksempel rent flervalg, men klikkpunkt er med på å variere og gjøre testen morsommere, noe som kan skape engasjement. En utfordring med denne spørsmålstypen, er nøyaktighet. Som vist i neste figur ble svaret feil på grunn av klikk noen millimeter utenfor fasitområdet. En elev/student vil da trolig protestere på å ikke få uttelling for sitt svar.

Tips til slutt:

Tipsserien har brukt totalt 3 blogginnlegg på å gjennomgå spørsmålstyper i it´s learning sitt testverktøy. Andre testverktøy har kanskje andre spørsmålstyper. Som nevnt er det viktig å kunne variere med ulike spørsmålstyper i en test. Her er noen tips på tampen:

• Unngå bruk av alle 10 spørsmålstypene i én og samme test
• Varier derimot på tvers av tester
• God bruk av bilder kan bidra til variasjon
• Interaktive spørsmålstyper kan hjelpe eller teste elever/studenter til å se større linjer i fagstoffet / røde tråder.

Håper dette var nyttig! Videre utover i denne tipsserien går vi videre med en del eksempler på formativt bruk av tester, og avanserte tema.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!

Et alternativt referat fra Kongsberg

Det er trolig skrevet mange blogginnlegg fra Kongsbergkonferansen 2009. Her er en oppsummering som nok er litt utradisjonell av natur. De som leser RSS bør vurdere å gå til bloggen og lese innlegget der, for full effekt :-)

Jeg hørte på foredrag før lunsj, og snakket selv etter lunsj - om digitale tester (ikke akkurat en bombe, kanskje :-) Dette blogginnlegget skrives herved som en formativ digital test! Hensikten er å stimulere til mer aktiv lesing. La oss ta en oppsummering av konferansen slik jeg opplevde den...

Først: Hvor ble konferansen arrangert?

Bergen
Kongsberg
Kautosjokk

Jeg er imponert over arrangementet. Utrolig god rød tråd, fra det visjonære til det konkrete, med relevante og tidsriktige tema.

Åpningsforedrag med Ada Eirik Linus Newth: "Utdanning i et fremtidsperspektiv"

@astronewth er alltid like fascinerende å høre på. Denne gangen bestemte jeg meg for å ikke ta notater (siden jeg hadde glemt penn og var fri for strøm). Jeg noterte heller litt etterpå, foruten en godbit jeg fikk sitert på Twitter via iPhonen midt i foredraget. Hva var poenget med katten Lee?

Går rundt med kamera som tar bilde hvert minutt, og dermed er Lee en passiv prosument.
Dette er katten til Newth, og den er med i hvert foredrag.
Eksempel på en helt ny form for reklame der sosiale medier brukes for å reklamere for kattemat.

For øvrig sa Newth:

• Internett øker i verdi, stadig flere bruker nettet daglig.
• Hvordan bygge opp gode nettverk digitale spor undervisningsopplegg ? Arbeidsgivere søker stadig oftere på Internett før ansettelse. Hva om de får 0 treff og ikke finner noen spor? Da vil de kanskje tenke: "hvor har vedkommende vært?"
• Digital skrivekompetanse blir viktig
• 700.000 nordmenn ser Dagsrevyen hver dag. Du får presentert saker, men hvilken agenda har NRK (eller andre kanaler for den saks skyld)? Hvorfor ikke bruke tjenester som Google Alert Google Reader Google News i stedet for (eller som supplement til) NRK som informasjonskilde? Da vil du unektelig få et litt mer nyansert syn på for eksempel "Israel election". (Her påstås ikke at NRK presenterer akkurat denne saken feil. Det er prinsippet med hvordan vi mottar informasjon og hvilke kilder vi oppsøker, som er poenget. Tygg litt på den.)
• Google Locate, ny og spennende tjeneste som er verdt å sjekke ut, og som predikerer litt av veien vi går med et nett som blir mer og mer sosialt og tilpasset den enkeltes behov til enhver tid.
• Geotagging Integrasjon med Google Maps Referanser blir mer og mer vanlig i Wikipedia-artikler. Du kan nå finne fram til stedet artikkelen omhandler, og kan finne artikler om stedet du er på akkurat nå siden koordinatene er lagret. (Dette passer sikkert utmerket for iPhone som har GPS og stadig mer avanserte Wikipedia-applikasjoner).

Lars Carlsson ( dansk svensk finsk ) holdt foredraget : Hvordan kan vi jobbe multimedialt i fagene?

Våre naboer er flinke, og har bygget opp en veldig god ressurssamling med veiledninger, hjelp og liknende, på adressen http://www.multimedia.skolverket.se. Denne krever ikke innlogging og kan være en fin ressurs for skoleverket også i Norge. Målet deres har vært å realisere såkalt PIM som står for:

Perfekt informations- "mission"
Promotera Internätet som moderne
Praktisk IT- och mediekompetens

Jeg kommer nok til å sjekke ut veilederen Publicera med iLife som har en del tips om hvordan iLife kan brukes kreativt. Et annet, godt tips var portableapps.com som gjør det mulig å ta med programmer på minnepinne for tilgang over alt. Gratis.

Kan IKT motivere

Jeg ble positivt overrasket over presentasjonene fra Kongsberg vgs. Først ble et opplegg forklart der elevene skulle lage en naturfagfilm om "varmepumpe". En av gruppene hadde vært kreative og virkelig satt seg inn i varmepumpens virkemåte og bruksområder. Det som slo meg, var hvor mye arbeid (og læring) som ligger bak en slik produksjon. Jeg tror også den kompetansen de implisitt tilegnet seg gjennom en slik prosess, er nyttig. Jeg stemmer derfor ja nei til mer video-produksjon i undervisningen.

Neste eksempel var også motiverende å høre på. Oppgaven elevene fikk var å velge seg ut et dikt eller en novelle og lage en film-presentasjon av denne. Det som gjorde opplegget så godt, er utvilsomt den gjennomtenkte planen som læreren la fram:

• Veldefinerte deloppgaver og mål.
• Klare krav til refleksjon, og det jeg merket meg var at refleksjonen støttet opp under deloppgavene (smart gjort). De skulle begrunn sine tekniske valg, poengtere verdier og tema i teksten og filmen, og begrunne hvordan filmen gav teksten aktualitet. Det er refleksjonen som gir læring, fordi det er da de aktivt tenker gjennom det de har gjort. I tillegg skulle de både presentere filmen og refleksjonen for de andre.
• Veiledning underveis. Tidlig i prosessen måtte de skrive en plan over hva de skulle gjøre, og dermed kunne læreren veilede og få de som var på feil jorde, inn på sporet igjen.

Vi fikk så se et eksempel på en film laget rundt diktet "Til Ungdommen" av Bjørnstjerne Ibsen Edvard Hoem Edvard Grieg Nordahl Grieg Arne Paasche Aasen . Utrolig kreativt laget, de synger teksten i diktet med moderne discomusikk og har bilder av krig og urett i verden som knyttes opp til diktets innhold. Har du lest diktet, så kan det fort glemmes (da det var enighet når jeg selv gikk på skolen, om at dette måtte være verdens kjedeligste dikt). Har du sett filmen, så husker du for alltid hva diktet handler om. Dette sier meg at kjedelige ting ikke bare blir lett å huske, men også gir mening når en jobber og ser det presentert på nye måter. Sannheten er jo at "Til Ungdommen" (som jeg inntil i går ikke verken kjente innholdet av eller noensinne kunne drømme om å skulle rangere som særlig bra) er aktuelt for oss alle, og faktisk ikke er kjedelig i det hele tatt.

Hvis jeg hadde vært sensor, vile de fått toppkarakter blant annet på grunn av detaljen og dobbeltbetydningen av rulleteksten. Det siste som stod, var nemlig: "Til Ungdommen av Tiril og Marius" (i stedet for "av Nordahl Grieg). Utrolig bra detalj. Hvis noen har lenke til filmen, så post en kommentar!

Avslutningsvis:

Alt dette foregikk før lunsj. Etter lunsj holdt jeg to parallelløkter om "hvordan lage gode spørsmål og digitale tester". Først 1 time teori og så 1 time praksis. Tror de fikk valuta og ble inspirerte til å utvide bruken av digitale tester i undervisningen. Det jeg likevel er mest fornøyd med denne dagen er at jeg tok meg tid til å delta før lunsj og høre på Newth, svensken og Kongsberg-lærerne. Det var også trivelig å treffe noen nye lærere fra edusfæren!

Er du interessert i å se om du fikk med deg det du skulle, og har svart riktig? Klikk gjerne på knappen under. Da tas du til en annen side (min hjemmeside med h), så ikke glem å komme tilbake dersom du vil legge inn en kommentar :-)

 

 

Hvorfor fag om IKT i undervisningen?

Jeg tipper at du som leser denne bloggen er godt inne i mulighetene ved bruk av IKT i undervisningen. Du er kanskje selvlært, har snappet opp litt her og der, og har reflektert over hvordan ny teknologi kan brukes i undervisningen. Har du et ønske om at flere kollegaer kunne bli med? Er det gunstig at flere kollegaer får lære om for eksempel Web 2.0, lms-systemer, digitale tester og innholdsproduksjon/deling/gjenbruk? Ønsker en å "modernisere" undervisningen og bruke IKT for å skape nye interessante aktiviteter som gir grunnlag for bedre læring og kanskje også helt nye former for læring? Hva gjør din skole for å nå dette målet? Hva skal til for å få opp interessen?

Strukturerte opplegg

En kan selvsagt lære mye av seg selv og utvikle seg pedagogisk gjennom for eksempel edu-bloggosfæren. Et mer strukturert opplegg ala 23 things av Helene Blowers kan være til hjelp for de som vil lære mer om hvordan Web 2.0 fungerer. Jeg skulle ønske flere ville vurdert slike tiltak. Hvordan lære om det pedagogiske? Kurs - enten dagskurs eller kanskje et fjernundervist kurs, er aktuelt for mange. Det fins flere fjernunderviste tilbud, og mange aktører som kan holde gode kurs (tipper at mange som leser dette innlegget selv holder kurs fra tid til annen).

Jeg føler meg priviligert fordi jeg er faglærer på to fag ved HiST om bruk av IKT i undervisningen. Fagene er primært myntet på lærere over hele landet, og gir studiepoeng. Høsten 2008 var det 30 "studenter" som fikk lære mer om LMS, digitale tester, Web 2.0 og digitalt innhold. Det er nå klart for en ny runde med nye lærere spredt over hele Norge. Jeg tror at pedagogisk teori er viktig, men at det også er nødvendig å prøve ting i praksis. Gode eksempler, idéer og tips er også sentrale suksessfaktorer. Gjennom konkrete utfordringer får en prøve seg i praksis. I tillegg brukes både digitale tester og undersøkelser aktivt for å skape refleksjon og samtidig vise hvordan en kan gjøre overfor egne elever. Forum, blogging og andre aktiviteter fungerer som et digitale møtested mellom "studentene" (lærerne), og stimulerer til deling av erfaringer, idéer, spørsmål og svar. Dette virker både motiverende og nyttig, også for meg som faglærer.

Høres et slikt fag interessant ut for deg eller en kollega? Vil du dokumentere det du kan og kanskje snappe opp nye tips? Ser du nytten av at flere kollegaer får lære mer om teknologiens muligheter? Snart går påmeldingsfristen ut for to 100% fjernunderviste fag som er primært myntet på lærere i skoleverket og UH-sektoren over hele landet. Fagene har mottatt til dels veldig gode tilbakemeldinger fra tidligere "studenter", og presenteres kort her.

Fag om LMS, digitale tester, Web 2.0 og innhold

Faget "LN504D Læringssystemer, pedagogikk, teknologi og innholdsproduksjon" er på 6 studiepoeng og har som overordnet mål å vise hvordan IKT kan brukes pedagogisk. Faget er delt inn i 4 tematiske moduler:

• LMS: De fleste har et forhold til LMS-systemer, men hvordan utnytte slike på en god måte og stimulere til aktivitet og engasjement?
• Digitale tester: Det er en rekke fordeler med digitale tester. Hvordan lage gode tester i praksis? Hvordan bruke tester formativt for å støtte opp under og skape bedre læring?
• Web 2.0: Hva er Web 2.0 og hvordan kan det brukes i undervisningen? RSS, Wiki, blogg, delicious og en hel rekke andre teknologier gjennomgås og prøves i praksis. Den pedagogiske diskusjonen er vel så viktig. Her har kursdeltakernes mange egne erfaringer, og deling av slike står sentralt.
• Deling/gjenbruk/innhold: Godt innhold er viktig, men tidkrevende å lage. Hvordan kan vanlige lærere lage godt innhold? Hvordan dele det en er stolt av i praksis? Hvordan finne fram til relevant innhold og gjenbruke det andre har laget? Hvor fins innhold? Er det spesielle hensyn å ta? Hva med rettigheter?

Hensikten med denne rekkefølgen og strukturen har vært å utforske nye sider med det kjente og trygge, og så få lære mer om ny teknologi som trolig vil være essensiell for fremtidens skole. Faget bestås ved å få godkjent 4 større øvingsarbeider. Disse skal i hovedsak leveres via blogg, men mye av det som skal gjøres krever arbeid med ulike digitale verktøy og lesing av teori. Tilbakemeldinger fra høsten 2008 viser at de fleste er fornøyde og opplevde merverdi med å bruke blogg på denne måten. Refleksjon, engasjement og motivasjon som også kan overføres til egen undervisning er viktige sideeffekter. I tillegg får deltakerne en opplevelse av hva Web 2.0 går ut på. Blogg er en fin inngangsport til Web 2.0 og vil for mange være en øyeåpner i seg selv.

Fag om digitale tester

Faget "LN392D Pedagogisk bruk av digitale tester" er på 6 studiepoeng og går i dybden på digitale tester (også kalt flervalg, multiple choice, automatiserte tester). Faget tar opp blant annet:

• Introduksjon til digitale tester: Historikk, fordeler og utfordringer, Blooms taksonomi, testverktøy, ...
• Hvordan lage gode tester: gode spørsmål, tips, fallgruver, pedaogisk kontekst, kvalitetssikring, god informasjon, ...
• Pedagogisk bruk av digitale tester i formativ vurdering: summativ og formativ vurdering, kreative testopplegg, tester som en del av et større undervisningsopplegg, pedagogisk bruk for å øke læring, ...
• Bruk av digitale tester i summativ vurdering: Kvalitetssikring, hva innebærer summativ bruk, formelle forhold knyttet til eksamen, ting å tenke på, hvordan måle det en vil måle, unngå juks, ...
• Analyse og forbedring: metoder, kvalitetssikringsarbeid, vanskelighetsgrad, diskrimineringsindeks, fallgruver, ...
• Avansert bruk av digitale tester: standarder for utveksling mellom systemer, spørsmålsbanker, mot individtilpasning, ...

Hvorfor?

Det føles litt merkelig å reklamere slik (så direkte) på sin egen blogg, men ja - jeg ønsker at flere skal melde seg på slike kurs. Det er givende å undervise for meg personlig. Det er trolig veldig nyttig for deltakerne. Dette er samtidig et av HiST sine bidrag for å om mulig skape bedre undervisning og evne til å utnytte nye teknologier. Påmeldingsfristen nærmer seg. Ikke nøl med å sende meg en e-post om du lurer på noget!

Spørsmålstyper del 2

Dette er del 10 av tipsserien om digitale tester. Før jul ble vanlige spørsmålstyper som ja/nei og flervalg tatt opp. Det er på tide å se på mer avanserte spørsmålstyper og hvordan disse gir grunnlag for bedre og mer varierte tester. Vi starter med å se på to former for åpne spørsmål.

I følge Svein Magne Sirnes sin bok Flervalgsoppgaver - konstruksjon og analyse har et lukket spørsmål et begrenset sett av alternativer som en kan velge mellom. Åpne spørsmål er spørsmål hvor kandidaten må skrive inn noe selv, og vi kjenner denne formen fra både drøftingsoppgaver, essay og vanlige spørsmål der en skal svare med egne ord. Når et testverktøy helt eller delvis tillater åpne spørsmål (i tillegg til lukkede), gir dette en del interessante muligheter for en lærer som vil teste på ulike nivåer og skape variasjon i testen.

En av de nye spørsmålstypene i testverktøyet til it´s learning (Test 2.0), heter ”Kortsvar”. Med denne typen vil eleven/studenten måtte formulere et svar i et tekstfelt. Svaret skal være relativt kort, typisk ett eller noen få ord, men den faktiske begrensning på slike spørsmål er ca 90 tegn. Det som gjør denne typen ekstra attraktiv, er at den kan rettes automatisk hvis nøkkelord oppgis, og slik kan en stille en helt ny form for spørsmål.

Klikk på bildet for å åpne i større versjon

Dersom læreren krysser av for automatisk vurdering vil it´s learning rette svaret. Figuren viser hvordan alternative svar kan angis.

Dersom du ønsker at to (eller flere) ord må forekomme i kandidatens svar, skal to (eller flere) linjer brukes. Det riktige svaret på gåten i vårt tilfelle, er ett ord, nemlig ”vindu”. Ordene ”glassrute”, ”vindusrute”, ”rute” og ”vinduet” godtas også som riktige svar. En ulempe med denne oppgaven er at hvis noen skriver: ”Jeg tror det er vindu, men det kan også være dør eller sofa eller speil. Vet ikke egentlig” så blir svaret riktig fordi ordet ”vindu” forekommer i teksten. Det er altså mulig for kreative elever/studenter å helgardere seg.

En vanlig innvending mot tradisjonelle flervalgstester, er at spørsmålene er lukkede, det vil si med forhåndsdefinerte alternativer. Med moderne digitale testverktøy kan du lage åpne spørsmål, altså spørsmål hvor eleven/studenten skal skrive inn svaret sitt i et større tekstområde. Dette blir altså helt likt den vanlige skriftlige vurderingsformen, og passer til essay-oppgaver, drøftinger, utledninger, artikler, forklaringer og så videre. Det fine er at du selvsagt kan kombinere åpne spørsmål med de andre lukkede spørsmålstypene. Det kan absolutt gi mening å lage en test med for eksempel 20 lukkede spørsmål (som tester i dybden/bredden) og så ha noen få spørsmål som er åpne og som tester mer forståelse og evne til skriftlig redegjørelse ala ”Drøft/grei ut om bla di bla di bla” . De lukkede oppgavene kan du gi for eksempel 1 poeng, mens du kan velge å gi drøftingsoppgaven for eksempel inntil 20 poeng. Slike kombi-tester vil altså kunne teste elevene/studentene på ulike nivå og samtidig være tidseffektive.

I neste figur ser du spørsmålsteksten øverst, og hvordan en person har begynt å svare med tekst, overskrifter, formatterte ord og et bilde. Det er liten tvil om at denne typen er fleksibel, og med fordel kan brukes for å øve evne til å formulere seg skriftlig. Hvis testen er formativ av natur, så trenger en heller ikke å bruke mye tid på å rette/vurdere slike åpne spørsmål som lærer!

Klikk på bildet for å åpne i større versjon

Hvis du retter en vanlig eksamen, retter du gjerne alle oppgavene samtidig. Da er det lett å vurdere likt. Dersom du skal rette de manuelle spørsmålene sporadisk, etterhvert som elevene/studentene tar testene, blir det vanskeligere å vurdere ulike besvarelser likt. Det er lurt med en nøkkel/fasit med stikkord for din egen del. Du kan faktisk angi en slik fasit for deg selv som lærer i det du lager en ny oppgave av type Åpent svar. Denne fasiten vises ikke til elevene/studentene.

I likhet med spørsmål av typen Kortsvar, kan du velge å la it´s learning rette åpne svar automatisk basert på forekomster av oppgitte nøkkelord, men primærbruken vil nok for de fleste være manuell retting. Du kan også begrense antall ord i svaret, slik at elevene/studentene ikke får lov å skrive mer enn for eksempel 1000 ord.

Gitt at du har en test med mange flervalgsspørsmål og vil bruke den formativt for å oppsummere i etterkant. Da gir det mening å ha et åpent spørsmål som har til hensikt å skape refleksjon og oppsummering hos eleven/studenten. Hvis du lar dette spørsmålet rettes automatisk, og gir bare 1 poeng uttelling (og som i tillegg kanskje søker etter forekomsten av vanlige ord ala "og" for å være sikker på at svaret gir match mot fasiten, har du en 100% automatisert test som også kan skape refleksjon:

”I timen gjennomgikk vi et konkret eksempel der en person møtte ulike problemer i praksisperioden sin. Lag et kort sammendrag med egne ord og kom med forslag til løsning på hvordan denne situasjonen kunne vært unngått.”

Tidligere i denne tipsserien har vi sett på det såkalte distraktørtipset. En distraktør er et alternativ som er galt. Distraktørtipset går ut på at læreren samler sammen alle svar fra et åpent spørsmål. De svarene som ofte går igjen, og samtidig er gale, gir grunnlag for å lage gode distraktører i et tilsvarende lukket spørsmål (typisk flervalgsspørsmål). Årsaken er åpenbar: Når mange formulerer samme gale svar, reflekterer dette faglige misforståelser. Dersom en får presentert et lukket spørsmål med disse gale svarene som alternativer, vil en trolig tilsvarende velge galt. Dette handler ikke om å lure elevene/studentene, men rett og slett om å klare å lage gode nok distraktører i lukkede spørsmål. Poenget er: Når testverktøyet støtter åpne spørsmål, blir det tidseffektivt å la noen av spørsmålene i en test være åpne. Deretter kan en foreta en analyse av svarene og tilslutt oversette spørsmålet tilbake til lukket form.

Du står fritt til å bruke eksemplene fra denne tipsserien i egen undervisning. Svend Andreas Horgen har holdt mange foredrag og kurs om digitale tester (og pedagogisk bruk av IKT generelt), og underviser blant annet et nettbasert fag om IKT og læring hvor digitale tester inngår som pensum. Dersom du synes denne tipsserien er nyttig, så må du gjerne spre en lenke til andre. Har du innspill, tanker, erfaringer eller andre idéer, så legg gjerne igjen en kommentar!