Van Raamwerk naar niveautoets

Aan de publicatie van een toets is een lang ontwikkelproces vooraf gegaan dat veel bloed, zweet en tranen heeft gekost. In dit artikel willen we u een kijkje bieden in de keuken van onze toetsontwikkeling. We zullen daarbij alle fases doorlopen, van het ontwerpen van de toetsmatrijs tot het afnemen van de digitale toetsen.

Samenwerking

In de zomer van 2011 besloten vier universitaire talencentra in Nijmegen, Groningen, Amsterdam (INTT) en Tilburg om gezamenlijk taaltoetsen te gaan ontwikkelen. Al deze instituten hebben gemeenschappelijk dat ze zich voornamelijk richten op cursisten die het Staatsexamen NT2, programma II willen afleggen. Om zeker te weten dat cursisten op de goede weg zijn, willen we hun vaardigheden gedurende het traject graag twee keer kunnen testen, namelijk op niveau A2 en B1. In samenwerking met uitgeverij BOOM werd besloten hiervoor nieuwe, digitale toetsen te ontwikkelen.

Omdat we een helder doel voor ogen hadden, konden enkele knopen snel worden doorgehakt: het moesten voortgangstoetsen worden die steeds één niveau zouden testen en de indeling zou zich richten op de Staatsexamens. Dit hield in dat de vier vaardigheden lezen, luisteren, schrijven en spreken elk apart getoetst worden. Bij lezen en luisteren zou dit gebeuren aan de hand van meerkeuzevragen; bij schrijven en spreken aan de hand van open opdrachten. Omdat we in het digitale tijdperk leven, werd ook besloten om de toetsen uitsluitend digitaal aan te bieden. Een ander belangrijk argument hiervoor was dat het de geheimhouding van de toetsen garandeert.

Toetsmatrijs

Met deze opdracht gingen de ontwikkelaars – van elk instituut één – aan de slag. De opdracht is allereerst vertaald naar een toetsmatrijs. Per niveau en per vaardigheid is er een dergelijke toetsmatrijs ontworpen. Dit komt neer op een schematisch overzicht van de inhoud van de toets. In de toetsmatrijs zijn de beschrijvingen van het Raamwerk NT2 opgenomen. Deze vormen immers de voorwaarden waaraan een kandidaat op een bepaald niveau moet voldoen. Verder is er informatie in opgenomen zoals het aantal beoordelingsmomenten, het aantal opdrachten per subvaardigheid (bijvoorbeeld globaal of intensief begrip) en het aantal opdrachten per domein (studie, opleiding, vrije tijd).

Met de toetsmatrijs in de hand konden we beginnen aan het meer creatieve gedeelte van de opdracht: het construeren van items.

Voor lezen en luisteren betekende dit in eerste instantie zoeken naar geschikte teksten.

Waar mogelijk hebben we authentiek materiaal gekozen, met hier en daar een aanpassing naar het te toetsen niveau. Bij dit materiaal hebben we vervolgens meerkeuzevragen geconstrueerd.

De ontwikkelaars van spreken en schrijven gingen op zoek naar realistische situaties waarin bepaalde taalhandelingen gevraagd werden. Bij die situaties zijn vervolgens opdrachten geschreven.

Eerste versie

Vanaf het begin was er een duidelijke rolverdeling tussen de ontwikkelaars. Elk instituut, en daarmee elke ontwikkelaar, nam een vaardigheid op zich. Eén instituut fungeerde daarbij ook nog als projectleider en deed de statistische analyses.

Er was constant overleg tussen de ontwikkelaars, per telefoon of tijdens een gezellige bijeenkomst. Eenmaal geconstrueerde items werden telkens van peerfeedback voorzien door twee andere ontwikkelaars en op basis daarvan bijgeschaafd of vervangen door andere items.

Op deze manier ontstond er een eerste versie die naar de uitgever gestuurd werd. Daar werden de toetsen op papier vorm gegeven, er kwamen illustraties bij en de audio voor spreken en luisteren werd opgenomen in de studio. Kortom: er kwam een toets die geschikt was om af te nemen als pretest.

Pretesten

Voor het pretesten zochten we kandidaten bij onze eigen instituten. Cursisten die bijna examen moesten doen aan het einde van hun cursus, kregen als oefening de pretest voorgeschoteld. Op die manier konden we niet alleen veel informatie verzamelen over de items, maar konden we de resultaten ook vergelijken met resultaten op andere toetsen.

Voor de toetsen lezen en luisteren – die uitsluitend uit meerkeuzevragen bestaan – namen we de pretest af bij zoveel mogelijk kandidaten. Op die manier konden we de resultaten statistisch analyseren. Dat gaf per item een beeld van de moeilijkheidsgraad, de plausibiliteit van de 'foute’ antwoordalternatieven en de mate waarin het item discrimineert tussen goede en zwakke kandidaten. Ook gaf het inzicht in de betrouwbaarheid en moeilijkheidsgraad van de hele toets.

Voor de toetsen spreken en schrijven was een kleinere pretest voldoende, omdat bij de ontwikkeling van deze vaardigheden de nadruk vooral op de beoordeling lag. Alle ontwikkelaars beoordeelden de producten van de pretestkandidaten. Daarna bespraken zij deze beoordeling uitgebreid samen om tot een sluitend beoordelingsmodel te komen.

Bijstelling

Aan de hand van de pretestresultaten zijn de toetsen opnieuw bijgesteld. Als er grote wijzigingen nodig waren, volgde een nieuwe pretest. Ook is op basis van alle resultaten de cesuur bepaald. Een examencommissie, bestaande uit enkele Nt2-experts, beoordeelde de uiteindelijke versie, inclusief cesuur en pretestresultaten. Op basis van hun input werd er hier en daar nog een laatste keer geschaafd aan de toetsen.

Toch was het proces hiermee nog niet ten einde. De toetsen zouden immers digitaal afgenomen worden, in een speciaal voor dit doel ontwikkeld systeem. We moesten daarom nog een laatste ontwikkel- en pretestfase door: die van de definitieve vormgeving in het digitale systeem en de vergelijking van de resultaten van kandidaten die de papieren dan wel de digitale versie hadden gemaakt. Dit alles heeft geleid tot het NT2 Testcentrum met acht toetsen: één toets per vaardigheid per niveau. Op dit ogenblik werken de ontwikkelaars hard aan een tweede versie voor iedere toets.

Tot slot nog iets over de naam TANG-toetsen: het eerste woord staat voor Tilburg, Amsterdam, Nijmegen en Groningen, de steden van de deelnemende universitaire talencentra. We hopen natuurlijk van harte dat de toetsen in het hele land zullen worden ingezet om vele Nt2-leerders inzicht te geven in hun voortgang!

Meer informatie over de toetsen is te vinden op de website van BOOM: http://www.nt2.nl/examen/nt2_toetsen.

© 2009-2019 Uitgeverij Boom Amsterdam

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.