Term
| Hoe verhouden betrouwbaarheid en validiteit zich tot elkaar? |
|
Definition
| Voor een goede validiteit is een hoge betrouwbaarheid nodig maar, omgekeerd, een betrouwbare test is niet per se valide. |
|
|
Term
|
Definition
| De mate waarin de test aan zijn doel beantwoord. |
|
|
Term
| Wat houdt het valideringsproces in? |
|
Definition
| Het verzamelen van evidentie of de sprong van het testgedrag naar iets anders verantwoord is |
|
|
Term
| Wanneer kan de test een adequate voorspelling geven? |
|
Definition
| Alleen wanneer zowel de test als het te voorspellen gedrag uitingen zijn van eigenschappen waartussen een aantoonbare relatie bestaat. |
|
|
Term
| Wat is predictive validity? |
|
Definition
| Het nagaan in welke mate de voorspellingen, gedaan op basis van de testprestatie, worden bevestigd door gegevens of observaties verzameld op een later tijdstip. |
|
|
Term
| Wat is het verschil tussen predictive validity en predictieve validiteit? |
|
Definition
| Predictieve validiteit is breder, omdat het niet gebonden is aan een toekomstig criterium, maar ook aan de voorspelling van ieder extern criterium in het heden of het verleden. |
|
|
Term
| Wat is concurrent validity? |
|
Definition
| Nagaan hoezeer de testresultaten corresponderen met gelijktijdig beschikbare criterium-gegevens. Verschil met predictive validity ligt uitsluitend in het moment van verzamelen van de criteriumgegevens. |
|
|
Term
| Wat is content validity/inhoudsvaliditeit? |
|
Definition
In hoeverre de items uit de test representatief zijn voor het domein van alle mogelijke items met betrekking tot het geheel van situaties, kennisinhouden of vaardigheden die in de test zouden kunnen worden opgenomen.
Bv. In hoeverre mag met uit een proefwerk Franse grammatica conclusies trekken over het gehele kennisdomein van de Franse grammatica?
Vaak vastgesteld door deskundigen te vragen om de reprentativiteit van de gekozen items te beoordelen. |
|
|
Term
| Wat houdt construct validity in? |
|
Definition
| Onderzoek naar welke psychologische eigenschappen door de test wordne gemeten. Deze eigenschappen betreffen hypothetische 'constructs' waarvan men veronderstelt dat ze gereflecteerd worden in de testprestatie. |
|
|
Term
| Uit welke 3 onderdelen bestaat construct validation? |
|
Definition
- uitzoeken welke eigenschappen een verklaring zouden kunnen geven van de testprestatie.
- het afleiden van toetsbare hypothesen uit de theorie die het construct verklaart.
- het uitvoeren van een empirisch onderzoek om deze hypothesen te toetsen. |
|
|
Term
| Wat houdt betekenisanalyse in? |
|
Definition
| Onderzoek naar de begripsvaliditeit, maar dan breder. |
|
|
Term
| Wat is synthetische validiteit? |
|
Definition
| Richt zich op onderdelen van het criteriumgedrag in plaats van op het complexe criterium als geheel. |
|
|
Term
| Wat is congruent validity/soortgenootvaliditeit? |
|
Definition
| Geeft de mate aan waarin een test correleert met een andere test waarvan wordt aangenomen dat die dezelfde eigenschap meet. |
|
|
Term
|
Definition
| Gemeten naar de subjectieve indruk van de leek of ook de psycholoog zelf, de relatie tussen test en criterium of de betekenis van de test zonder meer duidelijk lijkt. |
|
|
Term
| Wat is incremental validity? |
|
Definition
| Betreft de verbetering van de voorspelling met behulp van een test ten opzichte van voorspellingen die kunnen worden gedaan op basis van veelal reeds aanwezige informatie. |
|
|
Term
| Waarom wordt er gebruik gemaakt van een tussentijds of onmiddellijk criterium? |
|
Definition
| Het uiteindelijke criterium is zeer abstract en zelden of nooit beschikbaar. Bijvoorbeeld het criterium de totale professionele bijdrage aan de medische zorg bij selectie van geneeskunde studenten. Beter om te kijken naar behaalde studiepunten eerste jaar of prestaties eindexamen van de opleiding. |
|
|
Term
| Wat is het conceptuele criterium? |
|
Definition
| Het laagste niveau van abstractie in de hiërarchie van relevante doelstellingen. |
|
|
Term
| Wat is een criteriummaat en waar wordt het uit afgeleid? |
|
Definition
| Afgeleid uit het conceptuele criterium. Criteriummaten zijn expliciete, ondubbelzinnige uitspraken of scores, die betrekking hebben op criteriumgedrag of criteriumprestaties. |
|
|
Term
| Noem de 6 fasen in de opzet van een test of testbatterij met predictieve validiteit. |
|
Definition
1) operationalisering van het criterium
2) keuze en constructie van tests
3) proefafneming van bestaande of nieuwe tests
4) validatie van de testprocedure
5) samenstelling van de predictorbatterij
6) kruisvalidering |
|
|
Term
| Wanneer is een proefafneming van een bestaande test nodig? |
|
Definition
| Als de testprocedure plaatsvindt in een populatie die afwijkt van de populatie waarvoor de test oorspronkelijk is geconstrueerd. |
|
|
Term
| Waarom moet de steekproef gestratificeerd worden? |
|
Definition
| Zodat er zicht is op alle deelgroepen uit de populatie. |
|
|
Term
| Waar dient het vooronderzoek voor (3)? |
|
Definition
- nagaan of de proefpersonen begrijpen wat er van hen wordt verlangd
- nagaan of de items niet veel te moeilijk of te makkelijk zijn
- nagaan of de testtijd realistisch is |
|
|
Term
| Wat wordt er met factoranalyse gedaan in de itemanalyse? |
|
Definition
| Items die hoog correleren worden in groepen bij elkaar genomen, deze items meten bijvoorbeeld dezelfde eigenschap. |
|
|
Term
| Valideringsonderzoek: Waardoor ontstaat variatiebeperking en wat is het effect hiervan? |
|
Definition
| Doordat er na de selectie mensen uit de onderzoeksgroep verdwijnen doordat ze bijvoorbeeld promotie maken door hun hoge testscore of elders gaan werken. De uiteindelijke groep verschilt hierdoor sterk van de aanvankelijke onderzoeksgroep en hierdoor worden betrouwbaarheid en validiteit te laag ingeschat. |
|
|
Term
| Valideringsonderzoek: Wat betekent contaminatie met het criterium? |
|
Definition
| Als bijvoorbeeld de testuitslagen van de beoordeelde bekend raken bij de leidinggevende en de leidinggevende en zijn oordelen als criteriummaat worden gebruikt in het valideringsonderzoek, dan is duidelijk dat testscore en criteriumscore niet meer onafhankelijk zijn vastgesteld. |
|
|
Term
| Wat houdt validiteitscoëfficiënt in? |
|
Definition
| De correlatie tussen testscore en criteriumscore (=aanduiding van de validiteit) |
|
|
Term
| Geef een voorbeeld van een kromlijnige relatie waarbij de product-momentcorrelatie laag is. |
|
Definition
|
|
Term
| Wat is een heteroscedastische relatie en noem een voorbeeld. |
|
Definition
| Naarmate X toeneemt, de spreiding van mogelijke waarden van Y toeneemt. Bijvoorbeeld intelligentie. |
|
|
Term
| Wat zijn homoscedastische relaties? |
|
Definition
| Relaties die overal even sterk zijn. Gegeven X is de spreiding van Y overal gelijk. Kan ook een kromlijnige relatie zijn. |
|
|
Term
| Wat is een suppressorvariabele en geef een voorbeeld. |
|
Definition
| Een variabele die een rol speelt waardoor de voorspelling wordt beïnvloed. Bijvoorbeeld taalvaardigheid in een rekentoets. Je moet vaardiger zijn in taal om de problemen goed te kunnen begrijpen. Je kunt de scores op de rekentoets corrigeren voor taalvaardigheid om een betere voorspelling te krijgen. |
|
|
Term
| Wat is een moderatorvariabele en geef een voorbeeld. |
|
Definition
Een variabele die zelf niet of nauwelijks hoeft te correleren met een criteriumscore Y, maar die wel de relatie van andere variabelen met Y beïnvloed.
BV: testscore correleert bv wel voor mannen met Y, maar niet voor vrouwen, en dus is de correlatie voor een gemengde populatie matig. Sekse is dan een moderatorvariabele mbt de correlatie tussen test en criterium.
BV: motivatie als moderator in relatie intelligentiescores X en schoolprestaties Y. |
|
|
Term
| Waarom is het handig om rekening te houden met moderatorvariabelen in valideringsonderzoek? |
|
Definition
| Verduidelijken relatie tussen test en criterium en maken duidelijk dat tests soms maar in een beperkt aantal deelgroepen uit een populatie bruikbaar zijn om een criterium te voorspellen. |
|
|
Term
| Wat is een interactie-effect? |
|
Definition
| Als 2 variabelen apart met criteriumvariabele Y correleren en bovendien een interactie-effect op Y hebben: beide variabelen tegelijkertijd geven een hoge score waardoor de correlatie met criterium daardoor nog extra wordt verhoogd. |
|
|
Term
| Predictorbatterij: wat is multipele correlatie? |
|
Definition
| Het succes van de gehele testbatterij voor de voorspelling van Y |
|
|
Term
| Wat is belangrijk in de samenstelling van een testbatterij? |
|
Definition
| De tests moeten onderling laag correleren (weinig overlap hebben) en allen hoog met Y correleren, dus allen een uniek aspect van Y verklaren. |
|
|
Term
|
Definition
| Het regressiemodel dat is gevonden op basis van de steekproefgegevens, wordt gecontroleerd op een nieuwe, representatieve steekproef van proefpersonen, afkomstig uit dezelfde populatie als de eerste steekproef. Nagegaan wordt dan of de geschatte regressiegewichten in beide steekproeven voldoende op elkaar lijken en of de multipele correlaties ongeveer gelijk zijn. |
|
|
Term
| Zijn tests met geringe validiteit nooit zinvol? |
|
Definition
| Ze kunnen soms toch nog een zinvolle bijdrage aan de beslissing leveren en een test met een behoorlijke validiteit heeft soms maar weinig effect. |
|
|
Term
| Noem 5 redenen waarom veel validiteitscoëfficiënten zo laag zijn. |
|
Definition
1) geringe betrouwbaarheid van het criterium
2) miskenning van een niet-lineaire relatie tussen predictor en criterium
3) negeren van de complexe samenstelling van groepen
4) negeren van de variabele betekenis van het criterium in verschillende organisaties
5) onterechte vereenvoudiging van het criterium |
|
|
Term
| Wanneer heeft validiteitsgeneralisatie zin? |
|
Definition
| De effectiviteit moet groot genoeg zijn en de resterende variantie klein genoeg om in 90% à 95% van de nieuwe toepassingen een positieve validiteit te verwachten. |
|
|
Term
| Wat houdt effectiviteit in bij generalisering van validiteit? |
|
Definition
| De representatieve validiteit binnen een specifieke categorie van tests en functies |
|
|
Term
| Wanneer is predictieve validiteit pas echt van waarde? |
|
Definition
| Een test krijgt pas werkelijk een nuttige functie, zowel in wetenschappelijk als in praktisch opzicht, als met deze empirische correlaties tevens een begripsanalyse gepaard gaat. |
|
|
Term
| Waar gaat het bij betekenisanalyse om? |
|
Definition
| Om het vinden van een theorie of theoretisch begrip als verklaring voor het testgedrag. |
|
|
Term
| Waar gaat het bij begripsvalidering om? |
|
Definition
| Om het empirisch bevestigen van de verklaring die gevonden is middels betekenisanalyse. |
|
|
Term
| Welke 2 soorten validering zijn nuttig bij begripsvalidering? |
|
Definition
- trekvalidering
-nomologische validering |
|
|
Term
|
Definition
| In hoeverre testgedrag verklaard kan worden met behulp van een persoonlijkheidstrek of een geschiktheid. Gaat niet noodzakelijk om een theorie. |
|
|
Term
| Wat is nomologische validering? |
|
Definition
| Verklaring van het testgedrag vanuit een psychologische theorie. |
|
|
Term
| Wat is confirmerende validering? |
|
Definition
Oorspronkelijke hypothese bevestigen.
Metingen van dezelfde eigenschap met verschillende tests moeten hoog met elkaar correleren. |
|
|
Term
| Wat is discriminante validering? |
|
Definition
Alternatieve hypothese verwerpen.
Metingen van verschillende eigenschappen moeten laag met elkaar correleren. |
|
|
Term
| Noem 2 soorten onderzoek in de betekenisanalyse. |
|
Definition
- structuuronderzoek
- relatieonderzoek |
|
|
Term
| Wat valt onder structuuronderzoek binnen de betekenisanalyse (2)? |
|
Definition
- psychologische analyse van de inhoud van de items
- analyse van de formele kenmerken van de test |
|
|
Term
| Welke 4 vormen kent relatieonderzoek ter ondersteuning van de testbetekenis? |
|
Definition
1) spreiding en normen
2) experimenteel onderzoek
3) factoranalyse
4) wat kan de test voorspellen? |
|
|
Term
| Wat is de bedoeling van factoranalyse? |
|
Definition
| Samenvatting van informatie (groot aantal variabelen samenvatten in geringer aantal variabelen, die factoren worden genoemd). Op basis van psychologische interpretatie van de factoren kan de betekenis van het testgedrag worden verduidelijkt. |
|
|
Term
| Noem het verschil tussen regressieanalyse en factoranalyse. |
|
Definition
| Bij regressieanalyse worden de gewichten zodanig gekozen dat het criterium zo goed mogelijk wordt voorspeld, terwijl bij factoranalyse de gewichten zodanig worden gekozen dat de informatie in de testscores zo goed mogelijk wordt samengevat. |
|
|
Term
| Alternatieve verklaringen vinden in de begripsvalidering: welke 3 veel voorkomende mogelijkheden zijn verstandig om hierbij te controleren? |
|
Definition
- samenhang met intelligentie: tests voor prestatieniveau en tests voor gedragswijze correleren met intelligentiestests.
- sociale wenselijkheid als onbedoelde eigenschap.
- antwoordtendenties. |
|
|
Term
| Noem 8 soorten antwoordtendenties. |
|
Definition
- instemtendentie
- positievoorkeur
- semantische interpretatie: altijd, vaak, soms, zelden en nooit worden verschillend geïnterpreteerd
- sequentietendentie: ja en nee antwoorden even vaak willen kiezen
- snelheidstendentie versus precisietendentie
- uitvoerigheidstendentie: door uitvoerig antwoorden kun je antwoord geven op vragen die niet zijn gesteld
- gistendentie
- voorkeur voor formele kenmerken |
|
|
Term
| Wat is de multitrek-multimethode matrix? |
|
Definition
| Bij deze bendaring wordt geschat in hoeverre de variantie van de testscore wordt bepaald door de variantie in de bedoelde trek eb juist niet door zowel de variantie ten gevolge van de gebruikte methode als de variantie in de niet-bedoelde trekken. |
|
|
Term
| Hoe wordt de multitrek-multimethode matrix vastgesteld in de evaluatieprocedure? |
|
Definition
Meting van verschillende trekken en het meten met verschillende methoden. Er ontstaan in de matrix correlaties die uit alle combinaties van methoden en trekken bestaan.
Een model om in één ontwerp enerzijds de betrouwbaarheid en anderzijds zowel de confirmerende als de discriminante validiteit van een test te onderzoeken. |
|
|
Term
| Wat is de monotrek-monomethode-overlap in de matrix? |
|
Definition
| Correlaties voor dezelfde trekken en dezelfde methoden: de betrouwbaarheid. |
|
|
Term
| Wat is de monotrek-heteromethode-overlap in de matrix? |
|
Definition
| Correlaties voor dezelfde trekken maar gemeten met verschillende methoden: confirmerende validiteit. |
|
|
Term
| Wat is de heterotrek-monomethode-overlap in de matrix? |
|
Definition
| Correlaties voor dezelfde methode en verschillende trekken: indicatie van de methodevariantie. |
|
|
Term
| Wat is heterotrek-heteromethode-overlap in de matrix? |
|
Definition
| Correlaties voor verschillende trekken en verschillende methoden. |
|
|
Term
| Hoe spreekt de Standards for Educational and Psychological Testing over validiteit? |
|
Definition
| Als eenledig concept waarmee wordt benadrukt dat de validiteit van een test altijd een geïntegreerd oordeel is op basis van heel veel stukjes informatie die elk bijdragen aan een antwoord op de vraag naar validiteit. |
|
|
Term
| Waar wordt naar gekeken ongeacht of je het hebt over validiteit of de verschillende begrippen die onder validiteit vallen? |
|
Definition
| Het voorspellend vermogen van tests en de mate waarin scores op de test samenhangen met bedoelde begrippen (en niet samenhangen met onbedoelde psychologische eigenschappen), ongeacht of je hierbij de begrippen predictieve validiteit en begripsvaliditeit gebruikt of enkel validiteit. |
|
|
Term
| Wat is het verschil tussen predictive validity en predictieve validiteit? |
|
Definition
| Predictive validity gaat strikt genomen alleen over het succes waarmee toekomstige criteriumscores kunnen worden voorspeld terwijl predictieve validiteit ook op paradictie en postdictie betrekking kan hebben. |
|
|
Term
| Wat beschrijft de COSMIN-taxonomie (3)? |
|
Definition
| Drie kwaliteitsdomeinen van testen: betrouwbaarheid, validiteit en reactievermogen. |
|
|
Term
| Wat stellen De Von en collega's voor als taxonomie van validiteit? |
|
Definition
| Een taxonomie waarin de diverse definities van validiteit worden gebruikt. |
|
|
