Soubor postupů a nástrojů pro zkvalitnění tvorby znalostních testů pomocí psychometrických modelů

Soubor postupů a nástrojů umožňuje rychlé vyhodnocení dat ze znalostních testů včetně podrobné analýzy meziskupinových rozdílů, např. dle genderu či typu školy, a textové analýzy znění položek. Soubor se skládá z několika interaktivních modulů a interaktivních aplikací uzpůsobených pro různé typy analýz a z textových dokumentů popisujících funkce a možnosti využití interaktivních nástrojů. Kompletní soubor je přístupný také na odkazu https://edutest.cs.cas.cz/  

EduTest Item Analysis

Interaktivní modul pro analýzu položkových dat z maturitních a přijímacích testů vytvářených Centrem pro zjišťování výsledků vzdělávání (CERMAT) je dostupný v sekci Modules interaktivní aplikace ShinyItemAnalysis. Do modulu je možné nahrát veřejně dostupná neagregovaná položková data z vybraného testu. K nim je dále nutné nahrát metadata (tabulku ve formátu .xlsx) popisující položky testu, která si uživatel musí připravit z veřejně dostupných testových zadání a klíčů správných řešení. Modul nabízí analýzy dat založené na klasické testové teorii i na teorii odpovědi na položku.

Otevřít modul

Otevřít popis metod a návod k použití

Otevřít ukázková metadata pro didaktický test k maturitě z matematiky 2019

EduTest Text Analysis

Interaktivní modul pro predikci obtížnosti položek z jejich textového zadání je dostupný v sekci Modules interaktivní aplikace ShinyItemAnalysis. Modul je určen k doplnění a zpřesnění expertních odhadů obtížnosti nově vytvářených položek na hodnocení čtení s porozuměním v testech z angličtiny jako cizího jazyka. Po zadání znění položky modul vypočítá řadu textových charakteristik a na jejich základě odhadne předpokládanou obtížnost položky. Kromě možnosti načtení vlastních dat modul nabízí i demonstraci dostupných analýz na třech ukázkových položkách, které jsou v něm již nahrány. 

Otevřít modul
Otevřít popis metod a návod k použití

EduTest maturita

Interaktivní aplikace je určena k analýze výsledků žáků konkrétní střední školy v maturitních testech na pozadí výsledků ostatních škol v ČR. Nabízí detailní filtrování dat podle řady kritérií, souhrnné vizualizace a analýzu silných a slabých stránek školy včetně textových interpretací. Aplikace využívá veřejně dostupná celostátní neagregovaná položková data z maturitních testů z českého jazyka a literatury, anglického jazyka a matematiky. K nim si škola musí nahrát neveřejná data s výsledky svých žáků, která dostává od CERMATu. K demonstračním účelům byla vytvořena obdoba této aplikace, která obsahuje předem nahraná ukázková data simulované, fiktivní střední školy s dvěma skupinami maturitních oborů.

Otevřít aplikaci pro střední školy
Otevřít aplikaci s ukázkovými daty
Otevřít popis metod a návod k použití

EduTest JPZ

Interaktivní aplikace je určena k analýze a vizualizaci výsledků žáků konkrétní základní školy v jednotné přijímací zkoušce z českého jazyka a matematiky na pozadí výsledků ostatních žáků v ČR. Je obdobou výše uvedené aplikace EduTest maturita. Aplikace využívá veřejně dostupná celostátní neagregovaná položková data z jednotné přijímací zkoušky. K nim si škola musí nahrát neveřejná data s výsledky svých žáků, která dostává od CERMATu. Pro seznámení s aplikací je možné využít ukázková data fiktivní základní školy.

Otevřít aplikaci pro základní školy
Ukázková data

EduTest CAT

Aplikace založená na principech počítačového adaptivního testování je nástrojem k procvičování na testy s využitím sad úloh z předchozích let. V současné době obsahuje sady úloh z maturitních testů z matematiky z let 2019 a 2022. Díky názorným vizualizacím obsaženým přímo v hlavním uživatelském rozhraní může aplikace kromě vlastního procvičování sloužit také k demonstraci metod počítačového adaptivního testování. Pro vstup do aplikace je třeba zadat uživatelské jméno: catlogin1 a heslo: catpassword1.

Otevřít aplikaci

Návod k použití

Prezentace projektu na konferencích

Martinková, P., Hladká, A., & Netík, J. (2021, duben). Psychometrická analýza interaktivně a v R: Co je nového v ShinyItemAnalysis. Příspěvek prezentovaný na konferenci Psychologická diagnostika Brno, online. https://psychodiagnostika.fss.muni.cz/program/prispevky/id44 

Martinková, P. (2021, červenec). Computational aspects of psychometrics taught with R and Shiny. Příspěvek prezentovaný na konferenci useR!2021, online.

Dlouhá, J., Štěpánek, L., & Martinková, P. (2022, červenec). Item difficulty prediction using computational psychometrics and linguistic algorithms. Poster prezentovaný na konferenci International Meeting of the Psychometric Society, Bologna, Itálie.

https://www.psychometricsociety.org/sites/main/files/file-attachments/imps2022-version-7-abstract.pdf?1656714871 

Martinková, P., Potužníková, E., & Vařejková, M. (2022, září). Repeated covariate equating to provide comparable scores from matura exam in case of non-equivalent groups. Příspěvek prezentovaný na konferenci European Conference on Educational Research, online.

https://eera-ecer.de/ecer-programmes/conference/27/contribution/53048/ 

Martinková, P., Potužníková, E., & Netík, J. (2022, září). Interaktivní nástroj pro podporu vyhodnocování dat ze standardizovaných testů. Příspěvek prezentovaný na 30. výroční konferenci České asociace pedagogického výzkumu, Babice. https://capv.cz/konference-capv-2022/ 

Štěpánek, L., & Netík, J. (2022, listopad). Testujeme testy. Přijímačky a maturity z pohledu psychometrie a data science. Prezentace projektu v rámci Týdne Akademie věd ČR, Praha. https://www.cs.cas.cz/news/2022-11-02-Den-otevrenych-dveri/cs 

Netík, J., & Martinková, P.  (2023, červenec). Enhancing Psychometrics with Interactive ShinyItemAnalysis Modules. Poster prezentovaný na konferenci EAM, Gent, Belgie. https://eam2023.ugent.be/ 

Vařejková, M., Martinková, P., & Potužníková, E. (2023, červenec). A simulation study of repeated covariate equating. Poster prezentovaný na konferenci EAM, Gent, Belgie. https://eam2023.ugent.be/ 

Štěpánek, L., Dlouhá, J. & Martinková, P. (2023, červenec). Machine-learning prediction of test item difficulty using item text wordings: Comparison of algorithms and domain experts‘ predictive performance. Příspěvek prezentovaný na konferenci EAM, Gent, Belgie. https://eam2023.ugent.be/ 

Martinková, P., Vařejková, M., & Potužníková, E.  (2023, září). Obtaining comparable scores from multiple test forms in case of non-equivalent groups via repeated covariate equating. Příspěvek prezentovaný na konferenci FREMO, Oslo, Norsko. https://www.uv.uio.no/cemo/english/about/news-events-and-publications/events/conferences/fremo2023/ 

Martinková, P. (2023, listopad). Data science pro analýzu přijímacích a maturitních testů. Prezentace projektu v rámci Týdne Akademie věd ČR, Praha.
https://www.cs.cas.cz/news/2023-11-08-Den-otevrenych-dveri/cs