Projekt
EduTest
Výzvy pro hodnocení znalostí:
Analytická podpora tvorby znalostních testů
Interaktivní nástroj pro střední školy
S ukázkovými daty
Aplikace obsahuje veřejně dostupná data z maturitních testů z českého jazyka a literatury, matematiky a angličtiny a předem nahraná data simulované, fiktivní střední školy s dvěma skupinami maturitních oborů. Je určena k demonstraci individualizovaných analýz a vizualizací dat konkrétní školy na pozadí ostatních škol v ČR. Nabízí detailní filtrování dat podle řady kritérií souhrnné vizualizace a analýzu silných a slabých stránek školy včetně textových interpretací.
S možností nahrání vlastních dat
Obdoba aplikace pro střední školy, která umožňuje nahrát vlastní data s výsledky maturitní zkoušky, která školy dostávají od Centra pro zjišťování výsledků vzdělávání.
Interaktivní nástroj pro ZŠ
Interaktivní nástroj pro základní školy
Aplikace určená pro vizualizaci a analýzu dat z jednotné přijímací zkoušky z českého jazyka a matematiky na základě dat
ze školní zprávy zasílané základním školám Centrem pro zjišťování výsledků vzdělávání.
Pro tvůrce testů
Interaktivní nástroj pro základní školy
Aplikace umožňuje provádět psychometrické analýzy dat ze znalostních testů na bázi klasické teorie testů i teorie odpovědi na položku (IRT). Obsahuje volně dostupná data z maturitních testů z matematiky a z mezinárodního testu TIMSS 2015. Je základem pro vývoj dalších verzí nástroje.
Participativní workshopy
Cílem participativních workshopů je podpořit implementaci postupů a nástrojů vyvíjených v rámci projektu do procesů tvorby, validace, vyhodnocování a využívání výsledků znalostních
testů aplikačního garanta. Dosud proběhly tyto workshopy:
Workshop pro aplikačního garanta
Workshop se uskutečnil 8. 4. 2022. Účastníci byli seznámeni s psychometrickými metodami implementovanými v interaktivním nástroji a s průběžnými výsledky analýz dat z maturitních testů v oblasti vyrovnávání testových skóre a odhadování obtížnosti na základě textu.
Workshop pro ředitele škol
Workshop se uskutečnil 8. 12. 2022. Účastníci byli seznámeni s interaktivním nástrojem určeným pro analýzu výsledků středních škol, vyzkoušeli si práci s daty své školy a poskytli zpětnou vazbu pro další rozvoj nástroje.
Průběžné výsledky
Prezentace projektu na konferencích
Martinková, P., Hladká, A., & Netík, J. (2021, duben). Psychometrická analýza interaktivně a v R: Co je nového v ShinyItemAnalysis. Příspěvek prezentovaný na konferenci Psychologická diagnostika Brno, online.
https://psychodiagnostika.fss.muni.cz/program/prispevky/id44
Martinková, P. (2021, červenec). Computational aspects of psychometrics taught with R and Shiny. Příspěvek prezentovaný na konferenci useR!2021, online.
Dlouhá, J., Štěpánek, L., & Martinková, P. (2022, červenec). Item difficulty prediction using computational psychometrics and linguistic algorithms. Poster prezentovaný na konferenci International Meeting of the Psychometric Society, Bologna, Itálie.
https://www.psychometricsociety.org/sites/main/files/file-attachments/imps2022-version-7-abstract.pdf?1656714871
Martinková, P., Potužníková, E., & Vařejková, M. (2022, září). Repeated covariate equating to provide comparable scores from matura exam in case of non-equivalent groups. Příspěvek prezentovaný na konferenci European Conference on Educational Research, online.
https://eera-ecer.de/ecer-programmes/conference/27/contribution/53048/
Martinková, P., Potužníková, E., & Netík, J. (2022, září). Interaktivní nástroj pro podporu vyhodnocování dat ze standardizovaných testů. Příspěvek prezentovaný na 30. výroční konferenci České asociace pedagogického výzkumu, Babice. https://capv.cz/konference-capv-2022/
Štěpánek, L., & Netík, J. (2022, listopad). Testujeme testy. Přijímačky a maturity z pohledu psychometrie a data science. Prezentace projektu v rámci Týdne Akademie věd ČR, Praha. https://www.cs.cas.cz/news/2022-11-02-Den-otevrenych-dveri/cs
Netík, J., & Martinková, P. (2023, červenec). Enhancing Psychometrics with Interactive ShinyItemAnalysis Modules. Poster prezentovaný na konferenci EAM, Gent, Belgie. https://eam2023.ugent.be/
Vařejková, M., Martinková, P., & Potužníková, E. (2023, červenec). A simulation study of repeated covariate equating. Poster prezentovaný na konferenci EAM, Gent, Belgie. https://eam2023.ugent.be/
Štěpánek, L., Dlouhá, J. & Martinková, P. (2023, červenec).
Machine-learning prediction of test item difficulty using item text
wordings: Comparison of algorithms and domain experts’ predictive performance. Příspěvek prezentovaný na konferenci EAM, Gent, Belgie. https://eam2023.ugent.be/
Martinková, P., Vařejková, M., & Potužníková, E. (2023, září).
Obtaining comparable scores from multiple test forms in case of
non-equivalent groups via repeated covariate equating. Příspěvek prezentovaný na konferenci FREMO, Oslo, Norsko.
https://www.uv.uio.no/cemo/english/about/news-events-and-publications/events/conferences/fremo2023/
Plánované výsledky
Soubor postupů a nástrojů pro zkvalitnění tvorby znalostních testů pomocí psychometrických modelů
Soubor postupů a nástrojů bude obsahovat popis psychometrických metod včetně popisu vhodnosti jejich využití na příslušné typy testů, návody na jejich implementaci v interaktivním rozhraní, modul interaktivního nástroje, zdrojové kódy či funkce, vzorové postupy komplexní psychometrické analýzy včetně detekce rozdílů mezi skupinami na úrovni subškál a testových položek a jejich interpretace a vzorové zprávy pro testované osoby, školy, resp. kraje.
Participativní workshopy
Participativní workshopy podpoří implementaci souboru postupů a nástrojů do procesů vývoje a validace znalostních testů aplikačního garanta a dalších institucí, podpoří také využití výsledků z testování řediteli škol. Celkem proběhnou alespoň tři participativní semináře, které účastníky seznámí s psychometrickými metodami pro zpracování výsledků testů a interpretací zpráv včetně detekcí problematických testových položek a identifikací meziskupinových rozdílů.