Dlaczego wiarygodność i rzetelność testów są ważne
Definicja niezawodności testów
Mówiąc najprościej, wiarygodność oznacza, że jeśli ten sam test zostanie przeprowadzony na tym samym uczniu, uzyska on taki sam wynik. Nie jest to łatwe do osiągnięcia. W przypadku pytań punktowanych komputerowo (elementów) w czytaniu i słuchaniu, twórca testu musi przeprowadzić analizę statystyczną elementów. Proces ten nazywany jest analizą psychometryczną. Analiza jest przeprowadzana na danych pochodzących od wielu uczestników testu, którzy w idealnym przypadku mają szeroki zakres poziomów umiejętności. Jeśli dany element jest dobry, analiza potwierdzi, że konsekwentnie rozpoznaje dokładny poziom zdającego. Innymi słowy, jeśli jest to średnio-niski element, początkujący testerzy będą konsekwentnie się mylić, a średniozaawansowani i wyżsi testerzy będą go poprawiać. Im bardziej konsekwentnie dany element działa w ten sposób, tym lepiej różnicuje umiejętności językowe zdającego. Analiza umieści każdy element na spektrum od łatwego do trudnego. Wynik tego wysiłku pokaże, że nie wszystkie średnio-niskie elementy są sobie równe, a niektóre elementy na tym samym poziomie są trudniejsze niż inne. Ten stopień trudności na danym poziomie należy wziąć pod uwagę podczas tworzenia testu. Test punktowany komputerowo, który składa się z dobrze ułożonego zestawu elementów, które zostały psychometrycznie zidentyfikowane jako dobre elementy, powinien być wysoce wiarygodnym testem tych umiejętności.
Dlaczego osoby oceniające testy są ważne
Chociaż istnieją testy pisania i mówienia punktowane komputerowo, generalnie stworzenie wiarygodnego testu mówienia i pisania wymaga bardzo konsekwentnego oceniania przez człowieka. Przede wszystkim, aby można było zmierzyć wiarygodność oceny, testy musi oceniać kilku sędziów. Stopień spójności oceny jest określany poprzez obliczenie tak zwanej "wiarygodności między oceniającymi" (IRR). Innymi słowy, jak wiarygodna jest spójność ocen różnych oceniających. Jeśli IRR jest wysoki, to wiarygodność testu jest wysoka i można polegać na dokładności wyniku testu.
Definicja ważności testu
Ważność jest znacznie mniej precyzyjna lub naukowa. Mówiąc prościej, test jest ważny, jeśli mierzy odpowiednie rzeczy do zastosowania, do którego jest przeznaczony. Jeśli nauczyciel chce wiedzieć, czy uczniowie zapamiętali zadanie domowe z francuskiego słownictwa, zada im zestaw pytań dotyczących zadania domowego. Nie zapytałby ich o historię Chin. Jeśli chcesz zmierzyć poziom biegłości uczniów, powinieneś zadać im rzeczywiste pytania, na które nie byli specjalnie przygotowani, na różnych poziomach, aby zobaczyć, co naprawdę potrafią zrobić z językiem. Byłoby to prawidłowe podejście do pomiaru zdolności zdającego do wykonywania rzeczywistych zadań (= biegłości).
Informacje o Avant Assessment
Kliknij tutaj, aby rozpocząć swoją drogę do biegłości
