كيف يقيّم Avant ردود المحادثة والكتابة؟

من يقوم بتقييم اختبارات STAMP ؟

الاستجابات ذات التصنيف البشري في Avant STAMP, PLACEواختبار الكفاءة في اللغة العربية (APT)، واختبارات اللغة الإسبانية التراثية يتم تقييمها من قبل مقيّمين معتمدين Avant وهم معلمو/متحدثو اللغة الذين يستوفون الحد الأدنى من المتطلبات التالية

1. المهارات اللغوية: يجب أن يحافظ المقيمون على مستوى متقدم أو أعلى من المهارات اللغوية (يتم تحديده من خلال مقابلة هاتفية أو درجة اختبار من تقييم معتمد ، أي STAMP4S أو OPI أو مقابلة ILR أو MOPI أو شهادة Praxis / State Teacher.)
2. تعليم: يجب أن يكون المقيمون حاصلين على درجة البكالوريوس أو أعلى
3. التدريب والاعتماد: يجب على المقيّمين إكمال البرنامج التدريبي الخاص باللغة Avant الخاص بالمقيّمين والحصول على نسبة اتفاق 90% في تقييم الاعتماد
4. توافر: يجب أن يكون المقيمون متاحين لتسجيل عدد محدد من العناصر (إجابات الطلاب) كل أسبوع (يحدده مدير تقييم اللغة المحددة والمعدل)

كيف يتم تدريب المقيّمين المعتمدين Avant ؟

يجب على جميع المقيِّمين إكمال برنامج تدريب المقيِّمين Avant واجتياز اختبار الاعتماد قبل أن يُسمح لهم بتسجيل استجابات الطلاب. تتضمن عملية التدريب خمس خطوات وتستغرق عادةً حوالي 11-13 ساعة من وقت العمل الفردي وحوالي ساعتين إلى ثلاث ساعات مع مدير تدريب المقيِّمين لإكمالها.

1. الإعداد الأكاديمي: يدرس المرشحون للمقيّمين المواد التدريبية للمقيّمين Avant التي تشرح مستويات الكفاءة استناداً إلى إرشادات الكفاءة الخاصة بـ ACTFL ومحددات الكفاءة الخاصة بـ ILR وتعلم كيفية تطبيق Avant هذه المستويات على إجابات المتقدمين للاختبار. والهدف من هذه الخطوة هو توجيه المرشحين للمقيّمين إلى المشاكل التي تواجههم في تقييم عناصر الإجابة المبنية (التحدث والكتابة) وتحديد نطاق الدرجات التي يمكن لنظام Avantأن يخصصها لإجابات المتقدمين للاختبار. الخطوة 1 هي مرحلة دراسة مستقلة مع التزام زمني متوقع من 3-5 ساعات.
2. المراجعة الموجهة والتعريف بنظام اتصال المقيِّمين (RC): يجتمع المقيّم المرشح مع مدير تدريب المقيّمين المخصص له لمناقشة وتوضيح العناصر الرئيسية لمواد التدريب بما في ذلك مستويات الكفاءة والتفاصيل المستخدمة لتحديد المستويات المختلفة. بعد ذلك يساعد مدير تدريب المقيّمين مدير تدريب المقيّمين المرشح المحتمل في الوصول إلى برنامج اتصال المقيّمين عبر الإنترنت Avant(انظر الخطوة 3) ويرشده إلى عدة إجابات ويوضح له كيفية استخدام نظام اتصال المقيّمين. عادةً ما تُجرى الخطوة 2 كاجتماع افتراضي بين المقيِّم المرشح ومدير تدريب المقيِّمين مع التزام زمني متوقع من ساعتين إلى 3 ساعات.
3. التدريب باستخدام نظام اتصال المقيِّم (RC): Avantيسمح نظام اتصال المقيّمين (RC) للمقيّم المرشح للتدرب بتسجيل استجابات تدريب/مقيّمين رئيسيين مختارين وتلقي ملاحظات فورية حول تقييمهم لكل استجابة. الغرض من هذه المرحلة من عملية التدريب هذه هو تعريض المرشح للمقيّم للعديد من استجابات المتقدمين للاختبار التي تم تقييمها مسبقًا من قبل Avant مقيّمين رئيسيين. تتضمن كل إجابة تدريبية شرحًا تفصيليًا أو شرحًا لسبب تسجيل العنصر بالطريقة التي تم بها تسجيله. وتتيح هذه العملية للمقيّم المرشح لتقييم الاختبار تقييم مجموعة متنوعة من الإجابات عبر جميع المستويات مع الحصول على ملاحظات فورية من أجل استيعاب وتطبيق معايير التقييم. الخطوة الثالثة عبارة عن جلسة تدريب مستقلة عبر الإنترنت مع التزام زمني متوقع من 4-5 ساعات أو أكثر إذا لزم الأمر، لإكمال بنوك التدريب على الإجابات.
4. التحليل الإرشادي لممارسة ربط المقيِّم بالتدريب: بمجرد أن يكمل المرشح للمقيِّم الردود التدريبية في المنسق المقيم، يجتمع المرشح مع مدير تدريب المقيِّمين المعين له لمناقشة وتوضيح المسائل التي ظهرت أثناء جلسة تسجيل الدرجات التدريبية. على وجه التحديد، تتم مراجعة الردود التي لم يتم تسجيلها بدقة والإجابة على الأسئلة المتعلقة بمعايير التسجيل وتوصيفات المستوى وتطبيقها على الردود. يمكن لمدير تدريب المقيّمين معرفة المعايير التي واجهت المقيّم المحتمل صعوبة في تحديدها ويمكنه تحديد المجالات التي تحتاج إلى مزيد من الدعم أو التدريب بسرعة. في هذه المرحلة، يمكن لمدير تدريب المقيّمين أن يقرر إما أن يكرر المقيّم المحتمل الخطوة 3 من برنامج تدريب المقيّمين Avant أو الانتقال إلى الخطوة 5 للحصول على الشهادة. عادةً ما يتم إجراء الخطوة 4 كاجتماع افتراضي بين المرشحين للمقيّمين ومدير تدريب المقيّمين مع التزام زمني متوقع لمدة ساعة أو أكثر حسب عدد المجالات التي يجب مراجعتها.
5. الاعتماد: تتكون الخطوة الأخيرة في برنامج تدريب المقيّمين Avant من اجتياز المرشح للمقيّم لاختبار الاعتماد من خلال الحصول على اتفاق بنسبة 90% أو أعلى في التسجيل مع المقيّمين الرئيسيين Avant . ولإكمال هذا الاختبار، يدخل المقيّم المرشح للاختبار إلى نظام اتصال المقيّمين ويقيّم بنك اعتماد الردود في عملية تحاكي التجربة التي سيخوضها المقيّمون عند تقييم ردود الطلاب في النظام المباشر. يتكون بنك الشهادات من الردود التي تم تقييمها مسبقًا من قبل Avant مقيّمين رئيسيين ولكن بدون التعليقات التوضيحية أو التعليقات المقدمة خلال جلسات التدريب. في ختام اختبار الاعتماد، يتم إخطار المقيّم المرشح للتقييم بدرجته. بعد ذلك يجتمع مدير تدريب المقيّمين مع المرشح المقيّم لتحديد مشاكل التقييم، وإشراكه في أنشطة إعادة التدريب حسب الضرورة. يتم تعيين مرشحي المُقَيِّمين، الذين يحققون اتفاقًا بنسبة 90% أو أعلى مع المقيّمين الرئيسيين Avant ، كمقيّمين معتمدين Avant مؤهلين لتقييم استجابات الاختبار النشطة STAMP .
6. تقييم مباشر: بعد أن يكمل المرشح المقيم جميع عناصر التدريب ويجتاز اختبار الشهادة ، يتم منحه حق الوصول إلى الاستجابات الحية في نظام اتصال Rater. ثم يتم توجيه Rater المعتمد حديثا للذهاب إلى النظام وتقييم دفعة (25 استجابة) ، وإبلاغ مدير Rater الخاص بهم عند إكمال الدفعة. ينتقل مدير Rater بعد ذلك إلى موقع المسؤول لمراجعة كل عنصر تم تسجيله بواسطة Rater المعتمد للتحقق من دقة الدرجات. عندما يكون مدير Rater راضيا عن دقة تصنيف استجابات Rater المعتمد حديثا ، يمكن ل Rater متابعة التصنيف. يواصل مدير Rater مراقبة Rater المعتمد حديثا عن كثب خلال الأسابيع القليلة الأولى من التصنيف.
7. وقد تم تطوير وصقل هذا البرنامج Avant الخاص بالمقيّمين لتلبية متطلبات إرساء مستويات عالية من الجودة والدقة لدى جميع المقيّمين على الموقع الإلكتروني Avant . ويجري التدريب الفوري أيضًا على أساس مستمر حيث يقوم مديرو المقيّمين Avant الخاص بكل لغة بمراجعة إحصاءات الموثوقية والدقة بين المقيّمين كل يوم. يسهل نظام التصنيف STAMP الرصد المستمر لاتجاهات التقييم وينبه مديري المقيمين إلى مشاكل التقييم والحالات الشاذة بحيث يمكن إعادة التدريب في الوقت المناسب.

كيف يتم تقييم STAMP الاختبارات؟

يتم إجراء التقييم البشري لردود عناصر الاختبار Avant STAMP في بيئة اتصال المُقيِّم عبر الإنترنت. يتم تقييم عناصر اختبار القراءة والاستماع (الاختيار من متعدد) بواسطة الحاسوب. يتم تقييم الاستجابات المبنية (المحادثة والكتابة) من قبل مقيّمين معتمدين Avant من خلال واجهة قائمة على الويب. وعلى وجه التحديد، يدير نظام التقييم الموزع عبر الإنترنت Avantنظام اتصال المقيّمين الموزعين عبر الإنترنت جميع إجابات الطلاب ويسهل عملية التقييم من خلال توزيع قوائم انتظار مكونة من 25 إجابة مكتوبة أو منطوقة على المقيّمين المعتمدين Avant عند تسجيل الدخول إلى النظام. يقوم المقيّمون بتسجيل كل إجابة في عملية معالج خطوة بخطوة، مع مراعاة كل عنصر من عناصر أو معايير التقييم الأربعة بعناية.

العناصر الأربعة لتسجيل النقاط في اختبارات الكفاءة اللغوية Avant

1. هل الاستجابة قابلة للتصديق وفي مهمة؟
2. ما نوع النص أو مقدار اللغة الخاصة بالمستوى الواضح؟
3. ما هي جودة النص من حيث الفهم العام؟
4. ما هي الدقة الإجمالية للاستجابة؟

يتتبع نظام تسجيل النقاط جميع التصنيفات ويحسبها ثم يولد درجة مركبة لكل استجابة ، بناء على معايير التقييم هذه.

ما هي الموثوقية بين المصنفين (IRR) وكيف يتم مراقبتها؟

الموثوقية بين المُقيِّمين (IRR) هي مقياس لمدى اتساق المُقيِّمين المعتمدين في تطبيق معايير التقييم Avant على إجابات الطلاب. Avant يسعى الموقع للحفاظ على مستوى عالٍ من الموثوقية بين المُقيِّمين من خلال المقارنة المتسقة بين التقييمات وتقديم التدريب المستمر حسب الحاجة. وعلى وجه التحديد، يتم تتبع الموثوقية بين المقيمين في النظام حيث يتم تسليم 20% من جميع الردود إلى مقيم ثانٍ لإجراء تقييم ثانٍ أعمى لتلك الإجابة. وهذا يعني أنه في كل قائمة انتظار مكونة من 25 إجابة (عدد إجابات الطلاب التي تم تقييمها في دفعة واحدة) هناك 5 إجابات تم تقييمها مسبقًا بواسطة مقيِّم معتمد آخر. ثم يقوم النظام بعد ذلك بمراقبة كيفية تقييم مقيم معتمد ثانٍ لهذه الردود. في حالة وجود اختلاف في المستويات المعينة بين المُقَيِّم المعتمد الأول والثاني، يرسل المُقَيِّم المعتمد تلك الإجابة إلى مُقَيِّم معتمد ثالث يقوم بتحكيم الدرجة. يستطيع مديرو المقيمين معرفة الردود التي حصلت على درجتين، والأهم من ذلك، تلك الردود التي حصلت على ثلاث درجات ويمكنهم تتبع كيفية تقييم كل رد عبر المقيمين الثلاثة المختلفين. يمكن لمديري المقيّمين رؤية الاتجاهات في التقييم وتوجيه التدريب في الوقت المناسب إلى أي مقيّم معتمد يحتاج إلى إعادة تدريب. ثم يجمع مديرو المقيّمين هذه الردود "الصعبة" ويستخدمونها في الدورات التدريبية.

كيف يقيس موقع Avant الموثوقية بين المراجعين (IRR)؟

Avant يستخدم معيارين لتعيين الدرجات للردود المنطوقة والمكتوبة. والمعياران، كما هو موضح أعلاه، هما نوع النص (مقدار اللغة) والدقة (قابلية الفهم). لأغراضنا، نمنح معيار نوع النص ترجيحًا أعلى لمعيار نوع النص للمستويات من 1 إلى 6 (مبتدئ-منخفض إلى متوسط-عالي) ثم نمنح ترجيحًا أكثر توازنًا للمستويين 7 و8 (متقدم-متوسط ومنخفض). عندما يقوم المقيِّمون المعتمدون بتقييم استجابات الطلاب في التحدث والكتابة، فإنهم يحددون أولاً درجة نوع النص بالاختيارات الممكنة التالية :

• غير قابل للفحص (0)
• الكلمات (1)
• العبارات (2)
• جمل بسيطة (3)
• سلاسل الجمل (4)
• الجمل المتصلة (5)
• الفقرة (6) الناشئة
• هيكل الفقرة (7)
• الفقرة الموسعة (8)

وبمجرد تحديد معيار نوع النص، يقوم المنسق المقيم بتوجيه المقيّم لتحديد دقة/مستوى فهم الإجابة مع الخيارات التالية لدرجات نوع النص المحدد: أقل من المتوسط أو المتوسط أو أعلى من المتوسط. يجمع المنسق المقيم بين الدرجات من كلا المعيارين لتحديد الدرجة/المستوى النهائي لتلك الإجابة. Avant بعد ذلك يمكن للمقيم مراجعة اتفاق المقيمين المعتمدين في كل لغة لتحديد النسبة المئوية لمعدل الدقة/الفهم لأي لغة على مدار أي فترة زمنية.

كيف يقيس Avant دقة التقييم ومراقبة الانجراف؟

وبنفس القدر من الأهمية بالنسبة للموثوقية بين المقيّمين هو بناء الدقة. إن الوضع المثالي هو أن يكون جميع المقيّمين متفقين على إنتاج معدل دقة عالية بين المقيّمين (IRR)، ولكن إذا كان هناك أي انحراف عن المعايير (تسجيل الإجابات أعلى أو أدنى من اللازم)، فنحن بحاجة إلى معرفة هذا الوضع أيضًا. ولمعالجة الانحراف، يقوم Avant بحقن عناصر الارتكاز (المقاطع التي تم اختيارها وتسجيلها مسبقًا من قبل كل مدير مقيمي اللغات) في قوائم انتظار التقييم، ثم يقوم مديرو المقيمين بمراقبة كيفية تسجيل المقيمين المعتمدين لهذه الردود الخاصة. تمامًا مثل استجابات IRR، يتم تسليمها إلى المُقَيِّمِين بطريقة عمياء بحيث لا يتمكن المُقَيِّمُون من تحديد هذه الاستجابات بأي شكل من الأشكال. يستطيع مديرو المقيّمين بعد ذلك معرفة ما إذا كان المقيّمون ينحرفون عن المعايير. وبناءً على هذه المعلومات، يمكن لمديري المقيّمين معالجة أي انحراف من خلال جلسات إعادة التدريب والدعم. هذه ميزة مهمة في نظام اتصال المقيّمين ويمكن ضبطها لتقديم عناصر الارتكاز على فترات زمنية محددة مسبقًا.

كيف يتم اشتقاق المستويات النهائية لكل مهارة والإبلاغ عنها؟

يقدم اختبار Avant STAMP ثلاثة مطالبات للمحادثة وثلاثة مطالبات للكتابة لكل متقدم للاختبار الذي تم تخصيص هذا المجال أو المرحلة من الاختبار، أي المحادثة أو الكتابة. ويتم احتساب الدرجة النهائية التي يتم الإبلاغ عنها بناءً على أعلى درجتين من بين العينات الثلاث. وبالتالي فإن المستوى النهائي المخصص يأخذ بعين الاعتبار كل إجابة تم تقديمها وتسجيلها من قبل المقيّمين المعتمدين Avant ويحدد المستوى الذي تمكن المتقدم للاختبار من الحفاظ عليه في المهام الثلاث.

على سبيل المثال:

سيحصل المتقدم للاختبار الذي يحصل على 3 (مبتدئ - مرتفع) لاستجابته الأولى ، و 4 (متوسط - منخفض) لاستجابته الثانية ، و 3 (مبتدئ - مرتفع) لاستجابته الثالثة على درجة نهائية 3 (مبتدئ - مرتفع) لهذا المجال. يشير هذا إلى أنه على الأقل كان الطالب قادرا على الحفاظ على المستوى 3 (مبتدئ - عالي). ومع ذلك ، في هذه الحالة ، تم تصنيف إجابة واحدة بالفعل على مستوى أعلى ، وبالتالي يتم تضمين شريط أزرق في التقرير للإشارة إلى أن هذا الطالب قد يقترب من المستوى الأعلى التالي ويشجع المعلم على النظر إلى تلك الاستجابة المحددة. نظرا لأن النتيجة أو المستوى النهائي مشتق من نتائج جميع الاستجابات الثلاثة ، فإن النظام قادر على التعامل مع أي استجابة فردية قد تكون تم تسجيلها بشكل غير دقيق أو ربما لم يتمكن المتقدم للاختبار من الاستجابة والحفاظ على تقارير دقيقة لقدرة المتقدمين للاختبار الإجمالية لكل مجال.

وبالتالي ، يتم استخدام عملية استخدام أعلى درجتين في التحدث أو الكتابة لتعيين مستوى التحدث أو الكتابة النهائي للطالب لتقليل الإبلاغ عن التصنيفات السلبية الخاطئة أو الإيجابية الخاطئة لدرجة المجال الإجمالية.

حول التقييم Avant

• https://avantassessment.com/blog/how-standards-are-used-in-language-proficiency-assessments
• https://avantassessment.com/blog/four-steps-to-graduating-higher-proficiency-level-language-learners
• https://avantassessment.com/blog/test-reliability-and-validity