كيف تقيم Avant ردود التحدث والكتابة؟

من يقيم اختبارات الطوابع؟

يتم تصنيف الاستجابات المصنفة من قبل الإنسان في اختبارات Avant STAMP و PLACE واختبار إتقان اللغة العربية (APT) واختبارات اللغة الإسبانية من قبل Avant Raters المعتمدين الذين هم معلمو / متحدثون باللغة يستوفون الحد الأدنى من المتطلبات التالية:

  1. المهارات اللغوية: يجب أن يحافظ المقيمون على مستوى متقدم أو أعلى من المهارات اللغوية (يتم تحديده من خلال مقابلة هاتفية أو درجة اختبار من تقييم معتمد ، أي STAMP4S أو OPI أو مقابلة ILR أو MOPI أو شهادة Praxis / State Teacher.)
  2. تعليم: يجب أن يكون المقيمون حاصلين على درجة البكالوريوس أو أعلى
  3. التدريب وإصدار الشهادات: يجب على المقيمين إكمال برنامج تدريب Avant Rater الخاص بلغة معينة والحصول على موافقة بنسبة 90٪ في تقييم الشهادة
  4. توافر: يجب أن يكون المقيمون متاحين لتسجيل عدد محدد من العناصر (إجابات الطلاب) كل أسبوع (يحدده مدير تقييم اللغة المحددة والمعدل)

كيف يتم تدريب المصنفين الطليعيين المعتمدين؟

يجب على جميع المقيمين إكمال برنامج تدريب Avant Rater واجتياز اختبار الشهادة قبل السماح لهم بتسجيل إجابات الطلاب. تتضمن عملية التدريب خمس خطوات وتستغرق عموما حوالي 11-13 ساعة من وقت العمل الفردي وحوالي 2-3 ساعات مع مدير تدريب Rater لإكمالها.

  1. الإعداد الأكاديمي: يدرس المرشحون المقيمون مواد تدريب Avant Rater التي تشرح مستويات الكفاءة بناء على إرشادات الكفاءة ACTFL وواصفات الكفاءة ILR ويتعلمون كيف تطبق Avant هذه المستويات على استجابات المتقدمين للاختبار. الهدف من هذه الخطوة هو توجيه المرشحين المقيمين إلى المشكلات التي تمت مواجهتها في تصنيف عناصر الاستجابة المبنية (التحدث والكتابة) وتحديد نطاق الدرجات التي يمكن لنظام Avant تخصيصها لاستجابات المتقدمين للاختبار. الخطوة 1 هي مرحلة دراسة مستقلة مع التزام زمني متوقع من 3-5 ساعات.
  2. المراجعة الإرشادية ومقدمة لنظام اتصال المقيم (RC): يجتمع المرشح المقيم مع مدير تدريب Rater المعين لمناقشة وتوضيح العناصر الرئيسية للمواد التدريبية بما في ذلك مستويات الكفاءة والتفاصيل المستخدمة لتحديد المستويات المختلفة. ثم يساعد مدير تدريب Rater المقيم المحتمل في الوصول إلى برنامج اتصال Rater عبر الإنترنت من Avant (انظر الخطوة 3) ويرشدهم عبر العديد من الردود ، موضحا كيفية استخدام نظام اتصال Rater. عادة ما يتم إجراء الخطوة 2 كاجتماع افتراضي بين المرشح المقيم ومدير تدريب Rater مع التزام زمني متوقع من 2-3 ساعات.
  3. الممارسة مع نظام اتصال المقيم (RC): يسمح RC الخاص ب Avant للمرشح المقيم بتسجيل استجابات تدريب / مرساة مختارة وتلقي تعليقات فورية حول تقييمه لكل استجابة. الغرض من هذه المرحلة من عملية التدريب هو تعريض المرشح المقيم للعديد من استجابات المتقدمين للاختبار التي تم تسجيلها مسبقا بواسطة Avant Master Raters. تتضمن كل استجابة تدريبية تعليقا توضيحيا مفصلا أو شرحا لسبب تسجيل العنصر بالطريقة التي كان عليها. تسمح هذه العملية للمرشح المقيم بتقييم مجموعة متنوعة من الاستجابات عبر جميع المستويات مع ملاحظات فورية من أجل استيعاب وتطبيق معايير التسجيل. الخطوة 3 هي جلسة تدريب مستقلة عبر الإنترنت مع التزام زمني متوقع من 4-5 ساعات أو أكثر إذا لزم الأمر ، لإكمال بنوك الممارسة للردود.
  4. التحليل الموجه لممارسة اتصال المقيم: بمجرد أن يكمل المرشح المقيم استجابات التدريب في RC ، يلتقي المرشح بمدير تدريب Rater المعين لمناقشة وتوضيح المشكلات التي ظهرت أثناء جلسة تسجيل الممارسة. على وجه التحديد ، تتم مراجعة الإجابات التي لم يتم تسجيلها بدقة ويتم الرد على الأسئلة حول معايير التسجيل وأوصاف المستوى وتطبيقها على الردود. يستطيع مدير تدريب Rater معرفة المعايير التي كافح معها المقيم المحتمل ويمكنه تحديد المجالات التي تحتاج إلى مزيد من الدعم أو التدريب بسرعة. في هذه المرحلة ، يمكن لمدير تدريب Rater أن يقرر إما أن يكرر Rater المحتمل الخطوة 3 من برنامج تدريب Rater الرائد أو الانتقال إلى الخطوة 5 للحصول على الشهادة. عادة ما يتم إجراء الخطوة 4 كاجتماع افتراضي بين المرشحين المقيمين ومدير تدريب Rater مع التزام زمني متوقع لمدة ساعة أو أكثر اعتمادا على عدد المجالات التي يجب مراجعتها.
  5. شهاده: تتكون الخطوة الأخيرة في برنامج تدريب Avant Rater من اجتياز المرشح المقيم لاختبار الشهادة من خلال الحصول على موافقة 90٪ أو أعلى في التسجيل مع Avant Master Raters. لإكمال هذا الاختبار ، يصل المرشح المقيم إلى نظام اتصال Rater ويسجل بنك شهادات للاستجابات في عملية تكرر التجربة التي سيحصلون عليها عندما يسجلون استجابات الطلاب في النظام المباشر. يتكون بنك الشهادات من الردود التي تم تقييمها مسبقا بواسطة Avant Master Raters ، ولكن بدون التعليقات التوضيحية أو التعليقات المقدمة خلال الدورات التدريبية. في ختام اختبار الشهادة ، يتم إخطار المرشح المقيم بدرجاته. ثم يجتمع مدير تدريب Rater مع المرشح المقيم لتحديد مشكلات التصنيف ، وإشراكهم في أنشطة إعادة التدريب حسب الضرورة. يتم تعيين المرشحين المقيمين ، الذين حصلوا على اتفاقية 90٪ أو أعلى مع Avant Master Raters ، على أنهم مقيمون أفانت معتمدون مؤهلون لتقييم استجابات اختبار STAMP النشطة.
  6. تقييم مباشر: بعد أن يكمل المرشح المقيم جميع عناصر التدريب ويجتاز اختبار الشهادة ، يتم منحه حق الوصول إلى الاستجابات الحية في نظام اتصال Rater. ثم يتم توجيه Rater المعتمد حديثا للذهاب إلى النظام وتقييم دفعة (25 استجابة) ، وإبلاغ مدير Rater الخاص بهم عند إكمال الدفعة. ينتقل مدير Rater بعد ذلك إلى موقع المسؤول لمراجعة كل عنصر تم تسجيله بواسطة Rater المعتمد للتحقق من دقة الدرجات. عندما يكون مدير Rater راضيا عن دقة تصنيف استجابات Rater المعتمد حديثا ، يمكن ل Rater متابعة التصنيف. يواصل مدير Rater مراقبة Rater المعتمد حديثا عن كثب خلال الأسابيع القليلة الأولى من التصنيف.
  7. تم تطوير برنامج Avant Rater هذا وشحذه لتلبية متطلبات إنشاء مستويات عالية من الجودة والدقة في جميع المقيمين في Avant. يحدث التدريب الفوري أيضا على أساس مستمر حيث يقوم مديرو Rater الخاصون بلغة Avant بمراجعة إحصائيات الموثوقية والدقة بين Rater كل يوم. يسهل نظام تصنيف الطوابع المراقبة المستمرة لاتجاهات التسجيل وينبه مديري Rater إلى مشكلات التسجيل والحالات الشاذة بحيث يمكن إجراء إعادة التدريب في الوقت المناسب.

كيف يتم تقييم اختبارات الطوابع؟

يتم إجراء التقييم البشري لاستجابات عنصر اختبار Avant STAMP في بيئة Rater Connection عبر الإنترنت. يتم تسجيل عناصر اختبار القراءة والاستماع (الاختيار من متعدد) بواسطة الكمبيوتر. يتم تصنيف الردود المبنية (التحدث والكتابة) من قبل Certified Avant Raters من خلال واجهة قائمة على الويب. على وجه التحديد ، يدير نظام التصنيف الموزع عبر الإنترنت من Avant جميع استجابات الطلاب ويسهل التسجيل من خلال توزيع قوائم انتظار من 25 ردا مكتوبا أو منطوقا على Avant Raters المعتمدين عند تسجيل الدخول إلى النظام. يسجل المقيمون كل استجابة في عملية معالج خطوة بخطوة ، مع مراعاة كل عنصر من عناصر أو معايير التسجيل الأربعة بعناية.

عناصر التسجيل الأربعة لاختبارات الكفاءة اللغوية الطليعية

  1. هل الاستجابة قابلة للتصديق وفي مهمة؟
  2. ما نوع النص أو مقدار اللغة الخاصة بالمستوى الواضح؟
  3. ما هي جودة النص من حيث الفهم العام؟
  4. ما هي الدقة الإجمالية للاستجابة؟

يتتبع نظام تسجيل النقاط جميع التصنيفات ويحسبها ثم يولد درجة مركبة لكل استجابة ، بناء على معايير التقييم هذه.

ما هي الموثوقية بين المصنفين (IRR) وكيف يتم مراقبتها؟

الموثوقية بين المقيمين (IRR) هي مقياس لمدى اتساق المقيمين المعتمدين في تطبيق معايير تسجيل Avant على استجابات الطلاب. تسعى Avant جاهدة للحفاظ على مستوى عال من الموثوقية بين المقيمين من خلال المقارنة المتسقة للتصنيفات وتقديم التدريب المستمر حسب الحاجة. على وجه التحديد ، يتم تتبع موثوقية Inter-Rater في النظام حيث يتم تسليم 20٪ من جميع الاستجابات إلى مقيم ثان للحصول على تصنيف ثان أعمى لتلك الاستجابة. هذا يعني أنه في كل قائمة انتظار مكونة من 25 ردا (عدد استجابات الطلاب التي تم تسجيلها في دفعة) ، هناك 5 استجابات تم تصنيفها مسبقا بواسطة مقيم معتمد آخر. ثم يراقب النظام كيفية تسجيل مقيم معتمد ثان لهذه الردود.  إذا كان هناك اختلاف في المستويات المخصصة بين المقيم المعتمد الأول والثاني ، يرسل RC هذا الرد إلى مقيم معتمد ثالث يقوم بتحكيم النتيجة. يستطيع مديرو Rater معرفة الاستجابات التي حصلت على درجتين ، والأهم من ذلك ، تلك الردود التي حصلت على ثلاث درجات ويمكنهم تتبع كيفية تصنيف كل استجابة عبر المقيمين الثلاثة المختلفين. يمكن لمديري Rater رؤية الاتجاهات في التسجيل والتدريب المباشر في الوقت المناسب لأي مقيم معتمد يحتاج إلى إعادة التدريب. ثم يقوم مديرو Rater بجمع واستخدام هذه الاستجابات "الصعبة" للجلسات التدريبية.

كيف تقيس Avant الموثوقية بين المصنفين (IRR)؟

يستخدم Avant نموذجا من معيارين لتعيين درجات للإجابات المنطوقة والمكتوبة. المعياران ، كما هو موضح أعلاه ، هما نوع النص (مقدار اللغة) والدقة (الفهم). لأغراضنا ، نضع وزنا أعلى على معايير نوع النص للمستويات 1-6 (مبتدئ - منخفض إلى متوسط - مرتفع) ثم ترجيح أكثر توازنا للمستويات 7 و 8 (متقدم - منخفض ومتوسط). نظرا لأن المقيمين المعتمدين يقومون بتقييم استجابات الطلاب في التحدث والكتابة ، فإنهم يحددون أولا درجة نوع النص من خلال التحديدات المحتملة التالية:

  • غير قابل للفحص (0)
  • الكلمات (1)
  • العبارات (2)
  • جمل بسيطة (3)
  • سلاسل الجمل (4)
  • الجمل المتصلة (5)
  • الفقرة (6) الناشئة
  • هيكل الفقرة (7)
  • الفقرة الموسعة (8)

بمجرد تحديد معيار نوع النص ، يوجه RC المقيم لتحديد دقة / فهم الاستجابة مع الخيارات التالية لدرجة نوع النص المحددة: أقل من المتوسط أو المتوسط أو أعلى من المتوسط. يجمع RC الدرجات من كلا المعيارين لتحديد النتيجة / المستوى النهائي لتلك الاستجابة. تستطيع Avant بعد ذلك مراجعة اتفاقية المقيمين المعتمدين في كل لغة لتحديد نسبة IRR لأي لغة خلال أي فترة زمنية.

كيف تقيس Avant دقة التصنيف وتراقب الانجراف؟

بنفس القدر من الأهمية لموثوقية Inter-Rater هو بناء الدقة. المثالي هو أن يكون جميع المقيمين متفقين على إنتاج معدل عائد داخلي مرتفع ، ولكن إذا كان هناك أي انحراف عن المعايير (تسجيل الاستجابات عالية جدا أو منخفضة جدا) ، فنحن بحاجة إلى معرفة هذا الموقف أيضا. لمعالجة الانجراف ، تقوم Avant بحقن عناصر الربط (المقاطع التي تم تحديدها وتسجيلها مسبقا بواسطة كل مدير لغة Rater) في قوائم انتظار التصنيف ، ثم يراقب مديرو Rater كيفية تسجيل المقيمين المعتمدين لهذه الاستجابات الخاصة. تماما مثل استجابات IRR ، يتم تسليمها إلى المقيمين بطريقة عمياء بحيث لا يتمكن المقيمون من تحديد هذه الاستجابات بأي شكل من الأشكال. يمكن لمديري Rater بعد ذلك معرفة ما إذا كان المقيمون ينحرفون عن المعايير. بناء على هذه المعلومات ، يمكن لمديري Rater معالجة أي انحراف من خلال جلسات إعادة التدريب والدعم. هذه ميزة مهمة لنظام اتصال Rater الخاص بنا ويمكن ضبطها لتسليم عناصر الربط على فترات زمنية محددة مسبقا.

كيف يتم اشتقاق المستويات النهائية لكل مهارة والإبلاغ عنها؟

يقدم اختبار Avant STAMP ثلاث مطالبات تحدث وثلاث مطالبات كتابية لكل متقدم للاختبار تم تعيينه في هذا المجال أو المرحلة من الاختبار ، أي التحدث أو الكتابة.  يتم احتساب النتيجة النهائية المبلغ عنها بناء على أعلى درجتين من العينات الثلاث. وبالتالي ، فإن المستوى النهائي المعين يأخذ في الاعتبار كل استجابة تم إرسالها وتسجيلها بواسطة مقيمين معتمدين من Avant ويحدد المستوى الذي تمكن المتقدم للاختبار من الحفاظ عليه عبر المهام الثلاث.

على سبيل المثال:

سيحصل المتقدم للاختبار الذي يحصل على 3 (مبتدئ - مرتفع) لاستجابته الأولى ، و 4 (متوسط - منخفض) لاستجابته الثانية ، و 3 (مبتدئ - مرتفع) لاستجابته الثالثة على درجة نهائية 3 (مبتدئ - مرتفع) لهذا المجال. يشير هذا إلى أنه على الأقل كان الطالب قادرا على الحفاظ على المستوى 3 (مبتدئ - عالي). ومع ذلك ، في هذه الحالة ، تم تصنيف إجابة واحدة بالفعل على مستوى أعلى ، وبالتالي يتم تضمين شريط أزرق في التقرير للإشارة إلى أن هذا الطالب قد يقترب من المستوى الأعلى التالي ويشجع المعلم على النظر إلى تلك الاستجابة المحددة. نظرا لأن النتيجة أو المستوى النهائي مشتق من نتائج جميع الاستجابات الثلاثة ، فإن النظام قادر على التعامل مع أي استجابة فردية قد تكون تم تسجيلها بشكل غير دقيق أو ربما لم يتمكن المتقدم للاختبار من الاستجابة والحفاظ على تقارير دقيقة لقدرة المتقدمين للاختبار الإجمالية لكل مجال.

وبالتالي ، يتم استخدام عملية استخدام أعلى درجتين في التحدث أو الكتابة لتعيين مستوى التحدث أو الكتابة النهائي للطالب لتقليل الإبلاغ عن التصنيفات السلبية الخاطئة أو الإيجابية الخاطئة لدرجة المجال الإجمالية.

حول تقييم أفانت

Avant’s mission is to improve the teaching and learning of language in the US and around the world through effective language proficiency testing and professional development. Our products are not only for educators but also for business and government agencies that see the significant positive impact from bilingual team members.

انقر هنا للبدء في طريقك إلى الكفاءة

مقالات قد تعجبك أيضا: