Комп’ютерні технології у тестуванні

Метою є перевірка фахової підготовки магістрів в галузі теорії та практики педагогічних вимірювань з використанням комп’ютерних технологій тестування. Відповідь магістра повинна засвідчити ґрунтовні наукові усвідомлені знання відповідно до таких вимог:

знати:

- класифікацію комп’ютерних систем тестування знань (КСТЗ), принципи їх побудови, структуру та склад;

- можливості КСТЗ для створення тестових завдань, організації та проведення тестування, аналізу результатів тестуванні, засобів адміністрування;

- програмне забезпечення для обґрунтування якості тестових завдань;

- основні он-лайн сервіси для організації та проведення тестування;

вміти:

- створювати різні типи тестових питань за допомогою КСТЗ;

- розробляти інструкції для суб’єктів тестування;

- використовувати комп’ютерні мережі, в тому числі Інтернет для проведення тестування;

- організовувати та проводити тестування за допомогою КСТЗ;

- здійснювати адміністрування КСТЗ;

- інтерпретувати результати оброблення тестів;

- здійснювати експорт-імпорт тестових завдань;

- використовувати програмне забезпечення для обґрунтування якості тестових завдань;

- використовувати Інтернет-сервіси для проведення тестування.

Призначення комп’ютерних систем тестування знань.Класифікація інформаційно-навчальних систем. Комп’ютерні системи тестування знань (КСТЗ). Переваги КТЗ над «паперовим» варіантом проведення тестування. Труднощі, що виникають при використанні КСТЗ.

Технологія проектування комп’ютерних систем тестування знань.Моделювання знань. Модель знань. Методи проектування моделі знань. Модульне подання знань. Модулі. Підмодулі. Методи контролю (тестування) системи. Тестовий простір. Клас еквівалентності. Повний тест. Ефективний тест. Етапи побудови комп’ютерних тестів.

Класифікація комп’ютерних тестів. Організаційні вимоги до комп’ютерного тесту. Загальні вимоги до комп’ютерного тесту. Вимоги до змісту тесту. Вимоги до тестового завдання під час його формування за допомогою комп’ютерних систем тестування знань.

Класифікація КСТЗ. Загальні вимоги до КСТЗ. Вимоги до модуля створення, підготовки і редагування тестових завдань. Складання тестових завдань за допомогою КСТЗ. Тестові завдання відкритої форми. Тестові завдання, що автоматично генеруються. Тестові завдання із множинним вибором. Тестові завдання на встановлення відповідності. Тестові завдання на відновлення правильної послідовності. Вимоги до модуля проведення тестових завдань. Вимоги до модуля адміністрування.

Основні можливості MyTest. Редактор тестів MyTestEditor. Інтерфейс модуля. Створення тесту. Настроювання тесту. Створення тестових завдань. Створення тестового завдання відкритої форми. Створення тестового завдання із множинним вибором. Створення тестового завдання на встановлення відповідності. Створення тестового завдання на відновлення правильної послідовності. Створення інших форм тестових завдань. Додавання до завдання мультимедійних об’єктів. Керування тестовими завданнями. Плеєр тестів MyTestStudent. Настроювання параметрів роботи модуля. Проходження тестування. Журнал тестування MyTestServer. Моніторинг тестування. Аналіз результатів.

Комплекс програм для організації тестування Hot Potatoes. Основні можливості програми. Загальна схема створення тестових завдань. Створення тесту. Створення тестових завдань. Модуль JQuiz (Вікторина). Створення тестового завдання відкритої форми. Створення тестового завдання із множинним вибором. Керування тестовими завданнями. Модуль JMatch. Створення тестового завдання на встановлення відповідності. Модуль JMix. Створення тестового завдання на відновлення правильної послідовності. Інші модулі. Настроювання модулів. Перетворення даних у вправу. Об’єднання завдань в уроки або тематичні блоки. Тестування. Настроювання тестування. Проведення тестування.

Використання системи керування навчанням Moodle для організації тестування. Вибір навчального курсу. Створення навчального курсу. Настроювання параметрів курсу. Інтерфейс головної сторінки навчального курсу. Формування змісту навчального курсу. Ресурс «Заняття». Створення заняття. Розгалужені тести. Створення розгалуженого тесту. Створення тесту. Настроювання тесту. Створення тестових завдань. Поняття категорії. Додавання тестового завдання. Створення завдання «Коротка відповідь» (відкрита форма відповіді у вигляді тексту). Створення завдання «Числовий» (відкрита форма відповіді у вигляді числа). Створення завдання з множинним вибором. Створення завдання на встановлення відповідності. Створення завдання на відновлення правильної послідовності. Створення інших форм тестових завдань. Створення тестових завдань за допомогою Word.

Редагування тесту. Редагування змісту питань у банку питань. Редагування тесту. Імпорт тестових завдань. Проходження тестування. Перегляд результатів тестування. Адміністрування (Керування сайтом). Ролі користувачів. Резервні копії ресурсів.

Web-сервіси тестувань знань.Сервіси Інтернет-сертифікації. Сучасні системи електронної сертифікації через Інтернет. Brainbench Test Center. Створення систем тестування на базі Інтернет. Інструментальні засоби реалізації WEB-сервісу тестування знань. Російськомовні WEB-сервіси тестування знань. Система комп’ютерного тестування OpenTEST. Система Neyron.

Моніторинг якості освіти

Метою є перевірка обізнаності магістрів із сутністю, особливостями, методикою підготовки та проведення моніторингового дослідження якості освіти; з програмами та результатами національних і міжнародних порівняльних досліджень якості освіти.

Відповідь магістра повинна засвідчити ґрунтовні наукові усвідомлені знання відповідно до таких вимог:

знати:

­ науково-понятійний апарат моніторингу якості освіти;

­ етапи проведення моніторингового дослідження;

­ сучасні програми та результати національних і міжнародних порівняльних досліджень якості освіти;

вміти:

­ визначати мету, завдання, об’єкт моніторингового дослідження;

­ розраховувати та формувати вибірку;

­ визначати процедуру дослідження та добирати методи моніторингового дослідження;

­ розробляти інструментарій моніторингового дослідження;

­ проводити пілотне та основне дослідження;

­ збирати, обробляти, аналізувати та інтерпретувати результати моніторингового дослідження.

Сутність, мета і завдання моніторингу в освіті.Поняття моніторингу. Мета і завдання моніторингу. Суб’єкти та об’єкти моніторингу. Моніторинг і педагогічна діагностика.

Принципи моніторингових досліджень: узгодженість, об’єктивність, систематичність, безперервність і тривалість, своєчасність, перспективність, прогностичність, рефлективність, гуманістична спрямованість, відкритість і оперативність, конгруентність.

Функції моніторингу якості освіти. Види моніторингових досліджень.

Підготовка та проведення моніторингового дослідження якості освіти.Якість освіти як об’єкт і предмет моніторингового дослідження. Базові поняття якості освіти. Моніторинг якості освіти як інструмент управління освітою. Моніторинг навчальної, виховної і управлінської діяльності: спільне і відмінне.

Інформаційне забезпечення моніторингу якості освіти. Дані і інформація. Вимоги до інформації: точність, чіткість, своєчасність (оперативність), повнота, доступність, корисність).

Етапи проведення моніторингового дослідження. Цілепокладання та планування дослідження. Розробка інструментарію дослідження. Проведення дослідження. Збір та обробка результатів. Аналіз та інтерпретація результатів дослідження. Розробка рекомендацій для прийняття конкретних рішень.

Міжнародні моніторингові порівняльні дослідження якості освіти.Мета проведення міжнародних порівняльних досліджень. Основні міжнародні порівняльні моніторингові дослідження. TIMSS — міжнародне дослідження з оцінювання якості математичної та природничо-наукової освіти. PISA — міжнародна програма оцінювання освітніх досягнень учнів у сфері функціональної грамотності.

Моделі і методи IRT

Метою є перевірка сформованості професійної компетентності магістрів з питань застосування досягнень сучасної теорії тестування IRT (Item Response Theory) при інтерпретації результатів тестування.

Відповідь магістра повинна засвідчити ґрунтовні знання та вміння відповідно до таких вимог:

знати:

- основні припущення та обмеження однопараметричної теорії IRT;

- математичні моделі для тестів із завданнями дихотомічного типу;

- математичні моделі для тестів із завданнями політомічного типу;

- основні властивості первинних балів;

- методи отримання оцінок параметрів моделей, їх порівняння;

- методи перевірки відповідності даних побудованій моделі;

вміти:

- обирати математичну модель для представлення результатів тестування;

- будувати оцінки параметрів цих моделей методами моментів, максимальної та умовної максимальної вірогідності;

- давати інтерпретацію отриманих оцінок латентних параметрів;

- робити висновки про точність отриманих результатів;

- будувати характеристичні та інформаційні функції завдань та тесту;

- користуватися методами для встановлення відповідності побудованої моделі емпіричним даним;

- виконувати перевірку адекватності моделі за допомогою статистичних критеріїв.

Основні поняття та припущення сучасної теорії тестів.Латентні характеристики завдань та учасників тестування. Залежність між спостережуваними результатами тестування і латентними якостями випробовуваних, її вигляд. Одномірність тесту та локальна незалежність завдань.

Моделі IRT (Item Response Theory) для дихотомічних завдань.Модель Раша, її обґрунтування та основні властивості. Характеристичні криві завдань та опитаних. Поняття логіта та його зв’язок з результатами тестування. Інформаційна функція завдання, властивість аддитивності інформації, інформаційна функція тесту.

Дво- та трипараметричні моделі Бірнбаума. Параметри дискримінуючої здатності та псевдоугадування. Зміна параметрів при перетворенні шкали. Характеристичні криві. Очікуваний бал, характеристична функція тесту.

Моделі IRT (Item Response Theory) для політомічних завдань.Джерела політомічності. Два підходи до дихотомізації кроків у політомічних завданнях. Моделі Partial Credit Model та Rating Scale Model, їх можливості, порівняння та сфери застосування. Характеристичні криві категорій та завдань. Очікуваний бал, характеристична функція тесту. Інформаційна функція завдань та тесту.

Властивості первинних балів.Розподіл первинних балів та його основні характеристики. Понятття достатньої статистики. Обгрунтування того, що первинні бали є достатніми статистиками у моделі Раша для дихотомічних завдань та у моделі Partial Credit для політомічних завдань.

Методи побудови оцінок латентних параметрів.Метод моментів оцінювання параметрів моделей для дихотомічних завдань, алгоритм його реалізації.

Функція вірогідності, метод максимальної та умовної максимальної вірогідності. Алгоритм PROX розрахунку оцінок параметрів. Оптимальні вагові коефіцієнти та їх застосування.

Відповідність емпіричних даних моделі.Стандартизовані залишки. Статистики відповідності, що ґрунтуються на аналізові залишків. Аналіз точності отриманих оцінок та перевірка адекватності моделі Г.Раша за допомогою критерію .