К списку выступлений

Измерение в обучении: что умеем, а что - нет? (Дмитрий Аббакумов, ВШЭ)

Для измерения знаний (раз мы их не видим) мы используем индикаторы (то, что можем непосредственно увидеть. например: тест, экзамен, как человек справляется с практическим заданием) и набор правил (уравнение, где из индикаторов получаем уровень знаний)

Лет сто назад думали, что можно напрямую переводить количество решённых задач в уровень знаний, но это не так. для этого и нужны наборы правил

Для этого разработали классические модели, которые до сих пор используются. но у неё есть проблема: главная - уровень знаний (то, что мы получаем) зависит от трудности заданий. Если у нас всегда один и тот же тест - это не важно. Но если мы меняем задания для проверки - мы уже не можем напрямую сравнить результаты со старым заданием и с новым.

Современная психометрия (середина 20 века). Сделать так, чтобы измеренный уровень знаний и трудность теста не зависели друг от друга

Модель Раша и Item responce Theory

Чем больше решённых задач и чем они труднее - тем выше уровень знаний

Почему современная психометрика не применима в современном МООС?

  1. нам важно знать не только ЧТО человек знает, но и как лучше эти знания дать. Современная психометрика на это ответ не даёт
  2. мы предполагаем, что во время теста уровень знаний не меняется. А это не так при онлайн обучении
  3. мы не знаем почему человек правильно ответил на вопрос: знал уже ответ, угадал, списал, выучил, подсказали?

Всё это привело к появлению в последние 5-7 лет психометрики обучения (вычислительная психометрика (computational psychometrics)) - гибкие модели: динамика знаний и объяснение как дать знания лучше

Используем не один индикатор (тест), а паттерн поведения (какие лекции студент посмотрел, в каких форумах участвовал и как и т. п.). И уже из этого строим уровень знаний

И тогда, например, мы можем увидеть, что успешность студента определяется только просмотром лекций. И тогда, если студенты ошибаются, можем найти ту лекцию, которая к ней приводит. Иначе - лектор топ!

Или можем увидеть, что важным является участие на форуме.

А может быть что лекции дают негативный вклад, а форумы - позитивный. Например, когда профессор в лекции допустил ошибку, которая путает людей. И правильный ответ находят лишь на форумах.

Можно увидеть что важны попытки для успешной сдачи, значит, видимо, тут работает метод тыка. ТОгда надо тест перевести из выбора ответов на ввод ответов

И т.д. и т.п.

Что мы уже умеем?

К чему стремимся?

Моделирование сложных взаимосвязей между студентами, контентом, действиями и результатами

Контакты

Дмитрий Аббакумов, ВШЭ

Телефон:

22579

.be +32 486 362 888

Электронная почта: dabbakumov@hse.ru

Запись (если работает)