Анализ результатов тестирования

1.

«Магнитогорский государственный технический университет им. Г.И. Носова»
Кафедра бизнес-информатики и информационных технологий
Анализ результатов
тестирования
Стругова П.А.
НАЗВАНИЕ ПРЕЗЕНТАЦИИ
Магнитогорск, 2023

2.

Оценивание результатов обучения с позиций компетентностного подхода
В наши дни к причинам интенсивного развития компетентностного подхода
в большинстве публикаций обычно относят следующие факторы и тенденции:
• появление нового типа экономики, вызвавшее
потребность в изменении требований
к качеству подготовки выпускников, содержания
труда и видов профессиональной деятельности;
• интенсивное развитие
информационных технологий;
• возрастающий приоритет творческих
аспектов профессиональной
деятельности и интеллектуального
потенциала специалистов;
2

3.

Оценивание результатов обучения с позиций компетентностного подхода
Оценка результатов образования является необходимым условием
реализации
системы
требований
государственных
образовательных
стандартов. С введением стандартов второго поколения в начальное общее
образования происходит изменение подходов к анализу и оценке
результативности образовательного процесса.
Ориентиром в стандартах второго поколения становится формирование
ключевых компетентностей школьника.
3

4.

Оценивание результатов обучения с позиций компетентностного подхода
В этих условиях оценка результатов обучения детей смещается с
количественной фиксации степени усвоения предметных знаний в область
динамики личностного развития ребенка и его ключевых компетентностей.
Педагогу важно отличать ключевые компетентности как результат начального
образования от других результатов, в частности от предметных знаний и
умений. Принципиальной особенностью ключевой компетентности личности
является то, что освоив ее в одной области, человек может применить ее в
других областях. Освоив умения по обработке информации в одной области,
ученик может перенести его в другую область, способен оперировать
информацией в любой ситуации жизнедеятельности. Не «знаниевый»
критерий, а «деятельностный», «функциональный» становится основным в
условиях компетентностного подхода.
4

5.

Оценивание результатов обучения с позиций компетентностного подхода
Реализация компетентностного подхода к образованию требует
разработки новых схем оценивания результативности, как работы педагога,
так и учебной успешности учащихся.
В современной парадигме развивающего образования реализуется
диагностический подход к оценке достижений учеников. Диагностика
позволяет системно отследить индивидуальный путь развития каждого
ученика, выявить его проблемы и трудности, оказать необходимую помощь.
Именно диагностика развития ученика в образовательном процессе
составляет основу разработки системы оценки результатов начального
образования в условиях компетентностного подхода.
5

6.

Оценивание результатов обучения с позиций компетентностного подхода
Оценка достижения требований к освоению образовательных программ,
заданных в образовательных стандартах, осуществляется на основе
критериально-ориентированного подхода. Это означает, что для ребенка
задана идеальная модель его достижений. Каждый из детей продвигается по
пути приближения к заданной модели, но на своем уровне. В качестве
критериев для оценки выступают сами требования к освоению
образовательных программ или требования к результатам образования.
Отслеживание продвижения каждого ребенка по пути освоения заданных
результатов и составляет суть оценивания в компетентностном подходе к
образованию. Принцип оценивания становится накопительным, в оценке
фиксируется индивидуальный прогресс каждого ученика.
6

7.

Методы шкалирования и интерпретации
результатов тестирования
Эффективность тестовых оценок зависит не только от качества теста, но
и от методов сравнения и интерпретации первичных (сырых) баллов
испытуемых группы. Необходимость разработки методов интерпретации
вызвана стремлением исследователей выявить истинные различия в уровне
знаний испытуемых, сравнить результаты между собой даже в том случае,
когда они получены по совершенно различным тестам. Само по себе это
стремление продиктовано достаточно серьезной причиной, связанной с тем,
что сырые баллы не дают информации о реальном уровне знаний. Один и тот
же испытуемый может выглядеть по-разному на фоне более сильной или
более слабой группы.
7

8.

Методы шкалирования и интерпретации
результатов тестирования
Первичные (сырые) баллы – не позволяют сделать выводы об уровне
подготовке учащегося (качестве знаний).
Адекватная интерпретация результатов тестирования достигается путем
сопоставления первичного балла тестируемого с определенными нормами
выполнения теста. При этом можно установить место испытуемого в выборке,
насколько его результат выше или ниже среднего результата выполнения
теста.
8

9.

Методы шкалирования и интерпретации
результатов тестирования
Адекватность
интерпретации
достигается
путем
сопоставления
первичного индивидуального результата с определенными нормами
выполнения теста.
Нормы — это множество показателей, которые устанавливаются
эмпирически, сообразно тому, как выполняет задания теста некоторая четко
определенная выборка испытуемых. Разработка и процедуры получения этих
показателей составляют процесс стандартизации теста. Наиболее
распространенными нормами являются среднее арифметическое и
стандартное отклонение по множеству индивидуальных баллов выборки
стандартизации. Соотнесение первичного результата испытуемого с нормами
выполнения позволяет установить место испытуемого в выборке,
использованной для стандартизации теста. При такого рода сопоставлении
можно установить, соответствует ли данный результат среднему или
насколько он выше, а может быть, ниже среднего результата выполнения
9
теста.

10.

Методы шкалирования и интерпретации
результатов тестирования
К нормам предъявляют ряд требований . Она должна быть:
• дифференцированной—ученики, работающие по разным программам,
должны сравниваться исходя из разных норм. Например, нельзя установить
одинаковые нормы выполнения теста по математике для учеников обычной
школы и школы с углубленным изучением математики, поскольку норма
должна отражать специфику программы подготовки учеников;
• соответственной, т.е. отражающей реальный контингент и реальные
требования, вытекающие из современной ситуации в образовании;
• репрезентативной — предполагающей организацию репрезентативной
случайной выборки, обеспечивающей несмещенные нормативные оценки.
10

11.

Методы шкалирования и интерпретации
результатов тестирования
Шкалирование – операция упорядочения исходных эмпирических данных
путем перевода их в шкальные.
Процесс шкалирования состоит в конструировании шкалы по
определенным правилам и включает два этапа. На первом этапе
осуществляется сбор данных. На втором этапе происходит их обработка и
анализ, по результатам которого и выстраивается оценочная шкала.
11

12.

Построение шкалы процентильных рангов
Процентиль – является производным показателем, указывающим на
долю тех, кто правильно выполнил задания теста от общего числа
тестируемых в группе. Данная шкала порядковая и пригодна для
ранжирования учащихся по уровню подготовки.
Не путать с % правильно выполненных заданий теста испытуемым
группы.
12

13.

Пример построения процентильных рангов
«сырые»
баллы
3
4
5
6
7
8
1
Кумулятивн 1
1
2
2
4
2
6
3
9
4 3 4 3 2 2 1 1
13 16 19 21 22 23 24 25
Процентил
ьные ранги
6
12 20 30 44 58 70 80 86 90 94 98
Частоты
ые частоты
1
9
10 11 12 13 14 15
Для равномерности распределения результатов определяются фактические
границы доверительного интервала (нижнюю и верхнюю). На практике
используют половину единицы измерения «сырого» балла.
(3/25)*100%=12%-процентильный ранг, соответствующий 5.
12% учащихся из нормативной выборки сделали 5 или меньше заданий теста.
13
«12 Процентиль в группе из 25 учащихся равен 5».

14.

Z – шкала (шкала отклонений)
Этот метод основан на подсчете отклонения сырого балла (Хi) от
среднего значения индивидуальных баллов (Х) по группе тестируемых
учащихся. Значение Zi, шкалированный результат каждого ученика находят по
формуле:
Xi X
Zi
Sx
С помощью формулы вычисляем значения Zi, составляем таблицу
соответствия значений сырого балла Xi, разности Xi- и значения Zi.
Положительные значения Zi говорят о хороших результатах, отрицательные о
14
плохих.

15.

Z – шкала (шкала отклонений)
Эта шкала удобна в случае нормального распределения первичных
баллов, обычно значения находятся в диапазоне от -3 до +3. Достоинством
шкалы является общая средняя арифметическая и общая мера вариации
данных, позволяющая сравнить результаты, полученные по разным тестам.
Недостаток тоже является существенным в случае большого количества
отрицательных значений Z, требуются специальные методы преобразования
для выставления оценок ученикам.
15

16.

Рейтинговое оценивание
Рейтинговые шкалы – это
шкалы,
разрабатываемые
на
основании
рейтинга,
который
получается
посредством
проведения публичного опроса
или
субъективного
мнения
экспертов. Кроме того рейтинг
может быть набран с помощью
очков, получаемых учащимися в
ходе
учебного
занятия,
при
выполнении
различного
рода
занятий и т.д.
16

17.

Рейтинговое оценивание
Полученный учащимся рейтинговый показатель в процентах от
максимально возможной величины баллов по дисциплине вносится в
интегральную рейтинг-шкалу обучаемого.
Шкала содержит информацию о ее предельных значениях
(максимальном и минимальном), о диапазонах рейтингового показателя,
отражающих
удовлетворительный,
хороший,
отличный
и
неудовлетворительный результаты учения и соответствующих привычным
пятибалльным оценкам, а также его минимальных пределах, при которых
учащийся допускается к экзамену, зачету и т. д.
17

18.

Рейтинговое оценивание
В конце изучения дисциплины формируется кумулятивный балльный
показатель учащегося по дисциплине и его итоговый рейтинг, определяемый
в процентах к максимально возможной оценке. Тем самым педагог приводит
кумулятивный показатель к унифицированной шкале.
Рейтинг дает возможность получить объективную и полную картину
образовательных результатов: освоение знаний, умений и навыков по
предмету, формирование компетенций и даже становления личностных
характеристик.
Рейтинговая система позволяет более объективно оценивать знания
учащихся, стимулирует их к самостоятельному поиску материалов, началу
самостоятельной научно – исследовательской работы.
18

19.

Интерпретация и использование результатов тестирования в
образовательной практике
Интерпретация данных тестирования может иметь различные цели и
проводиться разными группами лиц, заинтересованных в использовании
результатов выполнения тестов. Ее осуществляют тестологи, которые
анализируют данные тестирования для коррекции теста. В итоговом контроле в
целях повышения качества образования и выявления тенденций в изменении
качества интерпретации подвергаются шкалированные баллы учащихся. В
текущем контроле педагоги анализируют результаты тестирования, для
коррекции процесса обучения и диагностики причин отставания отдельных
учеников и т. д.
19

20.

Интерпретация и использование результатов тестирования в
образовательной практике
В тех случаях, когда рассматриваются результаты не тестирования в школе
или отдельном классе, а национальных экзаменов типа ЕГЭ, можно выделить
несколько уровней интерпретации результатов учащихся, определив права
доступа каждой группы пользователей к различным видам информации.
В частности к таким группам пользователей следует отнести:
- общество, учащихся и их родителей;
- педагогов, директоров школ;.
- руководителей и работников органов управления образованием районного
уровня;
руководителей и работников органов управления образованием
регионального (областного), уровня;
руководителей и работников органов управления образованием
федерального уровня.
20

21.

Интерпретация и использование результатов тестирования в
образовательной практике
Проблему использования результатов тестирования в управлении качеством
образования лучше всего рассмотреть на примере ЕГЭ. В последнее время в
ряде регионов предпринимаются отдельные попытки интерпретации данных ЕГЭ
для анализа различных проблем, связанных с качеством образования.
Корректная интерпретация результатов ЕГЭ в первую очередь зависит от
правильной постановки основной цели их использования в управлении
качеством образования.
21

22.

Интерпретация и использование результатов тестирования в
образовательной практике
Процесс управления предполагает целенаправленную деятельность по
повышению эффективности системы образования и всех ее компонентов.
Поэтому приоритетными целями использования результатов тестирования на
разных уровнях управления являются анализ, распространение и внедрение в
практику функционирования образовательной системы России лучших
технологий, опыта и методов работы всех субъектов системы, выявленных на
основе анализа и интерпретации результатов ЕГЭ.
Таким образом, данные по всем уровням анализа результатов тестирования
должны оказывать позитивное воздействие на систему образования путем
управленческой,
методической
и
финансовой
помощи
отстающим
образовательным учреждениям, а также внедрения в практику их работы
лучшего опыта отечественного образования.
22

23.

Визуализация результатов педагогического измерения. Геометрическая
интерпретация.
Визуализация – геометрическая интерпретация связи между латентной
переменной А (одномерной или многомерной) и наблюдаемой переменной В –
показана на рисунке.
Стрелки на рисунке указывают характер связи между переменными.
Латентная переменная А является первопричиной, порождающей множество
наблюдаемых результатов выполнения теста. Однако при измерениях всегда
ставят обратную задачу – по наблюдаемым результатам тестирования найти
достаточно точные оценки латентных переменных.
23

24.

Визуализация результатов педагогического измерения.
Взаимосвязь результатов измерения и положения испытуемого на шкале
переменной для одномерного случая представлена на рисунке. Каждая оценка
переменной измерения для учащихся из тестируемой группы соответствует
одной из точек оси. В свою очередь каждая точка определяет положение
испытуемого или группы испытуемых с одинаковым тестовым баллом,
полученным по результатам выполнения теста.
24

25.

Визуализация результатов педагогического измерения. Геометрическая
интерпретация.
На изображенной оси более высокие баллы располагаются правее, а более
низкие – левее. Крайний слева результат отражает случай, когда испытуемый
выполнил правильно лишь несколько заданий теста. Противоположной ситуаций,
когда ученик выполнил все или почти все, соответствует крайняя правая точка на
оси переменной измерения. Остальные точки занимают некоторое
промежуточное положение на отрезке, где лежат тестовые баллы учащихся
25

26.

Визуализация результатов педагогического измерения. Геометрическая
интерпретация.
Если правильно выполненные задания теста соотнести с результатами
учащихся и расположить их вдоль оси переменной измерения, то можно
предположить, что более трудны задания сместятся вдоль оси вправо, так как
их, скорее всего, будут выполнять правильно наиболее сильные учащиеся в
классе. И наоборот, более легкие задания будут смещены влево – они по силам
ученикам с низким уровнем подготовки.
Соотношение между трудностью заданий и подготовленностью учащихся:
β– уровень трудности j -го задания, j = 1, 2,.... 4, θ1 и θ2 – тестовые баллы
26
двух учащихся

27.

«Магнитогорский государственный технический университет им. Г.И. Носова»
Кафедра бизнес-информатики и информационных технологий
Благодарим за внимание!
НАЗВАНИЕ ПРЕЗЕНТАЦИИ