Анализ пробного тестирования ент по географии. Анализ результатов пробного тестирования

Анализ результатов пробного тестирования гимназии № 1

2011-2012 учебный год

6.10 2011 года в гимназии проведено третье пробное тестирование, целью которого является адаптация учащихся к проведению ЕНТ, их информированности о технологии тестирования, контроля за качеством знаний и подготовки к ЕНТ.

Тестирование учащихся проведено по тестам НГЦТО КЭУ, результаты следующие

Всего в тестировании принимало участие 45 выпускников (из 49), т. е. 93 % учащихся.

100 и более баллов набрали 4 учащихся

Из результатов видно, что по сравнению с прошлым тестированием средний балл ниже на 2 ,8 балла. Учащиеся сидели по одному, сумки и сотовые телефоны убраны на последней парте, условия тестирования приближенные к условиям ЕНТ. Из предварительных результатов можно ожидать в этом году низкие результаты, поэтому необходимо активизировать подготовку к ЕНТ, использовать различные формы и методы работы.

Мониторинг результатов тестирований

Из диаграммы видно, что результаты нестабильные, ниже чем в прошлом году, однако наблюдается рост результатов в течение нескольких тестирований в этом году.

Результаты по сравнению с 1 тестирование несколько выше.

Результаты по математике повысились.

По всеобщей истории сдают 4 учащихся. результаты ниже, чем в прошлом году. Самое низкое качество знание по физике и математике. Плохо сдали на этом тестировании биологию.

Претендент на Алтын Белги первый раз подтвердила все пятерки.

Мониторинг тестирований претендентов на аттестат с отличием и Алтын Белги.

Фамилия

Русский язык р

История Казахстана

Математика

каз яз с рус яз

всего баллов

Фамилия

Русский

История Казахстана

Математика

каз яз с рус яз

предмет по выбору

всего баллов

наимен. пред.

Давлетшина

Абдрахметова

Кукетаева

Укубаева

Из результатов видно, что только имеет одну 4, остальные претенденты имеют тройки. Необходимо организовать индивидуальную работу с отличниками по подготовке к ЕНТ.

Пока никто не подтверждает все пятерки, плохие результаты по биологии, истории, математике.

1.Самые низкие результаты по физике, математике и истории Казахстана, высокие по англ. яз, каз. яз. Двоек нет. В этом учебном году 4 претендентов на аттестат с отличаем и 1 претендент Алтын белги все пятерки набрала только

2. Сравнительные результаты тестирования показывают нестабильность, рекомендовано всем преподавателям подготовить мониторинг индивидуальных результатов по пробным тестированиям.

3. Учителям–предметникам составить планы работы со слабоуспевающими и отличниками.

4. Классным руководителям проводить родительские собрания по субботам, пригласить родителей учащихся которые не набирают пороговый уровень поступления в ВУЗы.

учащегося 11 «Б» класса Байгунакова Азата.

Городские тестирования

Предметы	18 октября	22 ноября	21 декабря
Казахский язык	11	12	13
Русский язык	7	9	8
Математика	4	7	6
История Казахстана	6	8	7
Всемирная история	6	6	7
Сумма	34	42	41
Без казахского языка	23	30	28

Школьные тестирования

Предметы	21сентября	15 ноября	30 ноября	14 декабря	17 января
Казахский язык	5	13	13	17	11
Русский язык	7	9	5	9	7
Математика	5	6	3	11	4
История Казахстана	7	20	6	5	6
Всемирная история	4	7	6	3	8
Сумма	28	55	33	45	36
Без казахского языка	23	42	20	28	25

Результаты городских тестирований по всем предметам соответствуют оценке «удовлетворительно». В сумме с баллами по казахскому языку общий результат ниже проходного. В ряду «западающих» тем большая часть разделов школьной программы. Наибольшее количество баллов набирает по казахскому языку. Очень низкие результаты по математике и всемирной истории

Результаты школьных тестирований также свидетельствуют о больших пробелах в знаниях. В то же время эти результаты объективно отражают уровень подготовки ученика и соответствуют итогам текущей и промежуточной аттестации. Байгунаков А. по всем предметам школьной программы в течение всего курса обучения занимался с основной оценкой «удовлетворительно».

С анализом ознакомлен ____________________________А. Байгунаков

Анализ результатов пробных тестирований

учащегося 11 «Б» класса Богуненко Александра.

Городские тестирования

Предметы	18 октября	22 ноября	21 декабря
Казахский язык	17	18	19
Русский язык	19	21	19
Математика	11	12	14
История Казахстана	8	12	13
Физика	15	8	14
Сумма	70	71	79
Без казахского языка	63	53	60

Школьные тестирования

Предметы	21сентября	15 ноября	30 ноября	14 декабря	17 января
Казахский язык	4	16	21	16	18
Русский язык	18	18	20	20	19
Математика	10	14	13	15	15
История Казахстана	13	13	13	14	10
Физика	11	11	12	14	15
Сумма	56	72	79	79	77
Без казахского языка	52	56	58	63	59

Результаты городских тестирований по физике нестабильны: результат 22.11.13 почти в два раза ниже предыдущего. Отмечается положительная динамика результатов по казахскому языку. Стабильно высокий балл по русскому языку, при этом оценки «удовлетворительно» по таким предметам, как физика и математика не соответствуют текущим оценкам, оценкам за четверть.

Итоги школьных тестирований характеризуются положительной динамикой результатов по физике, стабильно высоким баллом по русскому языку, более высо-

кими, в сравнении с городскими тестированиями, результатами по математике, большой разницей результатов по казахскому языку. Особого внимания требует подготовка по истории Казахстана. Суммарные баллы за все пробные тестирования выше проходного.

По результатам всех тестирований учителями-предметниками осуществлён поэлементный анализ с обязательным выявлением «западающих» тем и разработкой рекомендаций по устранению пробелов.

С анализом ознакомлен ____________________________А. Богуненко

Анализ результатов пробных тестирований

учащегося 11 «Б» Бурчица Богдана.

Городские тестирования

Предметы	18 октября	22 ноября	21 декабря
Казахский язык	8	15	12
Русский язык	14	13	15
Математика	7	10	6
История Казахстана	18	18	17
География Вс. ист	17	14	15
Сумма	64	70	65
Без казахского языка	56	55	53

Школьные тестирования

Предметы	21сентября	15 ноября	30 ноября	14 декабря	17 января
Казахский язык	16	12	18	15	18
Русский язык	13	14	10	13	17
Математика	12	6	7	7	8
История Казахстана	10	14	16	15	16
География Вс. ист	12	9	14	20	16
Сумма	63	55	65	70	75
Без казахского языка	47	43	47	55	57

Результаты городских тестирований в целом выше, чем итоги школьных. Во всех городских тестированиях суммарный балл выше проходного. В трёх из пяти школьных тестов сумма баллов без учёта результатов по казахскому языку ниже пятидесяти. Итоги тестов по казахскому языку, проходивших на базе школы, соответствуют оценке «хорошо», самые низкие результаты - по математике, что соответствует итогам текущей и промежуточной аттестации (учащийся имеет за полугодие одну «тройку» по алгебре). Необходимо усилить работу по подготовке к тестам по русскому языку, т.к. они отличаются нестабильностью и соответствующие им оценки ниже текущей успеваемости учащегося.

По результатам всех тестирований учителями-предметниками осуществлён поэлементный анализ с обязательным выявлением «западающих» тем и разработкой рекомендаций по устранению пробелов.

С анализом ознакомлен ____________________________Б. Бурчиц

Анализ результатов пробных тестирований

учащейся 11 «Б» Кабаковой Анастасии.

Городские тестирования

Предметы	18 октября	22 ноября	21 декабря
Казахский язык	17	17	16
Русский язык	18	11	11
Математика	5	6	8
История Казахстана	7	7	10
Биология	10	19	11
Сумма	57	60	56
Без казахского языка	40	43	40

Анализ пробного тестирования

за 20. 01.2016г. в 11-х классах

В 11-х классах обучается 85 учеников. Из них , данный пробный тест писали 31 учеников с казахским языком обучения и 51 с русским языком обучения.

Итоги теста от 20 .01.2016 исключая пятый предмет:

класс

Кол-во учащихся

100

110

всего

писало

11а

11 ә

11б

11э

итого

11 «а» класс :

8

1.Абсаматов Ғ -38 баллов; 2. Мошқал Е-47 баллов;

3.Құмар А - 41балл; 4. Нурмуханова И - 37 баллов;

5.Хусаинов Н- 44 балла; 6. Дәурен Б - 46 баллов;

7.Ертаева М - - 44 баллов; 8. Ибуллаева Ж -34 балла

Результаты по предметам:

Математика

От 0- 3 баллов - 1(Нурмуханова И - 3 балла);

От 4-11 баллов - 9;

От 12- 19 баллов – 3;

Выше 20 баллов -1;

Средний балл –10 б

Қазақ тілі

От 0- 3 баллов -0 ;

От 4-13 баллов - 2;

От 14-21 баллов – 8

От 22-25 баллов -4;

Средний балл –-16,2 баллов

Қазақстан тарихы

От 0- 3 баллов -0 ;

От 4-13 баллов - 4;

От 14-21 баллов – 10;

От 22-25 баллов -0;

Средний балл –-14,3 баллов

Орыс тілі

От 0- 3 баллов 0 ;

От 4-13 баллов - 4;

От 14-21 баллов – 10;

От 22-25 баллов – 0;

Средний балл –-14,6 баллов

Предмет по выбору

Физика-9 уч-ся;

От 0- 3 баллов - 0 ;

От 4-11 баллов - 4;

От 12-19 баллов- 3;

Средний балл -10,6 баллаов.

География -2ученика

От 0- 3 баллов - 0 ;

От 4-12 баллов - 1;

От 13-20 баллов – 1;

От 21-25 баллов -0;

Средний балл -13 баллов

Всемирная история – 2ученика

От 0- 3 баллов - 0 ;

От 4-12 баллов - 2;

От 13-20 баллов – 0:

От21-25 баллов -0;

Средний балл -13 баллов

Английский язык -1

От 14-20 баллов-1;

Средний балл -19 баллов

Биология - 1 ученик

От4-12 баллов-0;

От 13-20 баллов -1;

От 21-25 баллов -1:

Средний балл -18 баллов

Әдебиет – 1

От 14-20 баллов -1;

Средний балл -18 баллов

Средний балл по классу- 52,14 баллов

11 «ә» класс :

Не набрали пороговый результат: 3

1.Есильбаева А -44 баллов; 2.Тойлыбай А – 25 баллов;

3.Кенженов К – 44 балла;

Результаты по предметам:

Математика

От 0- 3 баллов - 0;

От 4-11 баллов - 8;

От 12- 19 баллов – 2;

Выше 20 баллов 0;

Средний балл –9,9 б

Қазақ тілі

От 0- 3 баллов -0 ;

От 4-13 баллов - 2;

От 14-21 баллов – 6;

От 22-25 баллов -2;

Средний балл –-18,40 баллов

Қазақстан тарихы

От 0- 3 баллов -0 ;

От 4-13 баллов - 2;

От 14-21 баллов – 8;

От 22-25 баллов -0;

Средний балл –-15,7 баллов

Орыс тілі

От 0- 3 баллов 0 ;

От 4-13 баллов - 4;

От 14-21 баллов – 5;

От 22-25 баллов – 1;

Средний балл –-15,7 баллов

Предмет по выбору

Физика-1 уч-ся;

От 0- 3 баллов - 0 ;

От 4-11 баллов - 1;

От 12-19 баллов- 0;

Средний балл -4 баллаов.

География -3 ученика

От 0- 3 баллов - 0 ;

От 4-12 баллов - 1;

От 13-20 баллов – 1;

От 21-25 баллов -1;

Средний балл -13,6 баллов

Английский язык -2

От 14-20 баллов-2;

От 21-25 баллов -0;

Средний балл -17,5 баллов

Биология - 4 ученика

От4-12 балло-1;

От 13-20 баллов -3

От 21-25 баллов -0:

Средний балл -13,5 баллов

Средний балл по классу- 57,2 баллов

11 «б» класс :

Не набрали пороговый результат: 7

1. Абдрахмет А - 44 баллов; 2.Боргуль А- 43 баллов;

3. Гуляренко Е - 48 баллов; 4. Бурумбаев Т- 40 баллов;

5.Иванов А - 44 балла; 6. Кубжасарова А – 47 баллов;

7.Лигай К - 43 баллов;

Результаты по предметам:

Математика

От 0- 3 баллов - 1(Бурумбаев Т- 3б) ;

От 4-11 баллов - 11;

От12-19 баллов- 15;

От 20-25 баллов- 0;

Средний балл –12 баллов

Қазақ тілі

От 0- 3 баллов - 0;

От 4-13 баллов - 4;

От 14-20 баллов-16;

От 21-25 баллов-7;

Средний балл -17,2 баллов;

История Қазақстана

От 0- 3 баллов - 0

От 4-11 баллов - 3;

От 12-20 баллов-12;

Выше 20 баллов-12;

Средний балл ---16,8 баллов;

Русский язык

От 0- 3 баллов - 0

От 4-11 баллов - 2;

От 12-20 баллов -25;

Выше 20 баллов-0;

Средний балл -14,5 баллов

Пятый предмет по выбору.

Физика -11уч-ся;

От 0-3 баллов -0 ;

От 4-11 баллов - 4

От 12 -19- 7 ;

Средний балл 14 баллов ;

Биология – 4;

От4-11 баллов -0 балла;

От 12-19 баллов – 4;

Выше 20 баллов -0

Средний балл -13,75 баллов;

География -8 человек;

От 4-11 баллов -6

От 12-19 баллов –0 ;

От 20-25 баллов -2 ;

Средний балл -13,9 баллов ;

Всемирная история -1 ученика;

От13 -20 баллов – 1;

От 21-25 баллов -0;

Средний балл -20,0 баллов ;

Английский язык -3

От 4 -11 баллов-0;

От 12-19 баллов – 1:

От 20-25 баллов -2;

Средний балл -19,3 баллов ;

Средний балл по классу -57,7 баллов.

11 «э» класс :

Не набрали пороговый результат: 6

1. Абдрахманова А - 42 балла; 2. Сейпышева К - 47 баллов;

3. Нежелев В– 42 балла; 4. Калиев К – 42 балла;

5. Сәмиева Л - 46 баллов; 6. Талгатов Ж – 44 балла;

Результаты по предметам:

Математика

От 0- 3 баллов - 3(Абдрахманова А -3 б, Жибитенко М-3б, Сәмиева Л -3б);

От 4-11 баллов - 13;

От12-19 баллов-7 ;

От 20-25 баллов-0;

Средний балл –9,3 баллов

Русский язык

От 0- 3 баллов - 0

От 4-11 баллов - 1;

От 12-20 баллов -21

Выше 20 баллов-1 ;

Средний балл -15,8 баллов

История Қазақстана

От 0- 3 баллов - 0;

От 4-11 баллов - 6;

От 12-20 баллов-12;

Выше 20 баллов-5;

Средний балл ---15,5 баллов;

Қазақ тілі

От 0- 3 баллов - 0;

От 4-13 баллов - 5;

От 14-20 баллов-13

От 21-25 баллов-5;

Средний балл – 16,7 баллов;

Пятый предмет по выбору.

Физика -1 уч-ся;

От 4-11 баллов - 0;

От 12 -19- 1;

Средний балл -13 баллов ;

Биология – 5 учеников

От 0-3 баллов - 0;

От 4-11 баллов- 1;

От 12-19 баллов – 4;

От 20-25 баллов-0;

Средний балл - 11,2 баллов ;

География -5 ученика

От 4-11 баллов- 0;

От 12 -19 баллов- 5;

Средний балл - 13,4 баллов ;

Английский язык – 11

От 12-19 баллов -6;

Выше 20 баллов -5 ;

Средний балл - 18,7 баллов

Химия -1

От 12-19 баллов-1;

Средний балл - 12 баллов

Средний балл по классу- 56,4 баллов

Сранительный мониторинг по классам от 20.01.2016.

Сранительный мониторинг по результатм двух последних тестирований

Средний балл по школе составилл 55,9 баллов бех пятого предмета,что ниже предыдущего тестирования 2,1 баллов;

Количество учащихся, не набравщих пороговый результат составляет 24 учащихся, что составляет 32 % ;

Учителям –предметникам активизировать работу по анализу тестов и работы над ошибками;

Зам. дир. УВР: Кипчакбаева Л.С.

Система тестирования собирает и хранит различную информацию о самом тестировании и результатах участников. В ней доступны как итоговые результаты участников, так и их детальные ответы на каждое из заданий, а также сводная информация по тестовым заданиям, позволяющая оценить их качество. Рассмотрим как работать с результатами тестирования.

Результаты участников тестирования собираются в соответствии с анкетой персональных данных , которая была создана в системе. На основе данных, вводимых участниками тестирования, можно идентифицировать их результаты и использовать для анализа.

После получения ссылки на тест (например, http://app.startexam.com/Center/Web/kosmos) и выбора теста, участник тестирования вводит свои персональные данные в анкету и нажимает кнопку Далее .

После этого участник тестирования начинает знакомиться с вопросами и проходить тест.

Одновременно с этим инициатору тестирования уже доступна информация об участниках принимающих участие в тестировании, но без наличия результатов, т.к. тест ими еще не завершен. Администратор тестирования может посмотреть начатые сеансы тестирования, кликнув по ссылке Сеансы в центрах тестирования.

Перед Вами откроется окно с запущенными сеансами тестирования.

На этой странице доступна информация обо всех участниках, принимающих участие в тестировании. По каждому сеансу доступны следующие данные:

• Центр – название центра тестирования, под которым запущен тест
• Тест – название теста, которые решает участник
• Имя участника - фамилия, имя и отчество участника тестирования
• Дата начала сеанса тестирования
• Состояние сеанса тестирования (завершен/не завершен)
• и результаты тестирования

Как видно на изображении результаты еще недоступны, т.к. сеансы не завершены и информация по ответам участников не получена. По мере завершения сеансов их состояние будет меняться, но уже сейчас можно ознакомиться с персональными данными участников, кликнув на состояние сеанса.

Будет открыта страница с подробной информацией о сеансе участника тестирования и его персональных данных.

По мере выполнения теста участниками состояние сеансов будет меняться.

Как только участники тестирования завершат тестирование, состояние всех сеансов примет статус Завершен и результаты будут доступны в системе.

Теперь рассмотрим более подробно какие результаты собираются и какие средства для работы с ними имеются в системе тестирования. На странице с сеансами тестирования доступна следующая информация:

• Время , которое было затрачено на тестирование
• Макс - максимальный балл, который можно было набрать по тесту
• Балл – набранный участником балл
• (%) – результат участника в процентах
• Уровень , показанный участником в соответствии с созданной шкалой оценки
• Отзывы , оставленные участниками на задания, если такая опция была включена в тесте

Сеансы тестирования могут быть отфильтрованы в соответствии с Вашими предпочтениями. В системе можно вывести результаты за определенный период времени:

• последний час
• сегодня
• вчера
• на этой неделе
• на прошлой неделе
• в этом месяце
• в прошлом месяце
• в этом году
• в прошлом году
• за все время

Кроме того, можно показать нужное количество результатов на одной странице: 10, 50, 100 или все сразу.

Ненужные результаты могут быть удалены – для этого есть соответствующая кнопка Удалить , для удаления нужно предварительно отметить нужные результаты чекбоксами.

Результаты тестирования могут быть экспортированы в различные форматы:

• формат электронных таблиц Excel
• формат языка разметки XML
• результаты, упакованные в zip-архив

Результаты экспортируются в соответствии с выбранными Вами фильтрами. Если Вы выберите результаты только за неделю, то и экспортированы будут результаты, полученные на неделе. Кроме того, Вы можете отметить нужные Вам результаты для экспорта чекбоксами и только эти результаты будут представлены в выдаче.

При экспорте в Excel в таблицу будут добавлены не только результаты, но и персональная информация, указанная участником тестирования.

Результаты тестирования по определенному тесту

В системе тестирования можно посмотреть результаты тестирования как по всем тестам сразу, так и по каждому тесту в отдельности. Просмотр результатов по тестам имеет дополнительные возможности для работы с результатами.

Для просмотра результатов по определенному тесту, Вам необходимо перейти в проект и открыть вкладку Тесты .

Здесь будут доступны все тесты проекта. Возле каждого теста имеется ссылка Сеансы, нажав на которую можно посмотреть сеансы тестирования именно по этому тесту. Набор функций в целом аналогичен результатам в центрах тестирования , но имеются некоторые полезные дополнения.

Первое отличие – здесь доступен еще один вид отчетов – . В матрице ответов представлены все задания теста и ответы участников по каждому заданию.

С помощью этого вида отчета Вы можете экспортировать результаты в таблицу Excel и посмотреть на какие задания участники отвечали правильно, а где давали неправильные ответы.

По вертикальной оси представлены задания, которые входили в тест, по горизонтальной – имена участников, на пересечении представлены ответы участников. Единица означает, что участник дал правильный ответ на задание, ноль – ошибся. Если значения не будет, значит задание не попалось в окончательный набор заданий участника тестирования.

Детальные ответы участников тестирования

В сеансах тестирования по определенному тесту доступна статистика по ответам каждого участника. Для ее просмотра кликаем по состоянию сеанса тестирования.

Открывается страница с персональными данными, которые можно было посмотреть и в центрах тестирования, но здесь присутствует еще одна вкладка – Ответы .

На странице отображаются результаты ответов участника на каждое задание теста, аналогичные тем, что были представлены в матрице ответов.

Здесь можно посмотреть ответ, который дал участник тестирования на определенное задание. Например, нам хочется узнать какой вариант ответа выбрал участник на вопрос, в котором допустил ошибку. Кликаем по тесту вопроса и получаем результат.

Представлено задание теста и ошибочный вариант ответа, данный участником. Неправильно решенное задание отображается на красном фоне.

Аналогичным образом можно посмотреть задание, в котором участник ответил верно.

Оно отображается на зеленом фоне.

Статистика тестовых заданий

При детальном просмотре результатов участников тестирования доступна также статистика по каждому тестовому заданию. Кликнув по вкладке Статистика можно посмотреть информацию о задании и оценить его качество.

Здесь доступна информация о задании:

• дата создания тестового задания
• автор задания
• статус
• метод оценки

А также доступна статистика по нему:

• Кол-во результатов – количество решений задания участниками тестирования
• Выполнено – количество завершенных результатов (на задание был дан ответ)
• Пропущено – количество неоконченных результатов (на задание не был дан ответ)
• Средний балл – отношение количества правильных ответов на задание к общему количеству завершенных результатов
• Правильных ответов – процент правильных ответов на задание

Статистика тестового задания позволяет сделать вывод о его качестве. Хорошие задания должны попадать в интервал правильных ответов от 20% до 80%. Подробнее вопросы качества тестовых заданий рассмотрены на уроке Мастерство создания тестов .

Мы рассмотрели основные возможности использования результатов тестирования в системе OpenTest, которая включает в себя весь спектр процессов тестирования от создания задания до проведения тестирования и анализа результатов.

Важным условием проведения пробного тестирования является получение статистически достоверных результатов , что обеспечивается соблюдением ряда условий:

Пробное тестирование должно проводиться в нескольких параллельных* группах. При этом рекомендуется в каждой группе провести его дважды, но при условии, что испытуемые получат варианты теста с заданиями, на которые раньше не отвечали. Желательно, чтобы повторное пробное тестирование в одной и той же группе проводилось в разные дни;

Количество испытуемых в группах должно быть достаточно большим (не менее 20 человек);

Все параллельные группы должны находиться в одинаковых условиях (время, отводимое на тестирование, место и время проведения*);

Все испытуемые в пределах одной группы также должны находиться в идентичных условиях, без каких-либо «скидок» и «поблажек» для отдельных испытуемых. Все испытуемые должны получить примерно одинаковые по сложности (параллельные) задания;

Время, отводимое на пробное тестирование должно быть таким, чтобы наиболее подготовленные успели ответить на все вопросы теста*;

Для получения достоверных результатов следует свести к минимуму возможность подсказок среди испытуемых.

К пробному тестированию с использованием специализированной программы и ПЭВМ предъявляются примерно те же требования, что и при тестировании «на бумаге».

Анализ результатов пробного тестирования и отбор тестовых

Заданий

Матрица тестовых результатов

После проведения пробного тестирования производятся проверка ответов испытуемых и обработка результатов тестирования. Обработку результатов следует начинать с составления матриц тестовых результатов (при компьютерном варианте тестирования такие матрицы должны создаваться программой автоматически). Очень важно, чтобы по номеру варианта теста и номеру задания в нем можно было бы однозначно определить – какие именно задания выполнял испытуемый. Это необходимо для того, чтобы, как уже отмечалось выше, исключить из общего массива именно те задания, которые не могут называться тестовыми.

Подготовку матриц тестовых результатов рекомендуется выполнять с использованием ПЭВМ, например, табличного процессора Excel, что позволит существенно облегчить обработку данных и проверку статистических свойств каждого задания. Пример такой матрицы приведен в табл. 3.4.

Таблица 3.4 – Матрица* тестовых результатов в группе из 10 человек

(для всех заданий общее правило оценивания: правильный ответ – 1, неправильный – 0)

№ пп

Фамилия

№№ варианта теста

Номер задания (задания пронумерованы и расположены в порядке возрастания их трудности: №1 /самое легкое/ ® №10 /самое трудное/)

Суммарный балл по тесту

Абрамов

Дмитриев

Васильев

Борисов

Щетинин

Зыков

Григорьев

Кириллов

Иванов

Жуков

S

-

В матрице тестовых результатов (табл. 3.4) строки с результатами испытуемых следует располагать в порядке убывания суммы баллов, набранных при тестировании, т.е. в первой строке – самый сильный студент, в последней – самый слабый. В столбцах таблицы, содержащих баллы испытуемых по каждому из заданий теста, задания следует расположить в порядке возрастания их трудности, т.е. от самого легкого до самого трудного.

Нижняя строка табл. 3.4 содержит сумму баллов, набранных всеми испытуемыми по каждому из 10 заданий теста. Именно эта сумма (точнее - обратная ей величина) в общем случае служит мерой трудности задания и критерием, по которому то или иное задание получает свое место (порядковый номер) в системе заданий теста. Первоначально, как указывалось выше, преподаватель определяет трудность заданий, исходя из собственного опыта. Нижняя строка матрицы тестовых результатов содержит более объективную оценку трудности заданий, которая в некоторых случаях может не совпадать с первоначальным мнением преподавателя. В такой ситуации задание, трудность которого отличается от предполагавшейся первоначально, следует расположить в другом месте, присвоив ему новый номер, соответствующий его трудности. При этом должны учитываться ответы на то же задание, полученные в других (параллельных) группах испытуемых.

Статистический анализ тестовых результатов и отбор заданий

Для включения в тесты

В табл. 3.5 приведены некоторые показатели, рассчитанные по результатам пробного тестирования.

Таблица 3.5 - Анализ результатов тестирования*

ПОКАЗАТЕЛИ	Номер задания
Кол-во правильных ответов
Кол-во неправильных ответов
Доля правильных ответов, p j		0,8	0,7	0,6	0,5	0,5	0,4	0,3	0,2
Доля неправильных ответов, q j		0,2	0,3	0,4	0,5	0,5	0,6	0,7	0,8
Потенциал трудности, q j /p j	0,00	0,25	0,43	0,67	1,00	1,00	1,50	2,33	4,00	-
Дисперсия баллов, p j ×q j		0,16	0,21	0,24	0,25	0,25	0,24	0,21	0,16
Коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту	-	0,41	0,62	0,75	0,82	0,82	0,75	0,62	0,41	-

Наиболее важными из приведенных в табл. 3.5 показателями являются:

1) потенциал трудности;

2) дисперсия баллов;

3) коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту.

Именно эти показатели являются критериями, по которым можно судить о том, может ли задание в тестовой форме использоваться в тестах, т.е. называться тестовым заданием .

Первый показатель соответствует требованию (см. раздел 1.2) известной трудности задания. Как видно из табл. 3.5, этому требованию не соответствуют задания №1 и №10, что подразумевает необходимость их «ревизии» разработчиком с целью выявления причин (задание слишком легкое или слишком трудное, неверно сформулировано, содержит «подсказку» в вариантах ответов, неверно воспринимается испытуемыми и т.п.). После «ревизии» задание либо перерабатывается, либо исключается и в тестах не используется.

Не менее важна и дисперсия баллов, которая может служить показателем дифференцирующей способности задания, т.е. его способности разделить группу испытуемых на сильных и слабых. Чем больше дисперсия баллов, тем лучше дифференцирующая способность задания. Однако, задания с невысоким значением дисперсии (например, задания №2 и №9) также могут использоваться в тестах (с учетом значения коэффициента корреляции с суммарными баллами по всему тесту). Такие задания позволяют более четко отделить совсем неподготовленных от тех, кто знает на «3» и, соответственно тех, кто знает на «5», от тех, кто «не дотягивает» до максимальной оценки.

Третий показатель – коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту , является наиболее важным. Если его значение невелико, то без соответствующего задания в тесте, видимо, можно обойтись. Напротив, задания с большим значением указанного коэффициента (выше 0,7) могут считаться «ведущими» или «тестообразующими» заданиями, «ключевыми» для данной дисциплины или ее раздела. Рекомендуют включать задание в тест при том условии, что коэффициент корреляции составляет величину не ниже 0,25-0,3.

Для вычисления коэффициента корреляции в нашем случае наиболее удобной представляется формула

где - балл за задание; - суммарный балл по тесту; - количество испытуемых в группе.

Рассчитаем для примера коэффициент корреляции балов по заданию №5 с суммарными тестовыми баллами применительно к приведенной в табл.3.4 матрице тестовых результатов (см. табл. 3.6).

Таблица 3.6 – Расчет коэффициента корреляции S

При использовании для анализа тестовых результатов компьютерной техники целесообразно воспользоваться для расчета коэффициентов корреляции соответствующей функцией табличного процессора Excel.

Не менее важно и сопоставление результатов тестирования, полученных в параллельных (различных) группах. Такое сопоставление производится путем сравнения потенциалов трудности, дисперсий и коэффициентов корреляции баллов по заданиям с суммарными баллами по тесту, которые в идеале должны отличаться незначительно. Существенные отличия указанных показателей могут свидетельствовать либо о невысокой воспроизводимости тестовых результатов (т.е. на одинаковых по уровню группах один и тот же тест дает различные результаты), либо о существенно различающемся уровне подготовленности испытуемых в разных группах (т.е. группы не являются параллельными).

Проверку параллельности групп можно произвести путем оценки однородности дисперсий суммарных тестовых результатов, используя соответствующие статистические критерии - Фишера, Кочрена, Бартлета . По этим критериям можно при достаточно высоком уровне значимости (рекомендуется 0,05) проверить, насколько параллельные группы отличаются по среднему уровню подготовленности.

Еще одним приемом, который можно использовать при обработке результатов тестирования, является объединение результатов тестирования параллельных групп. Этот прием рекомендуется использовать при небольшом числе испытуемых в отдельных группах, но перед «объединением» результатов желательно произвести проверку однородности дисперсий по критериям, упомянутым выше.