НАЦИОНАЛНИЯТ ИЗПИТ - ТЕСТ 1999/2000: КОМПОНЕНТЪТ БЪЛГАРСКИ ЕЗИК И ПОЛУЧЕНИТЕ РЕЗУЛТАТИ ОТ ИЗПИТА

Татяна Ангелова, Йовка Тишева, Стефка Фетваджиева, Любов Шишкова

web | web | web | web

Обясним е интересът на специалисти, учители, родители към резултатите от тестовия изпит за прием на ученици след седми клас, проведен за пръв път миналата година. Никой не поставя под съмнение ползата от управленското решение, което бе взето от Министерството на образованието и науката. С включването на теста като компонент на състезателния изпит за прием след седми клас се увеличи степента на обективност при оценяването. Изпитът показва с висока степен на точност не само езиковата култура на кандидатстващите ученици, но и езиковата им подготовка, придобита в часовете по български език и другите учебни предмети. Може да се каже, че се промени в определена степен отношението на учениците и към предмета български език, и към проблемите на езиковата култура.

Нашият колектив е пряко свързан с промените в изпитните процедури по български език за средното училище, затова е естествено да сме заинтересувани от навременно представяне на резултатите от извършеното, така че да станат достояние на колегията, на обществото. Като автори на тестовите задачи от раздела по български език ние ценим всяко професионално мнение и добронамерените препоръки¹.

За нас представляват особен интерес мненията и препоръките на специалисти - учители, лингвисти, методици. В тази книжка на сп. „Български език и литература" е публикуван анализ на изпитните тестови задачи по български език. Негови автори са колегите, издали и свой сборник с тестови задачи (вж. Български език. Тестови задачи за 7. клас с ключ за верните отговори. Изд. Регалия, С., 2000). Техният коментар ни дава добър повод да анализираме извършената от нас работа и най-вече резултатите от нея.

Приятно ни е да установим, че двадесетте изпитни задачи от теста са станали обект и основа на едно подробно научно изследване. Повечето от авторите са езиковеди, сътрудници в Института по български език към БАН. Вероятно това е причината основната част от анализите и коментарите им да са базирани само и единствено на лингвистиката. И както става ясно от материала, строго лингвистичният подход при анализа на тестовите задачи може да доведе до прибързани и едностранчиви изводи за качествата им. Ето защо на колегите Б. Георгиев, Т. Александрова, М. Димитрова, А. Руневска, Р. Станчева им убягва логиката на дидактическия тест, предназначен за изпитна ситуация. За да бъдат адекватно анализирани и оценени тестовите задачи, е важна не само тяхната лингвистична страна. Трябва да се познават лингвометодическите, и особено тестологичните принципи и методи. Защото смятаме, че именно комплексният анализ на тестовите задачи, съчетаващ достиженията на методиката на преподаването на роден език, на тестологията и на науката за българския език, може да покаже в пълнота и силните, и слабите страни на изпитните тестови задачи.

Преди да представим и да анализираме някои лингвометодически и тестологически аспекти на резултатите от Националния изпит - тест в частта български език, искаме да напомним нещо важно. Не бива да забравяме, че става дума за поръчка от страна на МОН и поради това министерството има правото да реши кога да предостави за публикуване данните, представляващи интерес за лингвисти, методици, тестолози. На този етап разполагаме с данните за всички 8146 ученици от град София, които са се явили на този изпит. Те са приблизително 1/4 от всички кандидатстващи в страната след седми клас ученици. Данните, които посочваме и коментираме, се отнасят до тези ученици.

В началото бихме искали да подчертаем, че съществува обща оценка от страна на експертите в МОН, направена въз основа на данните от изпита: както цялостният тестов изпит, така и тестът по български език изпълнява успешно поръчката на Министерството на образованието и науката. Както при всеки професионално изготвен изпитен тест, така и при конструирането на теста по български език спазихме изискванията за изготвяне и апробиране. Определихме и конкретизирахме целта на измерването с теста по български език; съставихме тест-спецификация по български език, за да операционализираме целите, създадохме банка от 400 тестови задачи, чиито качества бяха анализирани от специалисти по психометрия. Изготвените задачи бяха апробирани в страната и подложени на експертна оценка от трима специалисти - двама от МОН и една учителка по български език и литература. Отговорникът на екипа се включи и при изготвянето на стандартите за оценка².

Основната задача пред групата специалисти, изработващи теста за националния изпит на ученици, които кандидатстват след завършен седми клас в профилирани гимназии, профилирани паралелки в гимназии и в СОУ за учебната 1999/2000 г., беше следната: да бъде създадена банка от тестови задачи (1000 на брой - 400 задачи по български език, 400 задачи по математика и двеста задачи по природни и обществени науки). След апробиране, експертна оценка и статистическа обработка на всяка от банките по определените четири раздела да се представят в МОН четири еквивалентни варианта на изпитен тест, всеки от които се състои от:

А. 60 тестови задачи с избираем отговор (с по четири възможности за отговор) за време от 120 минути:

- 20 тестови задачи по български език;

- 20 тестови задачи по математика;

- 10 тестови задачи по природни науки;

- 10 тестови задачи по обществени науки

Б. Ключ с отговорите за всеки вариант

В. Бланка за отговори на теста

Г. Таблица за превръщане на точките от теста в шестобална оценка, като се дава по една точка за всеки верен отговор и по 0 точки за грешен, неясен или непосочен отговор.

Членовете на екипа (специалистка по синтаксис, специалистка по лексикология, специалистка по методика и учителка по български език) обединиха своя опит, познания и амбиции при подготвянето и операционализацията на целите, задачите и съдържателната рамка на теста по български език или т.нар. спецификация (вж. спецификацията в Приложението). Основният ни стремеж беше да се ръководим от спецификата на учебния предмет роден (първи) език, както и от комплексния характер на обучението по български език. Конструираният тест цели да провери уменията на седмокласниците да се ориентират в комуникативноречевата ситуация, породила даден текст, да възприемат адекватно изразените словесно смисли, да откриват и осмислят структурни особености на текстове, да прилагат книжовните норми (за подробно представяне на целите в съответствие с познавателните равнища, уточнени за целия тест, вж. спецификацията). Изброените характеристики наложиха да се създадат такива тестови задачи, които да са от по-високо познавателно равнище, следователно да се решават с повече от една познавателна операция. Ето защо не можем да се съгласим с колегите, че с някои от тестовите задачи за изпита се проверяват няколко умения. Например проверката дали резултатно са овладени пунктуационните правила не може да мине без проверка на знания за българския синтаксис, свързани с тези правила.

При конструирането на тестовите задачи се ръководехме от спецификата на обучението по роден (първи) език. Седмокласниците като носители на езика притежават езиков усет, както и натрупан не само в училище комуникативноречев опит. Важно е чрез теста да се проверят и оценят езиковата им подготовка и придобитата като резултат именно от тази подготовка комуникативноречева компетентност. В този смисъл предлаганите от колегите задачи от типа допълване (т.нар. cloze test) са неподходящи за теста. Те са част от добре известните системи за проверка на степента на владеене на английски език като втори, т.е. чужд, език. Неслучайно един бегъл поглед върху цитираните от колегите източници сочи, че заглавията се отнасят до проблемите на тестовете в чуждоезиковото обучение.

Със създаването на 400 задачи от банката по български език всъщност беше „покрито" учебното съдържание, предвидено за овладяване в седми клас. Изпитната програма по български език беше изготвена в пьлно съответствие с предвидената задължителна за седми клас на СОУ учебна програма по български език. Няма причини седмокласниците да бъдат обучавани по една програма, а да бъдат изпитвани по друга³.

Категорично не можем да се съгласим с колегите, че с 20 задачи трябва да се провери и оцени всичко, изучено от седмокласниците за цялата година. Оптималният брой задачи в един тест за проверка и оценка зависи от функциите на теста. Изготвените 400 задачи обхващат учебното съдържание по български език, а двадесетте задачи за изпитния вариант бяха избрани на лотариен принцип с помощта на компютър от общия брой на качествените задачи. Като качествени задачи се определят тези, които отговарят на изпитната програма, на учебната програма по български език, както и на количествени показатели, уточнени за четирите раздела на теста. Това са добре известните в тестологията показатели за валидност, за трудност, за разграничителна сила (вж. по-подробно при коментара на данните).

След дискусия с останалите членове от екипа отговорникът за предметната област описа целите, задачите и съдържанието на теста, както и съответната съдържателна рамка. В рамката беше определен и броят на тестовите задачи по всяка от темите и познавателните равнища. Съдържателната рамка беше предоставена на експерти за оценка. Въз основа на тази съдържателна рамка беше окончателно определена и цялостната спецификация на теста.

След обсъждане на проблема за спецификацията по всяка една предметна област от отговорниците беше взето решение да се използва най-популярната и функционална таксономия на образователни цели, създадена още през 1956 г. [Bloom, 1956]⁴. За нуждите на разработвания изпитен тест беше решено да се опрости таксо-номията до две когнитивни равнища: на знанията и на приложението им (уменията). Така беше ограничен рискът от разнобой и противоречия на експертните оценки. По мнението на специалистите „не рядко отделните експерти класифицират една и съща учебна цел (или задача) към различни когнитивни равнища. При това процентът на несъвпадение се увеличава в посока на по-високнте равнища на таксономията, т.е. докато за първите две - три равнища (знание, разбиране, приложение) е налице почти пълно съгласие между експертите, то за останалите (анализ, синтез и оценка) съгласието прогресивно намалява"⁵.

За да се оптимизира процесът на конструиране, беше използван алгоритъм от пет стъпки, познат в тестологията:

- подбор на конкретното учебно съдържание;

- формулировка на основната идея (съждения и правила);

- определяне на когнитивното равнище;

- избор на нова ситуация, която съответства на основната идея;

- формулировка на задачата.

Тематичното разпределение на тестовите задачи е добре известно, така че няма да се спираме на него. Ще анализираме някои по-съществени критични бележки на колегите към изпитните задачи. Преди това искаме да подчертаем комплексната същност на обучението по български език като роден и на отличителната за учебния предмет първи език специфика. Съзнателен беше стремежът ни да се разграничим от опитите да се използват механично постиженията на педагогическото тестиране за нуждите на обучението по български език Като чужд и на чуждоезиковото обучение въобще.

Ще коментираме подбора на текста към задачите за четене с разбиране. Текстът от Р. Новачкова е предпочетен, защото към него са съставени задачи с добра разграничителна сила и с желана трудност. Не можем да приемем, че знанията за образуването на нови думи в българския език са неподходящи за седмокласниците. Една от целите на обучението по роден език е овладяването на метаезика на съответния учебен предмет. Без да анализираме научните достойнства на текста за неологизмите, ще изкажем несъгласието си с твърдението на колегите, че сега не се създават нови думи със словообразувателните средства на езика. Достатъчно е да се прегледа например кой да е брой на „Литературен вестник" или някое от помагалата по български език и литература за кандидат-студенти.

В случая обаче по-важно е друго. Не е ясно на какво се основават преценките на колегите за степента, в която дадена тема е интересна за седмокласниците. Дали изхождат от социологически, социалнопсихологически или други изследвания, или имат предвид интересите на познатите си ученици в тази възраст. Нека не забравяме, че някои от посочените като препоръчителни теми (напр. спорт) са интересни предимно за момчетата, а други, от „област, близка до ежедневието", като модата - за момичетата. Не можем да устоим на изкушението и да не запитаме дали текстове и изречения, засягащи интересната според Б. Георгиев тема - музиката, - за да вълнуват седмокласниците, трябва да са свързани единствено с фолк - или в краен случай с рапмузиката?

Що се отнася до задачите за логически отношения, е нужно да отбележим, че не само седмокласниците, а и останалите ученици се сблъскват с отношения между родово и видово понятие, между част от цялото и цялото, между предмет и материала, от който е направен, и т.н. В учебниците по български език има задачи върху такива отношения. Информацията за логически отношения се предоставя в определена степен на занятията по синтаксис, но несъмнено до голяма степен се запомня интуитивно от житейската практика. Като решават задачи от посочения тип, учениците осмислят по практически път закономерности на логиката, учат се на логичност в изказванията си, подобряват се уменията им да се аргументират логично.

Задачите за синоними и за фразеологизми също са обект на критични бележки. Не се нуждае от дискутиране фактът, че е необходимо да се познава не само международната, а и „домашната" фразеология. Както стана ясно от апробацията на тестовите задачи в страната, а и от изпита, фразеологизмите не се познават добре от учениците, не се схваща значението им на изрази.

И накрая няколко думи за правописа и за пунктуацията. Защо правописът да се проверява само и единствено на равнище текст? Вън от текста правописът на думата или формата също си остава фиксиран от правописните правила. Фактът, че мълчали и мълчели са дублети, не прави дистрактор г) нерелевантен. Причините за правописните грешки, допускани от учениците, не се дължат само на неправилен изговор. Оказва се, че най-добри резултати учениците са показали тъкмо при решаването на правописните задачи (и при задачите за четене с разбиране). При задачите за пунктуация има затруднения, но не при всички ученици. Едва ли при решаването на зад. 17. от теста ученикът е мислил за темата на изреченията - дали се сменя, или не. Стремежът е задачата да обхване няколко пунктуационни правила и да се провери познава ли се прилагането на точно определено изучено пунктуационно нравило.

Не можем да не се съгласим с колегите, че адекватният отговор на въпросите: „1) доколко тестовите задачи мерят това, което се заявява, че проверяват според програмата в наредбата; 2) до каква степен те са съобразени с учебното съдържание по български език; 3) изпълнено ли е изискването за операционализация на целите..." непременно изисква анализ на статистическите данни за „поведението" на задачите по време на апробацията и в условията на изпита.

Ще започнем с апробацията на конструираните тестови задачи. Тя беше осъществена при естествени условия в София и в страната по специален график. Всяка тестова задача беше описана на карта, където се отбелязваха: статистическите данни от апробацията и резултатът от експертната оценка. Задачите, които имаха нужните качества, бяха съхранени в паметта на компютър и на хартия. От общо 400 задачи по български език бяха отделени 80 задачи за четирите изпитни варианта. Сред по-важните количествени показатели за сполучливи задачи е нужно да посочим следните: трудност - между 0,60 и 0,70, дискриминативна сила - над 0,25, отрицателни стойности на точковата бисериална корелация на дистракторите.

С други думи, трудността е показател за броя на учениците, решили правилно дадена задача. Като беше отчетена поръчката на МОН, че изпитният тест трябва да е „лесен", беше преценено, че ако една задача е решена от 80% ученици, тя е лесна. Ако е решена от по-малко от 50%, тя е сравнително трудна. Средната трудност на задачите по български език е 0,715. Националният изпит тест беше ориентиран към равнище на трудност и обхват на учебно съдържание, отговарящи на задължителния минимум, предвиден по Учебните програми. За ориентацията на теста допринесоха два фактора: единият, че тестовият изпит се провежда за пръв път, и вторият, че тестът е комплексен - седмокласниците решават задачи върху четири дяла, респ. български език (първи език), математика, природни и обществени науки. Може да се каже, че седмокласниците се представиха наистина много добре. Оказа се, че задължителният минимум се владее от преобладаващата част ученици.

Само тестът обаче не е достатъчен, за да се отсяват многобройните кандидати, за гимназисти в езиковите училища. Поради тази причина имаше втори изпит (по избор литература или математика), с който се проверяваха уменията на седмокласниците да създават текст и да решават задачи. Това съчетание от две изпитни процедури се оказа функционално.

Не по-малка важност за оценяването на задачите има разграничителната сила - свойството на дадена задача да отсява знаещите от незнаещите ученици. За добра разграничителна сила беше приета стойността 0,25. Ако сравним с нея средната разграничителна сила на задачите по български език- 0,499, ще стане ясно, че тестът изпълнява предназначението си да разграничи учениците с добра езикова култура и добра езикова подготовка от учениците, които имат пропуски.

За качествеността на задачите говорят и отрицателните стойности на точковата бисериална корелация на дистракторите. Иначе казано, това значи подвеждащите отговори в задачите да са избирани от ученици, показали слаб резултат на теста.

Несполучливите дистрактори имат положителни стойности на точковата бисериална корелация.

И накрая най-важният показател - надеждността или конснстентносгга на теста - означава добър измерителен инструмент ли е бил той в условията на изпитание. Надеждността или консистентностга на теста се представя от т. нар. Алфа на Кронбах (Cronbach`s Alfa). За компонента български език стойността й е 0,675. Колкото това число е по-близо до 1, толкова надеждността е по-висока. За целия тест тази стойност е 0,897. Можем да направим статистически значим извод, че тестът в частта си по български език измерва това, което е заявено в изпитната програма.

Данните от изпита бяха обработени с помощта на българската лицензирана система Майкрокет - MicroCat™ Testing System. Обработката на данните от изпита и анализът им потвърдиха очакванията ни за реализация на заложените параметри.

Освен компютърната обработка на задачите по изброените показатели на всеки етап бяха включвани в работата учители и експерти, чиято задача беше да дадат оценка на валидността и трудността на задачите. Тук е мястото да изкажем своите благодарности на: двамата експерти от Министерството на образованието и науката г-н Илия Койчев и г-жа Надя Бурджиева, както и на учителката по български език и литература от 31-о училище г-жа Красимира Александрова, за любезното им съдействие и за професионализма им. Дължим специална благодарност на колегите от Нов български университет: проф. Енчо Герганов, консултант на целия проект, и на н.с. Любомир Джалев - за ценната му помощ като специалист по психометрия.

Описвайки извършената работа, не ни се иска да пропуснем, ще използваме един шаблонен, но в случая точен израз - огромните трудности. Най-голямата от тях се оказа липсата на държавни стандарти за оценяване, и то конкретно по учебния предмет български език. Остава открит въпросът какво да проверява и оценява изпитният тест като цяло. На този въпрос не може да бъде даден еднозначен отговор, докато не бъдат създадени тези стандарти, както и стандартите по другите учебни предмети.

Ние сме далеч от мисълта да фаворизираме дидактическия тест за изпитни нужди, добре познаваме плюсовете и минусите на този инструмент, но и би било проява на консерватизъм да не се възползваме от процедури, които по света отдавна са доказали своята функционалност. Позицията на всички нас, които се смятаме свързани с образованието на нашите деца, е продиктувана от здравия разум - да се придържаме към най-доброто от образователната ни традиция, но и да гледаме към онова, което другите са постигнали, като го приложим творчески и в съответствие с нашите социални и културни потребности. За важността и сложността на задачата да се измерва и оценява владеенето на родния език с помощта на тестови задачи пише Кирил Димчев в статията си „Работата с тестови задачи по български език"⁶. Там той цитира едно изказване на американския специалист по философия на образованието Л. Дюк, в качеството му на член на Националната комисия за качеството на образованието: „един ученик получава качествено образование, когато е в състояние да упражнява в максимална степен индивидуалните си способности по начин, който му позволява да ги подлага на изпитания и да ги развива както в училище, така и на работното си място."

ПРИЛОЖЕНИЕ

ПРИМЕРНИ ТЕСТОВИ ЗАДАЧИ ПО БЪЛГАРСКИ ЕЗИК

(Спецификация)

Езиковата подготовка на учениците в 7. клас се проверява и оценява, като се имат предвид две познавателни равнища: на знанията (равнище А) и на уменията (равнище Б).

* Първо познавателно равнище - А: отговаря на такива цели като познаване и осмисляне на факти, понятия и закономерности от областта на лингвистиката: лингвистичната същност на езиковите явления, езиковите закономерности, имащи отношение към използването на книжовния език, основните лингвистични понятия, например текст, изречение и др., включени в задължителния минимум, предвиден за усвояване, книжовните норми (граматически, лексикални, правописни, пунктуационни). На това равнище са дейности като:

Разпознаване на:

- видове текст, според сферата на речево общуване, в която се използват; - функциите, изпълнявани от даден текст;

- видове синтактични езикови средства (на фразово и надфразово равнище);

- съчинително и подчинително свързване;

- средствата за междуфразова връзка в текста;

- лексикални езикови средства - омоними, пароннми, антоними, многозначни думи, преносно употребени думи; на фразеологизми и разбиране на лексикалното им значение;

- Разпознаване и осмисляне същността на морфемите;

- Разпознаване на правописни и пунктуационни грешки и осмисляне на същността им;

Разпознаване и разбиране на:

- синонимни отношения между дума и дума, дума и израз, израз и израз (лексикална и синтактична синонимия);

- антонимни отношения между дума и дума, дума и израз, израз и израз;

- логически отношения (родово - видово, част - цяло и др.);

- Осмисляне на закономерния характер на звуковите промените, на случаите, при които има несъответствие между изговор и правопис.

* Второ познавателно равнище - Б: условно е наречено „Приложение". То отговаря на такива цели като прилагане на лингвистична информация за решаване на определен проблем - възприемане и анализиране на информация от текст, изразяване на оценъчни съждения, свързани със съдържанието на възприет текст. Откриване на нови логически връзки между понятия и включването на тези понятия в нови йерархии. Прилагане на книжовните и на стиловите норми в речта. Умения да се оценява съответствие/несъответствие между замисъл и речева реализация. Това равнище обхваща дейности като:

- ориентиране в комуникативната ситуация - оценяване на съответствието между текст и ситуацията, в която е използван: предмет на общуването, участници, цели и условия на общуване;

- анализ на строежа на текста;

- разграничаване на съществено от несъществено в информацията, възприета при четене на текст, и йерархизиране на смислите, извлечени от текста;

-лингвистичен анализ (синтактичен, лексикално-смислов, морфологичен, морфемен, словообразувателен, правописен, пунктуационен) за откриване на отклонения от книжовните норми и на несъответствия между замисъл и речева реализация.

Съотношение между задачите според познавателните равнища:

10% - равнище А: задачи за лингвистични знания;

90% - равнище Б: задачи за четене с разбиране на текст, задачи за откриване и анализ на логически отношения, задачи за откриване и анализ на синонимни и антонимни отношения между изрази, за анализ на фразеологични словосъчетания; задачи за правопис и за пунктуация.

БЕЛЕЖКИ  

1. Авторите са членове на екипа, подготвил и реализирал проекта за компонента български език от Националния изпит - тест 1999/2000 г. В екипа влизат преподавателите от СУ „Св. Климент Охридски": координатор - гл. ас. Татяна Ангелова, членове: гл. ас. д-р Йовка Тишева, гл. ас. Стефка Фетваджиева, както и хон. ас. Любов Шишкова, учителка от Националната гимназия за древни езици и култури. [обратно]

2. След като получим данните от тестовия изпит за страната, ще изготвим подробен отчет за извършената от нас работа. Тогава очакваме от сп. „Български език и литература" да ни предостави възможност да запознаем колегията с него. [обратно]

3. Вж. за изпитната програма в специално издадения от МОН справочник „Наръчник за седмокласници и техните родители. Къде, как, кога ще кандидатствате? (Лесни отговори на трудни въпроси за прием след 7. клас)". С., Анубис, 2000. [обратно]

4. Boom, B. A. Taxonomy of Educational Objectives. Handbook 1: Cognitive Domain. New York; Mckay. [обратно]

5. Стоянова, Ф. Тестология за учители. С., 1996, с. 89. [обратно]

6. Вж. сп. „Български език и литература", 1993, № 4. [обратно]