Автоевалюація (самооцінювання) в позашкільному навчальному закладі

Автоевалюація (самооцінювання) в позашкільному навчальному закладі Професор, доктор наук Бочаров Сергій Вікторович

література Гришина І.В. Самооцінка діяльності навчального закладу / І. В. Гришина // Управління школою. - 2006. - №35. - С. 2-10. Гриневич Л. Самооцінювання шкіл і демократизація управління освітою / Л. Гриневич // Рідна школа : Науково-педагогічний журнал. - 2005. - №1. - С. 21-24. Самоаналіз та самооцінка діяльності закладу освіти // Сільська школа України. - 2005. - № 28. - С. 12-39. Милан П. Самооценивание образовательных учреждений - новый вызов чешским школам / Пол Милан // Сибирский учитель. - 2007. - №6. - С. 48-51. Процак О. Самооцінювання роботи школи / О. Процак // Підручник для Директора : Журнал управлінської компетентності. - 2004. - №3-4. - С. 5-53. Фишман Л. Сам себе инспектор: самооценка качества управления школой / Л. Фишман, Н.В. Рогожкина, В.Н. Чупин // Библиотека журнала "Директор школы". - 2005. - №7. Самооценка школы. Методическое руководство // http://upr.1september.ru/2007/15/4.htm.

евалюація це: Систематичний процес, який включає збір інформації та звітування про стан речей, який виконується для того, щоб полегшити процес прийняття рішень. Г. Мізерек   Процес збору та інтерпретації даних з метою прийняття рішення. К. Гелловей   Процес діагностувально-оціночного характеру, який включає елементи виміру, висловлення думки та прийняття рішення. Д. Д. Гілберт   Систематичний і явний процес збору інформації щодо істоти, характеру і вартості певного явища. Г. Сімонс Систематичне дослідження вартості або ознак конкретної програми, дії або об’єкту з точки зору прийнятих критеріїв з метою їх удосконалення, розвитку або кращого розуміння. Л. Корпорович

Розвиток евалюації Дослідження I покоління (Р. Тайлер, l. ’30) – евалюація ґрунтується на вимірних даних. Дослідження IІ покоління (Л. Кронбах, l. ’60) – евалюація ґрунтується та вимірних даних та описі (“контекст”). Дослідження IІІ покоління (Р. Стейк, l. ’70) – завдання евалюації – підтримка процесу прийняття рішень в управлінні, підготовка оцінки. Дослідження IV покоління (Губа, Лінкольн, l. ’80) – евалюація конструктивна – факти і процеси суспільного життя контролюються особами, які приймають у ньому участь,брак об’єктивних суджень.

Евалюація сьогодні (IV покоління евалюації) Демократична евалюація. Характерні риси: Особи, що підлягають евалюації можуть і повинні мати вплив на її форму; Особи, що підлягають евалюації повинні приймати участь у проведенні евалюації; Всі рішення, що стосуються евалюації, повинні бути явними; Необхідно розповсюджувати результати евалюації; Евалюація повинна бути інструментом, завдяки якому навчаються всі задіяні в цей процес особи.

Евалюація у навчальному закладі це систематичний збір, класифікація та оцінювання даних, що стосуються документів, дій та осіб. Евалюація проводиться за визначеними критеріями і її основною метою є прийняття рішення щодо майбутніх дій.

Навіщо проводимо самооцінювання? В залежності від мети дослідження оцінювання може бути звітним (це є порівняння реального стану речей із зовнішніми очікуваннями) та професійного розвитку (акцентується на сталому розвитку професіоналізму педагога)

Захід, що підлягає евалюації Початкова автоевалюація Формативна автоевалюація Кінцева автоевалюація (сумарна) Відстрочена автоевалюація Види автоевалюації з огляду на час її проведення час

„Тільки заплановані людські дії можуть підлягати евалюації.” Л. Корпорович Наприклад, неможливо провести евалюацію поведінки учнів, але можемо провести евалюацію програми протидії агресивній поведінці внавчальному закладі. об’єктом оцінювання можуть бути усі проведені школою заходи

Елементи запланованих дій, які можуть підлягати автоевалюації ПОДІЇ ПРОБЛЕМА ПРОЕКТ ВИРІШЕННЯ ПРОБЛЕМИ ВИКОНАННЯ ПРОЕКТУ РЕЗУЛЬТАТИ

Оцінка вартості запланованого дослідження Що нового для прийняття рішення можуть принести результати запланованого дослідження? Наскільки результати дослідження будуть достовірними? Наскільки результати дослідження є необхідними для прийняття даного рішення? Які були би втрати від неправильно прийнятого рішення? Співвідношення витрат на дослідження у порівнянню з можливим прибутком, що виникає з результатів цього дослідження.

ОСНОВНІ НАПРЯМКИ САМООЦІНВАННЯ В НАВЧАЛЬНОМУ ЗАКЛАДІ Професійний розвиток педагогів Організаційний розвиток Методи навчання і виховання Програма навч. закладу Професійне вдосконалення Співпраця з батьками Атестація педагога Організаційна культура н. з. Наставництво Виховні програми Управління н.з. Командна робота Розвиток дидактичного процесу Заняття Предметна схильність дітей Міжпредметні зв'язки Методична підтримка педагогів Освітні проекти

Етичні засади евалюації Ретельність Явність всіх дій Свідома згода всіх, хто бере участь – контракт Секретність даних Інформування всіх учасників та зацікавлених осіб

ЕТАПИ ОЦІНЮВАННЯ І. ПІДГОТОВКА планування заходів (план оцінювання) проект оцінювання ІІ. РЕАЛІЗАЦІЯ збір даних ІІІ. ПІДСУМОК аналіз даних Підведення висновків, розробка рекомендацій розповсюдження результатів

Планування самооцінювання Мета: Навіщо це робимо? Цільова група: головна цільова група, решта груп? Предмет: Що має бути піддане оцінюванню? Дефініція якості: Що ми вважаємо за якість? що буде свідчити про успіх? Перспектива: На чому концентруємо свою увагу (вклад, процес, результат дослідження об’єкту/ програми)? Виконавці: Хто проектує, хто проводить дослідження? Хто збирає дані? Хто їх проаналізує? Час: Коли і скільки часу має бути проведене дослідження? На коли потрібно дані (результати)? Засоби: Які нам будуть потрібні засоби для проведення дослідження? Методи: Яким чином буде проведено самооцінювання?

Елементи проекту евалюації Мета Евалюації: .................................. Предмет евалюації ...................................... КЛЮЧОВІ ПИТАННЯ КРИТЕРІЇ МЕТОДИ ВИБІРКА ЗБІР ДАНИХ Це питання, на які нам необхідно відповісти в процесі евалюації. Це загальні, відкриті питання. Критерії дають можливість оцінити захід. Відповідаючи на ключові питання описуємо захід. За допомогою критеріїв можемо оцінити, чого він вартий з точки зору наших критеріїв. Вибираємо методи дослідження. Методи повинні доповнювати один одного і надати можливість отримати відповіді на ключові питання. Окреслюємо об’єкти (наприклад, особи, лекції, журнали), де будемо шукати відповіді на ключові питання. Об’єкти повинні бути доступними та важливими для реалізованого заходу. Розробляємо графік всього процесу дослідження і визначаємо час і відповідальні особи. Графік також дозволить контролю-вати етапи евалюації.

Приклади критеріїв оцінювання: придатність (на практиці) відповідність спільність влучність істотність тривалість організаційна справність ефективність нагальність розповсюдженість

Предмет евалюації: виконання домашніх завдань дітьми Мета евалюації: зібрання даних, які дозволять краще пристосувати заняття до потреб дітей Ключові питання Критерії Методи Вибірка Збір даних 1. Як досягаються цілі завдань _ Аналіз щоденників Спостереження Інтерв’ю з педагогами - Всі щоденники - Вибрані заняття - Всі ведучі Лютий – інший педагог Березень –психолог 2. Яка думка про виконання домашніх завдань у дітей, батьків, педагогів? Корисність, ефективність Анкета для учнів Анкета для батьків Групове інтерв’ю з педагогами - Всі У, що ходять на заняття + 10% інших У - Всі Б учнів, які ходять на заняття - Всі П, що ведуть заняття Останнє заняття у І півріччі - психолог Роздати учням на перших заняттях ІІ півріччя Лютий – інший вчитель 3.Резуль-тати занять Корисність, ефективність Аналіз щоденників Анкета для учнів Анкета для батьків Всі Всі Всі - Всі _

Методи дослідження, які використовуються під час проведення евалюації Анкетування Інтерв'ю Спостереження Аналіз документів

Анкетування Переваги: дослідження проводиться швидко і легко; інформація про загальність явища (питання “скільки”); можливість статистичного аналізу зібраних даних; анонімність. Недоліки: ґрунтується на деклараціях (думках) респондентів; виключає нетипові факти (узагальнення даних); не відповідає на питання “як” і “чому”; відсутність можливості внесення змін під час проведення дослідження; небезпека маніпулювання або неправильної інтерпретації.

Як формулювати питання в анкеті Формулюйте короткі питання Формулюйте питання чітко і зрозуміло – без складних слів; не задавайте питання в негативній формі Задавайте одновимірні питання – тільки одна справа в одному питанню Використовуйте повний список можливих відповідей Не задавайте питань, які викликають занепокоення Не задавайте питань, які натякають на відповідь

Види питань а анкеті Відкриті – не забагато Частково відкриті – безпечний вихід Закриті – якщо знаємо всі можливі варіанти відповідей альтернативні – „так”, „ні” або „за”, „проти” диз'юнктивні – багато відповідей, вибрати одну кон'юнктивні – багато відповідей, можна вибрати декілька Контрольні – перевіряємо щирість відповідей – використовуємо різні способи, але питаємо про те саме Фільтруючі – відсів зацікавлених осіб Проекційні – як ви думаєте, що про це думають інші? З упорядкуванням варіантів – по-черзі

Структура анкети ВСТУП назва основна інформація: хто проводить дослідження, яка мета дослідження, запрошення до співпраці, подяка за співпрацю інструкція, як відповідати на питання ОСНОВНА ЧАСТИНА питання: від загальних до конкретних логічна послідовність логічно побудований спосіб надання відповідей на питання ЗАКІНЧЕННЯ дані респондента (вік, стать, місце праці, стаж тощо) РОЗМІР: невеликий, наскільки це можливе

Інтерв’ю Переваги: погляд на дійсність з перспективи конкретних осіб; можливість з’ясовування, додаткових питань; можливість виправлення помилок під час дослідження; можливість індивідуалізації мови. Недоліки: процедура дослідження і аналізу даних поглинає багато часу і роботи; відсутність анонімності; великий вплив дослідника на дослідження; відсутність можливості кількісного узагальнення результатів дослідження.

Види інтерв’ю За планом (стандартизоване) Вільне (нестандартизоване) Індивідуальне Групове

Фокусне дослідження Переваги: охоплення суспільного контексту, відкриття емоційного аспекту, гнучкість проведення дослідження. Етапи реалізації: дефініція проблеми дослідження, планування (учасники, місце, аналіз та інтерпретація результатів, звіт). Учасники: 8-12 осіб; підбір з метою дослідження; особи, що не залежать одна від одної. Модератор фокусної групи: вміння керувати дискусією, створювати сприятливу атмосферу, активно слухати (парафразування, з’ясовування, додаткові питання), розуміти та використовувати невербальні сигнали. Сценарій: список питань (від двох до двох десятків, на одній сторінці). Використання проекційної техніки: тест незакінчених речень, тести – малюнки, асоціація.

Сценарій фокусного дослідження Нарис питань Обмежена кількість питань (адекватність до часу і можливостей респондентів) Основні засади впорядкування питань: - порядок, логічний з точки зору дослідження - від загальних до докладних - від легших до складніших - від нейтральних та приязних до більш клопітливих

Спостереження Переваги: Виявлення контекстів; можливість введення змін до процедури дослідження. Недоліки: небезпека суб’єктивізму; великий вплив дослідника на дослідження; процедура дослідження і аналізу даних поглинає багато часу і роботи; відсутність можливості кількісного узагальнення результатів дослідження.

Чому варто спостерігати? Можливість зрозуміння контексту. Можливість самостійно побачити, як функціонує програма (реальна, а не уявна реалізація програми). Можливість помітити явища, на які не звертають увагу учасники програми. Можливість помітити факти, про які учасники програми не бажають розповідати в анкетах або інтерв’ю. Можливість використати особисті спостереження як частину зібраних даних (збільшується різносторонність аналізу).

За чим спостерігати? Фізичне оточення Суспільне середовище Поведінка учасників (у формальних ситуаціях та вільному часі) Мова, яку використовують учасники Невербальна комунікація

Виміри спостереження За участю Явний Явність цілей дослідження Короткий час спостереження Спостереження охоплює тільки фрагмент програми Без участі Прихований Потаємність цілей дослідження Довгий час спостереження, багатократність Спостереження охоплює всю програму

Спостереження Зрозуміти подію з перспективи учасника і описати з точки зору спостерігача. Не путати опису подій з описом реакцій на дані події. Пам’ятати про свій вплив на ситуацію; за вами також спостерігають. Навчитись мови учасників програми та передати її у звіті. Робити докладні, конкретні нотатки, описувати. Підкреслювати графікою (курсив, лапки, інший колір) де є спостереження інших осіб, де описи, а де ваші особисті думки.

Аналіз документів Переваги: погляд на дійсність з перспективи запланованих цілей та “доказів” їх досягнення. Недоліки: фрагментарність документів та відсутність знання про умови їх створення; складнощі з пошуком документів; секретність деяких документів.

види документів, що підлягають аналізу Письмові документи: ■ Звіти і протоколи засідань різних шкільних об’єднань. ■ Думки і свідчення. ■ Шкільні і домашні учнівські роботи. ■ Класні журнали. ■ Статті з преси про школу. ■ Архіви; наукові тексти. Цифрові документи: ■ Місцева статистика, котра стосується освіти (нп. опрацьовані управлінням освіти чи органами місцевого самоврядування). ■ Кількісні опрацювання, котрі є у розпорядженні школи (нп. результати класифікацій, зовнішні іспити, чи частота учнів). Візуально-звукові документи: малюнки та інша ручна праця, фотографії, магнітофонні та відео записи.

запитання, які слід поставити аналізуючи документ Чи автор був експертом у галузі, якої стосується документ? Чи автор був безпосереднім свідком/учасником описаних подій, чи опис з’явився на підставі опису чужих стосунків? Яку мету переслідував автор документа, коли його створював? Чи автор документа наважився висвітлити негативну інформацію? На скільки автор був під тиском оточення і прагнув уникати відповідальності за представлення об’єктивного стану речей, щоби нп. не перейти дорогу директорові школи?

Методи аналізу даних Статистичні методи аналізу даних ■ категорії, пропорції, графіки. Якісні методи аналізу даних ■ селекція і впорядкування зібраного матеріалу; ■ конструювання аналітичних інструментів; ■ інтерпретація даних; ■ складання висновків із зібраного матеріалу і презентація результатів дослідження.

Приклад структури звіту Вступ І. Опис оцінювального заходу/сфери Що це є? Чому ми хотіли це досліджувати? ІІ. Опис оцінюваннят Яку інформацію хочемо отримати? Якими ми скористалися методами? ІІІ. Опис даних і їх збір Які дані ми отримали в результаті оцінювання? Які дані нам не вдалося отримати і чому? Коли і за яких умов відбувався збір даних? IV. Підсумок Найістотніші завдання, згадані у звіті, зібрані на одній сторінці. V. Результати Презентація як спроба дати відповіді на запитання, котрі ми поставили, проектуючи оцінювання. VI. Висновки Презентація за нп. критеріями оцінювання. VII. Поради VIII. Доповнення Повинно містити інструменти, за допомогою яких ми збирали дані; додаткові матеріали.

Приклад структури звіту 1. Хроніка Події, зустрічі, склад проектної групи, труднощі, котрі з’явилися у процесі оцінювання. 2. Проведене дослідження Сфери, способи дії, методи, інструменти. 3. Здобутий досвід Стосується вибору сфер, стандартів, критеріїв, методів, вжитих у дослідженні. 4. Наслідки оцінювання Які зроблено висновки на майбутнє?, Які зміни заплановано у дидактичному, виховному процесах, в удосконаленні вчителів? 5. План діяльності на наступний етап Що буде предметом наступних досліджень? 6. Інформація для нагляду Про які стверджено проблеми/слабі і сильні сторони, про які повинен знати нагляд чи впроваджу вальний орган? 7. Очікування Які є очікування з боку керівництва школи, нагляду, батьківської ради 8. Додатки Інструменти, умови, приклади, результати, котрі можуть цікавити інших.

Організація даних у звіті з проведеної евалюації 1. Ключове питання Анкета Критерії Інтерв’ю 2. Ключове питання Спостереження Критерії Аналіз документів 3. Ключові питання Анкета Критерії Аналіз документів

Звіт – що необхідно продумати Для кого пишемо: Респонденти (учасники), Керівник програми, Начальник, Організації, установи (наприклад, донори), Клієнти, Інші читачі. Позиції: Естетична – приємність, добрий настрій, емоційний аспект; Наукова – поглиблення розуміння, переконання читача у якості та достовірності звіту; Моральна – зріст свідомості; Активізуюча – постачання рекомендацій щодо дій.