Рекомендації експертам

РЕКОМЕНДАЦІЇ ЕКСПЕРТАМ ЩОДО ОЦІНЮВАННЯ ПРОЄКТІВ ПОДАНИХ НА КОНКУРСИ НФДУ

 

Як незалежний/а експерт/ка у певній галузі наук, Ви оцінюєте проєкт, поданий на конкурс з підтримки наукових досліджень та розробок НФДУ. На основі оцінок, наданих експерт(к)ами, Конкурсна комісія ухвалює важливі рішення щодо фінансування проєктів. Ви маєте подати свій експертний висновок в електронній формі в особистому кабінеті на сайті НФДУ у встановлені строки. Поданий експертний висновок після можливих уточнень та затвердження комісією Конкурсу не підлягає перегляду чи змінам. Це Ваша особиста відповідальність – підготувати та подати до комісії Конкурсу експертний висновок. Ви не маєте права передати виконання цієї роботи іншій особі.

Тут Ви знайдете практичну інформацію про:

АЛГОРИТМ РОБОТИ ЕКСПЕРТА – покрокова інструкція щодо порядку роботи експерта 

НА ЩО ВАРТО ЗВЕРТАТИ УВАГУ – поради стосовно аналізу тих сторін заявки, які важливі для формування адекватної оцінки якості самого проекту та наукового рівня команди 

ОБҐРУНТУВАННЯ ОЦІНКИ – поради щодо надання аргументів та коментарів, які супроводжують кожну оцінку 

ФОРМУЛЮВАННЯ МІРКУВАНЬ – поради щодо стилістики викладу аргументів та небажаної лексики

 

АЛГОРИТМ РОБОТИ ЕКСПЕРТА

 

 

НА ЩО ВАРТО ЗВЕРТАТИ УВАГУ

  • Майте на увазі, що інформація, яка може Вам знадобитися для оцінювання проєкту за тим чи тим аспектом або критерієм, може бути розпорошена по різних частинах заявки і міститися як в описі власне проєкту, так і в CV керівника та виконавців, кошторисі чи в інших поданих документах. Тому пропонуємо насамперед уважно вивчити всі документи і лише після цього розпочинати процес оцінювання та обґрунтування власних оцінок.
  • Якщо у вас виникають сумніви з приводу достовірності наданої учасником конкурсу інформації (зокрема, щодо основного місця роботи керівника проєкту, попереднього доробку керівника та виконавців проєкту, їхні публікації, участь у міжнародних проєктах, нагороди та відзнаки, стажування, конференції і т.п., а також щодо вартості певного обладнання, матеріалів чи послуг), Ви можете перевірити цю інформацію у відкритих джерелах та обов’язково поінформувати комісію Конкурсу комісію про виявлені розбіжності (за їхньої наявності).
  • Оцінюючи науковий рівень команди проєкту, зважте на відповідність доробку керівника та виконавців етапові їхньої наукової кар’єри. При цьому варто брати до уваги кількість та якість наукових публікацій з огляду на: (1) рівень авторитетності фахового періодичного видання, де оприлюднено статтю чи інший матеріал (наприклад, квартиль видання за класифікацією Scopus/WoS),  авторитетність видавництва (чи іншого книжкового видання), в якому вийшла монографія, (2) значущість і внесок публікацій у розвиток відповідної галузі знань, (3) відповідність таких публікацій темі проєкту, який оцінюється. 
  • Зважаючи на помітну в українській науці тенденцію до штучного створення видимості значної кількості публікацій у міжнародних виданнях шляхом оприлюднення неякісного наукового контенту у комерційно-орієнтованих псевдонаукових виданнях, які працюють  на платній основі, радимо звірити публікації керівника та виконавців проєкту зі списком так званих «хижацьких» журналів https://predatoryjournals.com/journals/ та видавництв https://predatoryjournals.com/publishers/ із сумнівною академічною репутацією. Наявність публікацій у таких виданнях може бути свідченням низької якості оприлюднених статей/монографій. 
  • Варто також брати до уваги такі показники якості наукової праці і визнання вченого, як індекс Гірша та кількість цитувань за наукометричними базами (Scopus, WoS, Google Scholar, відповідно до галузі знань), міжнародні та національні нагороди та відзнаки праць ученого. Іншим свідченням високого рівня вченого є його/її довгострокові наукові стажування та/або робота за контрактом у провідних наукових інституціях за кордоном.
  • Важливо оцінити науково-дослідницький, науково-організаційний та менеджерський потенціал керівника: крім публікацій, зверніть увагу і на його /її досвід участі в міжнародних дослідницьких проєктах, підготовці і проведенні наукових заходів (конференцій, симпозіумів, семінарів та ін.) тощо. 
  • Оцінюючи якість поданого проєкту, важливо встановити, чи подібні проєкти вже виконувалися в Україні, і чим цей проєкт відрізняється від попередніх; чи поданий проєкт вже раніше виконувався (отримував фінансування); чи грунтується цей проєкт на сучасних досягненнях світової і вітчизняної науки, чи не є він псевдонауковим за своєю суттю та чи не містить він ознак плагіату або інших проявів академічної недоброчесності.

 

ОБҐРУНТУВАННЯ ОЦІНКИ

 

  • Оцінюйте поданий проєкт, яким він наразі є, а не його можливий потенціал у разі внесення певних змін. Оцінюйте фактичний зміст, переваги чи вади проєкту, не порівнюючи його з іншими проєктами та уникаючи припущень щодо відсутніх елементів.
  • Спирайтеся на всю доступну вам інформацію про проєкт та його авторів.
  • Будьте максимально конкретними, висловлюйте свої міркування чітко, зрозуміло і лаконічно, уникайте загальних порожніх фраз, спирайтеся на факти.
  • Не переказуйте зміст заявки.
  • Коментарі мають бути посутніми, об’єктивними, безсторонніми, висловленими з повагою до авторів проєкту.
  • Не повторюйте ті самі зауваження у різних частинах форми оцінювання.
  • Не давайте порад щодо можливого вдосконалення проєкту.
  • Уникайте двозначних висловлювань та сумнівів щодо власної компетентності.
  • Не вступайте у заочну полеміку з авторами проєкту.
  • Уникайте морально-етичних оцінок проєкту чи його потенційних наслідків, однак у разі необхідності вказуйте на (не)відповідність проєкту чинним етичним принципам чи нормам науково-дослідної діяльності у відповідній галузі наук, на порушення засад академічної доброчесності тощо.

 

ФОРМУЛЮВАННЯ МІРКУВАНЬ

 

  • Уникайте виразів, які вказують на суб’єктивність судження (на мою думку, я вважаю, наскільки я розумію, я вражений, мені здається і т.п.), натомість оперуйте твердженнями, які спираються на факти і можуть бути доведені.
  • Уникайте оцінкових суджень (це найкращий/найгірший проєкт, апліканти не є серйозними вченими, проєкт не має сенсу, бюджет надто “роздутий” тощо). 
  • Уникайте розмовної лексики та сленгу (це крута ідея, модна/гаряча/топова тема, стильно подано, загальновідомо, популярний учений, і т.п.).
  • Уникайте різких і образливих висловів, надмірно категоричних і безапеляційних тверджень (безнадійний/унікальний проєкт, автор некомпетентний/невіглас/геній, не має жодних перспектив, не вартий уваги, стане переворотом в науці і т.п.).

 

ДОДАТКИ

 

Витяг із «Порядку розгляду та експертизи проєктів із виконання наукових досліджень і розробок, що подаються Національному фонду досліджень України для участі в конкурсних відборах» http://nrfu.org.ua/wp-content/uploads/2020/05/poryadok-rozglyadu-ta-ekspertyzy-proektiv-2.pdf 

  1. Основними принципами розгляду та експертизи проєктів є:

– максимальна відкритість та прозорість;

– незалежність і об’єктивність наукової та науково-технічної експертизи проєктів із виконання наукових досліджень і розробок;

– компетентність і об’єктивність осіб, що проводять експертизу;

– урахування світового рівня науково-технічного прогресу;

– відповідальність за достовірність і повноту аналізу, обґрунтованість рекомендацій експертизи;

– повага до авторських та суміжних прав, а також дотримання принципів наукової етики;

– дотримання засад доброчесної конкуренції;

– запобігання конфлікту інтересів під час розгляду та експертизи проєктів із виконання наукових досліджень і розробок.

  1. Метою експертизи заявки є складання експертом обґрунтованого висновку та рекомендацій щодо спроможності виконання учасником Конкурсу проєкту із виконання наукових досліджень і розробок на належному рівні за формою оцінювання проєкту, встановленою науковою радою Фонду в рішенні про проведення конкурсу. Типові форма та критерії оцінки для проведення експертизи проєктів із виконання наукових досліджень і розробок наведені в Додатку 2 до цього

Порядку.

  1. До початку експертизи експерт має не пізніше трьох робочих днів від дати одержання проєкту(ів) надати згоду на проведення експертизи та задекларувати відсутність конфлікту інтересів та відповідність його/її області експертизи тематичному напряму проєкту.
  2. Експертиза заявок здійснюється експертами протягом п’ятнадцяти календарних днів із дати надходження заявки від комісії Конкурсу. За результатами експертизи складається експертний висновок, який надсилається комісії Конкурсу.

 

Витяг з «ПОЛОЖЕННЯ про дотримання наукових етичних принципів та запобігання конфлікту інтересів під час проведення експертизи та конкурсного відбору проєктів, що фінансуються за рахунок грантової підтримки Національного фонду досліджень України https://nrfu.org.ua/about-us/ethical-principles/ 

ПРИНЦИПИ НАУКОВОЇ ЕТИКИ

  1. Основні принципи професійної та наукової етики і поведінки осіб, що проводять експертизу проєктів

Експерти зобов’язані проводити свою діяльність із дотриманням принципів:

  • верховенства права та законності;
  • поваги до прав і свобод людини, недопущення дискримінації;
  • незалежності, самостійності та ідеологічної нейтральності;
  • об’єктивності та неупередженості;
  • компетентності та професіоналізму;
  • доброчесності та етичної поведінки;
  • конфіденційності;
  • соціальної відповідальності.

Експерти  несуть особисту відповідальність за прийняті ними рішення або вчинені дії.

  1. Вимоги до незалежності, самостійності та ідеологічної нейтральності

Під час оцінювання проєктів експерти  повинні бути незалежними від будь-якого ідеологічного, політичного, адміністративного, бізнесового, громадського впливу або тиску, не допускати зовнішнього втручання у свою професійну діяльність.

Експерти повинні протистояти будь-яким зазіханням на їхню незалежність, відстоювати професійні права, бути впевненими і принциповими у виконанні своїх професійних обов’язків.

Експерти повинні бути самостійними у формуванні професійно обґрунтованих суджень та прийнятті рішень, запобігати будь-яким спробам втручання у процес розгляду або експертизи проєктів.

Експертам не дозволяється вступати у непередбачені порядком проведення конкурсного відбору контакти з особами, які прямо чи опосередковано зацікавлені в результатах конкурсу.

 

  1. Вимоги до компетентності та професіоналізму

Експерти повинні володіти глибокими і системними знаннями у відповідній галузі знань, необхідними для фахового розгляду та оцінки проєктів, у тому числі бути знайомими з останніми досягненнями науки і техніки.

Експерти повинні об’єктивно оцінювати достатність наявних у них кваліфікації та практичного досвіду, наукових знань, навичок та відповідної компетенції для прийняття обґрунтованих рішень та надання  професійних висновків та заключень. Слід відмовитися від експертизи проєкту у випадку відсутності в експерта достатніх знань для кваліфікованої оцінки такого проєкту.

  1. Вимоги до доброчесності та етичної поведінки

Експерти не повинні брати участь у діяльності, яка здатна їх дискредитувати, поза межами конкурсу. Вони повинні уникати вчинення дій, що можуть ставити під сумнів їхню чесність і порядність.

Публічне коментування чи оцінка роботи інших осіб, залучених до конкурсного відбору та експертизи проєктів, є неприпустимими.

  1. Вимоги до конфіденційності

Експерти зобов’язані дотримуватися конфіденційності інформації та не розголошувати відомості, що стали їм відомі під час виконання обов’язків експерта.  Обмеження щодо збереження  конфіденційності інформації не застосовуються до випадків, коли її розголошення передбачено необхідністю дотримання суспільного інтересу та/або вимогами законодавства.

КОНФЛІКТ ІНТЕРЕСІВ

  1. Запобігання конфлікту інтересів

Експерти повинні діяти в умовах відсутності реального чи потенційного конфлікту інтересів.

Експерти на етапі ознайомлення зі складом учасників конкурсу повинні повідомити про наявність або відсутність конфлікту інтересів шляхом складання заяви встановленого зразка.

Якщо мають місце реальні чи потенційні міжособистісні конфлікти чи конфлікти інтересів між різними експертами, залученими до проведення експертизи одного і того ж проєкту, наявність зазначених обставин у випадку, якщо це можливо, повинна бути задекларована. 

У разі виникнення обставин, які вказують на наявність конфлікту інтересів та які не були відомі на початковому етапі конкурсного відбору, експерти повинні повідомити організаторів конкурсу про наявність такого конфлікту та заявити про самовідвід від подальшої експертизи проєкту.

Підставою для відмови у залученні експерта до проведення експертизи проєкту, для оголошення експертом самовідводу від проведення експертизи, а також для відсторонення або відмови члена комісії конкурсу від участі у голосуванні  є:

  • наявність родинних та сімейних зв’язків з особами, які входять до складу виконавців проєкту (далі – організація, що є учасником конкурсного відбору);
  • працевлаштування в організації, що є учасником конкурсного відбору (протягом останніх трьох років перед днем оголошення конкурсу);
  • членство в наглядових або контролюючих органах в організації, що є учасником конкурсного відбору (протягом останніх трьох років перед днем оголошення конкурсу);
  • перебування експерта або члена комісії конкурсу в ролі наукового керівника одного з виконавців проєкту або наявність серед виконавців проєкту особи, що була науковим керівником в експерта або у члена комісії конкурсу  (протягом останніх трьох років перед днем оголошення конкурсу);
  • наявність спільних наукових публікацій з одним із виконавців проєкту або участь у спільних наукових проєктах (протягом останніх трьох років перед днем оголошення конкурсу);
  • інше близьке наукове чи комерційне співробітництво;
  • інша пряма наукова чи комерційна конкуренція.

Експерти повинні заявити самовідвід також за наявності особистого конфлікту з особами, що беруть участь у конкурсі.

Експерти за жодних обставин не повинні приховувати особисті та інші фактори, які впливають або можуть вплинути на об’єктивність експертизи проєктів.

УМОВИ ВІДПОВІДАЛЬНОСТІ

  1. Відповідальність за обґрунтованість, повноту та достовірність висновків і рішень

Експерти беруть на себе відповідальність за обгрунтованість, повноту та достовірність наданих ними висновків.

Висновки експертизи повинні бути обгрунтованими, об’єктивними, заснованими на повному та всебічному вивченні проєкту. 

Експерти несуть відповідальність за фальсифікацію висновків експертизи.

Будь-яке умисне та безпідставне затягування процесу експертизи є недопустимими і тягне за собою відповідальність, передбачену законодавством і цим Положенням.

Експерти несуть відповідальність за будь-які порушення, що сталися з їхньої вини, зокрема стосовно:

  • незаконного використання об’єктів авторського права і об’єктів права промислової власності,
  • порушення конфіденційності інформації, отриманої у зв’язку з розглядом або експертизою проєкту.

Експерти, стосовно яких були встановлені випадки порушень положень, передбачених цією статтею, у разі їх першого скоєння попереджаються про відповідальність та відстороняються від розгляду чи експертизи проєкту. У випадку скоєння повторних порушень такі особи не допускаються до участі в конкурсних відборах у якості експерта впродовж наступних трьох років.

 

Критерії та форма оцінювання проєктів наукових досліджень і розробок, поданих для участі в конкурсному відборі щодо надання грантової підтримки НФДУ

(стислий виклад)

 

Кожен проєкт оцінюється за такими аспектами 

 

  • Якість запланованого дослідження 
  • Значущість проєкту для подальшого розвитку науки / техніки / технологій / суспільства (відповідно до спрямування проєкту) 
  • Якість і реалістичність запропонованого плану виконання проєкту 
  • Науковий доробок виконавців проєкту 

 

 

Кожен із аспектів включає кілька критеріїв оцінювання. Оцінка за кожним критерієм здійснюється експертом за 5-бальною шкалою з обов’язковим обґрунтуванням кожної оцінки.

0 – Проєкт не відповідає критерію або не може бути оцінений через відсутність або неповноту інформації, передбаченої цим критерієм.

1 – Погано – Інформацію щодо оцінюваного критерію представлено неадекватно або вона має критичні недоліки.

2 – Задовільно – У цілому проєкт відповідає критерію, але при цьому є суттєві недоліки.

3 – Добре – Проєкт відповідає критерію, але є деякі недоліки.

4 – Дуже добре – Проєкт дуже добре відповідає критерію, але можливе покращення.

5 – Відмінно – Показник відповідає критерію повною мірою.

 

Аспект 1. Якість запланованого дослідження

У цьому розділі передбачено оцінку обгрунтування наукового проєкту, його спрямованості на вирішення актуальної (нагальної) наукової проблеми, чіткості формулювання мети і завдань, їхньої відповідності сучасному рівню наукових досягнень, новизни наукової ідеї, оригінальності наукової гіпотези, коректності вибору методології та методів дослідження для перевірки наукової гіпотези.

1.1 Мотивація і обґрунтованість наукової концепції: чи адекватно і з релевантними посиланнями описаний актуальний стан досліджень і невирішені проблеми.

1.2 Новизна наукових ідей (у тому числі з позицій міждисциплінарності у разі, якщо дослідження має мультидисциплінарний характер).

1.3 Ясність та актуальність сформульованої мети і завдань дослідження.

1.4 Адекватність запропонованих підходів та методів дослідження, їхня відповідність меті та завданням проєкту.

 

Аспект 2. Значущість проєкту для подальшого розвитку науки / техніки / технологій / суспільства відповідно до спрямування проєкту

У межах цього розділу передбачено оцінку чіткості визначення й аргументованості перспективи подальшого застосування результатів дослідження з метою розвитку науки і нових технологій, а також упровадження в економічній та суспільній сферах. Ураховується повнота і потенційна ефективність оприлюднення результатів дослідження, можливість комерціалізації набутків проєкту.

2.1. Потенційна важливість очікуваних результатів для отримання нових знань, розбудови нових підходів та технологій та / або їхнє значення для розв’язання актуальних практичних наукових/ технічних/ суспільних проблем.

2.2. Ефективність та доречність  запланованих шляхів оприлюднення/ використання результатів дослідження (очікуваних фахових публікацій, виступів на міжнародних конференціях, поширення результатів для широкого загалу та ін.).

 

Аспект 3. Якість і реалістичність запропонованого плану виконання проєкту

У межах цього розділу оцінюється обґрунтованість плану роботи і чіткість проміжних цілей, їхня логічна послідовність; чіткість опису запланованих завдань із зазначенням конкретних результатів, які можуть бути перевірені; узгодженість складності завдань із їхніми часовими рамками; відповідність обладнання, устаткування та матеріалів, зазначених як необхідні для виконання проєкту, реалізації його мети та завдань; чіткість опису обладнання, устаткування і матеріалів та адекватність їхньої ціни в бюджеті.

3.1. Обґрунтованість плану роботи, відповідність часових рамок складності сформульованих етапів та завдань, чіткість проміжних цілей, їхня логічна послідовність

3.2. Відповідність матеріально-технічної бази, обладнання та устаткування (наявного та запланованого) поставленим завданням

3.3. Збалансованість та обґрунтованість загального бюджету проєкту

3.4. Наявність і обґрунтованість оцінки можливих ризиків та передбачення шляхів їх запобігання чи вирішення.

 

Аспект 4. Науковий доробок виконавців проєкту

4.1 Якість публікацій наукового керівника проєкту за останні 5 років.

4.2 Якість публікацій виконавців проєкту за останні 5 років

4.3 Збалансованість команди виконавців: відповідність кількості виконавців та рівня їхньої кваліфікації меті та завданням проєкту, участь молодих учених.

4.4 Участь наукового керівника та виконавців проєкту в наукових програмах, фінансованих вітчизняними та міжнародними грантами за останні 5 років

error: Дані захищено!!