Mihails Hazans: IZM vērtējums - nekorekta metodoloģija un pārkāpti godīgas konkurences pamatprincipi  (92)

Lai gan AIP projektā īstenošanas gaitā bija vērojami trūkumi, gala rezultāti bija iegūti no ekspertu grupu vērtējumiem saskaņā ar iepriekš apstiprināto un visām ieinteresētām pusēm zināmo metodoloģiju. Šajā rakstā parādīšu, ka IZM vērtējuma pamatā ir pilnīgi nekorekta metodoloģija, turklāt ir pārkāpti godīgās konkurences, starptautiskās sadarbības un projektu vadības pamatprincipi. IZM alternatīvo studiju programmu izvērtējumu jau ir asi kritizējusi AIP, kas savā atklātā vēstulē pamatoti norāda, ka "ministrijas veiktajā ... novērtējumā saskatāmas būtiskas ... metodikas problēmas" un ka IZM vērtējuma izmantošana valsts budžeta vietu sadalē būtu, kā minimums, juridiski nepamatota, kā arī Dr. Alberts Prikulis, kas savā blogā norāda, ka vairāki IZM noklusēti izmantotie pieņēmumi ir nekorekti. Piekrītot AIP argumentiem un lielākoties A. Prikuļa argumentiem, centīšos šeit tos pēc iespējas nedublēt, koncentrējoties nevis uz IZM veikto vērtēšanas kritēriju sadalīšanu divās grupās (pamata un fona kritēriji), bet uz citiem IZM pieļautajiem konkrētiem (un smagiem!) metodoloģijas un ētikas pārkāpumiem.

Ņemot vērā gan to, ka augstākās izglītības reformas tieši vai netieši skar gandrīz visus Latvijas iedzīvotājus, gan to, ka runa ir par kliedzošo nekompetenci augstākā valsts pārvaldes līmenī, mēģināšu izskaidrot lietas būtību saprotami plašam lasītāju lokam. Tāpēc, citējot IZM informatīvo materiālu, īsi atgādināšu dažas AIP projekta detaļas (augstskolu pasniedzējiem tie ir, protams, labi zināmi). Eksperti vērtēja katru studiju programmu pēc 62 kritērijiem, izmantojot sekojošo skalu:

- četri punkti - teicams vērtējums, var būt nenozīmīgas nepilnības;

- trīs punkti - labs vērtējums, var būt nebūtiskas nepilnības;

- divi punkti - apmierinošs vērtējums, vērojami būtiski trūkumi;

- viens punkts - neapmierinošs vērtējums.

Saskaņā ar projekta metodoloģiju studiju programma var tikt atzīta par ilgtspējīgu (I grupa) tad, ja neviens no kritērijiem netika novērtēts ar vienu punktu un ne vairāk kā 15% kritēriju tika novērtēti ar diviem punktiem. Studiju programma var tikt atzīta par problemātisku (III grupa), ja vairāk par 15% kritēriju tika novērtēti ar vienu punktu un tika konstatētas būtiskas attīstības problēmas bez skaidriem risinājumiem.

Gan ekspertiem, gan augstskolām šī metodoloģija bija zināma; augstskolu piedalīšanas projektā bija brīvprātīga.

Tātad dažādu kritēriju punktu saskaitīšana vai vidējā vērtējuma aprēķināšana, uz kā balstās IZM novērtējums, nebija paredzēta (un, kā paskaidrots tālāk, arī nevarēja būt paredzēta!).

Var secināt, ka IZM nav ievērojusi godīgās konkurences principus - kritiski svarīgi lēmumu pamatā ir metodes un formulas, par kuriem ne projekta dalībnieki (augstskolas), ne eksperti nebija iepriekš informēti. Ministra k-gam nepatika AIP projekta rezultāti (pārāk maz programmu III grupā) - un tika radītās formulas (kā tālāk parādīts, nekorektas), pēc kurām budžeta finansējuma zaudē vēl 111 programmas un tiek izveidots visai dīvains augstskolu reitings. Tik pat labi varēja izmantot citas (arī nekorektas!) formulas (piemēram, piešķirot kritērijiem dažādus svarus), pēc kurām būtu citi zaudētāji un citi uzvarētāji. Pat pieņemot, ka vāju studiju programmu Latvijā ir daudz vairāk, nekā AIP projekta rezultātos, piekrist IZM rīcībai ir tas pats, ka pateikt: vēlēšanu rezultātu manipulēšana ir pieļaujama, ja vien uzvarēs "mūsējie". IZM "alternatīvais vērtējums" faktiski diskreditē augstākās izglītības reformas.

Nav ievēroti arī projektu vadības un zinātniskās ētikas principi. Projekta apstiprināšana (un finansējuma piešķiršana) paredz skaidrību par to, ar kādām metodēm tiks sasniegti projekta/pētījuma mērķi, ko drīkst un ko nedrīkst darīt ar starprezultātiem. Ja runa ir par programmu novērtējumu, algoritms ir iepriekš zināms. Konkrēti, AIP projekta metodoloģija paredz, ka programmu var atzīt par problemātisku, tikai balstoties uz neapmierinoši novērtēto kritēriju skaitu, savukārt atšķirības starp teicamo un labo vērtējumu skaitu neietekmē šo rezultātu. Ja starptautiskie eksperti būtu zinājuši, ka IZM plāno saskaitīt vērtējumus, viņi būtu pieprasījuši izmantot tam piemērotu skalu ar vienādiem attālumiem starp blakus esošajiem vērtējumiem (skat. tālāk). Pat ja skalas problēma nebūtu pamanīta projekta recenzēšanas posmā, atšķirībām starp "teicami" un "labi" būtu veltīta daudz lielāka uzmanība projekta sagatavošanas un realizācijas gaitā, un daudzi vērtējumi būtu citādi. IZM rīcībā es saskatu manipulēšanu ar starptautisko ekspertu vērtējumu rezultātiem.

Tagad par metodoloģijas kļūdām. IZM apgalvo, ka alternatīvā vērtējuma pamatā ir "kvantitatīvo datu analīze". Faktiski, ka paskaidrots tālāk, IZM ir veikuši ar AIP projekta starprezultātiem aprēķinus, kuriem šie starprezultāti (un vispār šāda veida dati) nav paredzēti; šo aprēķinu rezultāti nav interpretējami (un, protams, nav lietojami).

Ekspertu sniegtus programmu vērtējumus pēc dažādiem kritērijiem nedrīkst saskaitīt, jo izmantota skala nav "lineārā" (vai "attālumu") skala. Ekspertiem netika uzdots ievērot pēc iespējas vienādu "attālumu" starp vērtējumiem 4 un 3, 3 un 2, 2 un 1 (un četru punktu skalā to diez vai būtu iespējams izdarīt). Gan no vērtējumu apraksta, gan no AIP projekta metodoloģijas izriet, ka vislielākais "attālums" (atšķirībā) ir starp 2 (apmierinoši) un 1 (neapmierinoši), bet vismazākais - starp 4 (teicami) un 3 (labi); atgādināšu vēlreiz, ka pēc apstiprinātās metodoloģijas sadalījumu pa grupām nosaka vērtējumu 1 un 2 skaits, bet atšķirībai starp 3 un 4 ir drīzāk morālā nozīme. To, ka atšķirība starp 4 un 3 mēdz būt subjektīva,  ilustrē LU Ekonomikas un vadības fakultātes pieredze: informācijas tehnoloģiju izmantošana studiju procesā vadības zinību bakalaura un maģistra programmās  tika novērtēta uz 4, bet atbilstošās ekonomikas programmas (kur strādāja citi eksperti) - uz 3, lai gan faktiski atšķirību nav; tas pats attiecās uz bibliotēkas novērtējumu (visas fakultātes programmas apkalpo EVF bibliotēka).

Rezumējot, AIP projektā iegūtie studiju programmu vērtējumi pa kritērijiem pēc savas būtības ir kvalitatīvie (sakārtotie) nevis kvantitatīvie dati, un analizēt tos tā, kā to ir darījis IZM, ir metodoloģiski nekorekti. Šīs analīzes rezultātiem nav un nevar būt zinātniskās interpretācijas. Problēma šeit ir tā, ka pēc IZM "metodoloģijas" skaidri identificējamus nopietnus trūkumus var kompensēt ar grūti identificējamo un mazāk svarīgu atšķirību starp "nenozīmīgām" un   "nebūtiskām" nepilnībām.

Ilustrācijai viens piemērs. Pieņemsim, ka studiju programmai X pēc 10 "pamata kritērijiem"  (IZM izgudrojums, ko argumentēti kritizē gan AIP, gan A. Prikulis, bet lai nu ir...) ekspertu vērtējumi ir pieci četrinieki un pieci vieninieki. Savukārt, tas pašas jomas un līmeņa programmai Z tie ir pieci trijnieki un pieci divnieki. Tātad summa abos gadījumos ir 25. Pat, ja programmas ir vērtējušas dažādas ekspertu grupas, pieņēmumu, ka abas grupas līdzīgi saprot kas ir "neapmierinoši", var akceptēt kā reālistisko, un tad programma X ir daudz sliktākā par programmu Z pēc pieciem pamata kritērijiem. Savukārt atšķirība par labu programmai X pēc pārējiem pieciem pamata kritērijiem (nenozīmīgas nepilnības pret nebūtiskām nepilnībām!) nav tik kritiska (un, iespējams, ir subjektīva). Tālāk pieņemsim, ka no pārējiem ("fona") kritērijiem programmai X 8 ir novērtēti ar 4 punktiem, 35 ar 3 punktiem,  2 ar 2 punktiem un 5 ar 1 punktu (kopā 146), bet programmai Z ir 45 "trijnieki" un 5 "divnieki" (kopā 145); katrai programmai divi vērtējumi iztrūkst. Atkal redzam, kā programmā X ir septiņi problemātiski fona kritēriji, salīdzinot ar pieciem programmā Z. Kopumā, programma X ir sliktāka nekā Z.  Pēc AIP metodoloģijas, programma X, kurai 10 no 60 kritērijiem (17%) ir novērtēti ar 1 punktu, noteikti iekļūs III grupā, bet programma Z, kurai  "vieninieku" nav, bet ir 17% divnieku, būs II grupā. Savukārt pēc IZM "metodoloģijas" abas programmas ar koeficientiem 0,428 un 0,425 nonāks grupā C ar spriedumu "pārtraukt finansējumu", kurš programmai Z nemaz neizskatās taisnīgs.

Ar kvantitatīvo metožu nekorekto pielietojumu vien pietiktu, lai noraidītu IZM metodoloģiju. Tomēr atzīmēšu vēl pāris nekorektu pieņēmumu (šīs manas piezīmes papildina AIP un A. Prikuļa jau teikto). Pirmkārt, IZM metodoloģija noklusēti pieņem, ka dažādu ekspertu grupu (un dažādu kritēriju) vērtējumi punktos ir perfekti salīdzināmi. Šis pieņēmums ir daudz, daudz stiprāks, nekā AIP pieņēmums, ka dažādu ekspertu grupu gala secinājumi par programmu kvalitāti ir salīdzināmi. Piemēram, IZM pieņēmums nozīmē, ka visas ekspertu grupas vienādi saprot atšķirību starp "nenozīmīgām" un "nebūtiskām" nepilnībām. Var piekrist A. Prikulim, ka "faktiski, kā tas praksē daudzkārt novērots, dažādu nozaru un dažādu valstu ekspertiem vērtējumi atšķiras (it īpaši starp eksaktajām zinātnēm un sociālajām zinātnēm)". Protams, salīdzinot dažādu līmeņu programmas, problēma kļūst vēl nopietnāka. Otrkārt, IZM katrai programmu grupai uzskata visus 10 pamatkritērijus par vienādi svarīgiem - atbilstošiem vērtējumiem formulā ir vienādi svari. Tāpat visi (novērtētie) fona kritēriji ir uzskatīti par vienādi svarīgiem. Šo pieņēmumu būtu grūti aizstāvēt, pat ja 4 punktu skalas vietā būtu izmantota vienādu attālumu (piemēram, 10 punktu) skala.

Augstākās izglītības reformas kontekstā programmu snieguma kvantitatīvā analīze tiešām noderētu. Bet tam ir jāizmanto šādai analīzei piemērotie un objektīvie dati. Viens variants būtu savienot personu līmeņa (anonimizētus) datus par pēdējo 10 gadu augstskolu absolventiem ar šo personu nodarbinātības  (un bezdarba) vēstures datiem.

P.S. Šajā rakstā izteikta kritika adresēta tikai tām IZM amatpersonām, kuras ir personīgi atbildīgas par "alternatīvā vērtējumā" veikšanu un publiskošanu.