Metodai

Kontrafaktinė analizė

Titulinis
Metodai
Kontrafaktinė analizė

Kontrafaktinė analizė

Atliekant kontrafaktinę analizę siekiama palyginti intervencijos pasiektus rezultatus su rezultatais, kurie būtų pasiekti, jei intervencija nebūtų įgyvendinta. Kontrafaktinio poveikio vertinimo metodas leidžia atskirti, kuri stebimo faktinio pagerėjimo (pvz., pajamų padidėjimo) dalis priskirtina intervencijos poveikiui (kadangi pagerėjimas gali įvykti ne tik dėl intervencijos, bet ir dėl, sakykime, bendro ekonominio augimo).

Siekiant nustatyti, kokie rezultatai būtų pasiekti be intervencijos, sudaromos tiriamoji ir kontrolinė grupės. Tiriamoji grupė sudaroma iš intervenciją patyrusių individų. Kontrolinė grupė – tai individai, kurie savo savybėmis yra labai panašūs į tiriamąją grupę, tačiau nėra patyrę intervencijos poveikio. Kontrolinės grupės pasiekti rezultatai padeda nustatyti, kokius rezultatus be intervencijos būtų pasiekusi tiriamoji grupė. Pateiktas paveikslas atspindi, kad į abi grupes atrinkti individai (apjuosti apskritimais) yra tarpusavyje panašūs (panašumas atspindėtas apribojant labiausiai panašius individus vertikaliomis punktyrinėmis linijomis), išskyrus dalyvavimo intervencijoje faktą, dėl kurio iš tiriamosios grupės tikimasi geresnių rezultatų (geresni rezultatai atspindėti paramą gavusius individus pavaizduojant aukščiau už paramos negavusius individus).

Tiriamoji (paramą gavę individai, P) ir kontrolinė (negavę paramos individai; N) grupės (į grupes atrinkti individai apjuosti apskritimais)

Kaip siūloma Europos Komisijos metodologiniuose dokumentuose, įprastai kontrafaktinio poveikio vertinimo metodai apima dvigubo skirtumo analizę, atsitiktinę subjektų atranką, panašiausių atvejų analizę ir instrumentinių kintamųjų analizę. Taip pat gali būti panaudotas metodų derinys, pavyzdžiui, tiriamosios ir kontrolinės grupių sudarymui gali būti panaudota panašiausių atvejų analizė, o intervencijos poveikio įvertimui – dvigubo skirtumo analizė / dvigubo skirtumo regresija.

Taikymo pavyzdžiai

Dvigubo skirtumo analizė / dvigubo skirtumo regresija

Pavyzdžiui, BGI Consulting, vertindama ES struktūrinės paramos poveikį smulkiajam ir vidutiniam verslui (užsakovas – LR ūkio ministerija), nustatė, kad paramos priemonės „Naujos galimybės“ tiriamosios ir kontrolinės grupės darbuotojų skaičiaus kaita 2007–2009 m. laikotarpiu (t. y. iki intervencijos pradžios) buvo labai panaši, o skirtumai išryškėjo projektų veiklų įgyvendinimo metais. Tokie duomenys patvirtino dvigubo skirtumo analizės tinkamumą intervencijos poveikiui vertinti.

Priemonės „Naujos galimybės“ tiriamosios ir kontrolinės grupių vidutinio darbuotojų skaičiaus dinamika

Dvigubo skirtumo analizė tiriamąją ir kontrolinę grupes lygina skirtingais laiko tarpais. Pirma, vertinamas skirtumas, atsirandantis tarp lyginamų grupių (tarp tiriamosios ir kontrolinės grupių). Antra, nustatomas savybių skirtumas, atsirandantis per tam tikrą laikotarpį (prieš įgyvendinant ir įgyvendinus paramos priemonę). Dvigubo skirtumo analizė atsižvelgia į tai, kad yra tam tikros nepastebimos savybės, kurios lemia skirtumus tarp tikslinės ir kontrolinės grupių. Jei šios savybės ilgainiui nekinta, jų poveikį galima pašalinti palyginus abi grupes prieš ir po intervencijos.

Dvigubo skirtumo analizės logika pavaizduota toliau pateiktame paveiksle, atspindinčiame intervencijos poveikį individų per metus dirbtų dienų skaičiui. Dvigubas skirtumas reiškia, kad skaičiuojamas, pirma, skirtumas laike (prieš ir po intervencijos) ir, antra, skirtumas tarp intervenciją patyrusių individų bei intervencijos nepatyrusių individų. Paveikslas rodo, kad analizuojamu laikotarpiu pasikeitė (padidėjo) tiriamosios (intervenciją patyrusių individų) grupės vidutinis per metus dirbtų dienų skaičius. Kontrolinės grupės vidutinis per metus dirbtų dienų skaičius sumažėjo. Tai yra skirtumai laike („prieš–po“). Iš tiriamosios grupės vidutinio per metus dirbtų dienų skaičiaus atėmus kontrolinės grupės vidutinį per metus dirbtų dienų skaičių, gaunamas dvigubo skirtumo įvertis (intervencijos poveikio įvertis). T. y. dvigubo skirtumo analizė yra paremta prielaida, kad, nesant paramos, tiriamosios grupės vidutinis per metus dirbtų dienų skaičius kistų analogiškai kontrolinės grupės vidutiniam per metus dirbtų dienų skaičiui (kontrafaktinę „kas būtų buvę be intervencijos“ situaciją vaizduoja punktyrinė linija).

Dvigubo skirtumo analizės logika

Dvigubo skirtumo regresija

Dvigubo skirtumo regresija naudinga tuo, kad leidžia nustatyti, ar poveikis statistiškai reikšmingas, be to, ji leidžia atsižvelgti į papildomų periodinių ar struktūrinių veiksnių įtaką.

Vadovaujantis Europos Komisijos metodiniu dokumentu, tikslinga sudaryti toliau nurodytą regresijos modelį:

Y_i,t = a + b₁*T_i + b₂*P_t + b₃*T_i*P_t + ԑ_i,t

kur:

Y_i,t yra i asmens rezultatas (pvz., asmens dirbtų dienų skaičius / darbo turėjimo bent tam tikrą dienų skaičių per metus faktas (1 arba 0) / asmens pajamos) laikotarpiu t;

T_i yra dvi reikšmes galintis įgyti kintamasis: 1, kai asmuo dalyvavo intervencijoje, ir 0, kai asmuo nedalyvavo intervencijoje;

P_t yra dvi reikšmes galintis įgyti kintamasis: 0, atspindintis laikotarpį prieš intervenciją, ir 1, atspindintis laikotarpį po intervencijos;

T_i*P_t yra dviejų anksčiau aprašytų kintamųjų rezultatas, kuris įgyja 1 reikšmę tik tuo atveju, kai imamas intervencijoje dalyvavusio asmens rezultatas laikotarpiu po intervencijos;

ԑ_i,t yra regresijos paklaida;

a, b₁, b₂, b₃ yra regresijos parametrai, kuriuos siekiama įvertinti:

parametras a atspindi vidutinį intervencijoje nedalyvavusių asmenų rezultatą (pvz., pajamas) laikotarpiu iki paramos gavimo;
parametras b₁ atspindi pradinį skirtumą tarp tiriamosios ir kontrolinės grupės;
parametras b₂ atspindi intervencijoje nedalyvavusių asmenų rezultato (pvz., pajamų) skirtumą tarp laikotarpių;
parametras b₃ atspindi poveikio įvertį;
kartu įvertinamas ir parametrų reikšmingumas, pavyzdžiui, nustačius, kad poveikio įvertį atspindintis parametras yra statistiškai nereikšmingas, tektų susilaikyti nuo tvirtų teiginių, kad parama tikrai turėjo tokį poveikį.

Tokio regresijos modelio sudarymui naudojami ekonometriniai paketai, pavyzdžiui, nemokama R programa (https://www.r-project.org/).

Metodai

Kontrafaktinė analizė

Taikymo pavyzdžiai

MŪSŲ KLIENTAI