Metode

Prikupljanje podataka

Fokus grupe

Fokus grupa je ekonomična i brza tehnika procjene kojom je moguće prikupljanje velike količine kvalitativnih informacija koje se odnose na realizaciju razvojnih aktivnosti, usluge i postignuća, i druge teme. Voditelj fokus grupe ima ulogu vodiča za 7 do 12 učesnika u diskusiji o njihovim iskustvima, osjećanjima i preferencijama vezano za određenu temu.
U ispitivanjima javnog mijenja, grupe su pažljivo formirane u skladu sa specificiranim demografskim kriterijima kako bi se dobijeni nalazi mogli generalizirati na cijelu populaciju.
U evaluacijskom procesu, koriste se ili za prije – poslije poređenje rezultata ili za retrospektivno ispitivanje učesnika o tome šta misle kako su različite programske komponente utjecale na njih.
Uobičajeno je da se radi audio zapis fokus grupa, međutim, video zapisi su također moguće ukoliko je potrebno uz pomoć statične kamere. Jednosmjerni ekrani nisu dostupni.

Intervjui

Intervjuima se prikupljaju narativne informacije na određenu temu od osoba koje su relevatne za projekat ili program, kroz više-manje strukturiranu diskusiju vođenu od strane intervjuera. Nije uobičajeno da se koriste za prikupljanje podataka za kreiranje projektnog logičkog okvira ili plana za praćenje realizacije projektnih aktivnosti, ali su jako korisni za svrhe formativnog monitoringa i evaluacije.
Ispitanici za intervju se biraju zbog njihovog iskustva ”iz prve ruke” po pitanju teme koja je predmet istraživanja. Oni mogu biti, na primjer, predstavnici lokalne zajednice, stranački dužnosnici na lokalnom i državnom nivou, vanjski stručnjaci kao štio su akademici, novinari, predstavnici vlade, ,eđunarodnih nevladinih organizacija itd.

Grupne diskusije

Grupna diskusija je metoda koja ima karakteristike fokus grupe i individualnih intervjua. Nema toliko izražen fokus na određeno ključno pitanje što je karakteristika fokus grupe. Z razliku d fokus grupa, grupne diskusije mogu ponekad uključivati osobe iziste grupe, ali i drugih.

Upitnici

Istraživanje putem upitnika se odnosi na pisana pitanja u različitim formatima koja su namijenjena cijeloj populaciji ili njihovom uzorku relevantnoj za projekat.
Upitnici mogu biti dizajnirani da mjere ishodišne varijable kao što je zadovoljstvo projektom, posredne varijable kao što je izloženost projektu i pozadinske varijable kao što je starosna dob i spol. Možemo kombinirati pitanja zatvorenog i otvorenog tipa – nakon toga, informacije prikupljene pitanjima otvorenog tipa se kodiraju u kategorije zatvorenog tipa, mada, vrlo često u izvještajima koristimo fraze i originalne izraze ispitanika predstavljene u vidu citata.
Predlažemo Vam korištenje web upitnika za prikupljanje kvantitativnih podataka zbog dostupnosti kompjutera i internet pristupa u institucijama u kojima su zaposleni korisnici Vašeg projekta.
Posebno vodimo brigu da osiguramo da su naši upitnici lako razumljivi i jednostavni za popunjavanje. U nekim slučajevima, pružamo pomoć i podršku ispitanicima za ispunjavanje upitnika.
R3d je naš dvojezični sistem za analizu upitnika koji osigurava da pitanja ne budu izgubljena, analizirajući sva pitanja za milion različitih mogućih značajnih nalaza i ističe najneobičnije i najvažnije nalaze.
proMENTE koristi web upitnike u BiH od 2002. godine koji sada zauzimaju značajno mjesto u većini naših istraživanja jer na veoma ekonomičan način obuhvataju relativno široku populaciju.

Web upitnici

Istraživanje putem web upitnika odnosi se na pisana pitanja u različitim formatima koja su namijenjena cijeloj populaciji ili njihovom uzorku relevantnoj za projekat. U većini naših istraživanja koristimo web upitnike jer se na ekonomičan način može obuhvatiti relativno šira populacija.
Upitnici su posebno dizajnirani da mjere ishodišne varijable. Upitnici mogu biti namijenjeni samo specifičnoj grupi ljudi definisanoj od strane klijenta ili generalno web populaciji, na primjer, putem Facebook oglašavanja.
proMENTE koristi širok spektar on-site i off-site instrumenata za web analitiku, kao što su Google Web Analytics, KISSmetrics, Facebook Insight, Twitalyzer za prikupljanje sveobuhvatnih i korisnih podataka.
Web analitika je mjerenje, prikupljanje, analiza i izvještavanje o podacima koji su prikupljeni na internetu s ciljem boljeg razumijevanja i optimiziranja korištenja web-a. Korištenjem web analitike možemo analizirati podatke kao što su:
  • iz kojeg mjesta su korisnici (posjetioci), šta rade na web stranici,
  • kada i na kojem mjestu napuštaju web stranicu,
  • koliko se dugo zadržavaju na web stranici,
  • koliko često se vraćaju na web stranicu itd.
Kombiniranje metoda web analitike sa kvalititivnim metodama unaprijeđuje se interpretacija web statistika, fokus na (kvalitativno) istraživanje korisnika i validnost prikupljenih podataka. Tokom procjene kampanja, we analitika pomaže u mjerenju ili u boljem razumijevanju efektivnosti koncepta kampanje, identifikaciji ciljne publike i njihovog ponašanja na web-u kao i provjere povratnih informacija od korisnika.

Metoda Mapiranje ishoda (Outcome Mapping-OM)

Mapiranje ishoda (eng. Outcome Mapping, u daljem tekstu OM)  [B]  [B] (Carden, Smutylo, & Earl, 2002) je novi pristup za planiranje, monitoring i evaluaciju projekta koji je razvijen u Međunarodnom centru za razvoj istraživanja (International Development Research Centre www.idrc.ca) uz konsultacije sa Dr.Barry Kimbelom sa Pacifičkog Instituta za istraživanje i evaluaciju (Pacific Institute for Research and Evaluation), kao adaptacija pristupa za Inžinjering ishoda. Može se koristiti projektnom, programskom ili organizacijskom nivu.
Iako je OM kompleksan metod koji ima mnoge sličnosti i razlike sa konvencionalnim metodama, sadrži tri elementa po kojima se jasno razlikuje.
1. OM se fokusira na određen broj „ključnih partnera“ sa kojima program ili projekat ima direktan kontakt, a ne na veliki broj njegovih konačnih korisnika. Ključni partneri se definišu kao „oni pojedinci, grupe i organizacije sa kojima je program u direktnoj interakciji kako bi prouzrokovao promjene i sa kojima program može očekivati određene mogućnosti za promjenu”  [C]  [C] (ibid, p.1). Svaki ključni partner je povezan sa ”ciljnim rezultatom” koji je dio vizije cijelog projekta koji se odnosi na tog ključnog partnera.
2. Veći je naglasak na rezultate, primarno koncipirane kao promjene u ponašanju ključnih partnera i njihove odnose, prije nego na utjecaje. OM ne nastoji da obaveže organizacije koje implementiraju da pokažu da su prouzrokovale brojačno mnogo utjecaja, naročito ne u područjima „gdje je njihov utjecaj … neznatan i opadajući u odnosu na ostale faktore” [D]  [D]  (ibid, p.5). Fokus je na promjeni i razvoju ključnih partnera; kvalitetu, a ne kvantitetu; i na doprinosu (šta su uradili, šta je bilo uspješno?) prije nego na atribuciji (da li su zaista pruzrokovali promjenu) što je ponekad nemoguće dokazati
3. OM uvodi koncept znakova napretka kao razvrstanu ljestvicu koja sadrži specifične promjene u ponašanju ključnih partnera i odnose koji definišu i opisuju napredak s obzirom na svaki ciljani rezultat. Ove vrste promjena je do sada bilo teško skupiti, jer su se poteškoće javljale kod njihove formulacije u skladu sa SMART paradigmom koja se odnosi na objektivno i pouzdano mjerenje  [E]  [E] (Mikkelsen, 2005, p. 164). Također, OM naglašava da ove vrste promjena često predstavljaju suštinu programa za razvoj. Koncept ljestvica znakova napretka je da sistemski definiše i dokumentuje ove vrste promjena. Znakovi napretka za svaki ciljani rezultat su grupisani u ”očekivane” znakove napretka, „željene“ znakove napretka i u znakove napretka koji bi „oduševili”, gdje se prvom grupom opisuje konkretno ponašanje ključnog partnera koje se projektom pretpostavlja da će se desiti, a posljednjom ponašanje koje bi oduševilo i koje je manje-više dijelom vizije.

Metoda Najznačajnija promjena

Najznačajnija promjena (Most Significant Change, u daljem tekstu MSC) [F]  [F] Preporučuje se metoda Najznačajnijih promjena za studije slučaja. je tehnika participativnog monitoringa više zasnovana na pričama nego na indikatorima (Dart & R. Davies, 2003; Rick Davies, 2007). MSC priče su o važnim ili značajnim promjenama – daju bogatu sliku uticaja razvojnog rada i omogućavaju osnovu za dijalog o ključnim ciljevima i vrijednostima razvojnih programa.
Umjesto uvođenja novih profesionalnih vještina, MSC metoda koristi prednosti prakse svakodnevne komunikacije.
MSC ne zamjenjuje druge metode monitoringa i evaluacije – zapravo dobro djeluje zajedno sa metodama kao što su analiza sadržaja i kvantitativna analiza – ali dolazi na svoje tamo gdje je ishod neočekivan, a značenje upitno. Indikatori nam prosto ne pomažu da vidimo šta se promijenilo u tim situacijama.

Stručna procjena

Pri stručnoj procjeni, od 3 do 15 osoba sa stručnim znanjem iz relevantne oblasti se pozivaju da ocijene ili procijene stvari koje su relevantne za provođenje projekta. Ove osobe mogu biti preporučene od strane klijenta i/ili vanjski eksperti; za kompletiranje većih nivoa monitoringa i evaluacije, zahtijevaju se vanjski eksperti.

Milestone intervju

Ovo je intervju kojim se pripadnicima interesenih grupa, koje najčešće čine ključni partneri, postavljaju pitanja o ključnim postignućima ili tzv. prekretnicama (enlg. milestone) koje bi klijent želio da oni realizuju. Intervju se radi sa partnerima kako bi se saznalo o njihovim postupcima koji su vezani za određenu ”prekretnicu”, kao što je rad ka njegovom postizanju ili odgađanje njegove realizacije. Intervju takođe uključuje pitanja o razlozima partnera za njihove postupke te sve ono što je doprinjelo tim razlozima, kako od strane klijenta tako i ostalih. Milestone intervju se može koristiti prije nego se desi prekretnica ili poslije, kako bi se saznalo od partnera šta je još neophodno kako bi došlo do prekretnice ili šta je vodilo ka postizanju prekretnice. Tako da postoje dvije verzije intervjua, verzija ”prije” i verzija ”poslije”. Verzija ”poslije” Milestone intervjua se može koristiti za slične uspjehe koji zapravo nisu bili planirani kao i za one koji jesu. U rezultatskom okviru, prekretnice najčešće mogu biti ”središnji rezultati” ili ”očekivani rezultati” ili mogući rezultat, ali i ne moraju nužno biti u planovima.
Milestone intervju se obično ne navodi u sklopu plana monitoringa i evaluacije, ali se može bilo kada koristiti kao dopuna bilo kojoj drugoj metodi za monitoring i evaluaciju jer: se dešava usred unaprijed planiranih presječnih mjerenja, postavljajući pitanje šta se upravo desilo i šta će se desiti sada? Postavlja pitanje o važnom faktoru koji se nalazi između programskih aktivnosti i programskih rezultata, odnosno, viđenja partnera njihove situacije i njihovih razloga za angažman ili ne ka postizanju određenog cilja.

Intervju ”Faktori promjene”

Intervju se provodi sa malim brojem ispitanika unutar jedne organizacije ili onima koji su jako povezani prema određenom cilju, i postavlja im se pitanje kako oni vide ostale ključne igrače u sistemu pozicionirane na dvije dimenzije relevantne za određene promjene koje klijent želi, obično imajući moć da naprave promjenu i da vide promjenu kao dobit. Ovaj format intervjua pomaže struktuiranju diskusije o tome kako različita konstalacija faktora utiče na to da se promjene dese ili ne.
Kao Milestone intervjui, intervjui ”Faktori promjene” mogu se provesti u bilo koje vrijeme i obično nisu dio M&E plana nego su dizajnirani da ga nadopunjuju. Umjesto toga, osoblje može koristiti intervjue da:
• otkrije kako se promjene dešavaju u određenim situacijama, a u drugim sličnim situacijama ne bez obzira na uloženi napor
• identificira različite grupe i pojedince koji na različite načine utiču na brzinu promjena
• identificira koje različite grupe su bile zainteresirane za određene ciljeve
•identificira ko je unutar dionika imao moć ili utjecaj da realizuje te ciljeve
•identificira bilo kakvu promjenu u tim grupnim interesima u postizanju programskih ciljeva
•istražiti kako te snage unaprijeđuju ili ometaju programske ciljeve
•identificira važne dimenzije što pomaže objašnjenju zašto intervencije ponekad uspiju, a ponekad ne.

Mystery Shopping

Mystery Shopping je metoda u kojoj za to educirane osobe u ulozi korisnika/kupaca opažaju i potom ocjenjuju kvalitetu usluge kod pružatelja usluge i/ili njegovih konkurenata prema unaprijed definiranim kriterijima. Cilj je uvid u kvalitetu usluge, koji omogućuje da se utvrde oni elementi/aspekti usluge koje bi trebalo unaprijediti. Namijenjen je svima onima koji žele pružati prvoklasnu uslugu svojim korisnicima/kupcima, jer omogućava izravni uvid u istinsku kvalitetu usluge te efikasno pomaže u rješavanju nezadovoljstva onih kojima je usluga namijenjena.

Evaluacija 360°

Evaluacija rada pod nazivom 360° predstavlja mehanizam za evaluaciju rada koji se temelji na povratnim informacijama od svih onih s kojima osoba koja se ocjenjuje stupa u kontakt – supervizori, saradnjici, partneri, podređeni i ostali općenito. Ova metoda prikupljanja mišljenja u cilju evaluacije je odličan izvor motivacije uposlenika jer pruža istinski dobru procjenu na koji način se rad uposlenika posmatra iz različitih uglova. Za vrijeme tradicionalnih procjena praksa je bila da se supervizor sastane sa uposlenikom po principu jedan na jedan i da se diskutuje o njegovom radu. Suprotno, metoda evaluacie 360° koristi povjerljive informacije od ljudi koji istinski mogu dati informacije o tome kako uposlenik obavlja svoj posao. Nakon toga se uposlenik i supervizor sastanu kako bi razgovarali o dobivenim informacijama o njegovom radu.
Svi navedeni instrumenti za prikupljanje podataka su dostupni. Iako su u sekciji Predloženi dizajn evaluacije navedeni odabrani instrumenti kojima se može odgovoriti na potrebe evaluacije i koji odgovaraju ukupnom broju dana rada predloženom u budžetu, konačni odabir, a samim tim i ukupan broj dana rada će se napraviti u razgovoru sa klijentom.

Analiza podataka

Rezultati se obično pišu u sveobuhvatnom izveštaju kao sinteza različitih metoda koje su korištene.

Analiza intervjua, fokus grupa itd.

Prije svega se piše sveobuhvatni izvještaj po pitanjima i za svakog ispitanika ili grupu ispitanika. Ovakvi izvještaji nastaju iz pisanih bilješki i audio zapisa bez pravljenja pune transkripcije.
Možemo pružiti i pojedinačni izvještaji za svaku fokus grupu i/ili za svaki uzorak određene populacije, na primjer opština. Sveobuhvatni izvještaj također može biti izrađen.
Mogu se pisati individualni izvještaji za svaku fokus grupu i/ili subgrupu iz populacije npr. svaku opštinu. Takođe se može praviti i sveobuhvatni izvještaj.
Nudimo i transkripciju audio zapisa kao dodatnu opciju kojom se omogućavaju citati i direktne fraze ispitanika koje se navode u finalnom izvještaju. Na ovaj način, osigurava se objektivniji prikaz ispitanikovih stavova i mišljenja koji ujedno i istraživačima omogućava sistematsko praćenje vlastitih predrasuda.

Analiza podataka GIS-om (geografski informacijski sistemi)

Ukoliko su podaci potrebni za istraživanje rašireni po regionu – na primjer, ukoliko se radi u nekoliko opština, škola, kantona itd, naš softver ih za vas stavlja na mapu kako bi ponovo ispričali priču sa geografskog stanovišta.

Statistička analiza upitnika

Odabir upitnika za prikupljanje podataka omogućava kvantitativnu analizu podataka iz web upitnika, što ima slijedeće prednosti:
  • osigurava objektivnije podatke za početno stanje u slučajevima kada se želi spitati napredak u budućnosti
  • mogu se istači razlike na osnovu pozadinskih varijabli (na primjer, razlike između muškaraca i žena, između različitih interesnih grupa itd.)
  • objektivna metodologija može dodatno doprinijeti sa izdvojenim mišljenjima na način da o njima može biti raspravljano u fokus grupama.
Posebna stručnost proMENTE-a se ogleda u korištenju dvojezičnog automatskog sistema r3d, za automatsku produkciju temeljite statističke analize prikupljenih podataka sa privlačnim grafikonima i kompletnim objašnjenjima. Posebna snaga proMENTE je naš dual-jezični automatizirani sistem r3d za automatsku analizu podataka upitnika sa atraktivnim grafovima i potpunim objašnjenjima statističkih analiza.

Dubinska analiza sadržaja intervjua

Analiza sadržaja je sofisticirana tehnika iz oblasti društvenih nauka koja koristi spacijalizirani softver za proces izdvajanja skrivenih značenja u masi informacija koje su prikuplje tokom intervjua sa ispitanicima. Na primjer, vrlo uspješno smo koristili ovu tehniku u prethodnom Sida projektu kako bi identifikovali odnos između spolne ravnopravnosti i siromaštva kroz oči korisnika projekta. primjena ove tehnike podrazumijeva pune transkripcije intervjua.

Citati ispitanika u izvještaju

Čitatelji naših izvještaja često ističu da su navedeni citati najbolji dio izvještaja; oni unose životnost u rezultate istraživanja. Citati iz intervjua su uključeni u cijenu koja je prikazana u sekciji Budžet.

socijalna istraživanja