U bent hier

Stappenplan evalueren

Evalueren wordt geassocieerd met de laatste fase van de uitvoering van een interventie, uitvoeringsprogramma van gezondheidsbeleid of wijkgerichte gezondheidsbevordering. Maar het is belangrijk om juist aan het begin keuzen over evalueren te maken. Zo voorkomt u dat u achteraf gezien mogelijkheden voor evalueren heeft gemist. Onderstaande stappen helpen u bij het opstellen van een evaluatieplan.

Tip: Inspiratie voor een evaluatieplan

Het Format Evaluatie Plan wijkgerichte aanpak (Ciao-onderzoek, Vrije Universiteit, 2014) kunt u gebruiken ter inspiratie of om uw evaluatieplan in te vullen.

Stap 1: Doel en randvoorwaarden bepalen

Om achteraf te kunnen vaststellen of het gezondheidsbeleid, Gezonde Wijkaanpak of initiatief succesvol is geweest, zijn helder omschreven en toetsbare doelen nodig. Zorg dat deze doelen SMART geformuleerd zijn. Verzamel alle doelen en controleer of ze realistisch en meetbaar zijn.

Tips voor het opstellen van evaluatiedoelen

  • Werk aan een goede onderbouwing van het programma; wat gaan we doen en welke effecten verwachten we via welke interventies/activiteiten?
  • Formuleer welk doel u wilt bereiken met het evalueren. Houd daarbij in gedachten voor wie u evalueert en aan welke eisen de evaluatie moet voldoen. Formuleer wat de belangrijkste vragen zijn die u zelf beantwoord wilt hebben en ga na wat samenwerkingspartners, bestuurders, inwoners of financiers willen weten. Bedenk hoe zij u kunnen helpen bij het evalueren.
  • Bepaal van tevoren wat er met de uitkomsten wordt gedaan, hoe ze worden gebruikt en wat u zelf met de uitkomsten wilt bereiken.
  • Bepaal de  randvoorwaarden voor evalueren . Denk aan: tijd, geld, deskundigheid en instrumenten, maar ook aan registratiemogelijkheden, standaard formulieren en timing (vermijd drukke perioden).
  • Breng op basis van de inventarisatie focus aan in de evaluatie. U kunt niet alles evalueren of meten. Waar zal de evaluatie zich op richten? Evalueren van het proces, middelen, bereik en waardering, of effectiviteit? Kies welke soort evaluatie u gaat uitvoeren.

Meer Tips voor het opstellen van doelen (Ciao-onderzoek.nl, Vrije Universiteit, 2014)

Stap 2: Bepalen wat u wilt weten

Om de evaluatievragen te beantwoorden, bepaalt u wat u gaat meten. Maak daarbij een onderscheid tussen veranderingen in gezondheid, determinanten van gezondheid en de uitkomsten van uw gezondheidsbeleid of programma. Zoek uit wat geschikte uitkomstmaten zijn; maak daarbij zoveel mogelijk gebruik van bestaande indicatoren (normen of streefcijfers).

Tip: Meet ook tussenuitkomsten

Meet ook tussenuitkomsten (indirecte effecten), met een waarschijnlijk effect op de gezondheid. Door deze tussenuitkomsten te meten maakt u zichtbaar dat uw initiatief bijdraagt aan het (op termijn) behalen van de einddoelstellingen. Bijvoorbeeld:

  • de mate waarin bewoners in een wijk participeren in activiteiten
  • de mate van werkeloosheid van bewoners in een wijk
  • de mate van eenzaamheid van bewoners in een wijk
  • de intentie tot verandering van gedrag
  • mate van samenwerking tussen partijen
  • positieve ervaringen van bewoners

Tijdlijnmethode: instrument voor tussentijdse evaluatie van lokale samenwerking.

Voorbeeld: Monitoren om tussentijds bij te sturen

Met de 3D Proeftuinen speelde de gemeente Bronckhorst in op de grote stelselwijzigingen in het Sociale Domein, wat betreft de Wmo/Awbz, de Jeugdzorg en de nieuwe Participatiewet. . In de Proeftuinen wordt met een nieuwe aanpak gewerkt: wijkgericht, integraal, gericht op de stimulering van eigen kracht en verantwoordelijkheid van burgers. Het Evaluatiebureau Publieke Gezondheid heeft in 2013 als onafhankelijke partij meegekeken naar de opzet en uitvoering van de 3D Proeftuinen. In 2014 is de tweede fase van de Proeftuin door het Evaluatiebureau geëvalueerd. Samengevat zijn de doelen/resultaten van de 3D Proeftuin grotendeels behaald. Er is veel verbeterd t.o.v. de eerste fase 3D proeftuinen.

Stap 3: Kies een methode

Kies meetmethode(n) die het meest geschikt is voor het verkrijgen van de gewenste informatie. Die kan bestaan uit kwalitatieve methoden (onder andere interviews, groepsgesprekken, observatie), kwantitatieve methoden (vaak door middel van vragenlijsten) of een combinatie van beiden. Betrek bij de keuze van evaluatie methoden deskundigen op dat gebied. U kunt bijvoorbeeld samenwerken met de onderzoeksafdeling (en communicatieafdeling) van uw gemeente, de GGD en universiteiten, academische werkplaats of hogeschool.

Methoden voor proces- en effectevaluatie

U kunt voor het evalueren de volgende methoden gebruiken, bij voorkeur in combinatie:

  • Enquête/vragenlijst; hiermee kunt u meerdere personen op een systematische manier bevragen over een groot aantal onderwerpen. Enquêtes kunt u mondeling, telefonisch, schriftelijk of via internet afnemen. Het is goedkoop en relatief eenvoudig.
  • (Groeps)interview; u stelt mensen vragen over een aantal thema’s. Op deze manier kunt u opinies, ideeën en motieven onderzoeken. U kunt mensen persoonlijk interviewen of in een groep. Interviews leveren veel informatie op, maar zijn tijdrovend en resultaten zijn soms lastig te interpreteren.
  • Observaties zijn geschikt om een snelle indruk van een proces te verkrijgen. U kunt bijvoorbeeld een activiteit of vergadering bijwonen. Documentenanalyse; in documenten (zoals verslagen van overleggen, notulen van vergaderingen, uitvoeringsplannen etc.) staat waardevolle informatie voor procesevaluaties.
  • Effectonderzoek, bijvoorbeeld een design met een (herhaalde) voor- nameting.

Meer methoden en praktische evaluatieinstrumenten vindt u bij Materialen

Stap 4: Verzamelen, analyseren en interpreteren van gegevens

  • Bepaal wie de dataverzameling gaat uitvoeren. En ook bij wie en waar u de benodigde informatie vandaan haalt, wanneer en hoe vaak u dat gaat doen. Maak duidelijke afspraken met samenwerkingspartners over het verzamelen van de gegevens.
  • Ga na welke maatregelen u dient te nemen om de privacy van respondenten te verzekeren, zoals het anonimiseren en beveiligen van gegevens. Communiceer duidelijk aan respondenten hoe u omgaat met gegevens.
  • Het analyseren en interpreteren van de gegevens vereist veelal specifieke kennis van statistiek en vaak ook specifieke software. Zorg dat die expertise aanwezig is of gebruikt kan worden.
  • Betrek de begeleidingsgroep of de belanghebbenden bij de duiding van de uitkomsten van de evaluatie. Dit zorgt ook voor een grotere betrokkenheid bij eventuele vervolgstappen.

Stap 5: Communiceren over resultaten

Communicatie over de resultaten doet u om de resultaten te delen, maar ook om samenwerkingspartners, bestuurders en burgers betrokken te houden. Wat heeft het gezondheidsbeleid of wijkgerichte gezondheidsbevordering opgeleverd?  Bepaal aan wie, hoe en hoe vaak de resultaten van het evalueren worden gecommuniceerd. Wilt u informeren, stimuleren of commentaar en advies vragen? Wat is de kern van de boodschap? Bespreek dit ook met samenwerkingspartners en betrokkenen. Voor het communiceren van de uitkomsten van het evalueren kunt u onder andere denken aan de volgende middelen:

  • Persoonlijke gesprekken, groepsgesprekken
  • Nieuwsbrief, folder, poster, advertentie
  • Bijeenkomst met presentatie, (forum) discussie of werkgroep
  • Vergadering, congres of symposium
  • Informatiestand bij andere evenementen
  • Online presentatie; webbericht, sociale media, powerpoint, video boodschap, animatiefilm
  • Krantenartikel, radiogesprek, interview lokale televisie

Vier successen met alle samenwerkingspartners en betrokkenen, laat ze delen in het resultaat; dit zorgt voor een grotere betrokkenheid en draagvlak voor vervolg. Betrek bij de communicatie de communicatie afdeling van uw eigen organisatie, maar ook die van samenwerkingspartners en bespreek de mogelijkheden.

Tip: Maak een communicatiematrix

Maak een communicatiematrix om te bepalen welk communicatiemiddel het beste past bij de communicatie over de evaluatie aan welke doelgroep. De inzet van de middelen is onder andere afhankelijk van de doelgroep, boodschap en het beschikbare budget.  

Tip: Evaluatiegegevens en borging

Besteed bij het bespreken van de resultaten met betrokkenen, bestuurders of financiers ook aandacht aan de vervolgstappen die nodig zijn. Laat zien waar deze vervolgstappen aan kunnen bijdragen; bestaande plannen, ambities, vragen van burgers etc. Houd voor deze bespreking rekening met de planning- en beleidscyclus, bijv. begrotingen, subsidierondes. Er is dan meer mogelijkheden om vervolg te geven aan de aanbevelingen.

Ook gevonden

Afdrukken:

Via printer