U bent hier

Stappenplan evaluatie in gemeente en wijk

Evalueren wordt geassocieerd met de laatste fase van de uitvoering van een interventie, gezondheidsbevorderend (GB)-programma, uitvoeringsprogramma van gezondheidsbeleid of wijkgerichte gezondheidsbevordering. Maar het is belangrijk om juist aan het begin keuzen over evalueren te maken. Zo voorkomt u dat u achteraf gezien mogelijkheden voor evalueren heeft gemist. Onderstaande stappen helpen u bij het opstellen van een evaluatieplan (bron Ciao-onderzoek).

Stap 1: Identificeer en betrek stakeholders

  • Identificeer stakeholders (gebruik hiervoor kladblok 1). Gebruik een stakeholder- of netwerkbijeenkomst om te inventariseren wie een rol zou kunnen spelen bij de opzet en uitvoering van evaluatie van het GB-programma. Bijvoorbeeld: een onderzoeker/ epidemioloog van de GGD, iemand van de afdeling statistiek of beleid bij de gemeente, medewerkers van een onderzoeksbureau, (een student van) Hoge School of Universiteit, Sportraad, JGZ en CJG.
  • Betrek stakeholders (gebruik hiervoor kladblok 2). Betrek actief en persoonlijk belanghebbenden of vertegenwoordigers van belanghebbende organisaties. Betrek in ieder geval een stakeholder die al cijfers verzamelt, bijvoorbeeld de GGD. Maak heldere afspraken met de betrokken stakeholders over wie waar verantwoordelijk voor is en spreek verwachtingen uit. Maak ook afspraken over wanneer de cijfers worden aangeleverd en wie deze analyseert en rapporteert. Houdt als programma-manager zelf het proces in de gaten. 
  • Informeer stakeholders. Geef de betrokken stakeholders uitleg over het GB-programma en het belang van evaluatie. Breng de behoeften, belangen en verwachtingen in kaart. Het is belangrijk dat het GB-programma aansluit bij de behoeften en belangen van de stakeholders, zodat zij zich betrokken voelen. Organiseer bijvoorbeeld een interactieve stakeholdersbijeenkomst. Stel een tijdslijn op, deze kan behulpzaam zijn bij het uitleggen aan stakeholders wanneer welke uitkomsten te verwachten zijn.

Stap 2: Bepaal doel en randvoorwaarden

Om achteraf te kunnen vaststellen of het gezondheidsbeleid succesvol is geweest, zijn helder omschreven en toetsbare doelen nodig. 

  • Beschrijf de huidige stand van zaken. Om een evaluatie op maat te kunnen maken, is het belangrijk om een goed beeld te hebben van de stand van zaken rondom het gezondheidsprobleem, bijvoorbeeld overgewicht en obesitas, binnen de gemeente. Wat zijn de prevalentiecijfers en welke groep is het meest vatbaar voor het verkrijgen van overgewicht en obesitas?
  • Formuleer doelstellingen en tussendoelen, op basis van de huidige stand van zaken. Doelstellingen kunnen gericht zijn op gezondheid, gedrag en verandering in gezondheid en gedrag, en op het proces en de output. Betrek in het formuleren van de doelen ook de stakeholders. Zorg dat deze doelen SMART geformuleerd zijn. Verzamel alle doelen en controleer of ze realistisch en meetbaar zijn.

Tips voor het opstellen van evaluatiedoelen

 

  • Werk aan een goede onderbouwing van het programma; wat gaan we doen en welke effecten verwachten we via welke interventies/activiteiten?
  • Formuleer welk doel u wilt bereiken met het evalueren. Houd daarbij in gedachten voor wie u evalueert en aan welke eisen de evaluatie moet voldoen. Formuleer wat de belangrijkste vragen zijn die u zelf beantwoord wilt hebben en ga na wat samenwerkingspartners, bestuurders, inwoners of financiers willen weten. Bedenk hoe zij u kunnen helpen bij het evalueren.
  • Bepaal van tevoren wat er met de uitkomsten wordt gedaan, hoe ze worden gebruikt en wat u zelf met de uitkomsten wilt bereiken.
  • Bepaal de  randvoorwaarden voor evalueren . Denk aan: tijd, geld, deskundigheid en instrumenten, maar ook aan registratiemogelijkheden, standaard formulieren en timing (vermijd drukke perioden).
  • Breng op basis van de inventarisatie focus aan in de evaluatie (gebruik hiervoor kladblok 4). U kunt niet alles evalueren of meten. Waar zal de evaluatie zich op richten? Evalueren van het proces, middelen, bereik en waardering, of effectiviteit? Kies welke soort evaluatie u gaat uitvoeren.

Stap 3: Bepaal wat u wilt weten

Om de evaluatievragen te beantwoorden, bepaalt u wat u gaat meten. Maak daarbij een onderscheid tussen veranderingen in gezondheid, determinanten van gezondheid en de uitkomsten van uw gezondheidsbeleid of programma. Zoek uit wat geschikte uitkomstmaten zijn; maak daarbij zoveel mogelijk gebruik van bestaande indicatoren (normen of streefcijfers). De Evaluatie Matrix kan u en de stakeholders helpen om de evaluatie focus te geven. Neem samen met de stakeholders beslissingen over de evaluatievragen, indicatoren, methoden en instrumenten, doelgroep, tijdsplanning, data analyse en disseminatie en rapportage. Concretiseer je evaluatie door het invullen van de samen met de stakeholders. Bespreek  ook de noodzakelijke logistiek van evaluatie en bepaal het beschikbare budget voor de uitvoering. De checklist budget calculator kan u hierbij helpen.

Tip: Meet ook tussenuitkomsten

Meet ook tussenuitkomsten (indirecte effecten), met een waarschijnlijk effect op de gezondheid. Door deze tussenuitkomsten te meten maakt u zichtbaar dat uw initiatief bijdraagt aan het (op termijn) behalen van de einddoelstellingen. Bijvoorbeeld:
•    de mate waarin bewoners in een wijk participeren in activiteiten
•    de mate van werkeloosheid van bewoners in een wijk
•    de mate van eenzaamheid van bewoners in een wijk
•    de intentie tot verandering van gedrag
•    mate van samenwerking tussen partijen
•    positieve ervaringen van bewoners

Tijdlijnmethode: instrument voor tussentijdse evaluatie van lokale samenwerking.

Voorbeeld: Monitoren om tussentijds bij te sturen

Met de 3D Proeftuinen speelde de gemeente Bronckhorst in op de grote stelselwijzigingen in het Sociale Domein, wat betreft de Wmo/Awbz, de Jeugdzorg en de nieuwe Participatiewet. . In de Proeftuinen wordt met een nieuwe aanpak gewerkt: wijkgericht, integraal, gericht op de stimulering van eigen kracht en verantwoordelijkheid van burgers. Het Evaluatiebureau Publieke Gezondheid heeft in 2013 als onafhankelijke partij meegekeken naar de opzet en uitvoering van de 3D Proeftuinen. In 2014 is de tweede fase van de Proeftuin door het Evaluatiebureau geëvalueerd. Samengevat zijn de doelen/resultaten van de 3D Proeftuin grotendeels behaald. Er is veel verbeterd t.o.v. de eerste fase 3D proeftuinen.
 

Stap 4: Verzamel gegevens

Om te zien of het programma op de goede weg is en de doelen zijn behaald, is het belangrijk om de juiste gegevens en data te verzamelen/bij te houden. Kies meetmethode(n) die het meest geschikt is voor het verkrijgen van de gewenste informatie. Die kan bestaan uit kwalitatieve methoden (onder andere interviews, groepsgesprekken, observatie), kwantitatieve methoden (vaak door middel van vragenlijsten) of een combinatie van beiden. Betrek bij de keuze van evaluatie methoden deskundigen op dat gebied. U kunt bijvoorbeeld samenwerken met de onderzoeksafdeling (en communicatieafdeling) van uw gemeente, de GGD en universiteiten, academische werkplaats of hogeschool.

In deze handreiking vindt u meer informatie over meetmethodes voor het evalueren van GB-programma’s rondom sport en bewegen, overgewicht, depressie, alcohol, drugs, seksuele gezondheid en valpreventie.

Bepaal wie de dataverzameling gaat uitvoeren. En ook bij wie en waar u de benodigde informatie vandaan haalt, wanneer en hoe vaak u dat gaat doen. Maak duidelijke afspraken met samenwerkingspartners over het verzamelen van de gegevens. Ga na welke maatregelen u dient te nemen om de privacy van respondenten te verzekeren, zoals het anonimiseren en beveiligen van gegevens. Communiceer duidelijk aan respondenten hoe u omgaat met gegevens. 

Stap 5: Analyseer en interpreteer gegevens

Om resultaten te kunnen beschrijven, dienen de verzamelde data geanalyseerd en geïnterpreteerd te worden.

Data-analyse

  • Ga samen met de werkgroep na hoe de data geanalyseerd dienen te worden en wie dit kan doen.
  • Het analyseren van kwantitatieve data vereist veelal specifieke kennis van statistiek en vaak ook specifieke software. Zorg dat die expertise aanwezig is of gebruikt kan worden.

Interpretatie van de resultaten

  • Ga na of de behaalde resultaten overeenkomen met jouw vooraf gestelde doelen.
  • Ga na of de resultaten overeen komen met de verwachte resultaten. Zo niet, ga na wat dit zou kunnen verklaren.
  • Wanneer verschillende methoden worden gebruikt voor dataverzameling leg deze naast elkaar en bekijk de consistentie van de informatie.
  • Vergelijk de gevonden uitkomsten met uitkomsten van eerdere jaren.
  • Vergelijk daadwerkelijke uitkomsten met de eerder verwachtte uitkomsten.
  • Documenteer eventuele beperkingen van de evaluatie (bijvoorbeeld bias, generaliseerbaarheid, validiteit).
  • Betrek de begeleidingsgroep of de belanghebbenden bij de duiding van de uitkomsten van de evaluatie. Dit zorgt ook voor een grotere betrokkenheid bij eventuele vervolgstappen.

Stap 6: Communiceer resultaten

Communicatie over de resultaten doet u om de resultaten te delen, maar ook om samenwerkingspartners, bestuurders en inwoners betrokken te houden. Wat heeft het gezondheidsbeleid of wijkgerichte gezondheidsbevordering opgeleverd?  Bepaal aan wie, hoe en hoe vaak de resultaten van het evalueren worden gecommuniceerd. Wilt u informeren, stimuleren of commentaar en advies vragen? Wat is de kern van de boodschap? Bespreek dit ook met samenwerkingspartners en betrokkenen. Voor het communiceren van de uitkomsten van het evalueren kunt u onder andere denken aan de volgende middelen:

  • Persoonlijke gesprekken, groepsgesprekken
  • Nieuwsbrief, folder, poster, advertentie
  • Bijeenkomst met presentatie, (forum) discussie of werkgroep
  • Vergadering, congres of symposium
  • Informatiestand bij andere evenementen
  • Online presentatie; webbericht, sociale media, PowerPoint, video boodschap, animatiefilm
  • Krantenartikel, radiogesprek, interview lokale televisie

Vier successen met alle samenwerkingspartners en betrokkenen, laat ze delen in het resultaat; dit zorgt voor een grotere betrokkenheid en draagvlak voor vervolg. Betrek bij de communicatie de communicatie afdeling van uw eigen organisatie, maar ook die van samenwerkingspartners en bespreek de mogelijkheden.

Tip: Evaluatiegegevens en borging

 

Besteed bij het bespreken van de resultaten met betrokkenen, bestuurders of financiers ook aandacht aan de vervolgstappen die nodig zijn. Laat zien waar deze vervolgstappen aan kunnen bijdragen; bestaande plannen, ambities, vragen van burgers etc. Houd voor deze bespreking rekening met de planning- en beleidscyclus, bijv. begrotingen, subsidierondes. Er is dan meer mogelijkheden om vervolg te geven aan de aanbevelingen.

Ook gevonden

Afdrukken:

Via printer