Evalueren helpt om inzicht te krijgen in de effectiviteit van uw beleid. Ook helpt het om uw plannen bij te sturen of door te ontwikkelen. Op deze pagina leest u meer over dit onderwerp. 
 

Waarom evalueren?

Evalueren:
•    helpt bij het tussentijds bijsturen.
•     geeft inzicht in het verloop van het proces. Wat werkt goed en wat kan beter?
•    houdt bestuur, samenwerkingspartners en burgers betrokken.
•    helpt bij verantwoording, agendering en regelen van financiering.
•    geeft inzicht in het effect van uw beleid.
 

Wat is evalueren?

Evalueren is het beoordelen van (een deel van) het verloop of de resultaten van het project. U bespreekt bijvoorbeeld samen hoe het proces verloopt, en u beoordeelt de meetgegevens die met monitoring zijn vastgelegd. 

Manieren van evalueren

Er zijn verschillende manieren om te evalueren. Om de juiste vorm en methode te kiezen, is het van belang te bepalen wat u wilt weten. Welke vragen wilt u beantwoord hebben? Welke manier van  evalueren u kiest, hangt hier namelijk vanaf. U kunt bijvoorbeeld kiezen voor:

Als u wilt weten of uw beleid op de juiste wijze is uitgevoerd of als u inzicht wilt in succesfactoren of wat beter kan, dan kunt u een procesevaluatie uitvoeren. U meet dan bijvoorbeeld:

  • De samenwerking met externe partijen, afdelingen of beleidsterreinen;
  • De uitvoering van het programma of beleid;
  • De ervaringen van samenwerkingspartners en doelgroepen;
  • Mogelijke externe factoren die invloed hebben op het beleid.

U vertaalt deze punten dan in meetbare indicatoren. Voor het uitvoeren van een procesevaluatie kunt u verschillende methoden gebruiken. Denk aan aanwezigheidsregistraties, interviews of focusgroepgesprekken met deelnemers en professionals. Ook (korte) vragenlijsten om bijvoorbeeld de klanttevredenheid te meten, kunnen een goede manier zijn. Verder zijn notulen, logboeken en observaties vaak een belangrijke bron van informatie.

Als u wilt weten of uw beleid  het gewenste effect heeft, voert u een effectevaluatie uit. Bij een effectevaluatie vergelijkt  u situaties voor en na de interventie.

Welke effecten u onderzoekt, hangt af van de geformuleerde doelstellingen en de gekozen uitkomstmaten. U kunt denken aan: kennis, vaardigheden, gedrag (bijvoorbeeld meer gaan bewegen) of gezondheidswinst (bijvoorbeeld minder overgewicht).

Bij het uitvoeren van een effectevaluatie is het belangrijk dat u vooraf  en na afloop van de  implementatie de situatie in kaart brengt. Zo kunt u analyseren of dat het beleid, aanpak of interventie effect heeft gehad. Hiervoor kunt u gebruik maken van verschillende instrumenten. U vindt deze instrumenten ook op deze pagina.

Stel dat u wilt weten of uw aanpak tegen overgewicht heeft gezorgd dat er het overgewicht onder inwoners is verminderd, dan kiest u een effectevaluatie. Wilt u weten hoe het proces  is verlopen, dan doet u een procesevaluatie. Een combinatie van manieren is ook goed mogelijk. 

Monitoren is belangrijk voor goed evalueren

Om goed te kunnen evalueren is het handig om gedurende het hele traject te monitoren. Monitoren houdt in dat u van begin tot eind bijhoudt en vastlegt hoe het proces verloopt, en wat de eventuele resultaten zijn. U voert hiervoor een reeks metingen op verschillende momenten uit. U meet bijvoorbeeld:

•    Bereik
•    Gebruik
•    Gedrag
•    Gezondheidswinst
•    Kennis
•    Waardering

Evalueer niet alleen na afloop

Evalueer niet alleen na afloop, maar ook tussentijds. Evalueer niet alleen de einduitkomst, maar ook de tussen- en procesuitkomst. Met name bij een integrale aanpak is tussentijds evalueren belangrijk. Want bij inzet van verschillende interventies en inspanningen op meerdere niveaus die samenhangen, is het effect van uw beleid vaak lastig vast te stellen. 
 
Bijvoorbeeld: bij beleid om het overgewicht onder kinderen in de wijk naar beneden te brengen, kijkt u niet alleen naar hoe het staat met het percentage kinderen met overgewicht (einduitkomst). U besteedt ook aandacht aan het verkrijgen van inzicht in het aantal kinderen dat meedoet aan beweegactiviteiten (tussenuitkomst) én het draagvlak bij lokale partijen (procesuitkomst). 

 

Stappenplan voor evalueren

Stap 1

  • Met welke partijen heeft u te maken?  Bijvoorbeeld samenwerkingspartners, bestuurders, inwoners en financiers. Dit zijn uw stakeholders. Bedenk wie een rol heeft in het opzetten en uitvoeren van de evaluatie.
  • Betrek stakeholders. Zorg dat zij actief meedoen. Denk aan een stakeholder die cijfers verzamelt, bijvoorbeeld de GGD Gemeentelijke/gewestelijke gezondheidsdienst (Gemeentelijke/gewestelijke gezondheidsdienst)-epidemioloog of onderzoeker van de gemeente. 
  • Informeer stakeholders. Geef uitleg over de evaluatie. Het is belangrijk dat de evaluatie aansluit op wat zij willen weten.

Stap 2

  • Beschrijf de huidige stand van zaken. Zorg voor een goed beeld rondom de gezondheidssituatie voordat u begint met het uitzetten van beleid, om later te kunnen zien welke resultaten zijn geboekt. 
  • Breng focus aan. Evalueert u het proces, de middelen, het bereik en waardering, of de effectiviteit?
  • Stel haalbare doelen. Houd in gedachten voor wie u evalueert en op welke vragen de evaluatie antwoord moet geven. Houd rekening met randvoorwaarden zoals tijd, geld, deskundigheid en instrumenten. 
  • Neem samen met stakeholders beslissingen over indicatoren, methoden, doelgroep, tijdsplanning, data-analyse en rapportage. Maak zoveel mogelijk gebruik van bestaande indicatoren. Een indicator is een meetbaar begrip, bijvoorbeeld 'aantal valongelukken in 2022 onder 75-jarigen',  dat iets kan zeggen over het succes van de aanpak.  Ga goed na of de gekozen indicatoren ook daadwerkelijk iets zeggen over het resultaat. 
  • Bepaal de focus met De Evaluatie Matrix of Het Vizier.

Stap 3: Verzamel gegevens

  • Verzamel gegevens. Ga na of de aanpak op de goede weg is door de juiste gegevens te verzamelen. Dit kan bijvoorbeeld samen met de onderzoeksafdeling van de gemeente, GGD Gemeentelijke/gewestelijke gezondheidsdienst (Gemeentelijke/gewestelijke gezondheidsdienst), universiteit, academische werkplaats of hogeschool.
  • Maak afspraken over meten. Bespreek met stakeholders wie de gegevens verzamelt, waar die vandaan worden gehaald en hoe vaak dat gebeurt. Bespreek welke maatregelen u neemt om de privacy van respondenten te verzekeren.

Stap 4

  • Analyseer de gevonden gegevens. Ga met stakeholders na hoe u gegevens gaat  analyseren en wie dit gaat doen doen. Bijvoorbeeld het analyseren van kwantitatieve data vereist veelal specifieke kennis van statistiek. Zorg dat die expertise aanwezig is.
  • Interpreteer resultaten. Ga na of de behaalde resultaten overeenkomen met vooraf gestelde doelen. Zo niet, ga na hoe dit komt. Betrek de stakeholders bij de duiding van de uitkomsten. Dit zorgt ook voor een grotere betrokkenheid bij eventuele vervolgstappen.

Stap 5

  • Deel resultaten en vier successen. Denk aan persoonlijke gesprekken, nieuwsbrief, krantenartikel, congres of symposium. Dit houdt samenwerkingspartners, bestuurders en inwoners betrokken.
  • Gebruik resultaten  voor het bijsturen en doorontwikkelen van uw beleid.

Instrumenten voor monitoren en evalueren

Gebruik de onderstaande instrumenten voor het monitoren en evalueren van uw integrale aanpak in de wijk of gemeente. Er zijn verschillende instrumenten voor monitoring, procesevaluatie of  effectevaluatie. Voor u begint, is het verstandig om Checklist 'Waar staat onze gemeente met de integrale aanpak te doorlopen zodat u geen mogelijkheden om te evalueren mist.

Er zijn verschillende reguliere monitors voor gezondheidsbeleid, die u kunt gebruiken. Voorbeelden zijn het Periodieke Gezondheidsonderzoek van de Jeugdgezondheidszorg, E-MOVO en de Lokale en Nationale Monitor Volksgezondheid. 

De Checklist 'Waar staat onze gemeente met de integrale aanpak  is een instrument waarmee u in kaart kunt brengen welke stappen er in uw gemeente al zijn gezet. Maar ook om te zien welke aspecten nog versterkt kunnen worden om te komen tot een integrale aanpak van gezondheidsachterstanden.

De Checklist voor Integraal GezondheidsBeleid (IGB)  heeft als doel de weerslag van lokaal integraal gezondheidsbeleid (IGB) in gemeentelijke beleidsnota’s te inventariseren. Het is primair bedoeld voor wetenschappelijk gebruik door onderzoekers van het beleid, zoals gezondheidswetenschappers. De informatie die het instrument oplevert, kan ook bruikbaar zijn voor beleidsmakers en beleidsuitvoerders.

Het Maturity Model Health in All Policies (MM-HIAP) laat aan de hand van zes fasen zien hoe volwassen gemeenten of provincies zijn in het opzetten en uitvoeren van integraal gezondheidsbeleid (IGB). Op basis hiervan wordt gekeken of ze kunnen doorgroeien naar een volgende fase (sturen op bewustwording, personen, processen, resultaten of continue verbetering).

Algemene instrumenten voor evalueren: 
  • De stappen uit het stappenplan Hoe evalueer ik mijn (integrale) aanpak? helpen u bij het opstellen van een evaluatieplan. Het is belangrijk om juist aan het begin keuzes over evalueren te maken. Zo voorkomt u dat u achteraf gezien mogelijkheden voor evalueren heeft gemist.
Instrumenten procesevaluatie:
  • Responsieve evaluatie van Integrale Actie (RIA) is een methode om inzicht te verwerven in de mate van steun en draagvlak van betrokken stakeholders en beleidsuitvoerders bij een integrale aanpak of beleid 
  • De tijdlijnmethode van Kenniscentrum Sport is een hulpmiddel voor (tussentijdse) evaluatie. Het helpt om de belangrijkste gebeurtenissen en invloeden van de werkzaamheden of van het project in de tijd te ordenen en inzichtelijk te maken.
  • De Coordinated Action Checklist van Wageningen universiteit is een instrument om de samenwerking binnen een netwerk te evalueren. Dit gebeurt op verschillende dimensies, zoals geschiktheid van de partners, taakdimensie, relatiedimensie, profilering en groeidimensie. De checklist is bedoeld om de discussie op gang te brengen en daarmee de samenwerking te faciliteren. Gebruik ook de scorelijst om de checklists te scoren.
  • De Checklist effectieve intersectorale samenwerking rondom de gezonde wijk (TNO Nederlandse organisatie voor Toegepast Natuurwetenschappelijk Onderzoek (Nederlandse organisatie voor Toegepast Natuurwetenschappelijk Onderzoek )) helpt om bestaande intersectorale samenwerking te toetsen aan de hand van 25 bevorderende factoren over verwachtingen, samenstelling, financiering, inzet, structuur, communicatie en resultaat.
  • MEIVO is een digitaal instrument voor lokale sport- en beweegaanbieders om een sport- en beweegproject makkelijk te kunnen monitoren en evalueren.
Instrumenten effectevaluatie:
  • De Checklist effectonderzoek helpt om stapsgewijs te komen tot een onderzoeksopzet, zodat het uitvoeren van het onderzoek makkelijker verloopt.
  • De Effectenarena (SEV) is gericht op het gezamenlijk doordenken van de belangrijkste effecten van een project. In de praktijk wordt het ook veel gebruikt om achteraf te reconstrueren hoe een interventie is verlopen en wat hiervan de effecten zijn volgens betrokkenen.
  • Social Return on Investement (SROI) is een methode om inzicht krijgen in de verhouding tussen de totale investering (kosten) en de gerealiseerde of te verwachten maatschappelijke effecten (baten). Het resultaat is het maatschappelijk rendement van een investering of interventie.
  • De handleiding Intersectorale kosten en baten (IKB) van preventieve interventies helpt bij het inzichtelijk maken van deze zogenaamde ‘intersectorale kosten en baten’ (IKB) van preventie. Veel preventieve interventies hebben kosten of baten tot gevolg in andere sectoren, zoals justitie en onderwijs. Zo krijgt u een completer beeld van de kosten en baten van preventie (Maastricht University).

Meer informatie

  • Kijk voor meer informatie over monitoring en evaluatie in de sport- en beweegsector in de beleidswijzer Sport&Bewegen (hoofdstuk 7). Op deze pagina leest u welke indicatoren en instrumenten u voor de verschillende evaluatieniveaus kunt gebruiken.
  • Bekijk ook de monitoring en evaluatiewijzer Sport- en Beweegbeleid voor een stappenplan met voorbeelden, hulpmiddelen en tips voor analyse, monitoring en evaluatie van lokaal sport- en beweegbeleid.

Voorbeelden: Evaluatie van gezondheidsbeleid