Hoe maak je zichtbaar wat het integrale gezondheidsbeleid in jouw gemeente oplevert? En hoe vind je de balans tussen leren van de uitkomsten en verantwoorden? Op deze pagina vind je handige informatie, praktische handvatten en een stappenplan om de monitoring en evaluatie van het gezondheidsbeleid in jouw gemeente op orde te krijgen. Deze pagina is ook te gebruiken ter inspiratie voor de monitoring van de GALA-doelen in jouw gemeente.
checklist
Evalueren: wat en waarom?
Met monitoren en evalueren maak je resultaten zichtbaar. Dit draagt bij aan:
- Optimaliseren van lokaal of regionaal beleid;
- Vergroten van het draagvlak;
- Stimuleren betrokkenheid bestuur, partners en belanghebbenden;
- Inzicht in het effect van je aanpak of beleid;
- Verantwoorden, agenderen of regelen van financiering.
Naast de voorbereiding en uitvoering van je beleid, is monitoren en evalueren een belangrijk onderdeel van een planmatige aanpak. Evalueren doe je niet alleen achteraf. Dat betekent dat je er vanaf de start van je plan van aanpak of beleid over na moet denken. Om te kunnen leren is het noodzakelijk dat de monitoring verweven zit in de voorbereiding en gelijk oploopt met de uitvoering. Maak het onderdeel van je projectplan en begroting.
Hoe denk jij over evalueren?
Lastig, of iets wat nou eenmaal moet of wat ook weer geld kost. Er zijn veel (voor-)oordelen over evalueren. Wat vind jij? Ontdek wat je kunt doen om obstakels weg te nemen.
Als je monitoren en evalueren als moeilijk ervaart, doe het dan niet alleen. Zorg dat je minimaal één sparringpartner hebt. Weet ook dat monitoren klein kan beginnen. Zelfs kleine evaluaties kunnen je project of aanpak tussentijds vooruithelpen.
Begin eens met kleine stappen. Het bijhouden van een logboek kan bijvoorbeeld al helpen om inzichtelijk te maken wat er is gedaan of bereikt. Of vraag de lokale GGD (Gemeentelijke/gewestelijke gezondheidsdienst) om begeleiding bij het starten van een evaluatie.
Probeer je enthousiasme over te brengen op mensen om je heen, ook de betrokken wethouder(s). Wat is voor jou de meerwaarde? Zorg dat monitoren niet iets is van jou alleen en betrek anderen bij het proces om de voortgang te kunnen bijhouden en vieren.
Door velen wordt monitoring en evaluatie puur ter verantwoording van hun inzet ingezet. Daar kan het aan bijdragen, maar er is veel meer uit te halen. Probeer verantwoording niet je hoofddoel te laten zijn en kijk op welke manier je informatie kunt ophalen die jouw aanpak of beleid verder kan brengen. Vaak zit dat in procesmatige factoren of bijvoorbeeld de samenwerking en veel minder in het uiteindelijke effect van je aanpak of beleid. Uiteindelijk draagt een goedlopend proces natuurlijk ook bij aan het effect.
Een deel van het totale budget voor je aanpak of beleid zal je inderdaad moeten reserveren voor monitoring en evaluatie. De omvang hiervan is afhankelijk van de mogelijkheden en de wensen. Als dit budget beperkt is: kijk dan vooral wat er wél kan met het beschikbare budget. Wat willen jullie echt weten of leren? Maak daar prioriteit van.
Wat kost evalueren?
Reserveer ongeveer 10-15% van het totale budget voor de evaluatie. Wees je bewust van:
- Directe kosten: uren evaluatiekartrekker, epidemioloog of onderzoeker, (papieren) vragenlijsten, meetinstrumenten, rapportages, databeheer.
- Indirecte kosten: uren inzet partners en belanghebbenden, andere organisaties, kennis en data van belanghebbenden.
Ook met een klein monitoring- en evaluatiebudget is er van alles mogelijk:
- Prioriteer wat je echt belangrijk vindt om in kaart te brengen.
- Welke bestaande data kunnen je helpen? Vraag bijvoorbeeld uw lokale GGD (Gemeentelijke/gewestelijke gezondheidsdienst) naar wat er al gemonitord wordt in jouw gemeente.
Amersfoort monitort met weinig middelen 'Gezonde Wijk'-aanpak
Amersfoort monitort met weinig middelen 'Gezonde Wijk'-aanpak
Gemeente Amersfoort legt uit hoe je monitoring en evaluatie aanpakt als er geen extra geld beschikbaar is.
Wat helpt bij succesvol evalueren?
Het lijkt misschien allemaal logisch, maar omdat het zo belangrijk is: evaluatie van je gezondheidsbeleid lukt beter als…
- het belang van evalueren bekend is en erkend wordt;
- er een evaluatieplan is met reële verwachtingen en duidelijke keuzes;
- er een evaluatiekartrekker is benoemd;
- het SAMEN gebeurt;
- er voldoende tijd en budget is.
Stappenplan voor het evalueren van uw project
Het stappenplan helpt je om de monitoring en evaluatie van het gezondheidsbeleid in jouw gemeente op orde te krijgen. Zo vergeet je niets en haal je optimaal resultaat.
Stap 1: Identificeer en betrek partners
Evalueren doe je samen. Breng in beeld met welke partijen je te maken hebt in de verschillende fases van het beleidsproces. Wie hebben er belang bij evaluatie? Wat kunnen zij toevoegen? Denk aan verbinding, kennis, data, tools of geld. Voorbeelden van relevante partners zijn collega’s (uit andere beleidsdomeinen), samenwerkingspartners in de wijk, wethouders, inwoners, de lokale GGD (Gemeentelijke/gewestelijke gezondheidsdienst) of financiers.
Informeer en betrek andere partijen, zorg dat iedereen actief meedoet
Geef uitleg over de evaluatie en haal op welke behoeften er zijn. Voor draagvlak is het belangrijk dat de betrokkenen het nut van monitoren en evalueren inzien. Het kan hierbij helpen om vooraf duidelijk af te spreken wie welke rol heeft in het opzetten en uitvoeren van de evaluatie. Wie kan er cijfers verzamelen? Aan wie moet er verantwoording worden afgelegd? Wie stel je aan als kartrekker?
Stap 2: Stel samen haalbare doelen
Het vaststellen van een stip op de horizon is het vertrekpunt van je evaluatie. Bij welke resultaten is je gezondheidsbeleid of de uitvoering daarvan geslaagd? Stel haalbare doelen op en denk na wat je daarvoor kan meten over de tijd. Dit doe je samen met je betrokken samenwerkingspartners.
Zorg dat de doelen van je gezondheidsbeleid helder en haalbaar zijn geformuleerd. Doelen die te hoog-over zijn opgesteld maken het moeilijker om te bepalen wat je precies gaat meten in je evaluatie. Zorg dat je doelen Specifiek, Meetbaar, Haalbaar of ‘Attainable’, Realistisch en Tijdsgebonden (SMART (Een doelstelling is SMART als wordt voldaan aan de volgende voorwaarden: Specifiek - Is de doelstelling eenduidig? Meetbaar - Onder welke (meetbare/observeerbare) voorwaarden of vorm is het doel bereikt? Acceptabel - Is deze acceptabel voor de doelgroep en/of het management? Realistisch - Is het…)) zijn opgesteld.
Neem samen beslissingen
Betrek je samenwerkingspartners bij het maken van beslissingen. Maak afspraken over welke indicatoren, methoden of doelgroep, de tijdsplanning, data-analyse en rapportage. Wat vind jij belangrijk en welke verwachtingen hebben jouw betrokken partners?
Monitoring GALA
Monitoring van het GALA
Wil je weten wat er van jullie gemeente wordt verwacht voor de landelijke en lokale monitoring van het GALA, IZA of Sportakkoord? Op de pagina Monitoring GALA vind je hierover meer informatie.
Stap 3: Maak een evaluatieplan
In deze stap maak je inzichtelijk wat je gaat meten om de voortgang op de opgestelde doelen te kunnen bijhouden. Welke gegevens heb je nodig en waar haal je deze vandaan? Welke methoden ga je inzetten om het proces te kunnen volgen? Dit leg je vast in een evaluatieplan.
Bepaal wat je gaat meten: proces, effect of allebei?
Leg heel duidelijk vast wat je wil gaan meten. Er zijn verschillende manieren om te evalueren.
Procesevaluatie
Als je wil weten of het beleid op de juiste wijze is uitgevoerd of als je inzicht wil in wat een aanpak een succes maakte of juist wat beter kan, dan kun je een procesevaluatie uitvoeren. Je evalueert bijvoorbeeld:
- de samenwerking met externe partijen, afdelingen of beleidsterreinen;
- de uitvoering van het programma of beleid;
- de ervaringen van samenwerkingspartners en doelgroepen;
- mogelijke externe factoren die invloed hebben op het beleid.
Vertaal deze punten in meetbare indicatoren. Voor het uitvoeren van een procesevaluatie kun je verschillende methoden gebruiken. Denk aan aanwezigheidsregistraties, interviews of gesprekken met deelnemers en professionals. Ook (korte) vragenlijsten om bijvoorbeeld de klanttevredenheid te meten, kunnen een goede manier zijn. Verder zijn notulen, logboeken en observaties vaak een belangrijke bron van informatie.
Effectevaluatie
Als je wil weten of het beleid het gewenste effect heeft, voer dan een effectevaluatie uit. Bij een effectevaluatie vergelijk je de situatie vóór en na de interventies.
Welk effect je precies onderzoekt, hangt af van de geformuleerde doelstellingen en de gekozen uitkomstmaten. Je kunt denken aan: kennis, vaardigheden, gedrag (bijvoorbeeld meer gaan bewegen) of gezondheidswinst (bijvoorbeeld minder overgewicht). Bij het uitvoeren van een effectevaluatie is het belangrijk dat je vooraf en na afloop van de uitvoering van de interventies de situatie in kaart brengt.
Een evaluatieplan bevat meestal de volgende elementen:
- Een korte samenvatting van beleid
- Doelen en SMART (Een doelstelling is SMART als wordt voldaan aan de volgende voorwaarden: Specifiek - Is de doelstelling eenduidig? Meetbaar - Onder welke (meetbare/observeerbare) voorwaarden of vorm is het doel bereikt? Acceptabel - Is deze acceptabel voor de doelgroep en/of het management? Realistisch - Is het…) doelstellingen
- Methoden (welke indicatoren of welke onderzoeksmethoden)
- Analyse en interpretatie
- Gebruik en verspreiden van opgehaalde informatie
Evaluatie logistiek en verantwoordelijkheden - Tijd en budget
- Gemaakte afspraken met eventuele samenwerkingspartners
Wijzer in de Wijk
Wijzer in de Wijk
In het ZonMw (Nederlandse organisatie voor gezondheidsonderzoek en zorginnovatie) project Wijzer in de Wijk, zijn de gemeenten Alphen aan den Rijn, Den Haag en Leiden met kennispartners aan de slag gegaan met een integrale aanpak en samenwerking in de wijk om gezondheidsachterstanden terug te dringen. Elke wijk maakte ook een speciaal monitorplan:
Stap 4: Verzamel gegevens
Je hoeft niet opnieuw het wiel uit te vinden. Maak zoveel mogelijk gebruik van bestaande monitors, onderzoeken of datasets. Dit kan bijvoorbeeld samen met de onderzoeksafdeling van de gemeente, GGD (Gemeentelijke/gewestelijke gezondheidsdienst), universiteit, academische werkplaats of hogeschool.
Verzamel gegevens
Maak zo veel mogelijk gebruik van bestaande indicatoren. Een indicator is een meetbaar begrip, bijvoorbeeld 'aantal valongelukken in 2023 onder 75-jarigen', dat iets kan zeggen over het succes van de aanpak. Ga goed na of de gekozen indicatoren ook daadwerkelijk iets zeggen over het proces of effect. Meer informatie over welke indicatoren je kunt gebruiken en bruikbare bronnen van data per thema vind je op de pagina Databronnen.
Maak afspraken over meten
Bespreek met stakeholders wie de gegevens verzamelt, waar die vandaan worden gehaald en hoe vaak dat gebeurt. Bespreek welke maatregelen je neemt om de privacy van respondenten te verzekeren.
Stap 5: Analyseer en interpreteer gegevens
Het grootste voordeel van monitoring en evaluatie wordt gevoeld wanneer er een sterke koppeling is met het beleid en de praktijk. Zo kunnen de resultaten direct bijdragen aan het leerproces.
Analyseer de gevonden gegevens
Ga samen na hoe jullie gegevens gaan analyseren en wie dit gaat doen. Het analyseren van kwantitatieve data bijvoorbeeld vereist specifieke kennis van statistiek. Zorg dat die expertise aanwezig is.
Interpreteer resultaten
Ga na of de behaalde resultaten overeenkomen met vooraf gestelde doelen. Zo niet, ga na hoe dit komt. Betrek de andere partijen bij de duiding van de uitkomsten. Dit zorgt ook voor een grotere betrokkenheid bij eventuele vervolgstappen.
Stap 6: Communiceer resultaten en verbeter de uitvoering
Maak de resultaten van de (tussentijdse) evaluatie zichtbaar en vier successen. Denk aan persoonlijke gesprekken, een nieuwsbrief, een krantenartikel, congres of symposium. Dit houdt samenwerkingspartners, bestuurders en inwoners betrokken. Bovendien kun je de resultaten gebruiken voor het bijsturen en doorontwikkelen van je beleid.
Meer weten?
Op de pagina Instrumenten vind je tools die je kunnen helpen met het monitoren en evalueren. Of kijk eens op de pagina Werk samen voor meer informatie over het opbouwen en onderhouden van samenwerking.
Ben je op zoek naar nog meer inspiratie over monitoren en evalueren? Bekijk dan zeker de Inspiratiewijzer. Dit is een gezamenlijk product van het RIVM (Rijksinstituut voor Volksgezondheid en Milieu), JOGG (JOGG Gezonde Jeugd, Gezonde Toekomst), Pharos (Pharos is het expertisecentrum gezondheidsverschillen.), Alles is Gezondheid, Vereniging Sport en Gemeenten, ZonMw (Nederlandse organisatie voor gezondheidsonderzoek en zorginnovatie) en GGD (Gemeentelijke/gewestelijke gezondheidsdienst) GHOR (Geneeskundige Hulpverleningsorganisatie in de Regio) Nederland. iresearch heeft in opdracht van deze organisaties de inspiratiewijzer ontwikkeld op basis van ervaringen in de gemeentelijke praktijk.