Hoe maakt u zichtbaar wat het integrale gezondheidsbeleid in uw gemeente oplevert? En hoe vindt u de balans tussen leren van de uitkomsten en verantwoorden? Op deze pagina vindt u handige informatie, praktische handvatten en een stappenplan om de monitoring en evaluatie van het gezondheidsbeleid in uw gemeente op orde te krijgen. Deze pagina is ook te gebruiken ter inspiratie voor de monitoring van de GALA-doelen in uw gemeente.
checklist
Evalueren: wat en waarom?
Met monitoren en evalueren maakt u resultaten zichtbaar. Dit draagt bij aan:
- Optimaliseren van lokaal of regionaal beleid;
- Vergroten van het draagvlak;
- Stimuleren betrokkenheid bestuur, partners en belanghebbenden;
- Inzicht in het effect van uw aanpak of beleid;
- Verantwoorden, agenderen of regelen van financiering.
Naast de voorbereiding en uitvoering van uw beleid, is monitoren en evalueren een belangrijk onderdeel van een planmatige aanpak. Evalueren doe je niet alleen achteraf. Dat betekent dat u er vanaf de start van uw plan van aanpak of beleid over na moet denken. Om te kunnen leren is het noodzakelijk dat de monitoring verweven zit in de voorbereiding en gelijk oploopt met de uitvoering. Maak het onderdeel van uw projectplan en begroting.
Hoe denkt u over evalueren?
Lastig, of iets wat nou eenmaal moet of wat ook weer geld kost. Er zijn veel (voor-)oordelen over evalueren. Wat vindt u? Ontdek wat u kunt doen om obstakels weg te nemen.
Als je monitoren en evalueren als moeilijk ervaart, doe het dan niet alleen. Zorg dat je minimaal één sparringpartner hebt. Weet ook dat monitoren klein kan beginnen. Zelfs kleine evaluaties kunnen je project of aanpak tussentijds vooruithelpen.
Begin eens met kleine stappen. Het bijhouden van een logboek kan bijvoorbeeld al helpen om inzichtelijk te maken wat er is gedaan of bereikt. Of vraag de lokale GGD (Gemeentelijke/gewestelijke gezondheidsdienst) om begeleiding bij het starten van een evaluatie.
Probeer uw enthousiasme over te brengen op mensen om u heen, ook de betrokken wethouder(s). Wat is voor u de meerwaarde? Zorg dat monitoren niet iets is van u alleen en betrek anderen bij het proces om de voortgang te kunnen bijhouden en vieren.
Door velen wordt monitoring en evaluatie puur ter verantwoording van hun inzet ingezet. Daar kan het aan bijdragen, maar er is veel meer uit te halen. Probeer verantwoording niet uw hoofddoel te laten zijn en kijk op welke manier u informatie kunt ophalen die uw aanpak of beleid verder kan brengen. Vaak zit dat in procesmatige factoren of bijvoorbeeld de samenwerking en veel minder in het uiteindelijke effect van uw aanpak of beleid. Uiteindelijk draagt een goedlopend proces natuurlijk ook bij aan het effect.
Een deel van het totale budget voor uw aanpak of beleid zult u inderdaad moeten reserveren voor monitoring en evaluatie. De omvang hiervan is afhankelijk van de mogelijkheden en de wensen. Als dit budget beperkt is: kijk dan vooral wat er wél kan met het beschikbare budget. Wat willen jullie echt weten of leren? Maak daar prioriteit van.
Wat kost evalueren?
Reserveer ongeveer 10-15% van het totale budget voor de evaluatie. Wees bewust van:
- Directe kosten: uren evaluatiekartrekker, epidemioloog of onderzoeker, (papieren) vragenlijsten, meetinstrumenten, rapportages, databeheer.
- Indirecte kosten: uren inzet partners en belanghebbenden, andere organisaties, kennis en data van belanghebbenden.
Ook met een klein monitoring- en evaluatiebudget is er van alles mogelijk:
- Prioriteer wat u echt belangrijk vindt om in kaart te brengen.
- Welke bestaande data kunnen u helpen? Vraag bijvoorbeeld uw lokale GGD (Gemeentelijke/gewestelijke gezondheidsdienst) naar wat er al gemonitord wordt in uw gemeente.
Amersfoort monitort met weinig middelen 'Gezonde Wijk'-aanpak
Amersfoort monitort met weinig middelen 'Gezonde Wijk'-aanpak
Gemeente Amersfoort legt uit hoe je monitoring en evaluatie aanpakt als er geen extra geld beschikbaar is.
Wat helpt bij succesvol evalueren?
Het lijkt misschien allemaal logisch, maar omdat het zo belangrijk is: evaluatie van uw gezondheidsbeleid lukt beter als…
- het belang van evalueren bekend is en erkend wordt;
- er een evaluatieplan is met reële verwachtingen en duidelijke keuzes;
- er een evaluatiekartrekker is benoemd;
- het SAMEN gebeurt;
- er voldoende tijd en budget is.
Stappenplan voor het evalueren van uw project
Het stappenplan helpt u om de monitoring en evaluatie van het gezondheidsbeleid in uw gemeente op orde te krijgen. Zo vergeet u niets en haalt u optimaal resultaat.
Stap 1: Identificeer en betrek partners
Evalueren doe je samen. Breng in beeld met welke partijen u te maken hebt in de verschillende fases van het beleidsproces. Wie hebben er belang bij evaluatie? Wat kunnen zij toevoegen? Denk aan verbinding, kennis, data, tools of geld. Voorbeelden van relevante partners zijn collega’s (uit andere beleidsdomeinen), samenwerkingspartners in de wijk, wethouders, inwoners, de lokale GGD (Gemeentelijke/gewestelijke gezondheidsdienst) of financierders.
Informeer en betrek andere partijen, zorg dat iedereen actief meedoet
Geef uitleg over de evaluatie en haal op welke behoeften er zijn. Voor draagvlak is het belangrijk dat de betrokkenen het nut van monitoren en evalueren inzien. Het kan hierbij helpen om vooraf duidelijk af te spreken wie welke rol heeft in het opzetten en uitvoeren van de evaluatie. Wie kan er cijfers verzamelen? Aan wie moet er verantwoording worden afgelegd? Wie stel je aan als kar-trekker?
Stap 2: Stel samen haalbare doelen
Het vaststellen van een stip op de horizon is het vertrekpunt van uw evaluatie. Bij welke resultaten is je gezondheidsbeleid of de uitvoering daarvan geslaagd? Stel haalbare doelen op en denk na wat je daarvoor kan meten over de tijd. Dit doe je samen met je betrokken samenwerkingspartners.
Zorg dat de doelen van je gezondheidsbeleid helder en haalbaar zijn geformuleerd. Doelen die te hoog-over zijn opgesteld maken het moeilijker om te bepalen wat je precies gaat meten in je evaluatie. Zorg dat je doelen Specifiek, Meetbaar, Haalbaar of ‘Attainable’, Realistisch en Tijdsgebonden (SMART (Een doelstelling is SMART als wordt voldaan aan de volgende voorwaarden: Specifiek - Is de doelstelling eenduidig? Meetbaar - Onder welke (meetbare/observeerbare) voorwaarden of vorm is het doel bereikt? Acceptabel - Is deze acceptabel voor de doelgroep en/of het management? Realistisch - Is het…)) zijn opgesteld.
Neem samen beslissingen
Betrek je samenwerkingspartners bij het maken van beslissingen. Maak afspraken over welke indicatoren, methoden of doelgroep, de tijdsplanning, data-analyse en rapportage. Wat vind jij belangrijk en welke verwachtingen hebben jouw betrokken partners?
Monitoring GALA
Monitoring van het GALA
Wilt u weten wat er van u als gemeente wordt verwacht voor de landelijke en lokale monitoring van het GALA, IZA of Sportakkoord? Op de pagina Monitoring GALA vindt u hierover meer informatie.
Stap 3: Maak een evaluatieplan
In deze stap maakt u inzichtelijk wat u gaat meten om de voortgang op de opgestelde doelen te kunnen bijhouden. Welke gegevens heeft u nodig en waar haalt u deze vandaan? Welke methoden gaat u inzetten om het proces te kunnen volgen? Dit legt u vast in een evaluatieplan.
Bepaal wat u gaat meten: proces, effect of allebei?
Leg heel duidelijk vast wat je wil gaan meten. Er zijn verschillende manieren om te evalueren.
Procesevaluatie
Als u wil weten of het beleid op de juiste wijze is uitgevoerd of als u inzicht wil in wat een aanpak een succes maakte of juist wat beter kan, dan kunt u een procesevaluatie uitvoeren. U evalueert bijvoorbeeld:
- de samenwerking met externe partijen, afdelingen of beleidsterreinen;
- de uitvoering van het programma of beleid;
- de ervaringen van samenwerkingspartners en doelgroepen;
- mogelijke externe factoren die invloed hebben op het beleid.
Vertaal deze punten in meetbare indicatoren. Voor het uitvoeren van een procesevaluatie kunt u verschillende methoden gebruiken. Denk aan aanwezigheidsregistraties, interviews of gesprekken met deelnemers en professionals. Ook (korte) vragenlijsten om bijvoorbeeld de klanttevredenheid te meten, kunnen een goede manier zijn. Verder zijn notulen, logboeken en observaties vaak een belangrijke bron van informatie.
Effectevaluatie
Als u wil weten of het beleid het gewenste effect heeft, voer dan een effectevaluatie uit. Bij een effectevaluatie vergelijk je de situatie vóór en na de interventies.
Welk effect u precies onderzoekt, hangt af van de geformuleerde doelstellingen en de gekozen uitkomstmaten. U kunt denken aan: kennis, vaardigheden, gedrag (bijvoorbeeld meer gaan bewegen) of gezondheidswinst (bijvoorbeeld minder overgewicht). Bij het uitvoeren van een effectevaluatie is het belangrijk dat u vooraf en na afloop van de uitvoering van de interventies de situatie in kaart brengt.
Een evaluatieplan bevat meestal de volgende elementen:
- Een korte samenvatting van beleid
- Doelen en SMART (Een doelstelling is SMART als wordt voldaan aan de volgende voorwaarden: Specifiek - Is de doelstelling eenduidig? Meetbaar - Onder welke (meetbare/observeerbare) voorwaarden of vorm is het doel bereikt? Acceptabel - Is deze acceptabel voor de doelgroep en/of het management? Realistisch - Is het…) doelstellingen
- Methoden (welke indicatoren of welke onderzoeksmethoden)
- Analyse en interpretatie
- Gebruik en verspreiden van opgehaalde informatie
Evaluatie logistiek en verantwoordelijkheden - Tijd en budget
- Gemaakte afspraken met eventuele samenwerkingspartners
Wijzer in de Wijk
Wijzer in de Wijk
In het ZonMw (Nederlandse organisatie voor gezondheidsonderzoek en zorginnovatie) project Wijzer in de Wijk, zijn de gemeenten Alphen aan den Rijn, Den Haag en Leiden met kennispartners aan de slag gegaan met een integrale aanpak en samenwerking in de wijk om gezondheidsachterstanden terug te dringen. Elke wijk maakte ook een speciaal monitorplan:
Stap 4: Verzamel gegevens
U hoeft het wiel niet opnieuw uit te vinden. Maak zoveel mogelijk gebruik van bestaande monitors, onderzoeken of datasets. Dit kan bijvoorbeeld samen met de onderzoeksafdeling van de gemeente, GGD (Gemeentelijke/gewestelijke gezondheidsdienst), universiteit, academische werkplaats of hogeschool.
Verzamel gegevens
Maak zo veel mogelijk gebruik van bestaande indicatoren. Een indicator is een meetbaar begrip, bijvoorbeeld 'aantal valongelukken in 2023 onder 75-jarigen', dat iets kan zeggen over het succes van de aanpak. Ga goed na of de gekozen indicatoren ook daadwerkelijk iets zeggen over het proces of effect. Meer informatie over welke indicatoren u kunt gebruiken en bruikbare bronnen van data per thema vindt u op de pagina Databronnen.
Maak afspraken over meten
Bespreek met stakeholders wie de gegevens verzamelt, waar die vandaan worden gehaald en hoe vaak dat gebeurt. Bespreek welke maatregelen u neemt om de privacy van respondenten te verzekeren.
Stap 5: Analyseer en interpreteer gegevens
De meeste meerwaarde van monitoring en evaluatie wordt ervaren als deze een goede verbinding heeft met beleid en de praktijk. Dan kan er direct iets geleerd worden van de resultaten.
Analyseer de gevonden gegevens
Ga samen na hoe u gegevens gaat analyseren en wie dit gaat doen. Het analyseren van kwantitatieve data bijvoorbeeld vereist specifieke kennis van statistiek. Zorg dat die expertise aanwezig is.
Interpreteer resultaten
Ga na of de behaalde resultaten overeenkomen met vooraf gestelde doelen. Zo niet, ga na hoe dit komt. Betrek de andere partijen bij de duiding van de uitkomsten. Dit zorgt ook voor een grotere betrokkenheid bij eventuele vervolgstappen.
Stap 6: Communiceer resultaten en verbeter de uitvoering
Maak de resultaten van uw (tussentijdse) evaluatie zichtbaar en vier successen. Denk aan persoonlijke gesprekken, een nieuwsbrief, een krantenartikel, congres of symposium. Dit houdt samenwerkingspartners, bestuurders en inwoners betrokken. Bovendien kunt de resultaten gebruiken voor het bijsturen en doorontwikkelen van uw beleid.
Meer weten?
Op de pagina Instrumenten vindt u tools die u kunnen helpen met het monitoren en evalueren. Of kijk eens op de pagina Werk samen voor meer informatie over het opbouwen en onderhouden van samenwerking.
Bent u op zoek naar nog meer inspiratie over monitoren en evalueren? Bekijk dan zeker de Inspiratiewijzer. Dit is een gezamenlijk product van het RIVM (Rijksinstituut voor Volksgezondheid en Milieu), JOGG (JOGG Gezonde Jeugd, Gezonde Toekomst), Pharos (Pharos is het expertisecentrum gezondheidsverschillen.), Alles is Gezondheid, Vereniging Sport en Gemeenten, ZonMw (Nederlandse organisatie voor gezondheidsonderzoek en zorginnovatie) en GGD (Gemeentelijke/gewestelijke gezondheidsdienst) GHOR (Geneeskundige Hulpverleningsorganisatie in de Regio) Nederland. iresearch heeft in opdracht van deze organisaties de inspiratiewijzer ontwikkeld op basis van ervaringen in de gemeentelijke praktijk.