Hoe maak je zichtbaar wat het integrale gezondheidsbeleid in jouw gemeente oplevert? En hoe vind je de balans tussen leren van de uitkomsten en verantwoorden? Op deze pagina vind je handige informatie, praktische handvatten en een stappenplan om de monitoring en evaluatie van het gezondheidsbeleid in jouw gemeente op orde te krijgen.
Video stappenplan monitoren en evalueren gezondheidsbeleid
Roos Jansen, adviseur Gezonde Gemeente RIVM, geeft een korte uitleg over het stappenplan monitoren en evalueren gezondheidsbeleid.
ROOS: In jouw gemeente of regio voeren jullie gezondheidsbeleid uit voor gezondere inwoners. Als beleidsmaker wil je de voortgang en resultaten van dit beleid graag zichtbaar maken. Hoe monitor en evalueer je op een laagdrempelige manier? Loketgezondleven.nl helpt je daarbij.
Wat verstaan we onder monitoren en evalueren? Monitoren betekent dat je gegevens verzamelt om de voortgang van je beleid te volgen. Met een evaluatie geef je betekenis aan deze informatie.
Monitoren en evalueren helpt je op drie manieren. Leren, enthousiasmeren en verantwoorden. Leren. Je ontdekt wat goed werkt en wat beter kan, zodat je je aanpak of het beleid steeds verder kunt verbeteren. Enthousiasmeren. Je laat zien wat je doet en wie je bereikt. Zo vergroot je de betrokkenheid en het draagvlak. Verantwoorden. Je laat zien of de doelen zijn behaald en of middelen goed zijn besteed. Voor goede monitoring en evaluatie is het belangrijk om al vanaf de start van je aanpak er aandacht voor te hebben.
Stap 1: begin met de partijen in kaart te brengen met wie je de evaluatie doet. Bepaal samen het doel en de doelgroep van je evaluatie. Zo zorg je voor focus. Stap 2: bij welke resultaten is jullie gezondheidsbeleid geslaagd? Dat vraagt om heldere en haalbare doelen en concrete activiteiten. Gebruik hierbij bijvoorbeeld het Doelen-Inspanningen-Netwerk of het logisch model uit het stappenplan. Stap 3: in dit plan kies je welke soort evaluatie je doet. Een proces, een effect of een lerende evaluatie. Bedenk welke gegevens je nodig hebt en waar je die vandaan haalt. Kijk voor bronnen in het stappenplan. Ook met een klein budget is er van alles mogelijk. Vervolgens ga je aan de slag met stap 4 en 5: trek samen conclusies. Wat werkt goed en wat kan beter? Tot slot stap 6: laat regelmatig zien wat jullie aanpak oplevert. Deel de resultaten via bijvoorbeeld nieuwsbrieven of bijeenkomsten en vier de successen. Zo houd je iedereen betrokken en kun je samen het beleid verbeteren. Voor gezondere inwoners in jouw gemeente of regio.
Kijk voor meer tips en het stappenplan op loketgezondleven.nl.
[Loketgezondleven.nl/monitoren-evalueren. Logo Rijksoverheid. Ministerie van Volksgezondheid, Welzijn en Sport. Rijksinstituut voor Volksgezondheid en Milieu. De zorg voor morgen begint vandaag.]
Evalueren: wat en waarom?
Monitoring en evaluatie worden vaak samen genoemd, maar er is een verschil. Onder monitoren verstaan we het verzamelen van data om de voortgang te bewaken. Een evaluatie geeft betekenis aan die data. Je doet aan monitoring en evaluatie om bepaalde doelen te bereiken. De belangrijkste doelen zijn leren, enthousiasmeren en verantwoorden:
- Bij leren gaat het om het optimaliseren van beleid of inzicht krijgen in wat werkt en wat niet werkt. Doelgroep: Projectleiders, partners en uitvoerders.
- Bij enthousiasmeren gaat het om zichtbaar maken van wat je doet en bereikt, om zo de betrokkenheid of het draagvlak te vergroten. Doelgroep: de mensen voor wie het beleid bedoeld is, wethouders, bestuurders, partners.
- Bij verantwoorden laat je zien of doelen zijn behaald en of middelen zinvol zijn besteed. Doelgroep: wethouders, gemeenteraad, opdrachtgevers.
Naast de voorbereiding en uitvoering van je beleid, is monitoren en evalueren een belangrijk onderdeel van een planmatige aanpak. Evalueren doe je niet alleen achteraf. Om goed te kunnen leren, enthousiasmeren of verantwoorden is het slim om vanaf de start van je plan van aanpak of beleid aandacht voor monitoren en evalueren te hebben. Bespreek met partners wat jullie (ten minste) willen meten en maak het onderdeel van het projectplan en de begroting.
Hoe denk jij over evalueren?
Lastig, of iets wat nou eenmaal moet of wat ook weer geld kost. Er zijn veel (voor-)oordelen over evalueren. Wat vind jij? Ontdek wat je kunt doen om obstakels weg te nemen.
Als je monitoren en evalueren als moeilijk ervaart, doe het dan niet alleen. Zorg dat je minimaal één sparringpartner hebt. Weet ook dat monitoren klein kan beginnen. Zelfs kleine evaluaties kunnen je project of aanpak tussentijds vooruithelpen.
Begin eens met kleine stappen. Het bijhouden van een logboek kan bijvoorbeeld al helpen om inzichtelijk te maken wat er is gedaan of bereikt. Of vraag de lokale (Gemeentelijke/gewestelijke gezondheidsdienst) om begeleiding bij het starten van een evaluatie.
Probeer je enthousiasme over te brengen op mensen om je heen, ook de betrokken wethouder(s). Wat is voor jou de meerwaarde? Zorg dat monitoren niet iets is van jou alleen en betrek anderen bij het proces om de voortgang te kunnen bijhouden en vieren.
Door velen wordt monitoring en evaluatie puur ter verantwoording van hun inzet ingezet. Daar kan het aan bijdragen, maar er is veel meer uit te halen. Probeer verantwoording niet je hoofddoel te laten zijn en kijk op welke manier je informatie kunt ophalen die jouw aanpak of beleid verder kan brengen. Vaak zit dat in procesmatige factoren of bijvoorbeeld de samenwerking en veel minder in het uiteindelijke effect van je aanpak of beleid. Uiteindelijk draagt een goedlopend proces natuurlijk ook bij aan het effect.
Een deel van het totale budget voor je aanpak of beleid zal je inderdaad moeten reserveren voor monitoring en evaluatie. De omvang hiervan is afhankelijk van de mogelijkheden en de wensen. Als dit budget beperkt is: kijk dan vooral wat er wél kan met het beschikbare budget. Wat willen jullie echt weten of leren? Maak daar prioriteit van.
Wat kost evalueren?
Reserveer ongeveer 10-15% van het totale budget voor de evaluatie. Wees je bewust van:
- Directe kosten: uren evaluatiekartrekker, epidemioloog of onderzoeker, (papieren) vragenlijsten, meetinstrumenten, rapportages, databeheer.
- Indirecte kosten: uren inzet partners en belanghebbenden, andere organisaties, kennis en data van belanghebbenden.
Ook met een klein monitoring- en evaluatiebudget is er van alles mogelijk:
In de praktijk: Almere maakt resultaten zichtbaar met een jaarlijkse factsheet
Gemeente Almere brengt de resultaten van de GALA-aanpak jaarlijks samen in een factsheet. Hierin staan zowel cijfers als praktijkverhalen, aangevuld met quotes en beeldmateriaal. De factsheet wordt gedeeld met de gemeenteraad en laat op een toegankelijke manier zien wat de aanpak oplevert en hoe projecten elkaar versterken.
In de praktijk: Edam-Volendam monitort GALA met Excelsheet
Gemeente Edam-Volendam gebruikt een eenvoudige Excelsheet om de voortgang rond het GALA bij te houden. Wekelijks pakken ze deze Excelsheet erbij tijdens hun overleggen en vullen ze die samen aan. Zo kunnen zij de jaarlijkse vragenlijst voor de GALA-monitor gemakkelijk invullen en is de verantwoording aan het college en de raad ook eenvoudiger.
Wat helpt bij succesvol evalueren?
Het lijkt misschien allemaal logisch, maar omdat het zo belangrijk is: evaluatie van je gezondheidsbeleid lukt beter als…
- het belang van evalueren bekend is en erkend wordt;
- er een evaluatieplan is met reële verwachtingen en duidelijke keuzes;
- er een evaluatiekartrekker is benoemd;
- het SAMEN gebeurt;
- er voldoende tijd en budget is.
Stap 1: Identificeer en betrek partners
Evalueren doe je samen. Breng in beeld met welke partijen je te maken hebt in de verschillende fases van het beleidsproces. Wie hebben er belang bij evaluatie? Wat kunnen zij toevoegen? Denk aan verbinding, kennis, data, tools of geld. Voorbeelden van relevante partners zijn collega’s (uit andere beleidsdomeinen), samenwerkingspartners in de wijk, wethouders, inwoners, de lokale (Gemeentelijke/gewestelijke gezondheidsdienst) of financiers.
Informeer en betrek andere partijen, zorg dat iedereen actief meedoet
Geef uitleg over de evaluatie en haal op welke behoeften er zijn. Voor draagvlak is het belangrijk dat de betrokkenen het nut van monitoren en evalueren inzien. Het kan hierbij helpen om vooraf duidelijk af te spreken wie welke rol heeft in het opzetten en uitvoeren van de evaluatie. Wie kan er cijfers verzamelen? Aan wie moet er verantwoording worden afgelegd? Wie stel je aan als kartrekker?
Bepaal samen met partners het hoofddoel en de doelgroep van de monitoring en evaluatie. Wil je leren, enthousiasmeren, verantwoorden of een combinatie hiervan? En voor wie evalueer je? Voor inwoners, de wethouder, of de gemeenteraad? Door dit samen te beslissen breng je focus aan en werk je gelijk aan draagvlak voor je evaluatie.
Stap 2: Check of doelen helder en haalbaar zijn
Bij welke resultaten is je gezondheidsbeleid of de uitvoering daarvan geslaagd? Wat heeft het de inwoners opgeleverd? Wat hebben zij gemerkt?
Check of de doelen van je gezondheidsbeleid helder en haalbaar zijn geformuleerd. Doelen die te hoog-over zijn opgesteld maken het moeilijker om te bepalen wat je precies gaat meten in je evaluatie. Zorg dat je doelen Specifiek, Meetbaar, Acceptabel, Relevant en Tijdsgebonden (SMART) zijn opgesteld.
Het uitwerken van een doelen-inspanningen-netwerk (DIN) of logisch model kan behulpzaam zijn. Je maakt hiermee inzichtelijk wat je (lange termijn) doelen zijn, maar ook welke activiteiten ondernomen worden om die doelen te behalen. Zo kun je inzicht geven OF de aanpak werkt, maar vooral ook HOE de aanpak werkt.
Doelen-inspanningen-netwerk (DIN)
Met een doelen-inspanningen-netwerk (DIN) visualiseer je de samenhang tussen doelen en inspanningen. Dit biedt inzicht in welke inspanningen nodig zijn om de doelen en uiteindelijk de ambitie te realiseren.
Logisch model
Met een logisch model maak je de logica achter een programma of project expliciet. Een logisch model helpt je om terug te redeneren welke middelen (input) en activiteiten (throughput) nodig zijn om te komen tot directe opbrengsten (output), korte- en middellangetermijneffecten (outcome) en langetermijneffecten (impact) te komen.
Stap 3: Maak een evaluatieplan
In deze stap leg je vast hoe je de voortgang op je doelen gaat volgen. Welke gegevens heb je nodig? Hoe ga je deze verzamelen? En wie is daarbij betrokken? Door dit vooraf vast te leggen in een evaluatieplan, zorg je voor een gestructureerde aanpak en voorkom je dat belangrijke informatie verloren gaat. Betrek je samenwerkingspartners bij deze keuzes, zodat het evaluatieplan aansluit bij ieders verwachtingen.
Bepaal wat je wilt evalueren
Afhankelijk van je doelen kun je verschillende vormen van evaluatie inzetten.
Procesevaluatie
Met een procesevaluatie onderzoek je hoe de uitvoering van het beleid of de aanpak verloopt. Je kijkt bijvoorbeeld naar:
- de samenwerking tussen partners
- de uitvoering van activiteiten
- ervaringen van professionals, deelnemers en andere betrokkenen
- factoren die de uitvoering bevorderen of belemmeren
Effectevaluatie
Met een effectevaluatie onderzoek je of de aanpak leidt tot de gewenste resultaten. Je vergelijkt de situatie vóór en na de uitvoering van activiteiten. Afhankelijk van je doelstellingen kijk je bijvoorbeeld naar veranderingen in:
- kennis
- vaardigheden
- gedrag (bijvoorbeeld meer bewegen)
- gezondheidswinst (bijvoorbeeld minder overgewicht)
Lerende evaluatie
Bij een lerende evaluatie reflecteer je regelmatig op de voortgang en resultaten. Samen met betrokkenen bespreek je wat goed gaat, wat beter kan en welke aanpassingen nodig zijn. De opgedane inzichten gebruik je direct om de aanpak verder te verbeteren.
Complexe beleidsopgaven
Heb je te maken met een complex gezondheidsvraagstuk, zoals bij vitaal ouder worden, een gezonde leefomgeving of het terugdringen van gezondheidsverschillen? Lees dan hoe je complexe beleidsopgaven monitort en evalueert.
Kies passende onderzoeksmethoden
Bepaal vervolgens hoe je de benodigde informatie gaat verzamelen. Veelgebruikte methoden zijn:
- interviews en groepsgesprekken
- vragenlijsten
- aanwezigheids- of deelnemersregistraties
- observaties
- notulen, logboeken en andere bestaande documenten
- bestaande monitor- of registratiedata
Kies methoden die passen bij je doel, beschikbare tijd en middelen.
Leg afspraken vast
Een evaluatieplan bevat meestal:
- een korte beschrijving van de aanpak
- doelen en (Een doelstelling is SMART als wordt voldaan aan de volgende voorwaarden: Specifiek - Is de doelstelling eenduidig? Meetbaar - Onder welke (meetbare/observeerbare) voorwaarden of vorm is het doel bereikt? Acceptabel - Is deze acceptabel voor de doelgroep en/of het management? Realistisch - Is het doel haalbaar? Tijdsgebonden - Wanneer (in de tijd) moet het doel bereikt zijn? In plaats van Acceptabel (of het synoniem Aanvaardbaar) worden ook vaak Ambitieus (Bewerkstelligt het doel wel een echte verandering?), Actiegericht (Moet er echt iets voor worden gedaan?) of Aanwijsbaar gebruikt (Wie wijs je aan die het doel nastreeft?).)-doelstellingen
- de gekozen evaluatievorm(en)
- onderzoeksmethoden en indicatoren
- afspraken over analyse en interpretatie
- hoe resultaten worden gedeeld en gebruikt
- planning, budget en verantwoordelijkheden
- afspraken met samenwerkingspartners
Monitoring van het GALA
Wil je weten wat er van jullie gemeente wordt verwacht voor de landelijke en lokale monitoring van het GALA, IZA of Sportakkoord? Op de pagina Monitoring GALA vind je hierover meer informatie.
Stap 4: Verzamel gegevens
Nu je hebt bepaald wat je wilt evalueren en welke gegevens je daarvoor nodig hebt, ga je de informatie verzamelen. Maak daarbij zo veel mogelijk gebruik van bestaande gegevens. Je hoeft niet altijd nieuw onderzoek uit te voeren.
Bekijk met de (Gemeentelijke/gewestelijke gezondheidsdienst) of de onderzoeksafdeling van de gemeente welke bestaande monitors, onderzoeken of datasets je kunt gebruiken. Een universiteit, academische werkplaats of hogeschool is ook een mogelijke vindplek.
Bekijk eens voorbeelden van handige databronnen per thema.
Maak afspraken over het verzamelen van gegevens
Bespreek met betrokken partners welke gegevens worden verzameld, wie daarvoor verantwoordelijk is, uit welke bronnen de informatie komt en hoe vaak gegevens worden bijgewerkt. Maak ook afspraken over privacy en gegevensbescherming. Duidelijke afspraken zorgen ervoor dat gegevens op een consistente manier worden verzameld en goed gebruikt kunnen worden voor monitoring en evaluatie.
Stap 5: Analyseer en interpreteer gegevens
De meerwaarde van monitoring en evaluatie ontstaat wanneer de uitkomsten worden gebruikt om te leren en de aanpak te verbeteren. Daarom is het belangrijk om resultaten niet alleen te verzamelen, maar ook samen te analyseren en te duiden.
Analyseer de gegevens
Bepaal wie verantwoordelijk is voor de analyse van de verzamelde gegevens en welke expertise daarvoor nodig is. Het analyseren van kwantitatieve data bijvoorbeeld vereist specifieke kennis van statistiek. Zorg dat die expertise aanwezig is, binnen de eigen organisatie of via samenwerkingspartners.
Interpreteer resultaten
Bekijk vervolgens wat de resultaten betekenen. Zijn de vooraf gestelde doelen bereikt? Welke ontwikkelingen vallen op? En welke factoren kunnen de resultaten verklaren?
Bespreek de uitkomsten samen met betrokken partners. Door verschillende perspectieven te combineren, ontstaat een completer beeld van wat werkt, wat beter kan en welke vervolgstappen nodig zijn. Zo dragen monitoring en evaluatie niet alleen bij aan verantwoording, maar ook aan leren en verbeteren.
Stap 6: Communiceer resultaten en verbeter de uitvoering
Maak de resultaten van de (tussentijdse) evaluatie zichtbaar en vier successen. Denk aan persoonlijke gesprekken, een nieuwsbrief, een krantenartikel, congres of symposium. Dit houdt samenwerkingspartners, bestuurders en inwoners betrokken. Bovendien kun je de resultaten gebruiken voor het bijsturen en doorontwikkelen van je beleid.
Hoe monitor en evalueer je complexe beleidsopgaven?
Gezondheidsvraagstukken zoals vitaal ouder worden, een gezonde leefomgeving of het terugdringen van gezondheidsverschillen zijn complexe beleidsopgaven. De resultaten worden beïnvloed door veel factoren, partners uit verschillende domeinen werken samen en effecten op de gezondheid worden vaak pas op langere termijn zichtbaar. Bij complexe beleidsopgaven is het daarom niet voldoende om alleen afzonderlijke interventies te monitoren. Je wilt ook zicht krijgen op hoe het systeem als geheel verandert.
Naast traditionele proces- en effectevaluaties zijn er aanvullende benaderingen die beter aansluiten bij complexe beleidsopgaven. Bijvoorbeeld systeemevaluatie, waarbij wordt gekeken hoe een aanpak bijdraagt aan veranderingen in het bredere systeem. Een ander voorbeeld is Reflexieve Monitoring in Actie (RMA). Hierbij wordt monitoring ingezet om tijdens te uitvoering te leren, veranderingen te begrijpen en de aanpak waar nodig bij te sturen.
Wil je meer weten over deze benaderingen? Lees dan:
- Op weg naar samenhang: over een systeemaanpak van overgewicht en obesitas in Rotterdam
- Reflexieve Monitoring in actie: over hoe monitoring kan bijdragen aan leren en bijsturen tijdens systeemverandering
- Zo ontwerp je een lerende monitoringsaanpak: een praktisch hulpmiddel van Vilans over leren en bijsturen bij veranderingen en innovaties
Meer weten?
Op de pagina Instrumenten vind je tools die je kunnen helpen met het monitoren en evalueren. Of kijk eens op de pagina Werk samen voor meer informatie over het opbouwen en onderhouden van samenwerking.
Ben je op zoek naar nog meer inspiratie over monitoren en evalueren? Bekijk dan zeker de Inspiratiewijzer. Dit is een gezamenlijk product van het (Rijksinstituut voor Volksgezondheid en Milieu), (JOGG Gezonde Jeugd, Gezonde Toekomst), (Pharos is het expertisecentrum gezondheidsverschillen.), Alles is Gezondheid, Vereniging Sport en Gemeenten, ZonMw en (Gemeentelijke/gewestelijke gezondheidsdienst) (Geneeskundige Hulpverleningsorganisatie in de Regio (GHOR)) Nederland. iresearch heeft in opdracht van deze organisaties de inspiratiewijzer ontwikkeld op basis van ervaringen in de gemeentelijke praktijk.
Of bekijk het onderdeel Plannen, leren en evalueren in de kennisbundel Gezond leven in gemeente en regio van ZonMw.