Leren en verbeteren: waarom deze Beleidsdoorlichting?

Je staat aan het begin van een interessante exercitie genaamd ‘Beleidsdoorlichting’, die inzicht gaat opleveren in de doeltreffendheid, doelmatigheid, andere gevolgen (bijv. op regeldruk, milieu of gendergelijkheid) én verbeterpunten van het op jouw beleidsterrein gevoerde beleid (begrotingsartikel).

Een waardevolle exercitie dus, en wel om twee redenen:

  1. Verbetering: als hulpmiddel om na te gaan of en waar het beleid kan worden verbeterd
  2. Verantwoording: om na te gaan of sprake is (geweest) van value for money. Zo kan aan de Tweede Kamer worden uitgelegd of en in hoeverre doelen wel/niet gehaald zijn – en waarom.

Al het beleid dat mede wordt gevoerd op grond van één of meer beleidsartikelen uit de Rijksbegroting wordt periodiek (elke vier tot maximaal zeven jaar) bij elkaar gebracht in een beleidsdoorlichting. In de begroting wordt aangegeven welke beleidsdoorlichtingen de komende vijf jaar worden uitgevoerd

Wat is een beleidsdoorlichting?

Het is voor beleidsmakers van belang om te weten of beleid werkt en of dat efficiënt gebeurt. En ook: hoe het komt als dat niet, of niet geheel, het geval is. Daarom worden regelmatig evaluaties verricht van de doeltreffendheid en doelmatigheid van beleid en wet- en regelgeving, zoals bijvoorbeeld van subsidieregelingen. Politici en ambtenaren op ministeries kunnen de uitkomsten gebruiken om goed overheidsbeleid te ontwerpen en om bestaand overheidsbeleid te verbeteren. Ook controleurs als de Algemene Rekenkamer en de Tweede Kamer hebben informatie over de werking van beleid nodig. Zij moeten immers een oordeel kunnen vellen over de doeltreffendheid en doelmatigheid van het gevoerde beleid.

Informatie over de uitkomsten van beleidsevaluaties is in de praktijk vaak versnipperd aanwezig in uiteenlopende documenten. Er is meer dan ‘een nietje’ nodig om daar overzicht in te scheppen. Een beleidsdoorlichting is bedoeld om de informatie uit verschillende evaluaties samen te brengen, zodat er een overkoepelend beeld van de doeltreffendheid en doelmatigheid van het beleid ontstaat. Het is, met andere woorden, een syntheseonderzoek.

Een beleidsdoorlichting geeft – op basis van verrichte evaluatie- en andere onderzoeken – inzicht in:

  • de mate waarin het onderzochte beleid doeltreffend (effectief) en doelmatig (prestatie- en doelefficiënt) is;
  • de succesfactoren die het beleid doeltreffend en doelmatig hebben gemaakt;
  • de redenen waardoor de doeltreffendheid en doelmatigheid tekortschiet, zodat lessen kunnen worden getrokken voor de toekomst;
  • hoe het beleid eruit zou zien in de theoretische situatie met 20% minder middelen;
  • onbedoelde positieve dan wel negatieve neveneffecten die zijn opgetreden.

Stap 3E) Synthese: doeltreffendheid/doelmatigheid van alle instrumenten in samenhang

Een synthese maken is meer dan alleen een overzicht geven van de evaluaties en hun afzonderlijke resultaten. In een beleidsdoorlichting wordt een oordeel over de werking (doeltreffendheid en doelmatigheid) van alle instrumenten in onderlinge samenhang verwacht. Hulpmiddel of ‘kapstok’ daarbij is, zoals benoemd, de beleidstheorie.

Ook als voldoende evaluatieonderzoek beschikbaar is, kun je tegen problemen aanlopen. Zo is het mogelijk dat twee studies over hetzelfde beleid elkaar tegenspreken. Het is in dit geval verstandig om de studies wat meer in detail te bekijken. Meten ze wel hetzelfde, is de kwaliteit van beide studies gelijk? Bij nadere bestudering blijkt een uitspraak dan toch vaak wel mogelijk. Zie onderstaand voorbeeld.

Elkaar tegensprekende beleidsevaluaties: een voorbeeld

De lerarenbeurs is bedoeld om leraren te stimuleren een extra opleiding te gaan volgen. Voor de doorlichting van het actieplan LeerKracht uit 2013, waar het instrument lerarenbeurs onderdeel van uitmaakte van dit beleidsinstrument waren verschillende evaluaties beschikbaar: één van het Centraal Planbureau (CPB) uit 2010 en één van IVA Onderwijs uit 2012.

Het CPB concludeerde op basis van een quasi-experimentele aanpak dat van elke tien verstrekte lerarenbeurzen er gemiddeld maar één beurs werd gebruikt voor een opleiding die anders niet zou zijn gevolgd. Uit een steekproefonderzoek van IVA Onderwijs kwam daarentegen naar voren dat 21 procent van de ondervraagde leraren zonder beurs niet aan de opleiding zouden zijn begonnen en dat 44 procent dat alleen zou hebben gedaan indien de school de kosten zou betalen – met andere woorden: alleen onder voorwaarden die vergelijkbaar zijn met die van de lerarenbeurs.

In de beleidsdoorlichting wordt geconcludeerd: “Uitkomsten uit onderzoeken geven een verschillend beeld van de toegevoegde waarde van de Lerarenbeurs.” Echter, wanneer goed naar beide studies wordt gekeken, blijkt dat de betrouwbaarheid en validiteit van het CPB-onderzoek groter is dan die van het IVA-onderzoek. Het IVA-onderzoek is gebaseerd op een enquête en daarmee de mening van de respondenten. In de CPB-studie is het werkelijk volgen van een opleiding gemeten. Dit is bovendien gedaan in twee groepen die sterk verschilden in de kans op het krijgen van een beurs maar verder vergelijkbaar waren. Zo’n quasi-experimentele opzet is geschikter voor het aantonen van de doeltreffendheid van beleid. Er had dus ook voor kunnen worden gekozen om de conclusie van het CPB-rapport te volgen.

Stap 3G) Verbeterparagraaf

Het is mogelijk dat de beleidsdoorlichting (op onderdelen) onvoldoende antwoord geeft op de vraag of het beleid doeltreffend en doelmatig is geweest. Bijvoorbeeld, omdat er onvoldoende evaluaties zijn verricht, omdat onderzoeksresultaten elkaar tegenspreken of omdat gebruikte indicatoren niet het volledige inzicht geven. Om te leren van deze ervaringen wordt aan iedere beleidsdoorlichting een verbeterparagraaf toegevoegd. Deze verbeterparagraaf is door de minister van Financiën toegezegd aan de Tweede Kamer .

Kortgezegd worden in de verbeterparagraaf aanbevelingen geformuleerd om in de eerstvolgende beleidsdoorlichting (over 4 tot 7 jaar) een beter inzicht te krijgen in de doeltreffendheid en doelmatigheid van het beleid. En niet wederom dezelfde beperkte conclusies te hoeven rapporteren aan de TK. De verbeterparagraaf geeft daarmee richting voor de toekomst, want laat zien waar de komende jaren aan gewerkt kan worden als het gaat om monitoring en evaluatie.

In de beleidsdoorlichting is onder andere aandacht besteed aan de vraag of er witte vlekken in de onderliggende evaluaties zitten (RPE-vraag 9) en in welke mate uitspraken kunnen worden gedaan over doeltreffendheid en doelmatigheid (RPE-vraag 10). De antwoorden op deze vragen bieden de basis voor de verbeterparagraaf. Onderwerpen waaraan gedacht kan worden zijn:

  • Verbetering van de evaluatieprogrammering om witte vlekken in te vullen;
  • Meer aandacht voor tussentijdse monitoring van prestaties of effecten om tot beter onderbouwde uitspraken te komen over de doeltreffendheid;
  • Aanbeveling om (nieuwe) indicatoren uit te werken om beter te kunnen meten of doelen bereikt worden. Dat vergt soms ook het SMART-er formuleren van het beleidsdoel zelf;
  • Aandacht voor gedragsaspecten in de evaluatie van beleid .
  • Verbetering van dataverzameling en –gebruik.

In de verbeterparagraaf werk je de verschillende verbeterpunten zo concreet mogelijk uit. Dit kun je doen door toe te lichten waar verbetering mogelijk is en hoe dat te bereiken is. Maak hierbij bijvoorbeeld gebruik van de expertise van de leden in de begeleidingscommissie of van de onafhankelijk deskundige. Een mooi streven is om een inhoudelijke en procesmatige structuur te organiseren waarbinnen je verder aan de slag gaat met de verbeterpunten.

In de kabinetsreactie worden de elementen uit de verbeterparagraaf benoemd en kan worden uitgelegd hoe de verantwoordelijk minister aan de slag gaat met de aanbevelingen en op welke wijze de Tweede kamer geïnformeerd wordt.

Verantwoorden: Value for money?

Je staat aan het begin van een interessante exercitie genaamd ‘Beleidsdoorlichting’, die inzicht gaat [KHC((1] opleveren in de doeltreffendheid, doelmatigheid, andere gevolgen (bijv. op regeldruk, milieu of gendergelijkheid) én verbeterpunten van het op jouw beleidsterrein gevoerde beleid (begrotingsartikel).

Een waardevolle exercitie dus, en wel om twee redenen:

  1. Verbetering: als hulpmiddel om na te gaan of en waar het beleid kan worden verbeterd
  2. Verantwoording: om na te gaan of sprake is (geweest) van value for money. Zo kan aan de Tweede Kamer worden uitgelegd of en in hoeverre doelen wel/niet gehaald zijn – en waarom.

Al het beleid dat mede wordt gevoerd op grond van één of meer beleidsartikelen uit de Rijksbegroting wordt periodiek (elke vier tot maximaal zeven jaar) bij elkaar gebracht in een beleidsdoorlichting. In de begroting wordt aangegeven welke beleidsdoorlichtingen de komende vijf jaar worden uitgevoerd

Wat is een beleidsdoorlichting?

Het is voor beleidsmakers van belang om te weten of beleid werkt en of dat efficiënt gebeurt. En ook: hoe het komt als dat niet, of niet geheel, het geval is. Daarom worden regelmatig evaluaties verricht van de doeltreffendheid en doelmatigheid van beleid en wet- en regelgeving, zoals bijvoorbeeld van subsidieregelingen. Politici en ambtenaren op ministeries kunnen de uitkomsten gebruiken om goed overheidsbeleid te ontwerpen en om bestaand overheidsbeleid te verbeteren. Ook controleurs als de Algemene Rekenkamer en de Tweede Kamer hebben informatie over de werking van beleid nodig. Zij moeten immers een oordeel kunnen vellen over de doeltreffendheid en doelmatigheid van het gevoerde beleid.

Informatie over de uitkomsten van beleidsevaluaties is in de praktijk vaak versnipperd aanwezig in uiteenlopende documenten. Er is meer dan ‘een nietje’ nodig om daar overzicht in te scheppen. Een beleidsdoorlichting is bedoeld om de informatie uit verschillende evaluaties samen te brengen, zodat er een overkoepelend beeld van de doeltreffendheid en doelmatigheid van het beleid ontstaat. Het is, met andere woorden, een syntheseonderzoek.

Een beleidsdoorlichting geeft – op basis van verrichte evaluatie- en andere onderzoeken – inzicht in:

  • de mate waarin het onderzochte beleid doeltreffend (effectief) en doelmatig (prestatie- en doelefficiënt) is;
  • de succesfactoren die het beleid doeltreffend en doelmatig hebben gemaakt;
  • de redenen waardoor de doeltreffendheid en doelmatigheid tekortschiet, zodat lessen kunnen worden getrokken voor de toekomst;
  • hoe het beleid eruit zou zien in de theoretische situatie met 20% minder middelen;
  • onbedoelde positieve dan wel negatieve neveneffecten die zijn opgetreden.

Welke onderdelen van het beleid vallen onder een doorlichting? Q&A’s

  • Een substantieel en samenhangend deel van het beleid onder een begrotingsartikel wordt in de beleidsdoorlichting meegenomen.
  • Ook als er weinig of geen geld gaat naar (delen van) het beleid, is een beleidsdoorlichting verplicht.
  • Een beleidsdoorlichting stopt niet per se bij de grenzen van een beleidsartikel. De doorlichting kan betrekking hebben op een deel van een beleidsartikel dat op een departementale begroting staat, maar ook op delen van een aantal beleidsartikelen, zelfs over departementale grenzen heen.

Baken de doorlichting bij de start meteen helder af. Dit bevordert de transparantie en kwaliteit ervan en voorkomt dat tijdens de uitvoering discussie ontstaat over de afbakening.

Q1. Welk deel van het beleid moet worden doorgelicht?

Onder deze vraag vallen verschillende dilemma’s:

  • Moet beleid waar geen uitgaven mee gemoeid zijn, in de berekening worden meegenomen, en zo ja hoe?
  • Wat te doen met de uitgaven voor beleidsinstrumenten die inmiddels zijn afgeschaft?
  • Wat te doen met de apparaatsuitgaven, indien die niet in de begroting verbijzonderd zijn naar het onderzochte beleid?

Een beleidsdoorlichting dient volgens de RPE te gaan over “een substantieel, samenhangend deel van het beleid”. Dat wil zeggen dat in principe het volledige beleid dat ten grondslag ligt aan het doorgelichte beleidsartikel of de doorgelichte beleidsartikelen wordt meegenomen. Maar afwijken daarvan is op goede gronden mogelijk.

Vertaald naar de budgettaire indeling van een begrotingsartikel, wordt in de beleidsdoorlichting het beleid onderzocht dat gevoerd wordt op basis van de volgende beleidsinstrumenten:

  • Alle uitgaven aan het gevoerde beleid, inclusief apparaatsuitgaven.
  • Uitgaven aan financiële instrumenten, bijvoorbeeld subsidies, premie-uitgaven en apparaatsuitgaven
    • Niet-belastingontvangsten
    • Garantieregelingen (verplichtingen)
    • Fiscale regelingen

Ook het beleid dat op basis van begrotingsfondsen wordt gevoerd (bijvoorbeeld het infrastructuurfonds) wordt in een beleidsdoorlichting meegenomen. Daarnaast alle wet- en regelgeving, inclusief de Europese regels die onderdeel zijn van het beleid. De bij de uitvoering van het beleid betrokken zelfstandige bestuursorganen (zbo’s) en rechtspersonen met een wettelijke taak (rwt’s) en de voor deze instellingen gedane rijksuitgaven vallen eveneens onder de beleidsdoorlichting.

De 20%-besparingsvariant betreft 20% van het budget op het artikel van de meest recente begroting. In de grondslag voor de 20%-variant hoeven, anders dan in de doorlichting als geheel, niet de garantieregelingen te worden betrokken.

Soms gaat de beleidsdoorlichting eenvoudig over al het beleid binnen een beleidsartikel. Maar soms ligt het ingewikkelder, bijv. omdat het beleid onder een ander begrotingsartikel valt. Vermeld in de beleidsdoorlichting welk aandeel van het beleid wordt afgedekt. Die afdekking kan worden berekend over de uitgaven in de meest recente begroting, of de gemiddelde jaaruitgaven over de hele onderzochte periode. Gebruik bij die uitleg eventueel een verhelderend schema of figuur.

Onderbouw het niet betrekken van een onderdeel

Als je er voor kiest om delen van het beleid of van uitgaven niet mee te nemen, onderbouw dit dan duidelijk en transparant .

Q2. Mogen verschillende artikelen tegelijk worden doorgelicht?

Je kunt meerdere beleidsartikelen in één beleidsdoorlichting behandelen. Dit heeft vooral zin als er veel inhoudelijke overlap en/of samenhang tussen de artikelen bestaat (ook interdepartementaal). Een voorbeeld is de beleidsdoorlichting Strategische luchttransportcapaciteit .

Q3. Kan een doorlichting zich ook richten op een deel van een beleidsartikel?

De bedoeling is om per beleidsdoorlichting een volledig begrotingsartikel af te dekken. Is dit niet het geval, geef dan aan welke onderdelen van het beleidsartikel wel c.q. niet worden meegenomen. Dit geldt zowel voor de toelichting bij de onderzoeksopzet aan de Tweede Kamer als voor de beleidsdoorlichting zelf.

  • Geef daarbij aan waarom het niet mogelijk of wenselijk is om een bepaald deel van het artikel door te lichten; en
  • Wanneer dat deel wél zal worden doorgelicht.

Q4. Wat te doen met stopgezette beleidsinstrumenten?

Omdat een beleidsdoorlichting het primaire instrument is voor het afleggen van verantwoording over en lessen trekken uit de doeltreffendheid en doelmatigheid van gevoerd beleid, maakt ook stopgezet beleid deel uit van een beleidsdoorlichting. Soms biedt de evaluatie van stopgezet beleid nog veel relevantie voor de toekomst, zeker als het gaat om veel gebruikte typen instrumenten zoals bijv. subsidies.

Q5. Wat als beleid en/of het beleidsdoel is veranderd?

Het kan voorkomen dat het onderzochte beleid en/of het doel van dat beleid ingrijpend is veranderd in de periode waarop de beleidsdoorlichting zich richt.

  • Vermeld in dat geval duidelijk in de onderzoeksopzet die naar de Tweede Kamer gaat, hoe hiermee wordt omgegaan.
  • Besteed ook in de beleidsdoorlichting zelf aandacht aan een tussentijdse verandering van het beleid of beleidsdoel. Als het beleid zelf is gewijzigd, maak dan een overzicht van de beleidsinstrumenten die de afgelopen jaren zijn afgevallen en van de nieuwe instrumenten die aan het beleid zijn toegevoegd, inclusief de informatie die over deze instrumenten beschikbaar is.
  • Als een consequentie van de verandering is dat delen van het in de afgelopen jaren gevoerde beleid c.q. de daarbij gehanteerde beleidsinstrumenten niet worden meegenomen, vermeld dat ook.

Q6. Wat als de indeling van het beleidsartikel de afgelopen jaren ingrijpend is veranderd?

Begrotingsartikelen kunnen gedurende de onderzochte periode een andere indeling hebben gekregen, waardoor (een deel van) hetzelfde beleid onder een ander begrotingsartikel is komen te vallen. Op zichzelf hoeft dat voor een beleidsdoorlichting niet uit te maken.

  • Vermeld in de onderzoeksopzet voor de Tweede Kamer én in de beleidsdoorlichting duidelijk, onder welke begrotingsartikelen de beleidsinstrumenten in de onderzochte periode vielen.

Q7. Wat te doen met uitgaven onder een beleidsartikel die bijdragen aan het doel van een ander beleidsartikel?

Een voorbeeld zijn de apparaatsuitgaven onder artikel 1 ‘Belastingen’ van de begroting van het Ministerie van Financiën. Een deel van deze uitgaven wordt gedaan om beleid uit te voeren dat bijdraagt aan doelen van andere beleidsartikelen. Daarvan worden meestal de apparaatsuitgaven en uitvoeringskosten geschaard onder het betreffende andere beleidsartikel. Het resterende deel van de uitgaven wordt in principe wel in de doorlichting van artikel 1 meegenomen.

Q8. Wat te doen met Europees beleid?

Sommige beleidsonderdelen zijn gebaseerd op Europees beleid, bijvoorbeeld de implementatie van de EU-richtlijnen voor luchtkwaliteit. Ook dan is meenemen van dit beleid in een beleidsdoorlichting aan de orde. Het EU-beleid is namelijk formeel onderdeel van het Nederlandse beleid. Als anderen, bijvoorbeeld de Europese Commissie, inzicht over de resultaten van het beleid in kwestie voor Nederland verzamelen, dan kun je daarvan gebruik maken in de beleidsdoorlichting.

Q9. Wat als een beleidsdoorlichting waarschijnlijk niet mogelijk en/of niet zinvol is?

De Rijksbegrotingsvoorschriften voorzien in de mogelijkheid om in de begroting toe te lichten waarom een ministerie van mening is dat een beleidsdoorlichting niet mogelijk en/of zinvol is. Zo kunnen de belangrijkste doorlichtingsvragen soms al zijn beantwoord vanwege een overlappende verantwoordingsverplichting. In andere gevallen lijkt onderzoek naar doeltreffendheid en doelmatigheid niet mogelijk voor een bepaald beleidsartikel (bijvoorbeeld, omdat doelen niet in de invloedssfeer van de beleidsdirectie liggen, maar in die van een andere bestuurlijke eenheid).

Ook in gevallen als deze is het raadzaam om toch een beleidsdoorlichting uit te voeren; die behelst immers meer dan alleen inzicht in doeltreffendheid en doelmatigheid. Geef in zo’n geval onderbouwd aan, waarom onderzoek naar doeltreffendheid en doelmatigheid niet mogelijk is. Bespreek ook onder welke voorwaarden dergelijk onderzoek op termijn wél mogelijk is. Bij de uitwerking van het plan van aanpak en de communicatie richting de Tweede Kamer kan dit al uitgewerkt worden. Stem dit in ieder geval af met FEZ en de IRF.

Planning (en vervolgacties)

Stap 1C) Maak een Plan van Aanpak

De volgende stap in het proces is het opstellen van een plan van aanpak.

Het plan van aanpak geeft het volgende aan:

Dit plan van aanpak is meteen een goede basis voor de brief met opzet en vraagstelling van de beleidsdoorlichting , die uiterlijk een week voor Prinsjesdag naar de Tweede Kamer moet worden gestuurd.

Spreek in het startgesprek duidelijk af, wie het plan van aanpak maakt.

Welke onderdelen van het beleid vallen onder een doorlichting? Q&A’s

  • Een substantieel en samenhangend deel van het beleid onder een begrotingsartikel wordt in de beleidsdoorlichting meegenomen.
  • Ook als er weinig of geen geld gaat naar (delen van) het beleid, is een beleidsdoorlichting verplicht.
  • Een beleidsdoorlichting stopt niet per se bij de grenzen van een beleidsartikel. De doorlichting kan betrekking hebben op een deel van een beleidsartikel dat op een departementale begroting staat, maar ook op delen van een aantal beleidsartikelen, zelfs over departementale grenzen heen.

Baken de doorlichting bij de start meteen helder af. Dit bevordert de transparantie en kwaliteit ervan en voorkomt dat tijdens de uitvoering discussie ontstaat over de afbakening.

Stap 2C) Maak het plan van aanpak definitief

Nadat de reactie van de Tweede Kamer is verwerkt, is het tijd om het plan van aanpak (zie stap 1C) verder uit te werken en definitief te maken, aan de hand van de volgende extra stappen:

  • Bepaal de benodigde data, onderzoeksmethoden, en wijze van berekening van de min 20% variant definitief (waarbij ook wordt bekeken of het nodig is om aanvullende evaluaties te verrichten);
  • Vertaal de planning op hoofdlijnen naar meer concreet benodigde: budget, activiteiten, taakverdeling en een uitgewerkte tijdsplanning .

Als de beleidsdoorlichting wordt uitbesteed, maken sommige genoemde elementen uit het plan van aanpak deel uit van de offerteaanvraag en dus van uitgebrachte offertes door onderzoeksbureaus

(Bij Stap 2C) Planning & budget

Wat betreft de planning van de beleidsdoorlichting:

  • Je kunt het beste terugrekenen vanaf het moment dat de stukken aan de Tweede Kamer worden gestuurd en de verschillende voorportalen voor het in de Ministerraad behandeld wordt. Dit kan circa twee maanden duren.
  • Het streven zou moeten zijn om de doorlichting in het derde kwartaal naar de Tweede Kamer te sturen, zodat er ruimte voor uitloop is. In het vierde kwartaal moet de doorlichting ‘in de Kamer liggen’.
  • De betrokkenen kunnen het beste tijdig worden benaderd, zodat zij in hun agenda rekening kunnen houden met overleg en de voorbereiding daarvan waaronder het lezen van stukken.

Het budget voor de doorlichting wordt grotendeels bepaald door de keuze voor zelf uitvoeren of uitbesteden van werkzaamheden. Kostenposten die meegenomen moeten worden zijn in elk geval:

  • kosten van het onderzoeksbureau;
  • vergoeding voor de onafhankelijke deskundige(n) en leden van de begeleidingscommissie;
  • kosten van verrichten van aanvullend onderzoek;
  • kosten verbonden aan presentatie van de uitkomsten (drukwerk, organiseren bijeenkomst).

Enkele departementen hebben handreikingen of een format voor de planning van een beleidsdoorlichting, zoals het (SZW-) voorbeeld hieronder.

 

Planning/proces opstellen beleidsdoorlichting van start tot versturen naar 2e Kamer per 1 juli cf. planning in de begroting, waarbij beleidsdirectie de activiteiten aanstuurt

 

Activiteit

Gereed/indicatie

1

Startbijeenkomst beleidsdirectie – FEZ, andere directies en externe partijen

Onderwerpen:

- relatie met de evaluatieagenda + hoofdlijnennotitie

- eisen aan een BD, verwijzing naar RPE

- opstellen plan van aanpak

- uitbesteding + doorlooptijd i.v.m. eventuele Europese aanbesteding

- onafhankelijke deskundige

- begeleidingscommissie

- planning

18 maanden

2

Bepalen onderzoeksvragen

- analyse maatschappelijke omgeving

- bespreking met Chief Science Officer (CSO), FEZ, stakeholders

16 maanden

3

Opstellen concept plan van aanpak

- bespreken met directeur FEZ + CSO

- voorstel doen welke onafhankelijke deskundige wordt betrokken

15 maanden

4

Plan van aanpak bespreken met

- begeleidingscommissie

- ministerie van Financiën (IRF)

14 maanden

5a

5b

Goedkeuring plan van aanpak via directeur beleidsdirectie, directeur FEZ, DG en SG naar minister

Brief naar 2e Kamer over opzet beleidsdoorlichting

13 maanden

Een week voor Prinsjesdag t-1*

6

Onafhankelijke deskundigen betrekken

- Samenwerkingsopdracht opstellen: aan bod komen onder andere vergoeding, toetspunten

12 maanden

7

Onderzoeksvragen en methoden ‘fine tunen’

- bespreken met CSO, FEZ en onafhankelijke deskundigen

11 maanden

8

Uitbesteden onderzoeksopdracht (eventueel)

Afspraken over: doel opdracht, kwaliteitseisen RPE, doorlooptijd, tussen- en eindrapportage, kosten + opstellen beleidsopties + opties 20% (+ en -)

10 maanden

9

Schrijven BD door onderzoeksbureau of in eigen beheer

- concept bespreken met

  • Beleidsdirectie
  • Begeleidingscommissie
  • FEZ
  • Onafhankelijke deskundigen

- minister informeren via MS-bericht (voortgang, inhoud, knelpunten)

 

10

Ontvangst definitief rapport of vaststellen eigen doorlichting. bespreken met MinFin (IRF), medeparaaf directeur FEZ.

3,5 maanden

11

Oordeel onafhankelijke deskundigen opvragen en toevoegen

3 maanden

12

Opstellen kabinetsreactie

- bespreking in Begeleidingscommissie,

- bespreking met Financiën (IRF)

- medeparaaf directeur FEZ

2 maanden (8 weken van te voren)

13

Aanbieding BD per nota aan de minister samen van met oordeel onafhankelijke deskundigen + kabinetsreactie

- medeparaaf directeur FEZ + CSO

7 weken

14

Bespreking in CWIZO en RWIZO

5 weken

15

Bespreking in ministerraad

- reacties andere departementen opvragen

- ministerraadadvies opstellen

3 weken

16

Versturen naar Tweede Kamer
- bekendmaken en verspreiden beleidsdoorlichting

0 weken

17

Monitoren beleidsaanpassingen + plannen nieuwe (deel)evaluatieonderzoeken

 

* Voor een beleidsdoorlichting die in de departementale begroting is aangekondigd om in 2017 aan de Kamer gezonden te worden, wordt dus uiterlijk op de derde dinsdag van september in 2016 de opzet en vraagstelling aan de Kamer gestuurd. Eerder mag altijd.

Stap 4C) De beleidsdoorlichting is niet op tijd af, wat dan?

Voor het einde van het jaar moet de beleidsdoorlichting afgerond zijn en via de MR aan de Tweede Kamer zijn verzonden. Het kan zijn dat dit niet lukt, bijvoorbeeld omdat aanvullend onderzoek uitloopt. In dat geval moet – eveneens voor het einde van het jaar – een uitstelbrief aan de Tweede Kamer zijn gestuurd. In die brief moet met redenen omkleed worden uitgelegd waarom de beleidsdoorlichting te laat wordt afgerond.

5: Behandeling en verzending

Stap 5A) Neem de kabinetsreactie op

Het definitieve rapport en het oordeel van de onafhankelijke deskundige worden voorzien van een reactie van de minister (of staatssecretaris als deze verantwoordelijk is) die over het beleid gaat. De verantwoordelijke minister geeft namens het hele kabinet een reactie op de beleidsdoorlichting. Deze wordt via (ambtelijk voorportaal en onderraad en) de Ministerraad verstuurd aan de Tweede Kamer.

De kabinetsreactie geeft:

  • Een evenwichtige samenvatting die recht doet aan alle hoofdconclusies over de doelmatigheid en doeltreffendheid van het beleid.
  • De conclusies die de minister vermeldt dienen ook daadwerkelijk door het rapport te worden ondersteund. Vervolgens geeft de minister zijn/haar visie op het rapport.
  • Een reactie op de geformuleerde aanbevelingen en 20%-besparingsvarianten.
  • Beleidsconclusies. Deze zijn bij voorkeur actiegericht: wat is de bewindspersoon van plan te gaan doen? Beleidsconclusies moeten uiteindelijk een weerslag krijgen in de jaarverslagen en beleidsbrieven.
  • Tot slot kan de kabinetsreactie ingaan op het oordeel van de onafhankelijke deskundige.
  • Houd er rekening mee dat wanneer de conclusies van een doorlichting tot voorgenomen beleidswijzigingen leiden, deze niet zomaar in de brief mogen. Beleidsvoornemens moeten via de beleidsbrief met de Minister van Financiën worden besproken (voorjaar) en mogen op zijn vroegst met Prinsjesdag (september) worden gepresenteerd.

Stem de kabinetsreactie af met FEZ en de IRF (en eventueel met relevante vakdepartementen) voordat deze via de MR naar de Tweede Kamer wordt gezonden.

Stap 5B) Behandeling stukken in de onderraad/ministerraad

Voorafgaand aan de ministerraad wordt de kabinetsreactie met de beleidsdoorlichting besproken in het desbetreffende ambtelijke ‘voorportaal’ en vervolgens in de ministeriële onderraad. Dit kan enkele weken in beslag nemen. Het is van belang hiermee bij de planning rekening te houden. De werkwijze kan per departement verschillend zijn, maar wijkt niet af van de manier waarop andere stukken in de ministerraad worden gebracht (vraag na bij FEZ of de MR-contactpersoon hoe dat in jouw departement gaat).

Na akkoord van het voorportaal is de beleidsdirectie verantwoordelijk voor het aanbieden van stukken aan de onderraad dan wel de ministerraad, inclusief een door de bewindspersoon ondertekend MR-aanbiedingsformulier. Het secretariaat van het voorportaal speelt hierin geen rol. Meer informatie kun je opvragen bij de eigen departementale MR-contactpersoon. Voor aanlevering resteert vaak weinig tijd ná het ambtelijke voorportaal; bereid dit dus zoveel mogelijk voor.

Stap 5C) Verzending naar Tweede Kamer

De minister stuurt de kabinetsreactie met beleidsdoorlichting en oordeel van de onafhankelijk deskundige nadat deze in de ministerraad (MR) is behandeld, naar de Tweede Kamer. Hiervoor verwijzen wij naar de procesgang binnen het eigen departement.

Kort samengevat verloopt de behandeling van de beleidsdoorlichting in de Tweede Kamer als volgt:

  • De desbetreffende Kamercommissie houdt een feitelijke vragenronde over de beleidsdoorlichting. De ambtelijke Dienst Analyse en Onderzoek (DAO) ondersteunt daarbij en geeft naast opmerkingen over de inhoud, advies over de kwaliteit van de beleidsdoorlichting.
  • De Kamercommissie besluit na ontvangst van de antwoorden op de feitelijke vragen over de verdere behandelwijze.
  • Het is uiteraard aan de Tweede Kamer om te beslissen of een debat over de beleidsdoorlichting gewenst is, of de beleidsdoorlichting bij een al gepland debat te betrekken. Er kan dan gekozen worden voor een afzonderlijk overleg waarin verantwoording (terugkijken), het trekken van lessen en het maken van afspraken ter verbetering van het beleid centraal staan.
  • De uitkomst van de behandeling wordt schriftelijk vastgelegd en vormt in de praktijk, samen met de kabinetsreactie op de conclusies van de doorlichting, de basis voor de vervolgacties.

Stap 5D) Publicatie van de doorlichting & kabinetsreactie

Na verzending aan de Tweede kamer wordt de beleidsdoorlichting (en de kabinetsreactie, oordeel van de onafhankelijke deskundige en eventuele bijlagen) gepubliceerd op de website van de Tweede Kamer en op Rijksoverheid.nl. Daarnaast draagt het trekkende ministerie zorg voor de publicatie ervan op www.rijksbegroting.nl.

Zorg ervoor dat de uitkomsten van de beleidsdoorlichting worden opgenomen in het departementale jaarverslag, in het onderdeel ‘beleidsconclusies’ van het betreffende begrotingsartikel’. Dit tekstueel gedeelte presenteert uitkomsten van recent (evaluatie-)onderzoek – waaronder doorlichtingen – en de doorwerking van de resultaten daarvan.

De conclusies van de beleidsdoorlichting en vervolgstappen (wat de minister ermee gaat doen), naast de eventuele gevolgen voor de evaluatieprogrammering zouden een plaats moeten krijgen in de departementale begroting.

6. Vervolgacties

Stap 6A) Zet eventuele beleidsaanpassingen in gang

Het is mogelijk dat de reactie van het kabinet en/of de Tweede Kamer op de conclusies van de beleidsdoorlichting leiden tot ontwikkeling/aanpassing of stopzetten van beleid. Dit vraagt van het beleidsdepartement de nodige vervolgstappen.

  • Deze stappen moeten in beeld worden gebracht en worden opgenomen in het jaarverslag, begroting en in desbetreffende beleidsbrieven.
  • In geval van beleidsaanpassingen (of gehele vernieuwing) moet aangepaste (of nieuwe) beleidstheorie worden opgesteld. Daarbij kan gebruik worden gemaakt van de 7 stappen in het Integraal afwegingskader voor beleid en wetgeving (IAK).
  • De vereiste activiteiten moeten een plek krijgen in het planning- & controlcyclus of beleidscyclus, zodat voortgang en afronding kunnen worden gemonitord en (bij)gestuurd.

Stap 6B) Plan en monitor komende evaluaties – in lijn met de Verbeterparagraaf

De afronding van een beleidsdoorlichting vormt meteen het startpunt van een nieuwe cyclus. Een aanzet daartoe wordt gegeven in de Verbeterparagraaf

  • Werk het evaluatieprogramma bij op basis van de afgeronde beleidsdoorlichting voor de komende periode van vier à zeven jaar.
  • Deze evaluaties worden (net als andere verbeteracties) opgenomen in de planning- & controlcyclus van het departement, zodat voortgang en afronding ervan kunnen worden gemonitord.

Aanpak: proces

Stap 2A) Stuur de opzet uiterlijk een week voor Prinsjesdag in het jaar vóór oplevering

Stuur de opzet uiterlijk een week voor Prinsjesdag in het jaar vóór oplevering naar de Tweede Kamer. Houd rekening met het zomerreces van bewindslieden voor het ondertekenen van de brief over de opzet. Vuistregel is om dit uiterlijk ca. zestien maanden voor de verwachte publicatiedatum te doen en bij een omvangrijke beleidsdoorlichting zo mogelijk eerder. Dan is er voldoende tijd om de reactie van de Kamer goed mee te nemen in de onderzoeksopzet. Dit is met name van belang bij het eventueel uitbesteden van de doorlichting.

Stap 2B) Behandel in de opzet:

Bij brief van 1 juni 2015 heeft de minister van Financiën aan de Tweede Kamer geschreven aan welke inhoudelijke eisen de toelichting op de onderzoeksopzet van een beleidsdoorlichting ten minste moet voldoen:

  1. De aanpak van de doorlichting;
  2. Hoe aan de algemene kwaliteitseisen zal worden voldaan;
  3. Hoe de onafhankelijkheid van de doorlichting zal worden gewaarborgd.

Gebruik als basis het Plan van aanpak .

De TK agendeert de opzet van de beleidsdoorlichting voor een vergadering van de betreffende Kamercommissie. De Tweede Kamer kan vervolgens vragen stellen over de opzet of een voorstel voor aanpassingen of aanvullingen doen en deze per brief kenbaar maken aan de bewindspersoon die over het beleid gaat. Het is gebruikelijk dat de bewindspersoon per brief laat weten hoe de opmerkingen/aanvullingen van de Kamercommissie worden verwerkt.

Ad 1: De aanpak: afbakening en meer

De toelichting op de onderzoeksopzet moet de Tweede Kamer ten eerste inzicht verschaffen in de afbakening van de doorlichting en de wijze waarop de verplichte onderdelen uit de RPE zullen worden uitgewerkt:

Voorbeeld toelichting op de afbakening

In de opzet van de Beleidsdoorlichting Klimaat is een overzicht opgenomen van alle uitgaven die onder de doorlichting vallen.

In de toelichting: ‘Er zijn ook beleidsinstrumenten die direct of indirect een bijdrage leveren aan het reduceren van broeikasgassen, maar die niet onder de uitgaven van Artikel 19 vallen. Deze beleidsinstrumenten worden al meegenomen in beleidsdoorlichtingen van andere departementen en/of artikelen, zoals bijvoorbeeld de doorlichting van Artikel 2.1 ‘Energie en Bouwkwaliteit’ van het ministerie van BZK (…) Om de samenhang met beleidsinstrumenten die onder andere beleidsartikelen en/of andere departementen vallen te borgen, is gekozen voor een brede begeleidingscommissie met vertegenwoordigers van de ministeries van Binnenlandse Zaken en Koninkrijkrelaties, en… [o.a. EZK]. Hiermee wordt verzekerd dat het oordeel over de doelmatigheid en de doeltreffendheid van de besteding van de middelen uit artikel 19 wordt bezien binnen een breder kader.

Ook is de ontvangstenkant meegenomen: ‘Naast de uitgaven, zal ook worden gekeken naar de ontvangsten, die gerelateerd zijn aan de verkoop van CO2-emissierechten, als onderdeel van het Europese Emissions Trading System (EU ETS).’

  • Geef aan hoe je omgaat met vage of abstracte, of ver in de toekomst gelegen– beleidsdoelen; bijvoorbeeld door deze onder te verdelen in concretere (meetbare) subdoelen. Geef hierin ook aan welke (methodologische) beperkingen of problemen je tegenkomt en welke veronderstellingen of vereenvoudigingen je hiervoor hanteert. Bij recentelijk geïntroduceerd of gewijzigd beleid kun je leunen op de evaluatieparagraaf van de MvT van de beleidsinstrumenten .
  • Eventueel tussentijds gewijzigd beleid en/of beleidsdoelen : Hoe om te gaan met beleid dat in de loop van de doorgelichte periode is veranderd, of met gewijzigde beleidsdoelen ?.
  • Geef aan hoe de vijftien vragen van de beleidsdoorlichting (RPE) beantwoord zullen worden. Kun je op alle vragen antwoord geven, ook op de doelmatigheidsvraag? Ook hier kun je mogelijk leunen op de evaluatieparagraaf van de MvT van beleidsinstrumenten.

Voorbeeld van toelichting bij hoofdvraagstelling ( opzet beleidsdoorlichting artikel 19 Klimaat , 2017)

Opzet beleidsdoorlichting

De kern van de beleidsdoorlichting zal zijn het verantwoorden van de doeltreffendheid en doelmatigheid van het klimaatbeleid. Het onderzoek zal door middel van een beleidsreconstructie in kaart brengen wat de doelstellingen van het gevoerde beleid waren en beoordelen in hoeverre het beleid, alsmede de daarmee samenhangende uitgaven, doeltreffend of doelmatig zijn geweest. Daarbij zal ook aandacht worden besteed in welke mate de gebruikte evaluatiemethoden voldoende basis bieden om de doeltreffendheid en/of de doelmatigheid van het betreffende beleid vast te stellen.

Naast het onderzoeken van de verplichte 20%-besparingsvariant, zal ook een 20%-intensiveringsvariant onderdeel zijn van de beleidsdoorlichting. Tot slot zal er een analyse worden uitgevoerd over wat en de mate waarin de in Artikel 19 gehanteerde indicatoren, kengetallen en streefwaarden iets zeggen over doeltreffendheid en doelmatigheid en of daar verbeteringen in kunnen worden aangebracht.

  • Volledigheid van het beschikbare (evaluatie)materiaal : een beleidsdoorlichting is – zoals in de inleiding beschreven – een syntheseonderzoek : Zijn er (genoeg) evaluaties beschikbaar die deze vraag beantwoorden en zijn dat de juiste evaluaties? Is aanvullend materiaal nodig? Als het op voorhand al duidelijk is dat een vraag niet beantwoord kan worden op basis van het bestaande materiaal, geef dan aan hoe hiermee wordt omgegaan. Ook is het een optie om op korte termijn alsnog een evaluatieonderzoek te laten verrichten.
  • Globale toelichting op de aanpak van de doorlichting : Wat zijn de benodigde data en met welke methoden worden deze verzameld? Is het nodig om aanvullende evaluaties te verrichten? Wat zijn de mogelijkheden en beperkingen van de doorlichting, gegeven het beleid en de context waarbinnen dit beleid wordt gevoerd?

Voorbeeld van globale toelichting bij de aanpak (beleidsdoorlichting artikel 4 Financiën, 2015)

“Om vast te stellen in wat voor mate het beleid van de minister van Financiën doeltreffend is geweest zal men idealiter de causale relatie tussen ingezette (beleids)instrumenten en een maatschappelijke uitkomst vaststellen. Omdat Nederland slechts één van de vele actoren is die invloed probeert uit te oefenen, is er geen sprake van een direct meetbare invloedsrelatie en is een causale relatie tussen ingezette beleidsinstrumenten en de gewenste uitkomst bijna onmogelijk vast te stellen (…). Het is wel mogelijk om aan de hand van casestudies indicaties te geven van het effect van de Nederlandse beïnvloeding op de Europese en internationale financiële instellingen. Uit deze verdiepende casestudies moet blijken welke beleidsinstrumenten Nederland heeft ingezet om de Europese en internationale financiële instellingen te beïnvloeden en of dit doelmatig en doeltreffend is geweest (…). Aan de hand van de (...) case studies zal worden onderzocht hoe effectief het inzetten van financiële en beleidsmatige instrumenten is geweest voor het beïnvloeden van de Europese en internationale financiële instellingen.”

  • Aanpak van de 20%-besparingsvariant: vermeld de grondslag voor de uit te werken besparingsvariant in de opzet.

Ad 2) Hoe aan de algemene kwaliteitseisen zal worden voldaan

Kwaliteitseisen aan een beleidsdoorlichting volgens de Regeling Periodiek Evaluatieonderzoek (RPE)

Het onderzoek naar de doeltreffendheid en de doelmatigheid kent de volgende kwaliteitseisen:

  1. het onderzoek maakt duidelijk welk beleid wordt onderzocht en wat de doelstellingen ervan zijn;
  2. het onderzoek beoogt de vraag te beantwoorden in hoeverre het beleid, alsmede de daarmee samenhangende uitgaven, doeltreffend of doelmatig is;
  3. de conclusies van het onderzoek worden onderbouwd door onderliggende bevindingen;
  4. de in het onderzoek gebruikte onderzoeksmethode is valide en betrouwbaar, het rapport geeft inzicht in de gebruikte evaluatiemethode en in de mogelijkheden en onmogelijkheden om de doeltreffendheid en/of de doelmatigheid van het betreffende beleid vast te stellen.

Hierboven (ad 1) genoemde punten geven de Tweede Kamer inzicht in hoe het onderzoek wordt aangepakt en de kwaliteit ervan wordt geborgd. Daarnaast kan extra informatie worden verschaft over de manier waarop de kwaliteitsborging plaatsvindt, bijvoorbeeld door het instellen van een klankbordgroep of begeleidingscommissie, zelf uitvoeren eventueel na het volgen van een training (bijvoorbeeld: Maatwerkcursus Beleidsdoorlichtingen door IRF/BSA), via uitbesteden aan een deskundig onderzoeksbureau en/of het inschakelen externe kennis en kunde.

Ad 3) Hoe de onafhankelijkheid van de doorlichting zal worden gewaarborgd

Hoe de onafhankelijkheid van een beleidsdoorlichting moet worden gewaarborgd, staat in de RPE.

Onafhankelijkheidswaarborgen voor een beleidsdoorlichting volgens de RPE

2.2 Bij de uitvoering van een onderzoek naar de doeltreffendheid en de doelmatigheid van het beleid wordt minimaal één onafhankelijke deskundige betrokken.

2.3 De deskundige, bedoeld in het tweede lid, geeft een onafhankelijk oordeel over het uitgevoerd onderzoek.

2.4 Het onderzoeksrapport beschrijft de manier waarop een of meer onafhankelijke deskundigen bij het onderzoek is of zijn betrokken.

[..] 3.6 Bij elke beleidsdoorlichting geeft ten minste één onafhankelijke deskundige een oordeel over de kwaliteit van de beleidsdoorlichting en een toelichting op de betrokkenheid en inbreng van de onafhankelijke deskundige bij de totstandkoming van de beleidsdoorlichting. Deze toelichting wordt opgenomen in de beleidsdoorlichting of als bijlage meegestuurd naar de Tweede Kamer.

Om de Tweede Kamer hierin inzicht te verschaffen, zou je de volgende vragen kunnen beantwoorden:

Voorbeeld uit toelichting bij beleidsdoorlichting artikel 6.1, 6.2 en 6.3 van Binnenlandse Zaken en Koninkrijksrelaties (2015)

“Een begeleidingscommissie ziet erop toe dat het onderzoek volgens voorstel en planning verloopt. Tevens draagt de begeleidingscommissie zorg dat alle relevante belanghebbenden, zoals medeoverheden en betrokken instanties, bij de beleidsdoorlichting worden betrokken. Prof. dr. [..], emeritus hoogleraar bestuurskunde, wordt als externe deskundige betrokken bij de opzet en inhoud van de doorlichting en zijn onafhankelijke oordeel is onderdeel van de beleidsdoorlichting die dit jaar aan uw Kamer wordt aangeboden.”

Stap 2C) Maak het plan van aanpak definitief

Nadat de reactie van de Tweede Kamer is verwerkt, is het tijd om het plan van aanpak (zie stap 1C) verder uit te werken en definitief te maken, aan de hand van de volgende extra stappen:

Als de beleidsdoorlichting wordt uitbesteed, maken sommige genoemde elementen uit het plan van aanpak deel uit van de offerteaanvraag en dus van uitgebrachte offertes door onderzoeksbureaus.

Stap 2D) Maak de keuze tussen uitbesteden of zelf uitvoeren

Je kunt een beleidsdoorlichting uitbesteden of in eigen beheer uitvoeren. Elke benadering heeft zijn voor- en nadelen.

Pluspunten van zelf uitvoeren

  • De kans om veel van de beleidsdoorlichting te leren, zowel tussentijds als van de resultaten
  • Kennis van het beleidsveld is aanwezig
  • Flexibiliteit: onderzoek in eigen beheer is relatief goed bij te sturen (bij uitbesteding ligt veel contractueel vast)

Pluspunten van uitbesteden aan een externe partij

  • Je wordt ‘gedwongen’ om vooraf goed na te denken over wat de beleidsdoorlichting moet opleveren
  • Expertise: bijvoorbeeld over evaluatiemethoden die niet aanwezig is binnen het eigen departement. Dit kan tot een grotere efficiëntie leiden.
  • Onafhankelijkheid: de uitvoering ligt bij mensen die niet (direct) bij het beleid betrokken zijn
  • Een blik van buiten met een andere invalshoek leidt wellicht tot verrassende aanbevelingen en lessen
  • Er ligt minder druk op de interne capaciteit

Een ’gezonde’ begeleiding door beleidsmedewerkers gedurende een uitbestedingstraject is gewenst om te zorgen dat het departement goed betrokken blijft en voldoende (tussentijdse) lessen uit voortgang en bevindingen kan trekken. Zie voor do’s en dont’s van het begeleiden van (onafhankelijk) onderzoek ook par. 4.1.7 in de Gedragscode Integriteit Rijk .

Afspraken vastleggen (bij uitbesteding)

Uitbesteden van de beleidsdoorlichting houdt een Europees aanbestedingstraject in bij diensten voor de centrale overheid boven de €144.000; daaronder kan een nationale procedure worden gevolgd, zoals een procedure met voorafgaande bekendmaking of een (meervoudige) onderhandse procedure; er zijn 4 nationale procedures . Dit vraagt in dat geval specifieke aandacht voor de aanbestedingsregels. Neem hierover tijdig contact met de inkoopafdeling. Deze kan adviseren over de aanpak, doorlooptijd en de begeleiding tijdens het traject (ca 6 maanden). Belangrijke elementen zijn het opstellen van het aanbestedingsdocument (programma van eisen), de methodiek bij het beoordelen van offertes en de afwikkeling rond afgewezen bureaus. Houd bij het aanbesteden er rekening mee dat dit proces enkele maanden in beslag kan nemen. Daarom is het raadzaam als aanbesteden gewenst is de Tweede Kamer eerder te informeren over de opzet en vraagstelling.

Er is altijd de keuze tussen volledig uitbesteden van de doorlichting, of van onderdelen ervan; zo wordt – bijvoorbeeld – de 20% besparingsvariant nogal eens in eigen beheer uitgevoerd met als input de conceptresultaten van de externe partij. Bij volledige uitbesteding zal de beleidsdirectie meer op afstand staan dan bij zelf uitvoeren. Goede afspraken met de opdrachtnemer zijn daarom belangrijk. Dit kan door in het contract of in een aanvullend protocol afspraken op te nemen over:

  • Hoe de taken tussen onderzoeksbureau en departement worden verdeeld (leg hierbij onder andere vast wie verantwoordelijk is voor het kiezen/doorrekenen van de 20%-minder varianten)
  • Welke medewerkers met elkaar contact hebben en hoe vaak;
  • Wanneer en welke informatie-uitwisseling plaatsvindt tussen het departement en het bureau, bijvoorbeeld de te bestuderen onderzoeken voor syntheseonderzoek;
  • Wie het overleg met de begeleidingscommissie inhoudelijk en procesmatig voorbereidt;
  • Wat de rol zal zijn van de onafhankelijke deskundige, de momenten waarop hij/zij wordt betrokken, de informatie die hij/zij ontvangt en van wie (departement of bureau);
  • Met welke frequentie er voortgangsinformatie zal worden verstrekt, inclusief knelpunten en risico’s;
  • Hoe de verslaglegging van overleg en archivering van documenten wordt geregeld;
  • Welke escalatieprocedure wordt gevolgd bij belangrijke verschillen van inzicht.
  • Wanneer welke producten worden verwacht.

Het is verstandig om in het rapport duidelijk aan te geven wie de auteur is van welke rapportonderdelen: departement zelf of een extern bureau. In het geval van aanvullend evaluatieonderzoek om gaten op te vullen is het van belang om te zorgen voor goede afstemming tussen de opstellers van de beleidsdoorlichting en degenen die de uitkomsten van het aanvullende onderzoek op papier zetten.

Aanpak: inhoud

Stap 3A) Maak een overzicht van eerder (evaluatie)onderzoek

Een beleidsdoorlichting is een syntheseonderzoek: dit staat of valt met de beschikbaarheid van eerder afgeronde evaluaties, en eventuele andere onderzoeken. Het maken van een overzicht van de beschikbare informatie vormt het startpunt van een syntheseonderzoek. Behalve in opdracht van de overheid uitgevoerde evaluatieonderzoeken kunnen daarvoor ook overige bronnen uit binnen- en buitenland worden gebruikt, zoals uitvoeringsinformatie en resultaten uit wetenschappelijk empirisch onderzoek.

Betrek in het overzicht van eerder (evaluatie)onderzoek in elk geval:

  • Alle (genoemde) bronnen die zicht helpen bieden op één of meer vragen van de beleidsdoorlichting;
  • Per bron een korte samenvatting van de resultaten en conclusies in termen van doelbereiking, doeltreffendheid en doelmatigheid;
  • Vermeldingen naar de gebruikte bronnen, zodat de studies die ten grondslag liggen aan de beleidsdoorlichting ook toegankelijk worden voor anderen.

Stap 3B) Beoordeel de kwaliteit van het verzamelde onderzoek

Het is belangrijk om een kwaliteitsbeoordeling te maken van de verzamelde onderliggende evaluaties en andere studies.

Volgens de RPE voldoet onderzoek naar de doeltreffendheid en de doelmatigheid van het beleid aan de volgende eisen:

  • het onderzoek maakt duidelijk welk beleid wordt onderzocht en wat de doelstellingen van dat beleid zijn;
  • het onderzoek geeft antwoord op de vraag in hoeverre het beleid, alsmede de daarmee samenhangende uitgaven, doeltreffend en doelmatig is;
  • de conclusies van het onderzoek worden onderbouwd door onderliggende bevindingen;
  • de in het onderzoek gebruikte onderzoeksmethode is valide en betrouwbaar;
  • het rapport geeft inzicht in de gebruikte evaluatiemethode en in de mogelijkheden en onmogelijkheden om de doeltreffendheid en de doelmatigheid van het betreffende beleid vast te stellen.

Maak voor meer concrete handvatten voor deze kwaliteitsbeoordeling gebruik van Hulpmiddelen bij de kwaliteitsbeoordeling

Stap 3C) Reconstrueer de beleidstheorie

De term ‘beleidstheorie’ duidt op de overkoepelende argumentatie achter de veronderstelde werking van beleidsinstrumenten. In feite is dit de ruggengraat van het beleid. De redenering waarom beleid werkt, moet kloppend zijn. Idealiter stoelt de beleidstheorie op eerdere ervaringen, wetenschappelijke inzichten en kennis/support uit de praktijk.

Om goed te kunnen evalueren, is het heel zinvol om al bij de beleidsvorming de beleidstheorie te construeren, en na te denken over mogelijkheden om die te evalueren. Artikel 3.1 van de Comptabiliteitswet (‘CW 3.1’) vereist dat in beleidsvoorstellen wordt toegelicht welke doelen worden nagestreefd, welke beleidsinstrumenten daartoe worden ingezet, de financiële consequenties en waarom verondersteld wordt dat het beleid doeltreffend en doelmatig zal zijn. De beleidstheorie maakt daarom ook onderdeel uit van het Integraal afwegingskader voor beleid en regelgeving (IAK), hoofdvraag 3 en 4 en de bijbehorende factsheets.

Stappen om tot (re)constructie van de beleidstheorie te komen

Idealiter: vroeg in de beleidscyclus

  1. Is het probleem waar het beleid zich op zal richten gespecificeerd in termen van oorzaken en gevolgen? En vervolgens: Zijn de genoemde oorzaken en gevolgen in lijn met bestaande kennis en inzichten?
  2. Is de keuze van beleidsinstrumenten toegespitst op de aard van het onderliggende probleem? Leg aannames bloot à waarom is x de oorzaak van y?
  3. Via welke denk-stappen verwacht men dat de gekozen instrumenten tot de beoogde doelen leiden? Leg aannames bloot à waarom zal instrument A leiden tot doel B? “Het is evident dat .... zal werken”; “Naar onze mening is de beste / enige manier om dit probleem aan te pakken ….”; “De jarenlange ervaring in onze organisatie vertelt ons dat ….."
  4. Zijn die stappen logisch en worden ze ondersteund door (wetenschappelijke) kennis en inzichten over de effectiviteit van dezelfde of vergelijkbare instrumenten in vergelijkbare contexten? Denk aan Logische consistentie en Empirisch gehalte.
  5. Geven 1-4 aanleiding om het beleid te herzien? (Zo ja, op welke punten?)

De gedachtegang achter het beleid wordt in de praktijk onvoldoende expliciet uiteengezet in officiële beleidsstukken, laat staan in de begroting. Niettemin kan de beleidstheorie achteraf worden gereconstrueerd met behulp van beleidsteksten en aanvullende interviews – en dit gebeurt regelmatig. De beleidstheorie wordt dan bij voorkeur weergegeven in de vorm van een schema of model waarin deze verbanden naar voren komen, zoals een doelenboom of een resultatenketen. De figuur hieronder geeft zo’n keten in mogelijke vorm weer.

Kern is de rij in het (midden figuur) de loopt van input/middelen (geld, personeel, materieel) naar throughput/activiteiten (zoals bijv. het ontwikkelen en uitrollen van een reïntegratietraject) naar output/prestaties (bijv. de aangeboden reïntegratietrajecten). En vervolgens van output naar de outcome/effecten (i.c. het aandeel deelnemers dat het werk heeft hervat).

Je zou binnen de beoogde effecten nog de intermediate outcome en final outcome kunnen onderscheiden (niet in figuur); waarbij het aandeel werkhervattenden de intermediate outcome is en de final outcome bijvoorbeeld een hoger algemeen welvaartspeil.

Productieproces publieke sector

Een goede beleidstheorie behelst meer dan het opschrijven van deze keten. Achter de pijlen liggen veronderstellingen over de werking. Vooral de pijl van output naar outcome is cruciaal; daar zitten vaak nogal wat aannames achter, die tijdens de totstandkoming van beleid vaak niet expliciet worden gemaakt.

 


Box. De pijl tussen output (prestaties) en outcome

Het is (misschien) niet nodig om doeltreffendheid van elk geïntroduceerd vaccinatieprogramma steeds opnieuw in de praktijk te onderzoeken, als voldoende bekend is wat het effect van het vaccin is. Een optie kan dan zijn om via onderzoek naar het uitvoeringsproces na te gaan of is voldaan aan de voorwaarden voor het toedienen van het vaccin. Een light-evaluatie dus, die zich vanwege de al beschikbare kennis kan beperken tot de vraag:

Wordt de doelgroep van het vaccinatieprogramma bereikt? Het bereiken van de doelgroep is een belangrijke voorwaarde voor doeltreffendheid. Dit vergt bovendien dat de implementatie is volbracht (prestatie, output). Als een deel van de beoogde kinderen of aspirant-reizigers niet worden ingeënt, is het vaccinatieprogramma zeker niet doeltreffend – ook al werkt het middel nog zo goed.

Door kennis over het bereiken van de doelgroep te combineren met kennis over de werkzaamheid van het vaccin uit de literatuur wordt de mate van doeltreffendheid (zeer) plausibel gemaakt.


 

Bij reconstructie van de beleidstheorie ligt dus de nadruk op de vraag waarom er eigenlijk pijlen zijn getekend tussen input en output, en tussen output en outcome. Deze kun je voor elk doorgelicht beleidsinstrument afzonderlijk uitwerken, maar voor de kern van de beleidsdoorlichting is de ratio achter de mix van ingezette instrumenten, nu juist het meest belangrijk. Niet voor elk beleidsartikel zal gemakkelijk een beleidstheorie kunnen worden gereconstrueerd. Soms ontbreken heldere doelen, soms valt het beleidsinstrumentarium niet goed onder een begrotingsdoel te scharen. Vermeld deze knelpunten en verricht bijvoorbeeld een reconstructie op de beschikbare losse onderdelen.

Al met al heeft een schematische weergave van de beleidstheorie in een beleidsdoorlichting meerdere voordelen:

  • Deze stimuleert het formuleren van meetbare indicatoren voor input, output, outcome, en
  • Nodigt uit tot een kritische blik op tussentijdse resultaten (bijv. zorgt de voorlichting wel voor meer fietshelmen?) en tijdig bijsturen.

Vermeld ten slotte of in de doorgelichte periode wijzigingen zijn opgetreden in het beleid en (dus) in de beleidstheorie. Dit bepaalt immers ook in hoeverre er conclusies kunnen worden getrokken over de effecten van het beleid.

Stap 3D) Benoem witte vlekken

De beleidstheorie is een hulpmiddel om lacunes in het beschikbare evaluatieonderzoek – dat ten grondslag ligt aan de doorlichting – inzichtelijk te maken. Zulke lacunes kunnen maken dat uitspraken over bepaalde onderdelen van het beleid, of over bijvoorbeeld de doeltreffendheid daarvan (bovenop de uitvoering) niet mogelijk zijn. Verricht in die gevallen zo mogelijk alsnog aanvullend (evaluatie)onderzoek. Daarbij zijn ook lichtere vormen denkbaar, zoals gesprekken met bijvoorbeeld uitvoeringsdiensten om aanvullende informatie te vergaren. Is aanvullend onderzoek niet (meer) mogelijk, geef dan in de Verbeterparagraaf aan hoe de witte vlekken alsnog worden aangepakt.

Stap 3E) Synthese: doeltreffendheid/doelmatigheid van alle instrumenten in samenhang

Een synthese maken is meer dan alleen een overzicht geven van de evaluaties en hun afzonderlijke resultaten. In een beleidsdoorlichting wordt een oordeel over de werking (doeltreffendheid en doelmatigheid) van alle instrumenten in onderlinge samenhang verwacht. Hulpmiddel of ‘kapstok’ daarbij is, zoals benoemd, de beleidstheorie.

Ook als voldoende evaluatieonderzoek beschikbaar is, kun je tegen problemen aanlopen. Zo is het mogelijk dat twee studies over hetzelfde beleid elkaar tegenspreken. Het is in dit geval verstandig om de studies wat meer in detail te bekijken. Meten ze wel hetzelfde, is de kwaliteit van beide studies gelijk? Bij nadere bestudering blijkt een uitspraak dan toch vaak wel mogelijk. Zie onderstaand voorbeeld.

Elkaar tegensprekende beleidsevaluaties: een voorbeeld

De lerarenbeurs is bedoeld om leraren te stimuleren een extra opleiding te gaan volgen. Voor de doorlichting van het actieplan LeerKracht uit 2013, waar het instrument lerarenbeurs onderdeel van uitmaakte van dit beleidsinstrument waren verschillende evaluaties beschikbaar: één van het Centraal Planbureau (CPB) uit 2010 en één van IVA Onderwijs uit 2012.

Het CPB concludeerde op basis van een quasi-experimentele aanpak dat van elke tien verstrekte lerarenbeurzen er gemiddeld maar één beurs werd gebruikt voor een opleiding die anders niet zou zijn gevolgd. Uit een steekproefonderzoek van IVA Onderwijs kwam daarentegen naar voren dat 21 procent van de ondervraagde leraren zonder beurs niet aan de opleiding zouden zijn begonnen en dat 44 procent dat alleen zou hebben gedaan indien de school de kosten zou betalen – met andere woorden: alleen onder voorwaarden die vergelijkbaar zijn met die van de lerarenbeurs.

In de beleidsdoorlichting wordt geconcludeerd: “Uitkomsten uit onderzoeken geven een verschillend beeld van de toegevoegde waarde van de Lerarenbeurs.” Echter, wanneer goed naar beide studies wordt gekeken, blijkt dat de betrouwbaarheid en validiteit van het CPB-onderzoek groter is dan die van het IVA-onderzoek. Het IVA-onderzoek is gebaseerd op een enquête en daarmee de mening van de respondenten. In de CPB-studie is het werkelijk volgen van een opleiding gemeten. Dit is bovendien gedaan in twee groepen die sterk verschilden in de kans op het krijgen van een beurs maar verder vergelijkbaar waren. Zo’n quasi-experimentele opzet is geschikter voor het aantonen van de doeltreffendheid van beleid. Er had dus ook voor kunnen worden gekozen om de conclusie van het CPB-rapport te volgen.

UITSTAP. Wat is precies doeltreffendheid en doelmatigheid en hoe kun je deze abstracte begrippen meetbaar maken?

In deze ‘uitstap’ bespreken we verschillende mogelijke aanpakken ten behoeve van de evaluatie van doeltreffendheid en doelmatigheid; zonder dat die direct in de beleidsdoorlichting hoeven worden toegepast (dat is immers een syntheseonderzoek). De uitstap is bedoeld om degenen die de beleidsdoorlichting uitvoeren en begeleiden, hulpmiddelen te geven om bestaande (evaluatie-) onderzoeken te waarderen op relevantie en kwaliteit; en daarmee op geschiktheid voor de doorlichting. Ook bieden ze inspiratie voor de insteek van het syntheseonderzoek als zodanig.

Het meten van doeltreffendheid

RPE, artikel 1

d. Doeltreffendheid van het beleid: de mate waarin de beleidsdoelstelling dankzij de inzet van de onderzochte beleidsinstrumenten wordt gerealiseerd;

Doeltreffendheid is synoniem voor effectiviteit.

In figuur wordt het begrip doeltreffendheid geïllustreerd aan de hand van de resultatenketen, zoals deze ook bij het uitwerken van de beleidstheorie kan worden gebruikt.

  • Input: mensen en middelen die worden ingezet
  • Activiteiten: de interventies, instrumenten die met deze middelen worden uitgevoerd
  • Output: de prestaties die met deze activiteiten worden geleverd
  • Outcome: de directe effecten van deze prestaties

De outcome kan, behalve door beleid, óók door andere factoren worden beïnvloed.

Het woord “dankzij” in de definitie van doeltreffendheid vereist dat de causaliteit tussen beleid en effecten, oftewel tussen de prestaties (output) en de uiteindelijke effecten (outcome) plausibel of hard wordt gemaakt. Bijvoorbeeld: wordt een kleiner aantal verkeersdoden op jaarbasis inderdaad veroorzaakt door de aanleg van het x-aantal rotondes op risicoplekken? Deze outcome kan namelijk ook door andere externe factoren worden veroorzaakt zoals het steeds veiliger worden van auto’s, toegenomen gebruik van fietshelmen of de verkeersdrukte. Als alleen het aantal verkeersdoden wordt gemonitord zonder dat de relatie met het beleid wordt gelegd, spreken we van doelbereiking.

Een voorbeeld. De input van reïntegratiebeleid (cliënten die uit het werkproces zijn geraakt terug begeleiden naar werk) zijn middelen/mankracht. De activiteit is het opzetten en aanbieden van reïntegratietrajecten. De prestatie (output) is het aantal trajecten dat cliënten hebben gevolgd.

De doelbereiking is het percentage cliënten dat het werk hervat na zo’n traject te hebben gevolgd. Maar daarmee weten we nog niet, in hoeverre dit percentage het resultaat is van het reïntegratiebeleid. Er zijn immers ook een hoop andere factoren op werkhervatting van invloed, zoals de economische conjunctuur en de beschikbaarheid van (goede) kinderopvang. Daar komen we in een volgend blok op terug.

Vaak zijn de prestaties (output) en doelbereiking meetbaar te maken, bijvoorbeeld hoeveel werkhervattingstrajecten zijn uitgevoerd: dat is een zogenoemde prestatie-indicator. De doeltreffendheid van beleid (ten opzichte van een situatie zonder beleid) is lastiger in beeld te brengen: bijvoorbeeld, hoeveel werkzoekenden zijn aan een baan gekomen dankzij het beleid van ‘terugbegeleiding’ cq. re-integratie (outcome)?

 


Box. Evalueren van abstracte, of ver gelegen beleidsdoelen

Hoe concreter het beleidsdoel, des te beter het te evalueren (want meetbaar te maken) valt.

In de praktijk zijn beleidsdoelen helaas niet altijd glashelder. Bovendien verschillen doelen onderling sterk: sommige liggen bijvoorbeeld dichter bij het leveren van prestaties (output) dan andere, die zich richten op de – maatschappelijke – doorwerking, veelal op langere termijn. Dat heeft gevolgen voor de aanpak van de doorlichting.

Het is verstandig om in de beleidsdoorlichting duidelijk aan te geven als doelstellingen concreter gemaakt zouden moeten worden. De (beperkte) evalueerbaarheid van de doelen kan ook een van de conclusies van de doorlichting zijn. Hieronder wordt een aantal situaties geschetst waarin het lastig is om de realisatie van beleidsdoelen (en dus de doeltreffendheid van het beleid) goed te evalueren.

Als het beleidsdoel in de verre toekomst ligt

De doeltreffendheid van beleid is moeilijk vast te stellen als het beleidsdoel in de verre toekomst ligt. Een aanpak daarbij is: nagaan welke effecten er anno ‘nu’ al bereikt zijn. Dit maakt een uitspraak over de effectiviteit mogelijk zonder dat in de doorlichting meteen ook een uitspraak hoeft te worden gedaan over het al dan niet halen van het toekomstige doel. Nog mooier is het als op grond van de tot nu toe behaalde resultaten ook een inschatting kan worden gemaakt van de kans dat het uiteindelijke beleidsdoel wordt gehaald. Dit kan bijvoorbeeld met behulp van een scenarioberekening of een plausibiliteitsredenering. Een concreet voorbeeld hiervan vormt de ‘stoplichtentabel’ in de bijlage van de Balans voor de Leefomgeving van het Planbureau voor de Leefomgeving .

Als het maatschappelijke doel ontbreekt

Er zijn beleidsartikelen waaraan geen maatschappelijke doelen zijn gekoppeld, maar alleen doelen op prestatie- of outputniveau. Een voorbeeld is beleidsartikel 2 van Defensie Taakuitvoering zeestrijdkrachten: “De zeestrijdkrachten leveren operationeel gerede maritieme expeditionaire capaciteit, zowel vloot als mariniers, voor nationale en internationale operaties". Wanneer strikt zou worden gekeken naar het bereiken van dit beleidsdoel is het voldoende om na te gaan of de prestatie ‘leveren van capaciteit’ is gerealiseerd. Dan zou de doorlichting zich alleen op de output kunnen richten. Het Ministerie van Defensie kiest er daarom voor om meer thematische beleidsdoorlichtingen uit te voeren, waarin bijvoorbeeld de effecten van internationale operaties centraal staan. Een voorbeeld is de beleidsdoorlichting Bescherming kwetsbare scheepvaart nabij Somalië uit 2014.


 

Twee hoofdbenaderingen in de evaluatie van doeltreffendheid

In ‘evaluatieland’ zijn twee hoofdbenaderingen te onderscheiden: de attributieve en de contributieve (zie schema).

Schema

Attributie (black box)

Bijv. Experimenten, quasi-experimenten

Contributie (clear box)

Bijv. CMO, verklarend onderzoek met de beleidstheorie als leidraad

Causaliteit

(In welke mate ) Werkt het beleid?

Hoe werkt het beleid?

Verklaring

 

Focus op (gedrags)mechanismen, ingebed in een context van condities

Outcome

Van tevoren gedefinieerd

Van tevoren gedefinieerd, en: afhankelijk van context

Context

De context wordt voor de evaluatie geneutraliseerd (uitgeschakeld) om netto-effect van beleid te destilleren

Werkt het (i.h.a.)?

Wat werkt voor wie, en onder welke omstandigheden?

Leren van evalueren

Ja, maar a-contextueel (je weet niet wanneer of waar het beter of minder uitpakt)

Ja, maar moeilijk overzicht te bewaren over de omstandigheden waaronder resultaten worden geboekt

  1. Attributie: in welke mate werkt het?

Een bekende graadmeter die in de praktijk wordt gebruikt om het causale verband tussen prestatie (output) en effect is de effectladder.

Effectladder: hoe ‘hard’ is doeltreffendheid gemaakt?

In de opzet van de Beleidsdoorlichting Landbouw, Natuur en Voedselkwaliteit (EZK, juni 2018) wordt gerefereerd aan de effectladder https://zoek.officielebekendmakingen.nl/kst-31104-4.html . EZK en LNV gebruikt deze om de hardheid van gemeten effectiviteit (lees: doeltreffendheid) van de onderzochte beleidsinstrumenten te duiden. In het kader van de operatie Inzicht in Kwaliteit heeft SEO een evaluatie uitgevoerd van beleidsdoorlichtingen, hierbij is de effectladder verder uitgewerkt (SEO, 2018, Beleidsdoorlichtingen belicht):

Het Nederlands jeugdinstituut werkt deze gradaties wat nader uit (voor het eigen domein): www.nji.nl/nl/Kennis/Dossier/Effectieve-jeugdhulp/Effectieve-organisaties/Werken-aan-effectiviteit

Trede 1: Voorwaardelijk

Op trede 1 van de effectladder staat de interventie op papier. De aandacht gaat vooral uit naar het doel van de interventie, de doelgroep, de aanpak en de randvoorwaarden voor de uitvoering. Door deze explicitering is de werkwijze van de interventie te begrijpen en de aanpak gemakkelijker overdraagbaar.

Trede 2: Veelbelovend

Het formuleren van een goede interventietheorie maakt een interventie in theorie effectief. Op trede 2 van de effectladder gaat het om een aannemelijk verhaal (anders gezegd: een plausibele beleidstheorie) dat de interventie kan werken. Als daarbij gerefereerd wordt aan algemeen aanvaarde en met onderzoek ondersteunde theorieën komt de interventie nog sterker te staan. Interventies in de databank Effectieve Jeugdinterventies op deze website voldoen minstens aan dit niveau.

Trede 3: Doelbereiking

Het meten vormt de kern van trede 3 van de effectladder: er zijn cijfers beschikbaar die bijvoorbeeld laten zien dat de doelgroep wordt bereikt, waarom sommige cliënten voortijdig afhaken, dat de cliënten tevreden zijn, dat de doelen van de interventie worden gerealiseerd of dat er positieve veranderingen zijn op een relevante uitkomstmaat.

Trede 4: Plausibel

Als een onderzoek is bedoeld om vooraf voorspelde verbanden te toetsen, bijvoorbeeld tussen de duur van de interventie en de uitkomsten in een groep, dan spreekt men van 'veranderingstheoretisch' onderzoek. Als zo'nvoorspelling uitkomt, kun je spreken van goede aanwijzingen voor effectiviteit.

Trede 5: Bewezen effectief (doeltreffend)

Interventies die voldoende causale bewijskracht hebben zijn 'bewezen effectief' te noemen: de gemeten verbetering is toe te schrijven aan de gebruikte interventie. Op trede 5 van de effectladder is er sprake van een goed omschreven, theoretisch onderbouwde en in de praktijk getoetste aanpak, waarbij bovendien is aangetoond dat de interventie beter is dan 'geen interventie' of 'een andere interventie'. Daarvoor is een vergelijking nodig met een controlegroep die geen hulp heeft ontvangen of die de interventie niet gekregen heeft maar wel een ander aanbod.

(Quasi-)Experimenteel evaluatie-ontwerp (black box)

Een harde manier om doeltreffendheid te meten is het doen van een experiment: werkt het? Hierbij worden twee (sterk) vergelijkbare groepen bestudeerd, waarbij de ene het beleid ondergaat en de andere niet.

blackbox benadering

Hierdoor resteert nog maar 1 verschil tussen de twee groepen: de input van het door te lichten beleid. Het verschil in uitkomst tussen de twee groepen is dan toe te schrijven – te attribueren – aan het beleid.

 


Terugkomend op het reïntegratievoorbeeld. Door óók de kans op werkhervatting te meten zonder de inzet van de werkhervattingstrajecten, kan de doeltreffendheid van de reïntegratieinstrumenten worden afgeleid. Stel bijvoorbeeld dat een reïntegratiebedrijf 100 klanten krijgt en er na verloop van tijd 40 uitstromen naar werk. Wanneer er zonder het gevoerde beleid er toch ook 30 uitstromen naar werk, is het netto-effect van de ingezette trajecten – de doeltreffendheid dus – (40-30=) 10 cliënten.


 

Een veel gehoord argument om géén experimentele aanpak te hanteren, is dat een wet(swijziging) of beleid al is uitgerold over de hele doelgroep, waardoor het vormen van een controlegroep een gepasseerd station is. Verder worden bezwaren van ethische aard geuit bij het ontzeggen van nieuwe interventies aan de controlegroep. Per situatie zou kunnen worden bekeken of deze argumenten standhouden, dus of toch niet (alsnog) tot een systematische vergelijking van groepen kan worden gekomen, die attributie mogelijk maakt.

Maar sowieso is attributie-onderzoek in de praktijk een lastige opgave. Een paar redenen:

  • Beleid introduceert in veel gevallen kaders (bijv. met een kaderwet), in plaats van afgebakende interventies (zoals een concrete heffing). Veel sturing gebeurt in en met netwerken (bijv. met decentrale overheden en/of in publiek-private samenwerking). Het beleid is geen lineaire top-down oefening maar complexer, de dynamiek is ‘verweven’;
  • Beleid behelst soms een transitie van het ene naar het andere stelsel (bijv. de centralisatie van de politie, of juist de decentralisaties in zorg, werk en jeugdhulp). Zulke transities behelzen ontwikkelende systeemveranderingen op de lange termijn die moeilijk van tevoren zijn uit te tekenen (Van der Steen, 2018).

De complexiteit van veel (onderdelen van) rijksbeleid wordt steeds vaker onderkend. Evaluatie-aanpakken die zich hiervoor lenen zijn in ontwikkeling, maar nog onvoldoende uitgekristalliseerd om ze hier nu al op te nemen.

 


Box. Andere attributieve evaluatie-aanpakken en tips voor verdieping

(1) Systematische monitoring op output- en/of doelindicatoren genereert tijdreeksen van gegevens (bijvoorbeeld het aantal dodelijke verkeersslachtoffers per jaar in Nederland). Trends en trendbreuken in zo’n tijdreeks kunnen vervolgens in verband worden gebracht met het moment waarop beleidsinterventies (bijv. snelheidsbeperkende maatregelen of aanleg van extra rotondes) hebben plaatsgevonden. Is een trendbreuk mogelijk het gevolg van interventie(s), dan kan vervolgens worden gecontroleerd voor invloeden van buitenaf (bijvoorbeeld cijfers over lokale verkeersdrukte). Naarmate er meer metingen over de tijd zijn, worden toevallige invloeden op de uitkomstmaat steeds meer uitgesloten.

(2) Een studie over 1 tijdsperiode, die gebruik maakt van uitkomstmaten bij deelgroepen van de doelgroep, die in verschillende mate aan de interventie zijn blootgesteld. Statistische controles dienen ervoor te zorgen dat alternatieve verklaringen voor verschillen in uitkomsten zoveel mogelijk worden uitgeschakeld.

Leestips

Voor verschillende typen (experimentele en zogenoemde quasi-experimentele) opzetten voor effectiviteitsonderzoek kan het overzicht door Mulder, Daalder en Leeuw (WODC 2013 ) – op basis van de justitiële praktijk – een inspiratiebron zijn.

En daarnaast het eindrapport van de werkgroep ‘Durf te meten’ (Commissie Theeuwes, 2012)


 

Neveneffecten

Niet alleen inzicht in beoogde effecten (doeltreffendheid en doelmatigheid) van beleid is belangrijk, maar ook inzicht in de (positieve en negatieve, gewenste en ongewenste) neveneffecten. Onder vraag 7 van het IAK vind je bijvoorbeeld verplichte toetsen waarmee effecten in termen van regeldruk voor burgers of bedrijven en voor het milieu en gendergelijkheid in kaart behoren te worden gebracht . Deze aandachtspunten en toetsen bevorderen een integrale kosten-batenafweging in de beleidsvoorbereiding: wegen de verwachte maatschappelijke baten op tegen dergelijke kosten?

Inzicht in de neveneffecten biedt bovendien aanknopingspunten ter verbetering van eenmaal lopend beleid. Dit maakt het relevant om er in de beleidsdoorlichting aandacht aan te besteden.

(B) Contributie. Hoe werkt het, voor wie en onder welke condities?

Als doeltreffendheid niet hard kan worden aangetoond, kan de relatie tussen beleid en effect wel plausibel worden gemaakt. Dit wordt ook wel de contributieve benadering van evaluatie genoemd, zoals ook vervat in het schema bij de inleiding van deze uitstap.

Context-mechanisme-uitkomst (CMO)

Een bekende contributieve evaluatiebenadering is de context-mechanisme-outcome heuristiek, afgekort C-M-O. Je opent dan de black box van de werking door stappen van input, output tot en met outcome, en de condities waaronder die zich voordoen, na te lopen. Geheimen achter de werking of niet-werking van beleid worden ontsluierd: een clear box. De eerdergenoemde beleidstheorie is daarbij essentieel.

Nieuw onderzoek naar elke stap is niet altijd nodig, bijvoorbeeld als met de beschikbare literatuur al voldoende inzicht is verkregen in de werking (doeltreffendheid & doelmatigheid) van een beleid of instrumenten daarbinnen.

De CMO-benadering kan gecombineerd worden met andere evaluatietypen zoals een (quasi-) experiment.

Participatieve evaluatie

Bij participatieve evaluatie – zoals responsieve evaluatie – ligt de nadruk op de betreffende ‘stakeholders’ en hun verschillende perspectieven op de werkelijkheid. Met behulp van bijpassende onderzoeksmethoden (denk bijvoorbeeld aan focusgroepen) kunnen verschillende (doel)groepen aangeven welke veranderingen naar hun ervaring het gevolg zijn van een beleidsinitiatief, wie heeft geprofiteerd en wie niet, en wat gepercipieerde sterke en zwakke punten zijn.

Voor een deel komt de participatieve evaluatie voort uit frustratie over de soms beperkte relevantie van (met name) ‘experimentele’ aanpakken. Een participatieve aanpak zou juist de contextgevoeligheid ( wanneer/waar werkt het ‘t best?) en daarmee de bruikbaarheid en de relevantie van evaluatiebevindingen vergroten. De participatieve benadering kan ook in combinatie met andere evaluatiebenaderingen worden toegepast.

Procesevaluatie: focus op de uitvoering en eerste resultaten

Een tussenstap naar het in kaart brengen van doeltreffendheid is het verrichten van een procesevaluatie: hoe en/of in hoeverre is het beleid tot uitvoering gebracht (geïmplementeerd)? En worden daarmee daadwerkelijk de beoogde doelgroepen bereikt en problemen aangepakt? Procesevaluaties vergen een maatstaf waartegen de beleidsprestaties worden afgezet. Die maatstaf kan ontleend worden aan de betreffende wet- en regelgeving, de beleidstheorie, professionele standaarden of aan verwachtingen bij stakeholders.

Vraag

Opzet procesevaluatie

Is het programma uitgevoerd zoals beoogd?

 

Vergelijk implementatie-activiteiten / -prestaties met aan beleid of stakeholders ontleende maatstaf(-aven)

Zijn uitvoerings- of managementproblemen opgetreden?

Vergelijk prestaties met verwachtingen in termen van kwaliteit, kosten of doelmatigheid

Onderzoek variatie in termen van kwaliteit /prestatie tussen contexten (bijv. gemeenten), verstrekkers, of sub-doelgroepen

Waarom worden de beoogde programmadoelen niet – of niet meer – bereikt? Wat zijn knelpunten in de implementatie?

(Diepte-) case studies

- Onderlinge vergelijking van implementatie door bijv. verschillende gemeenten – zoeken naar patronen

Bronnen

  • Uitvoeringsgegevens (bijv. ter toetsing van kwaliteit of snelheid van aanmeldings- en selectieprocedures)
  • Registraties en (bijv. CBS-) statistieken (bijv. gemiddelde inkomensniveau uitkeringsdoelgroep)
  • Surveys onder een representatieve selectie van (lokale) uitvoerders (bijv. is het wettelijk kader / de verstrekte toelichting erop voldoende duidelijk?)

Combinaties van gegevenstypen verdienen de voorkeur vanwege de betrouwbaarheid

Monitoring

Het monitoren van indicatoren van de output en de outcome is belangrijk om de vinger aan de pols te houden wat betreft de voortgang en potentiële werking van het beleid. En monitoring genereert waardevolle bouwstenen voor latere evaluaties.

OCW beschikt over veel monitorinformatie. Veel is beschikbaar via de site OCW in cijfers. De herkomst van de data varieert (internationale data, zoals uit PISA, PIAAC surveys en nationale CBS- e.a. data). De indicatoren in de begroting geven de beleidsprioriteiten weer en hierover wordt jaarlijks in het jaarverslag gerapporteerd. Ook de jaarverslagen van de onderwijsinstellingen zijn beschikbaar. Hiermee worden de eerste stappen gezet om meer gebruik te maken van bestaande en verschillende data te combineren tot informatie. In de brief ‘Versterking verantwoording van en inzicht in onderwijsgelden’ wordt de komende tijd ingezet op het openbaar maken van benchmarks.

SZW maakt veel gebruik van monitoringsgegevens van diverse instanties als CBS, UWV, SVB en de Belastingdienst. Een goed voorbeeld hiervan is het op initiatief van SZW opgezette asielcohortenonderzoek door het CBS. De belangrijkste cijfers voor SZW zijn samengebracht in de SZW cijfers-app. SZW heeft voor een aantal beleidsterreinen indicatoren ontwikkeld en in de begroting geplaatst. Ander voorbeeld is de WWZ, waarbij een evaluatieprogrammering is gemaakt met (naast eindevaluaties) tussenevaluaties of monitoring.

Het meten van doelmatigheid

RPE artikel 1

e. Doelmatigheid van het beleid: de relatie tussen de effecten van het beleid en de kosten van het beleid.

RPE, toelichting op artikel 2 eerste lid

Doelmatigheid betreft de relatie tussen de effecten van het beleid (op het beleidsdoel en overige baten) en de kosten van het beleid (de beleidsuitgaven en overige kosten binnen en buiten het departement). We spreken over doelmatigheid van beleid als het gewenste beleidseffect tegen zo min mogelijk kosten wordt bereikt.

Doelmatigheid en efficiëntie zijn synoniemen. Waar we in dit stuk spreken over doelmatigheid kan dus efficiëntie worden gelezen.

Doelmatigheid is een relatief begrip: er is altijd een vergelijking met een andere organisatie of een ander moment in de tijd nodig om een uitspraak over de mate van doelmatigheid te kunnen doen.

Bij het onderbouwen van de doelmatigheid in de beleidsdoorlichting licht je toe waarom het gekozen instrumentarium een efficiënte manier is (of was) om de doelstellingen te bereiken. Bijvoorbeeld door aan te geven dat vergeleken met andere instrumenten optimale effecten zijn gerealiseerd met de input: de ingezette (financiële) middelen. Als het doorgelichte instrumentarium – ten opzichte van alternatieve instrumenten – niet het meest doelmatige is/was om de doelstellingen te realiseren, licht je toe waarom deze keuze toch is gemaakt. Bovendien kan ook de doelmatigheid op uitvoeringsniveau (op het niveau van geleverde prestaties) worden toegelicht.

Twee typen doelmatigheid

(1) Doelmatigheid van het beleid als geheel, waarbij de outcome wordt gerelateerd aan de input.

Om iets te kunnen zeggen over de doelmatigheid van het beleid als geheel, moet er inzicht zijn in de doeltreffendheid.

Stappen

  • Breng de doeltreffendheid van het beleid als geheel in kaart – al dan niet inclusief neveneffecten. Betrek daarbij eventuele verschillen tussen doelgroepen en/of meetmomenten.
  • Doelmatigheid van het beleid in termen van beoogde en/of neveneffecten: Beschrijf waarom het gekozen instrument – in vergelijking met andere – een efficiënte manier is (geweest) om het maatschappelijke probleem op te lossen. Leg deze naast de praktijk op basis van de beschikbare gegevens uit verrichte evaluaties en eventuele andere studies: in hoeverre zijn die aannames werkelijkheid (geworden)?
  • Soms is vóór de invoering van het onderzochte instrument al een
    Maatschappelijke kosten- en batenanalyse (MKBA) verricht. Andere (mogelijk al verrichte) studies die deel uit kunnen maken van de beleidsdoorlichting zijn: multicriteria-analyse (zie in dit kader ook bijv. impact assessment of business case ) .

Geef ten slotte aan hoe je (meer) inzicht gaat verkrijgen in de doelmatigheid. Wanneer geen (goed) beeld is te geven van de doelmatigheid van het instrumentarium (bijvoorbeeld omdat het inzicht in de doeltreffendheid ontbreekt) geef dan in de Verbeterparagraaf aan, hoe je deze informatie alsnog gaat verzamelen. Dit kan bijvoorbeeld door gegevens over kosten en resultaten te gaan monitoren.

(2) Doelmatigheid van de beleidsprestaties, waarbij de output wordt gerelateerd aan de input.

Stappen

  • Breng de output, de beoogde beleidsprestaties, in kaart.
  • Beschrijf op basis van de beschikbare (evaluatie)studies, welke prikkels er zijn ten aanzien van doelmatigheid van de uitvoering (hoe worden uitvoerders geprikkeld tot efficiënte besteding van publieke middelen?). Wat is de feitelijke doelmatigheid van de uitvoering? Deze kun je in kaart brengen bijvoorbeeld door inzicht te bieden in de ‘gemiddelde kostprijs’ of winst die je verwacht te realiseren in de uitvoering.

Beide typen doelmatigheid vergen inzicht in de input, de ingezette middelen. Alle input moet in de meting worden betrokken.

Kengetallen van doelmatigheid: momentopname van de verhouding input – outcome

Mogelijk zijn beschikbare studies die ten grondslag liggen aan de beleidsdoorlichting gebaseerd op kengetallen. Doelmatigheidskengetallen zijn een momentopname van de verhouding tussen middelen (input) en doeltreffendheid (outcome). Bijvoorbeeld, het vergelijken van de kosten per aan het werk geholpen werkzoekende van verschillende reïntegratietrajecten.

De voordelen van kengetallen zijn:

  • Kengetallen geven op een eenvoudige wijze inzicht (in ontwikkelingen) in de doelmatigheid (bijv. over maanden of jaren);
  • Kengetallen hebben een signaalfunctie, met het oog op eventuele bijsturing.

Aan het gebruik van kengetallen kleven risico’s; reden om ze kritisch en voorzichtig in te zetten:

  • Zo kan een (uitvoerings)organisatie wel als beste uit de bus komen op één kengetal, maar ten koste van prestaties op een ander vlak. Een voorbeeld is de basisschool met weliswaar gemiddeld hoge cito-eindscores per leerling, maar blijkt de school weinig toegankelijk voor leerlingen die extra aandacht nodig hebben;
  • Soms zijn er verborgen kosten die niet in de kengetallen worden uitgedrukt en bijvoorbeeld worden afgewenteld op externe partijen of organisaties;
  • Soms zijn er verschillen tussen bijv. decentrale uitvoeringstrajecten (of doelgroepen) die maken dat kengetallen niet goed met elkaar te vergelijken zijn;
  • Kengetallen geven geen inzicht in de oorzaken achter verschillen, waardoor aanvullend onderzoek moet plaatsvinden om eventueel doelmatigheidsverbetering te bereiken.

Vaak is daarom meer dan één kengetal nodig om inzicht in de doelmatigheid te geven, in ieder geval een kengetal over de kosten per effect en een kengetal over de ontwikkeling van de kwaliteit.

Wees er vroeg bij … of neem het op in de Verbeterparagraaf

Als het gaat om het aantonen of plausibel maken van doeltreffendheid en doelmatigheid, kun je daaraan maar het beste direct of op tijd mee beginnen. Bijvoorbeeld door:

  • Al in een vroeg beleidsstadium een nulmeting te faciliteren of te doen
  • Kleinschalig te experimenteren met bepaalde instrumenten of pilots
  • Een controlegroep te vormen voor een experimentele evaluatie op kleinere dan wel grotere schaal – én deze in de nulmeting te betrekken
  • Een systeem voor monitoring op te zetten waarmee indicatoren van de output en de outcome kunnen worden gevolgd

Is dit voorafgaand aan deze beleidsdoorlichting (nog) niet gebeurd, dan biedt dat aanknopingspunten voor de verbeterparagraaf .

Betrokkenheid van de TK bij opzet en eindproduct

Stap 2A) Stuur de opzet uiterlijk een week voor Prinsjesdag in het jaar vóór oplevering

Stuur de opzet uiterlijk een week voor Prinsjesdag in het jaar vóór oplevering naar de Tweede Kamer. Houd rekening met het zomerreces van bewindslieden voor het ondertekenen van de brief over de opzet. Vuistregel is om dit uiterlijk ca. zestien maanden voor de verwachte publicatiedatum te doen en bij een omvangrijke beleidsdoorlichting zo mogelijk eerder. Dan is er voldoende tijd om de reactie van de Kamer goed mee te nemen in de onderzoeksopzet. Dit is met name van belang bij het eventueel uitbesteden van de doorlichting.

Stap 2B) Behandel in de opzet:

Bij brief van 1 juni 2015 heeft de minister van Financiën aan de Tweede Kamer geschreven aan welke inhoudelijke eisen de toelichting op de onderzoeksopzet van een beleidsdoorlichting ten minste moet voldoen:

  1. De aanpak van de doorlichting;
  2. Hoe aan de algemene kwaliteitseisen zal worden voldaan;
  3. Hoe de onafhankelijkheid van de doorlichting zal worden gewaarborgd.

Gebruik als basis het Plan van aanpak .

De TK agendeert de opzet van de beleidsdoorlichting voor een vergadering van de betreffende Kamercommissie. De Tweede Kamer kan vervolgens vragen stellen over de opzet of een voorstel voor aanpassingen of aanvullingen doen en deze per brief kenbaar maken aan de bewindspersoon die over het beleid gaat. Het is gebruikelijk dat de bewindspersoon per brief laat weten hoe de opmerkingen/aanvullingen van de Kamercommissie worden verwerkt.

Ad 1: De aanpak: afbakening en meer

De toelichting op de onderzoeksopzet moet de Tweede Kamer ten eerste inzicht verschaffen in de afbakening van de doorlichting en de wijze waarop de verplichte onderdelen uit de RPE zullen worden uitgewerkt:

Voorbeeld toelichting op de afbakening

In de opzet van de Beleidsdoorlichting Klimaat is een overzicht opgenomen van alle uitgaven die onder de doorlichting vallen.

In de toelichting: ‘Er zijn ook beleidsinstrumenten die direct of indirect een bijdrage leveren aan het reduceren van broeikasgassen, maar die niet onder de uitgaven van Artikel 19 vallen. Deze beleidsinstrumenten worden al meegenomen in beleidsdoorlichtingen van andere departementen en/of artikelen, zoals bijvoorbeeld de doorlichting van Artikel 2.1 ‘Energie en Bouwkwaliteit’ van het ministerie van BZK (…) Om de samenhang met beleidsinstrumenten die onder andere beleidsartikelen en/of andere departementen vallen te borgen, is gekozen voor een brede begeleidingscommissie met vertegenwoordigers van de ministeries van Binnenlandse Zaken en Koninkrijkrelaties, en… [o.a. EZK]. Hiermee wordt verzekerd dat het oordeel over de doelmatigheid en de doeltreffendheid van de besteding van de middelen uit artikel 19 wordt bezien binnen een breder kader.

Ook is de ontvangstenkant meegenomen: ‘Naast de uitgaven, zal ook worden gekeken naar de ontvangsten, die gerelateerd zijn aan de verkoop van CO2-emissierechten, als onderdeel van het Europese Emissions Trading System (EU ETS).’

  • Geef aan hoe je omgaat met vage of abstracte, of ver in de toekomst gelegen– beleidsdoelen; bijvoorbeeld door deze onder te verdelen in concretere (meetbare) subdoelen. Geef hierin ook aan welke (methodologische) beperkingen of problemen je tegenkomt en welke veronderstellingen of vereenvoudigingen je hiervoor hanteert. Bij recentelijk geïntroduceerd of gewijzigd beleid kun je leunen op de evaluatieparagraaf van de MvT van de beleidsinstrumenten .
  • Eventueel tussentijds gewijzigd beleid en/of beleidsdoelen : Hoe om te gaan met beleid dat in de loop van de doorgelichte periode is veranderd, of met gewijzigde beleidsdoelen ?
  • Geef aan hoe de vijftien vragen van de beleidsdoorlichting (RPE) beantwoord zullen worden. Kun je op alle vragen antwoord geven, ook op de doelmatigheidsvraag? Ook hier kun je mogelijk leunen op de evaluatieparagraaf van de MvT van beleidsinstrumenten.

Voorbeeld van toelichting bij hoofdvraagstelling ( opzet beleidsdoorlichting artikel 19 Klimaat , 2017)

Opzet beleidsdoorlichting

De kern van de beleidsdoorlichting zal zijn het verantwoorden van de doeltreffendheid en doelmatigheid van het klimaatbeleid. Het onderzoek zal door middel van een beleidsreconstructie in kaart brengen wat de doelstellingen van het gevoerde beleid waren en beoordelen in hoeverre het beleid, alsmede de daarmee samenhangende uitgaven, doeltreffend of doelmatig zijn geweest. Daarbij zal ook aandacht worden besteed in welke mate de gebruikte evaluatiemethoden voldoende basis bieden om de doeltreffendheid en/of de doelmatigheid van het betreffende beleid vast te stellen.

Naast het onderzoeken van de verplichte 20%-besparingsvariant, zal ook een 20%-intensiveringsvariant onderdeel zijn van de beleidsdoorlichting. Tot slot zal er een analyse worden uitgevoerd over wat en de mate waarin de in Artikel 19 gehanteerde indicatoren, kengetallen en streefwaarden iets zeggen over doeltreffendheid en doelmatigheid en of daar verbeteringen in kunnen worden aangebracht.

  • Volledigheid van het beschikbare (evaluatie)materiaal : een beleidsdoorlichting is – zoals in de inleiding beschreven – een syntheseonderzoek : Zijn er (genoeg) evaluaties beschikbaar die deze vraag beantwoorden en zijn dat de juiste evaluaties? Is aanvullend materiaal nodig? Als het op voorhand al duidelijk is dat een vraag niet beantwoord kan worden op basis van het bestaande materiaal, geef dan aan hoe hiermee wordt omgegaan. Ook is het een optie om op korte termijn alsnog een evaluatieonderzoek te laten verrichten.
  • Globale toelichting op de aanpak van de doorlichting : Wat zijn de benodigde data en met welke methoden worden deze verzameld? Is het nodig om aanvullende evaluaties te verrichten? Wat zijn de mogelijkheden en beperkingen van de doorlichting, gegeven het beleid en de context waarbinnen dit beleid wordt gevoerd?

Voorbeeld van globale toelichting bij de aanpak (beleidsdoorlichting artikel 4 Financiën, 2015)

“Om vast te stellen in wat voor mate het beleid van de minister van Financiën doeltreffend is geweest zal men idealiter de causale relatie tussen ingezette (beleids)instrumenten en een maatschappelijke uitkomst vaststellen. Omdat Nederland slechts één van de vele actoren is die invloed probeert uit te oefenen, is er geen sprake van een direct meetbare invloedsrelatie en is een causale relatie tussen ingezette beleidsinstrumenten en de gewenste uitkomst bijna onmogelijk vast te stellen (…). Het is wel mogelijk om aan de hand van casestudies indicaties te geven van het effect van de Nederlandse beïnvloeding op de Europese en internationale financiële instellingen. Uit deze verdiepende casestudies moet blijken welke beleidsinstrumenten Nederland heeft ingezet om de Europese en internationale financiële instellingen te beïnvloeden en of dit doelmatig en doeltreffend is geweest (…). Aan de hand van de (...) case studies zal worden onderzocht hoe effectief het inzetten van financiële en beleidsmatige instrumenten is geweest voor het beïnvloeden van de Europese en internationale financiële instellingen.”

  • Aanpak van de 20%-besparingsvariant: vermeld de grondslag voor de uit te werken besparingsvariant in de opzet.

Ad 2) Hoe aan de algemene kwaliteitseisen zal worden voldaan

Kwaliteitseisen aan een beleidsdoorlichting volgens de Regeling Periodiek Evaluatieonderzoek (RPE)

Het onderzoek naar de doeltreffendheid en de doelmatigheid kent de volgende kwaliteitseisen:

  1. het onderzoek maakt duidelijk welk beleid wordt onderzocht en wat de doelstellingen ervan zijn;
  2. het onderzoek beoogt de vraag te beantwoorden in hoeverre het beleid, alsmede de daarmee samenhangende uitgaven, doeltreffend of doelmatig is;
  3. de conclusies van het onderzoek worden onderbouwd door onderliggende bevindingen;
  4. de in het onderzoek gebruikte onderzoeksmethode is valide en betrouwbaar, het rapport geeft inzicht in de gebruikte evaluatiemethode en in de mogelijkheden en onmogelijkheden om de doeltreffendheid en/of de doelmatigheid van het betreffende beleid vast te stellen.

Hierboven (ad 1) genoemde punten geven de Tweede Kamer inzicht in hoe het onderzoek wordt aangepakt en de kwaliteit ervan wordt geborgd. Daarnaast kan extra informatie worden verschaft over de manier waarop de kwaliteitsborging plaatsvindt, bijvoorbeeld door het instellen van een klankbordgroep of begeleidingscommissie, zelf uitvoeren eventueel na het volgen van een training (bijvoorbeeld: Maatwerkcursus Beleidsdoorlichtingen door IRF/BSA), via uitbesteden aan een deskundig onderzoeksbureau en/of het inschakelen externe kennis en kunde.

Ad 3) Hoe de onafhankelijkheid van de doorlichting zal worden gewaarborgd

Hoe de onafhankelijkheid van een beleidsdoorlichting moet worden gewaarborgd, staat in de RPE.

Onafhankelijkheidswaarborgen voor een beleidsdoorlichting volgens de RPE

2.2 Bij de uitvoering van een onderzoek naar de doeltreffendheid en de doelmatigheid van het beleid wordt minimaal één onafhankelijke deskundige betrokken.

2.3 De deskundige, bedoeld in het tweede lid, geeft een onafhankelijk oordeel over het uitgevoerd onderzoek.

2.4 Het onderzoeksrapport beschrijft de manier waarop een of meer onafhankelijke deskundigen bij het onderzoek is of zijn betrokken.

[..] 3.6 Bij elke beleidsdoorlichting geeft ten minste één onafhankelijke deskundige een oordeel over de kwaliteit van de beleidsdoorlichting en een toelichting op de betrokkenheid en inbreng van de onafhankelijke deskundige bij de totstandkoming van de beleidsdoorlichting. Deze toelichting wordt opgenomen in de beleidsdoorlichting of als bijlage meegestuurd naar de Tweede Kamer.

Om de Tweede Kamer hierin inzicht te verschaffen, zou je de volgende vragen kunnen beantwoorden:

Voorbeeld uit toelichting bij beleidsdoorlichting artikel 6.1, 6.2 en 6.3 van Binnenlandse Zaken en Koninkrijksrelaties (2015)

“Een begeleidingscommissie ziet erop toe dat het onderzoek volgens voorstel en planning verloopt. Tevens draagt de begeleidingscommissie zorg dat alle relevante belanghebbenden, zoals medeoverheden en betrokken instanties, bij de beleidsdoorlichting worden betrokken. Prof. dr. [..], emeritus hoogleraar bestuurskunde, wordt als externe deskundige betrokken bij de opzet en inhoud van de doorlichting en zijn onafhankelijke oordeel is onderdeel van de beleidsdoorlichting die dit jaar aan uw Kamer wordt aangeboden.”

Stap 5C) Verzending naar Tweede Kamer

De minister stuurt de kabinetsreactie met beleidsdoorlichting en oordeel van de onafhankelijk deskundige nadat deze in de ministerraad (MR) is behandeld, naar de Tweede Kamer. Hiervoor verwijzen wij naar de procesgang binnen het eigen departement.

Kort samengevat verloopt de behandeling van de beleidsdoorlichting in de Tweede Kamer als volgt:

  • De desbetreffende Kamercommissie houdt een feitelijke vragenronde over de beleidsdoorlichting. De ambtelijke Dienst Analyse en Onderzoek (DAO) ondersteunt daarbij en geeft naast opmerkingen over de inhoud, advies over de kwaliteit van de beleidsdoorlichting.
  • De Kamercommissie besluit na ontvangst van de antwoorden op de feitelijke vragen over de verdere behandelwijze.
  • Het is uiteraard aan de Tweede Kamer om te beslissen of een debat over de beleidsdoorlichting gewenst is, of de beleidsdoorlichting bij een al gepland debat te betrekken. Er kan dan gekozen worden voor een afzonderlijk overleg waarin verantwoording (terugkijken), het trekken van lessen en het maken van afspraken ter verbetering van het beleid centraal staan.
  • De uitkomst van de behandeling wordt schriftelijk vastgelegd en vormt in de praktijk, samen met de kabinetsreactie op de conclusies van de doorlichting, de basis voor de vervolgacties.

Stap 5D) Publicatie van de doorlichting & kabinetsreactie

Na verzending aan de Tweede kamer wordt de beleidsdoorlichting (en de kabinetsreactie, oordeel van de onafhankelijke deskundige en eventuele bijlagen) gepubliceerd op de website van de Tweede Kamer en op Rijksoverheid.nl. Daarnaast draagt het trekkende ministerie zorg voor de publicatie ervan op www.rijksbegroting.nl.

Zorg ervoor dat de uitkomsten van de beleidsdoorlichting worden opgenomen in het departementale jaarverslag, in het onderdeel ‘beleidsconclusies’ van het betreffende begrotingsartikel’. Dit tekstueel gedeelte presenteert uitkomsten van recent (evaluatie-)onderzoek – waaronder doorlichtingen – en de doorwerking van de resultaten daarvan.

De conclusies van de beleidsdoorlichting en vervolgstappen (wat de minister ermee gaat doen), naast de eventuele gevolgen voor de evaluatieprogrammering zouden een plaats moeten krijgen in de departementale begroting.

Onafhankelijke deskundige

Stap 1D) Betrek de onafhankelijke deskundige(n)

De RPE vereist dat een of meer onafhankelijke deskundigen bij de beleidsdoorlichting worden betrokken, om:

  • Aan het eind een onafhankelijk oordeel over de kwaliteit van de beleidsdoorlichting te geven; en
  • Een toelichting te geven op zijn of haar betrokkenheid en inbreng bij de totstandkoming van de beleidsdoorlichting.

Dit zijn minimumvereisten, die in de praktijk verschillend kunnen worden ingevuld. In wat volgt enkele aanwijzingen.

Eerste algemene tip is om de onafhankelijke deskundige(n) zo vroeg mogelijk te betrekken in het proces bij de opzet en uitwerking van de beleidsdoorlichting. Dit om de kwaliteit van de doorlichting gedurende het traject te helpen waarborgen. Maak duidelijke afspraken over zijn/haar/hun rol en taken en leg deze (contractueel) vast.

Wie kan worden ingeschakeld?

In de RPE wordt een onafhankelijke deskundige beschreven als een persoon die inhoudelijke kennis van zaken heeft, maar niet verantwoordelijk is (of is geweest) voor het beleid dat wordt doorgelicht.

Onafhankelijke deskundigen mogen niet afkomstig zijn uit het betreffende beleidsdepartement, maar medewerkers van inspectiediensten of rijks-kennisinstellingen met een onafhankelijke status (denk aan het PBL of het CPB) kunnen wel als onafhankelijke deskundige optreden. Hetzelfde geldt voor onafhankelijke experts en adviseurs.

Uitgangspunt is dat iemand die betrokken is bij de uitvoering van (een deel van) het beleid, of bij meerdere evaluaties waarop de beleidsdoorlichting is gebaseerd, wel prima kan adviseren of klankborden, maar geen zelfstandig onafhankelijk oordeel velt over de beleidsdoorlichting. Een mogelijkheid is dan, dat de deskundige die in de begeleidingscommissie zit, iemand anders is dan die het uiteindelijke oordeel velt. De geschiktheid van onafhankelijke deskundige(n) wordt altijd afgestemd met de IRF.

Om een goed oordeel te vellen over de kwaliteit van de evaluatie moet de deskundige in ieder geval methodologisch deskundig zijn. Hierbij kan worden gedacht aan een hoogleraar of iemand die vanuit zijn functie sterk betrokken is bij het uitvoeren van beleidsevaluaties. Daarbij is het nuttig wanneer deze persoon ook kennis van het veld heeft waarop de beleidsdoorlichting zich richt. Het kan lastig zijn om iemand te vinden die op beide terreinen kennis van zaken heeft. In dat geval kun je ervoor kiezen om twee deskundigen te vragen.

Een externe uitvoerder van een beleidsdoorlichting geldt niet als een onafhankelijke deskundige. Dan moet dus alsnog een onafhankelijke deskundige worden ingeschakeld.

Wat doet onafhankelijke deskundige in de praktijk?

Er zijn meerdere mogelijkheden om de rol van de onafhankelijke deskundige in te vullen. Hij of zij kan bijvoorbeeld worden ingeschakeld bij adviesgesprekken, of zitting nemen in een begeleidingscommissie of klankbordgroep, of alleen achteraf een oordeel geven over de kwaliteit van de doorlichting.

Verder geeft de deskundige volgens de RPE “een toelichting op zijn of haar betrokkenheid en inbreng bij de totstandkoming van de beleidsdoorlichting” die ook de Tweede Kamer moet bereiken. Die toelichting kan worden opgenomen in de doorlichting zelf of in een bijlage.

Omdat het fenomeen beleidsdoorlichting voor veel onafhankelijke deskundigen nieuw zal zijn, is het raadzaam om van tevoren het instrument uit te leggen. Deze handreiking kan daarbij van nut zijn.

Waarover oordeelt de onafhankelijke deskundige?

Het is verstandig om van tevoren vast te leggen op welke punten de deskundige een oordeel zal vellen. Hulpmiddelen bij de kwaliteitsbeoordeling kunnen daarbij ter inspiratie dienen daarbij.

Stap 4B) Leg het rapport voor aan de onafhankelijke deskundige voor het eindoordeel

Het rapport van de beleidsdoorlichting moet worden voorgelegd aan de onafhankelijke deskundige . Hij/zij zal schriftelijk een oordeel over de kwaliteit geven. Het oordeel van de deskundige vormt een kwaliteitswaarborg voor de Tweede Kamer. Daarom moet altijd zo’n oordeel worden toegevoegd aan de doorlichting.

Eigen toelichting van de deskundige op zijn/haar betrokkenheid en inbreng: twee voorbeelden

“In de hoedanigheid van onderzoeker bij het WODC heb ik in de periode augustus 2011 t/m februari 2012 in totaal drie versies van de beleidsdoorlichting van hoofdstuk IV, artikel 1 (waarborgfunctie) van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties ontvangen en van commentaar voorzien (…). In de bijlage doe ik verslag van het aan de opstellers teruggegeven –steeds via de e-mail verstrekte- commentaar op de drie opeenvolgende versies.” (Beleidsdoorlichting van artikel 1 van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, 2012)

“Ik heb het doorlichtingsproces nagenoeg van meet af aan kunnen volgen, via toegestuurde documenten, door middel van vier gesprekken op het ministerie, via diverse mailwisselingen en tijdens de expertmeeting in december jongstleden. Tijdens de gesprekken en via enkele mails heb ik bovendien een aantal adviezen mogen geven over de uitvoering van de doorlichting en daar is vervolgens op herkenbare wijze gebruik van gemaakt.” (Beleidsdoorlichting artikel ‘Bescherming kwetsbare scheepvaart nabij Somalië’ van het Ministerie van Defensie, 2014)

Een onafhankelijk oordeel over de beleidsdoorlichting kan op veel criteria berusten. Maak hierover zo mogelijk afspraken vooraf, en laat de onafhankelijke deskundige duidelijk vermelden op welke criteria hij of zij het oordeel baseert.

Duidelijk aangeven waarop het oordeel is gebaseerd: een voorbeeld

“Beleidsonderzoek en daarmee wat mij betreft ook deze beleidsdoorlichting dient aan vier criteria te voldoen: validiteit, natrekbaarheid, bruikbaarheid en onafhankelijkheid.” (Beleidsdoorlichting artikel ‘Bescherming kwetsbare scheepvaart nabij Somalië’ van het Ministerie van Defensie, 2014)

Van aanpak naar rapport

Stap 4A) Schrijven van de beleidsdoorlichting

Alle voorgaande onderwerpen komen uiteindelijk terecht in een rapportage. De penvoerder heeft de vrijheid om het rapport naar eigen inzicht te structureren, zolang de 15 RPE-vragen daarbij maar beantwoord worden.

Een belangrijk aandachtspunt zijn de conclusies: elke conclusie in de doorlichting moet worden ondersteund door de bevindingen. Vermijd dus meningen of standpunten.

Is de doorlichting bruikbaar? Zorg voor:

1. Helderheid over het doel van de beleidsdoorlichting, waarvoor de onderzoeksuitkomsten zullen worden of zijn gebruikt.

2. Duidelijkheid en volledigheid waarmee in het evaluatierapport en de samenvatting ervan de essentie van het onderzoek, en vooral de hoofdbevindingen, zijn weergeven

3. Volledigheid waarmee alle onderzoeksvragen door de conclusies worden beantwoord

4. Praktische uitvoerbaarheid van gepresenteerde aanbevelingen en de mate waarin deze binnen het bereik liggen van betrokken verantwoordelijke beleidsmakers.

Stap 4B) Leg het rapport voor aan de onafhankelijke deskundige voor het eindoordeel

Het rapport van de beleidsdoorlichting moet worden voorgelegd aan de onafhankelijke deskundige . Hij/zij zal schriftelijk een oordeel over de kwaliteit geven. Het oordeel van de deskundige vormt een kwaliteitswaarborg voor de Tweede Kamer. Daarom moet altijd zo’n oordeel worden toegevoegd aan de doorlichting.

Eigen toelichting van de deskundige op zijn/haar betrokkenheid en inbreng: twee voorbeelden

“In de hoedanigheid van onderzoeker bij het WODC heb ik in de periode augustus 2011 t/m februari 2012 in totaal drie versies van de beleidsdoorlichting van hoofdstuk IV, artikel 1 (waarborgfunctie) van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties ontvangen en van commentaar voorzien (…). In de bijlage doe ik verslag van het aan de opstellers teruggegeven –steeds via de e-mail verstrekte- commentaar op de drie opeenvolgende versies.” (Beleidsdoorlichting van artikel 1 van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, 2012)

“Ik heb het doorlichtingsproces nagenoeg van meet af aan kunnen volgen, via toegestuurde documenten, door middel van vier gesprekken op het ministerie, via diverse mailwisselingen en tijdens de expertmeeting in december jongstleden. Tijdens de gesprekken en via enkele mails heb ik bovendien een aantal adviezen mogen geven over de uitvoering van de doorlichting en daar is vervolgens op herkenbare wijze gebruik van gemaakt.” (Beleidsdoorlichting artikel ‘Bescherming kwetsbare scheepvaart nabij Somalië’ van het Ministerie van Defensie, 2014)

Een onafhankelijk oordeel over de beleidsdoorlichting kan op veel criteria berusten. Maak hierover zo mogelijk afspraken vooraf, en laat de onafhankelijke deskundige duidelijk vermelden op welke criteria hij of zij het oordeel baseert.

Duidelijk aangeven waarop het oordeel is gebaseerd: een voorbeeld

“Beleidsonderzoek en daarmee wat mij betreft ook deze beleidsdoorlichting dient aan vier criteria te voldoen: validiteit, natrekbaarheid, bruikbaarheid en onafhankelijkheid.” (Beleidsdoorlichting artikel ‘Bescherming kwetsbare scheepvaart nabij Somalië’ van het Ministerie van Defensie, 2014)

Stap 4C) De beleidsdoorlichting is niet op tijd af, wat dan?

Voor het einde van het jaar moet de beleidsdoorlichting afgerond zijn en via de MR aan de Tweede Kamer zijn verzonden. Het kan zijn dat dit niet lukt, bijvoorbeeld omdat aanvullend onderzoek uitloopt. In dat geval moet – eveneens voor het einde van het jaar – een uitstelbrief aan de Tweede Kamer zijn gestuurd. In die brief moet met redenen omkleed worden uitgelegd waarom de beleidsdoorlichting te laat wordt afgerond.

20% minder (en eventueel meer)

Stap 3F) Werk de 20%-besparingsvariant uit

Werk de 20%-besparingsvariant uit

Alle beleidsdoorlichtingen moeten een beschrijving bevatten van beleidsopties voor het geval er significant minder budget (-/- 20%) beschikbaar is, de zogenaamde 20%-besparingsvariant. Zo’n beschrijving voegt een vooruitkijkend element toe aan een beleidsdoorlichting: inzichtelijk wordt aan welke varianten kan worden gedacht om een significante besparing te realiseren en wat de verwachte effecten van die varianten zijn.

 

In de uitwerking van de beleidsdoorlichting is aandacht voor de manieren waarop de doeltreffendheid en doelmatigheid van beleid vergroot kunnen worden (RPE-vraag 14). Deze kennis kan helpen om de invulling van de besparingsvariant vorm te geven. Op die manier is het makkelijker om inhoudelijke keuzes te maken, in plaats van de kaasschaaf hanteren.

 

In de toelichting bij de Regeling Periodiek Evaluatieonderzoek is een toelichting op de besparingsvariant opgenomen:

De grondslag voor de berekening van een 20%-variant bestaat in ieder geval uit de som van de bedragen die op de meest recente begroting staan vermeld bij het doorgelichte beleid. Je neemt niet alleen de uitgaven mee, maar ook de andere elementen, zoals fiscale en premie-uitgaven, uitvoeringskosten en niet-belastingontvangsten. Voor garantieregelen geldt een uitzondering: je hoeft garantieregelingen niet mee te nemen in de grondslag van de besparingsvariant. Eventuele premieontvangsten van een garantieregeling (aan de ontvangstenkant van het begrotingsartikel) neem je wel mee.
Als de beleidsdoorlichting niet het volledige beleidsartikel beslaat, ligt het voor de hand dat alleen de bedragen behorend bij het doorgelichte gedeelte worden meegenomen. En als de beleidsdoorlichting betrekking heeft op (delen van) een aantal beleidsartikelen, moet de som van de doorgelichte delen als basis worden genomen.
Overigens kan van ‘de meest recente begroting’ gemotiveerd worden afgeweken, bijvoorbeeld als ten tijde van publicatie van de doorlichting de nieuwe begroting al is vastgesteld of er tussentijds belangrijke wijzigingen in de budgetten zijn doorgevoerd.

Wat wordt er van je verwacht?
Het doel van deze 20%-variant is het uitwerken van ten minste één beleidsvariant die een netto besparing van 20% inhoudt. Dat betekent dat je kunt kiezen voor het besparen op de uitgaven, het verhogen van de inkomsten of een combinatie van beiden.
Je hoeft die besparing niet in een jaar te realiseren. Na vier jaar (t+4) moet de besparingsvariant wel op minstens 20% uitkomen. In eerdere jaren kun je dan minder dan 20% besparen (of zelfs meer uitgeven, vanwege bijvoorbeeld frictiekosten).
Een variant mag je opbouwen uit losse maatregelen, bijvoorbeeld vier opties die ieder 5% besparen. Dit telt dan als één besparingsvariant (niet als vier). Als er veel maatregelen zijn waarop zou kunnen worden bespaard, kunnen deze als een à la carte menu worden gepresenteerd, waarbij in elke variant – een combinatie van verschillende maatregelen – het totaal tot ten minste 20% optelt. Dit vergt wel dat de maatregelen ook gelijktijdig uitvoerbaar zijn en dat bij de gelijktijdige uitvoering de te besparen bedragen nog steeds volledig kunnen worden gerealiseerd.

In het uitwerken van de besparingsvariant(en) moet je rekening houden met wettelijke bepalingen, gemaakte afspraken en frictiekosten. Zo kun je bijvoorbeeld een meerjarige subsidie niet van het een op het andere jaar stopzetten (die moet je afbouwen). Een ander voorbeeld is het sluiten van gevangenissen: dat kan in eerste instantie tot meerkosten leiden. Ook hier geldt dat na vier jaar netto 20% bespaard moet zijn.
Het is ook mogelijk dat besparingen op jouw beleidsterrein leiden tot extra uitgaven op een ander beleidsterrein (waterbedeffect). Maak dat ook inzichtelijk.

Zoals de toelichting in de RPE stelt, leg je uit hoe je besparingsvariant eruitziet en waar je deze op baseert (bij voorkeur natuurlijk op basis van de analyse in de beleidsdoorlichting). Daarnaast geef je een toelichting op de verwachte gevolgen van de besparing. Leg bijvoorbeeld uit welke maatschappelijke effecten zullen optreden en welke groepen ‘pijn’ zullen ondervinden (en wat die inhoudt). Ook kun je ingaan op eventuele strijdigheid met Europese richtlijnen of nationale wetten die zouden moeten worden aangepast.

Intensiveringsvariant
Het is mogelijk (niet verplicht) om een 20%-intensiveringsvariant uit te werken; dus op basis van 20% meer middelen. Hiervoor gelden dezelfde richtlijnen als voor de besparingsvariant.

Appreciatie van de bestedingsvariant(en)
In de kabinetsreactie kan/kunnen de besparingsvariant(en) in perspectief worden geplaatst, door bijvoorbeeld in te gaan op politieke haalbaarheid of meer realistische varianten.

 


Voorbeeld:
Een voorbeeld is de beleidsdoorlichting , toelating en opvang vreemdelingen (artikel 37.2 JenV).

In het hoofdstuk over de besparingsvariant zijn twee tabellen opgenomen. De eerste tabel beschrijft de grondslag:

De tweede tabel laat de besparingsopgave zien en brengt in beeld hoe de verschillende besparingsopties daaraan bijdragen:

In het vervolg van het hoofdstuk worden de verschillende besparingsmaatregelen (in de tabel staan er zes) beschreven. De maatregel wordt inhoudelijk toegelicht en de besparing wordt financieel onderbouwd. Ook wordt een korte beschrijving gegeven van de maatschappelijke gevolgen van de besparing. Hieronder staat ter illustratie de toelichting bij een maatregel.

Geen COA-opvang voor nareizigers
Het idee achter deze optie is dat nareizigers pas een MVV krijgen om naar Nederland te reizen wanneer de referent woonruimte voor hen heeft. De gezinsherenigingsrichtlijn en Nederlandse wetgeving schrijven enkel voor binnen welke termijn je op de nareisaanvraag moet beslissen en niet binnen welke termijn nareizigers na de inwilliging mogen reizen. Juridisch is deze mogelijkheid haalbaar. Het grote voordeel is dat het COA geen onderdak meer hoeft te bieden aan nareizigers. Uitgaand van een gemiddelde opvangduur voor nareizigers van ca 3,5 maanden en ca 3.000 nareizigers per jaar betekent dit een besparingspotentieel van ca €21 miljoen.
Gevolg: De juridisch-ethische vraag blijft hier buiten beschouwing of het wenselijk is om soms kwetsbare groepen in onveilige gebieden te laten wachten tot in Nederland woonruimte beschikbaar is.

 

Regeldruk

Regeldrukbeperking

Idealiter zijn de gevolgen van het beleid in termen van regeldruk voor bedrijven, mede-overheden en burgers voorafgaand aan de invoering in kaart gebracht. Het IAK (Integraal Afwegingskader voor beleid en wetgeving) bevat informatie over deze (en andere) gevolgen . Voor een samenvatting van de procedures die gelden voor het bijtijds in kaart brengen van de regeldrukgevolgen van een voorstel is daar een Processchema regeldrukverantwoording en verwante wetgevingskwaliteitsinstrumenten en Handleiding te vinden.

Het ATR (Adviescollege Toetsing Regeldruk) is per 1 juni 2017 van start gegaan als opvolger van Actal. Het ATR heeft als kerntaak het adviseren over en toetsen van voorgenomen wetgeving in een zo vroeg mogelijke fase van het wetgevingsproces. Het Adviescollege Toetsing Regeldruk (ATR) beoordeelt de gevolgen voor de regeldrukeffecten van voorgenomen wet- en regelgeving aan de hand van het volgende toetsingskader:

    1. Nut en noodzaak: is er een taak voor de overheid en is wetgeving het meest aangewezen instrument?
    2. Zijn er minder belastende alternatieven mogelijk?
    3. Is gekozen voor een uitvoeringswijze die werkbaar is voor de doelgroepen die de wetgeving moeten naleven?
    4. Zijn de gevolgen voor de regeldrukeffecten volledig en juist in beeld gebracht?

Maar ook kan ATR adviseren over bestaande wetgeving, aan parlement en medeoverheden, en over beleidsregels en overige regels van organisaties die zijn belast met uitvoering of handhaving van wetgeving.

Op de website van de ATR is een Handboek meting regeldrukkosten te vinden, voor het zo feitelijk mogelijk in kaart brengen van de regeldruk van beleid in de voorstelfase.

Gedragsinzichten voor doeltreffender en doelmatiger beleid

In deze paragraaf wordt ingegaan op gedragsinzichten en de toepassing ervan. Gedragsinzichten helpen om te komen tot doeltreffender en doelmatiger beleid. De gedragsinzichten zijn met name relevant voor de stap 3C (‘Reconstrueer de beleidstheorie’), maar natuurlijk ook voor stap 3D (‘Benoem de witte vlekken’) en stap 3E (‘Synthese’).

 

Gedragsinzichten

Contactpersonen

Het gedrag en de keuzes van mensen spelen bij veel overheidsbeleid een belangrijke rol. Vaak is beleid erop gericht om het gedrag van mensen te beïnvloeden. Via wet- en regelgeving, financiële prikkels en/of communicatie stimuleert de overheid vormen van gewenst gedrag en remt zij ongewenst gedrag af. Maar ook beleid dat niet specifiek is gericht op het beïnvloeden van gedrag, heeft daar vaak wel effect op. Het gedrag en de keuzes van mensen hebben grote invloed op de beleidsterreinen waar de overheid zich mee bezighoudt. Denk bijvoorbeeld aan het gebruik van de zorg, het onderwijs en het wegennet, maar ook aan het voorkomen van criminaliteit of overlast, het behalen van duurzaamheidsdoelstellingen, het sparen voor pensioenen en het functioneren van markten.

Voor effectief beleid is het daarom noodzakelijk een realistisch beeld te hebben van de reacties van mensen op een bepaalde maatregel of interventie. Traditioneel is daarbij het uitgangspunt dat mensen rationele beslissers zijn die de relevante voor- en nadelen afwegen en op basis hiervan een bewuste keuze maken. De gedragswetenschappen leren echter dat gedrag vaak niet het gevolg is van rationele afwegingen maar dat er allerlei psychologische en sociale factoren een rol spelen. De relevante inzichten vanuit de gedragswetenschappen zijn divers, maar kennen een aantal terugkerende elementen:

  • Ten eerste worden keuzes van mensen beïnvloed door allerlei systematische afwijkingen (biases) van de optimale (rationele) keuze. Een bekend voorbeeld is dat mensen “verliesaversie” hebben: een risico op verlies telt zwaarder mee in de keuzes van mensen dan een mogelijke winst.
  • Ten tweede hebben mensen een beperkte zelfbeheersing en hechten ze vaak meer waarde aan een aangenaam heden dan aan een aangename toekomst. Zelfstandig sparen voor het pensioen blijkt in de praktijk bijvoorbeeld vaak lastig te zijn. Mensen handelen hierin tijdsinconsistent: wat ze daadwerkelijk nu doen, is niet in overeenstemming met wat ze eerder aangaven te willen doen.
  • Ten derde maken we een deel van onze keuzes onbewust. Dit komt onder andere tot uiting bij gewoontegedrag. Maar ook bij complexe beslissingen, waarin het lastig is om alle relevante informatie te overzien, spelen onbewuste processen een belangrijke rol.
  • Tot slot wijst gedragswetenschappelijke kennis op het belang van de sociale omgeving. Mensen zijn sociale wezens; ze willen graag bij een groep horen en sociale normen (oftewel wat anderen (in meerderheid) doen en denken) hebben een sterke invloed op hun keuzegedrag.

Meer informatie over gedragsinzichten is onder meer te vinden in de WRR-publicatie ‘Met kennis van gedrag beleid maken’ en in de kabinetsreactie .

Toepassing gedragsinzichten in beleid

Informatie over hoe gedragsinzichten toe te passen in beleid is te vinden in Toepassen gedragsinzichten , zoals opgenomen in het Integraal afwegingskader voor beleid en regelgeving (IAK).

Voorbeelden van toepassing van gedragsinzichten zijn te vinden in de publicatie Rijk aan gedragsinzichten . In deze publicatie wordt aan de hand van praktijkvoorbeelden uit de verschillende beleidsdepartementen beschreven hoe gedragsinzichten beleid hebben verrijkt en doeltreffender en doelmatiger hebben gemaakt.

Doenvermogentoets

Een gedragsaspect dat bijzondere aandacht verdient is het doenvermogen van mensen. In de WRR-publicatie WRR-rapport ‘Weten is nog geen doen; Een realistisch perspectief op redzaamheid’ wordt hier uitgebreid op ingegaan. De WRR beveelt aan om bij voorgenomen beleid en regelgeving vooraf te toetsen of de regeling ‘doenlijk’ is voor mensen (doenvermogentoets), ook wanneer zij een lastige periode doormaken en hun mentale vermogens zwaar worden belast. In uitvoeringstoetsen moet niet alleen het perspectief van uitvoeringsorganisaties worden betrokken, maar ook het perspectief van de doelgroep(en). Zij moeten de regeling niet alleen kennen maar ook ‘kunnen’. Het kabinet heeft deze aanbeveling overgenomen. Indien aan de orde moet in de toelichting worden ingegaan op de manier waarop rekening is gehouden met het doenvermogen (is uitgegaan van een realistische inschatting van het doenvermogen en zijn er passende maatregelen getroffen, bijvoorbeeld door bepaalde keuzearchitectuur?).

Meer informatie over de doenvermogentoets is te vinden in Doenvermogen , ook opgenomen in het IAK.

Contactpersonen

Mocht je vragen hebben over (het toepassen van) gedragsinzichten dan kan je altijd contact opnemen met de contactpersoon van het departement waar je werkzaam bent (link alleen toegankelijk vanaf een werkplek bij de Rijksoverheid).

 

Doeltreffendheid en doelmatigheid: hoe te meten?

In deze ‘uitstap’ bespreken we verschillende mogelijke aanpakken ten behoeve van de evaluatie van doeltreffendheid en doelmatigheid; zonder dat die direct in de beleidsdoorlichting hoeven worden toegepast (dat is immers een syntheseonderzoek). De uitstap is bedoeld om degenen die de beleidsdoorlichting uitvoeren en begeleiden, hulpmiddelen te geven om bestaande (evaluatie-) onderzoeken te waarderen op relevantie en kwaliteit; en daarmee op geschiktheid voor de doorlichting. Ook bieden ze inspiratie voor de insteek van het syntheseonderzoek als zodanig.

Het meten van doeltreffendheid

RPE, artikel 1

d. Doeltreffendheid van het beleid: de mate waarin de beleidsdoelstelling dankzij de inzet van de onderzochte beleidsinstrumenten wordt gerealiseerd;

Doeltreffendheid is synoniem voor effectiviteit.

In onderstaande figuur wordt het begrip doeltreffendheid geïllustreerd aan de hand van de resultatenketen, zoals deze ook bij het uitwerken van de beleidstheorie kan worden gebruikt.

  • Input: mensen en middelen die worden ingezet
  • Activiteiten: de interventies, instrumenten die met deze middelen worden uitgevoerd
  • Output: de prestaties die met deze activiteiten worden geleverd
  • Outcome: de directe effecten van deze prestaties

De outcome kan, behalve door beleid, óók door andere factoren worden beïnvloed.

Het woord “dankzij” in de definitie van doeltreffendheid vereist dat de causaliteit tussen beleid en effecten, oftewel tussen de prestaties (output) en de uiteindelijke effecten (outcome) plausibel of hard wordt gemaakt. Bijvoorbeeld: wordt een kleiner aantal verkeersdoden op jaarbasis inderdaad veroorzaakt door de aanleg van het x-aantal rotondes op risicoplekken? Deze outcome kan namelijk ook door andere externe factoren worden veroorzaakt zoals het steeds veiliger worden van auto’s, toegenomen gebruik van fietshelmen of de verkeersdrukte. Als alleen het aantal verkeersdoden wordt gemonitord zonder dat de relatie met het beleid wordt gelegd, spreken we van doelbereiking.

Een voorbeeld. De input van reïntegratiebeleid (cliënten die uit het werkproces zijn geraakt terug begeleiden naar werk) zijn middelen/mankracht. De activiteit is het opzetten en aanbieden van reïntegratietrajecten. De prestatie (output) is het aantal trajecten dat cliënten hebben gevolgd.

De doelbereiking is het percentage cliënten dat het werk hervat na zo’n traject te hebben gevolgd. Maar daarmee weten we nog niet, in hoeverre dit percentage het resultaat is van het reïntegratiebeleid. Er zijn immers ook een hoop andere factoren op werkhervatting van invloed, zoals de economische conjunctuur en de beschikbaarheid van (goede) kinderopvang. Daar komen we in een volgend blok op terug.

Vaak zijn de prestaties (output) en doelbereiking meetbaar te maken, bijvoorbeeld hoeveel werkhervattingstrajecten zijn uitgevoerd: dat is een zogenoemde prestatie-indicator. De doeltreffendheid van beleid (ten opzichte van een situatie zonder beleid) is lastiger in beeld te brengen: bijvoorbeeld, hoeveel werkzoekenden zijn aan een baan gekomen dankzij het beleid van ‘terugbegeleiding’ cq. re-integratie (outcome)?

Box. Evalueren van abstracte, of ver gelegen beleidsdoelen

Hoe concreter het beleidsdoel, des te beter het te evalueren (want meetbaar te maken) valt.

In de praktijk zijn beleidsdoelen helaas niet altijd glashelder. Bovendien verschillen doelen onderling sterk: sommige liggen bijvoorbeeld dichter bij het leveren van prestaties (output) dan andere, die zich richten op de – maatschappelijke – doorwerking, veelal op langere termijn. Dat heeft gevolgen voor de aanpak van de doorlichting.

Het is verstandig om in de beleidsdoorlichting duidelijk aan te geven als doelstellingen concreter gemaakt zouden moeten worden. De (beperkte) evalueerbaarheid van de doelen kan ook een van de conclusies van de doorlichting zijn. Hieronder wordt een aantal situaties geschetst waarin het lastig is om de realisatie van beleidsdoelen (en dus de doeltreffendheid van het beleid) goed te evalueren.

Als het beleidsdoel in de verre toekomst ligt

De doeltreffendheid van beleid is moeilijk vast te stellen als het beleidsdoel in de verre toekomst ligt. Een aanpak daarbij is: nagaan welke effecten er anno ‘nu’ al bereikt zijn. Dit maakt een uitspraak over de effectiviteit mogelijk zonder dat in de doorlichting meteen ook een uitspraak hoeft te worden gedaan over het al dan niet halen van het toekomstige doel. Nog mooier is het als op grond van de tot nu toe behaalde resultaten ook een inschatting kan worden gemaakt van de kans dat het uiteindelijke beleidsdoel wordt gehaald. Dit kan bijvoorbeeld met behulp van een scenarioberekening of een plausibiliteitsredenering. Een concreet voorbeeld hiervan vormt de ‘stoplichtentabel’ in de bijlage van de Balans voor de Leefomgeving van het Planbureau voor de Leefomgeving .

Als het maatschappelijke doel ontbreekt

Er zijn beleidsartikelen waaraan geen maatschappelijke doelen zijn gekoppeld, maar alleen doelen op prestatie- of outputniveau. Een voorbeeld is beleidsartikel 2 van Defensie Taakuitvoering zeestrijdkrachten: “De zeestrijdkrachten leveren operationeel gerede maritieme expeditionaire capaciteit, zowel vloot als mariniers, voor nationale en internationale operaties". Wanneer strikt zou worden gekeken naar het bereiken van dit beleidsdoel is het voldoende om na te gaan of de prestatie ‘leveren van capaciteit’ is gerealiseerd. Dan zou de doorlichting zich alleen op de output kunnen richten. Het Ministerie van Defensie kiest er daarom voor om meer thematische beleidsdoorlichtingen uit te voeren, waarin bijvoorbeeld de effecten van internationale operaties centraal staan. Een voorbeeld is de beleidsdoorlichting Bescherming kwetsbare scheepvaart nabij Somalië uit 2014.

Twee hoofdbenaderingen in de evaluatie van doeltreffendheid

In ‘evaluatieland’ zijn twee hoofdbenaderingen te onderscheiden: de attributieve en de contributieve (zie schema).

Schema

Attributie (black box)

Bijv. Experimenten, quasi-experimenten

Contributie (clear box)

Bijv. CMO, verklarend onderzoek met de beleidstheorie als leidraad

Causaliteit

(In welke mate ) Werkt het beleid?

Hoe werkt het beleid?

Verklaring

 

Focus op (gedrags)mechanismen, ingebed in een context van condities

Outcome

Van tevoren gedefinieerd

Van tevoren gedefinieerd, en: afhankelijk van context

Context

De context wordt voor de evaluatie geneutraliseerd (uitgeschakeld) om netto-effect van beleid te destilleren

Werkt het (i.h.a.)?

Wat werkt voor wie, en onder welke omstandigheden?

Leren van evalueren

Ja, maar a-contextueel (je weet niet wanneer of waar het beter of minder uitpakt)

Ja, maar moeilijk overzicht te bewaren over de omstandigheden waaronder resultaten worden geboekt

  1. Attributie: in welke mate werkt het?

Een bekende graadmeter die in de praktijk wordt gebruikt om het causale verband tussen prestatie (output) en effect is de effectladder.

Effectladder: hoe ‘hard’ is doeltreffendheid gemaakt?

In de opzet van de Beleidsdoorlichting Landbouw, Natuur en Voedselkwaliteit (EZK, juni 2018) wordt gerefereerd aan de effectladder https://zoek.officielebekendmakingen.nl/kst-31104-4.html . EZK en LNV gebruikt deze om de hardheid van gemeten effectiviteit (lees: doeltreffendheid) van de onderzochte beleidsinstrumenten te duiden. In het kader van de operatie Inzicht in Kwaliteit heeft SEO een evaluatie uitgevoerd van beleidsdoorlichtingen, hierbij is de effectladder verder uitgewerkt (SEO, 2018, Beleidsdoorlichtingen belicht):

Het Nederlands jeugdinstituut werkt deze gradaties wat nader uit (voor het eigen domein): www.nji.nl/nl/Kennis/Dossier/Effectieve-jeugdhulp/Effectieve-organisaties/Werken-aan-effectiviteit

Trede 1: Voorwaardelijk

Op trede 1 van de effectladder staat de interventie op papier. De aandacht gaat vooral uit naar het doel van de interventie, de doelgroep, de aanpak en de randvoorwaarden voor de uitvoering. Door deze explicitering is de werkwijze van de interventie te begrijpen en de aanpak gemakkelijker overdraagbaar.

Trede 2: Veelbelovend

Het formuleren van een goede interventietheorie maakt een interventie in theorie effectief. Op trede 2 van de effectladder gaat het om een aannemelijk verhaal (anders gezegd: een plausibele beleidstheorie) dat de interventie kan werken. Als daarbij gerefereerd wordt aan algemeen aanvaarde en met onderzoek ondersteunde theorieën komt de interventie nog sterker te staan. Interventies in de databank Effectieve Jeugdinterventies op deze website voldoen minstens aan dit niveau.

Trede 3: Doelbereiking

Het meten vormt de kern van trede 3 van de effectladder: er zijn cijfers beschikbaar die bijvoorbeeld laten zien dat de doelgroep wordt bereikt, waarom sommige cliënten voortijdig afhaken, dat de cliënten tevreden zijn, dat de doelen van de interventie worden gerealiseerd of dat er positieve veranderingen zijn op een relevante uitkomstmaat.

Trede 4: Plausibel

Als een onderzoek is bedoeld om vooraf voorspelde verbanden te toetsen, bijvoorbeeld tussen de duur van de interventie en de uitkomsten in een groep, dan spreekt men van 'veranderingstheoretisch' onderzoek. Als zo'nvoorspelling uitkomt, kun je spreken van goede aanwijzingen voor effectiviteit.

Trede 5: Bewezen effectief (doeltreffend)

Interventies die voldoende causale bewijskracht hebben zijn 'bewezen effectief' te noemen: de gemeten verbetering is toe te schrijven aan de gebruikte interventie. Op trede 5 van de effectladder is er sprake van een goed omschreven, theoretisch onderbouwde en in de praktijk getoetste aanpak, waarbij bovendien is aangetoond dat de interventie beter is dan 'geen interventie' of 'een andere interventie'. Daarvoor is een vergelijking nodig met een controlegroep die geen hulp heeft ontvangen of die de interventie niet gekregen heeft maar wel een ander aanbod.

(Quasi-)Experimenteel evaluatie-ontwerp (black box)

Een harde manier om doeltreffendheid te meten is het doen van een experiment: werkt het? Hierbij worden twee (sterk) vergelijkbare groepen bestudeerd, waarbij de ene het beleid ondergaat en de andere niet.

blackbox benadering

Hierdoor resteert nog maar 1 verschil tussen de twee groepen: de input van het door te lichten beleid. Het verschil in uitkomst tussen de twee groepen is dan toe te schrijven – te attribueren – aan het beleid.

Terugkomend op het reïntegratievoorbeeld. Door óók de kans op werkhervatting te meten zonder de inzet van de werkhervattingstrajecten, kan de doeltreffendheid van de reïntegratieinstrumenten worden afgeleid. Stel bijvoorbeeld dat een reïntegratiebedrijf 100 klanten krijgt en er na verloop van tijd 40 uitstromen naar werk. Wanneer er zonder het gevoerde beleid er toch ook 30 uitstromen naar werk, is het netto-effect van de ingezette trajecten – de doeltreffendheid dus – (40-30=) 10 cliënten.

Een veel gehoord argument om géén experimentele aanpak te hanteren, is dat een wet(swijziging) of beleid al is uitgerold over de hele doelgroep, waardoor het vormen van een controlegroep een gepasseerd station is. Verder worden bezwaren van ethische aard geuit bij het ontzeggen van nieuwe interventies aan de controlegroep. Per situatie zou kunnen worden bekeken of deze argumenten standhouden, dus of toch niet (alsnog) tot een systematische vergelijking van groepen kan worden gekomen, die attributie mogelijk maakt.

Maar sowieso is attributie-onderzoek in de praktijk een lastige opgave. Een paar redenen:

  • Beleid introduceert in veel gevallen kaders (bijv. met een kaderwet), in plaats van afgebakende interventies (zoals een concrete heffing). Veel sturing gebeurt in en met netwerken (bijv. met decentrale overheden en/of in publiek-private samenwerking). Het beleid is geen lineaire top-down oefening maar complexer, de dynamiek is ‘verweven’;
  • Beleid behelst soms een transitie van het ene naar het andere stelsel (bijv. de centralisatie van de politie, of juist de decentralisaties in zorg, werk en jeugdhulp). Zulke transities behelzen ontwikkelende systeemveranderingen op de lange termijn die moeilijk van tevoren zijn uit te tekenen (Van der Steen, 2018).

De complexiteit van veel (onderdelen van) rijksbeleid wordt steeds vaker onderkend. Evaluatie-aanpakken die zich hiervoor lenen zijn in ontwikkeling, maar nog onvoldoende uitgekristalliseerd om ze hier nu al op te nemen.

 


Box. Andere attributieve evaluatie-aanpakken en tips voor verdieping

(1) Systematische monitoring op output- en/of doelindicatoren genereert tijdreeksen van gegevens (bijvoorbeeld het aantal dodelijke verkeersslachtoffers per jaar in Nederland). Trends en trendbreuken in zo’n tijdreeks kunnen vervolgens in verband worden gebracht met het moment waarop beleidsinterventies (bijv. snelheidsbeperkende maatregelen of aanleg van extra rotondes) hebben plaatsgevonden. Is een trendbreuk mogelijk het gevolg van interventie(s), dan kan vervolgens worden gecontroleerd voor invloeden van buitenaf (bijvoorbeeld cijfers over lokale verkeersdrukte). Naarmate er meer metingen over de tijd zijn, worden toevallige invloeden op de uitkomstmaat steeds meer uitgesloten.

(2) Een studie over 1 tijdsperiode, die gebruik maakt van uitkomstmaten bij deelgroepen van de doelgroep, die in verschillende mate aan de interventie zijn blootgesteld. Statistische controles dienen ervoor te zorgen dat alternatieve verklaringen voor verschillen in uitkomsten zoveel mogelijk worden uitgeschakeld.

Leestips

Voor verschillende typen (experimentele en zogenoemde quasi-experimentele) opzetten voor effectiviteitsonderzoek kan het overzicht door Mulder, Daalder en Leeuw (WODC 2013 ) – op basis van de justitiële praktijk – een inspiratiebron zijn.

En daarnaast het eindrapport van de werkgroep ‘Durf te meten’ (Commissie Theeuwes, 2012)


 

Neveneffecten

Niet alleen inzicht in beoogde effecten (doeltreffendheid en doelmatigheid) van beleid is belangrijk, maar ook inzicht in de (positieve en negatieve, gewenste en ongewenste) neveneffecten. Onder vraag 7 van het IAK vind je bijvoorbeeld verplichte toetsen waarmee effecten in termen van regeldruk voor burgers of bedrijven en voor het milieu en gendergelijkheid in kaart behoren te worden gebracht . Deze aandachtspunten en toetsen bevorderen een integrale kosten-batenafweging in de beleidsvoorbereiding: wegen de verwachte maatschappelijke baten op tegen dergelijke kosten?

Inzicht in de neveneffecten biedt bovendien aanknopingspunten ter verbetering van eenmaal lopend beleid. Dit maakt het relevant om er in de beleidsdoorlichting aandacht aan te besteden.

(B) Contributie. Hoe werkt het, voor wie en onder welke condities?

Als doeltreffendheid niet hard kan worden aangetoond, kan de relatie tussen beleid en effect wel plausibel worden gemaakt. Dit wordt ook wel de contributieve benadering van evaluatie genoemd, zoals ook vervat in het schema bij de inleiding van deze uitstap.

Context-mechanisme-uitkomst (CMO)

Een bekende contributieve evaluatiebenadering is de context-mechanisme-outcome heuristiek, afgekort C-M-O. Je opent dan de black box van de werking door stappen van input, output tot en met outcome, en de condities waaronder die zich voordoen, na te lopen. Geheimen achter de werking of niet-werking van beleid worden ontsluierd: een clear box. De eerdergenoemde beleidstheorie is daarbij essentieel.

Nieuw onderzoek naar elke stap is niet altijd nodig, bijvoorbeeld als met de beschikbare literatuur al voldoende inzicht is verkregen in de werking (doeltreffendheid & doelmatigheid) van een beleid of instrumenten daarbinnen.

De CMO-benadering kan gecombineerd worden met andere evaluatietypen zoals een (quasi-) experiment.

Participatieve evaluatie

Bij participatieve evaluatie – zoals responsieve evaluatie – ligt de nadruk op de betreffende ‘stakeholders’ en hun verschillende perspectieven op de werkelijkheid. Met behulp van bijpassende onderzoeksmethoden (denk bijvoorbeeld aan focusgroepen) kunnen verschillende (doel)groepen aangeven welke veranderingen naar hun ervaring het gevolg zijn van een beleidsinitiatief, wie heeft geprofiteerd en wie niet, en wat gepercipieerde sterke en zwakke punten zijn.

Voor een deel komt de participatieve evaluatie voort uit frustratie over de soms beperkte relevantie van (met name) ‘experimentele’ aanpakken. Een participatieve aanpak zou juist de contextgevoeligheid ( wanneer/waar werkt het ‘t best?) en daarmee de bruikbaarheid en de relevantie van evaluatiebevindingen vergroten. De participatieve benadering kan ook in combinatie met andere evaluatiebenaderingen worden toegepast.

Procesevaluatie: focus op de uitvoering en eerste resultaten

Een tussenstap naar het in kaart brengen van doeltreffendheid is het verrichten van een procesevaluatie: hoe en/of in hoeverre is het beleid tot uitvoering gebracht (geïmplementeerd)? En worden daarmee daadwerkelijk de beoogde doelgroepen bereikt en problemen aangepakt? Procesevaluaties vergen een maatstaf waartegen de beleidsprestaties worden afgezet. Die maatstaf kan ontleend worden aan de betreffende wet- en regelgeving, de beleidstheorie, professionele standaarden of aan verwachtingen bij stakeholders.

Vraag

Opzet procesevaluatie

Is het programma uitgevoerd zoals beoogd?

 

Vergelijk implementatie-activiteiten / -prestaties met aan beleid of stakeholders ontleende maatstaf(-aven)

Zijn uitvoerings- of managementproblemen opgetreden?

Vergelijk prestaties met verwachtingen in termen van kwaliteit, kosten of doelmatigheid

Onderzoek variatie in termen van kwaliteit /prestatie tussen contexten (bijv. gemeenten), verstrekkers, of sub-doelgroepen

Waarom worden de beoogde programmadoelen niet – of niet meer – bereikt? Wat zijn knelpunten in de implementatie?

(Diepte-) case studies

- Onderlinge vergelijking van implementatie door bijv. verschillende gemeenten – zoeken naar patronen

Bronnen

  • Uitvoeringsgegevens (bijv. ter toetsing van kwaliteit of snelheid van aanmeldings- en selectieprocedures)
  • Registraties en (bijv. CBS-) statistieken (bijv. gemiddelde inkomensniveau uitkeringsdoelgroep)
  • Surveys onder een representatieve selectie van (lokale) uitvoerders (bijv. is het wettelijk kader / de verstrekte toelichting erop voldoende duidelijk?)

Combinaties van gegevenstypen verdienen de voorkeur vanwege de betrouwbaarheid

Monitoring

Het monitoren van indicatoren van de output en de outcome is belangrijk om de vinger aan de pols te houden wat betreft de voortgang en potentiële werking van het beleid. En monitoring genereert waardevolle bouwstenen voor latere evaluaties.

OCW beschikt over veel monitorinformatie. Veel is beschikbaar via de site OCW in cijfers. De herkomst van de data varieert (internationale data, zoals uit PISA, PIAAC surveys en nationale CBS- e.a. data). De indicatoren in de begroting geven de beleidsprioriteiten weer en hierover wordt jaarlijks in het jaarverslag gerapporteerd. Ook de jaarverslagen van de onderwijsinstellingen zijn beschikbaar. Hiermee worden de eerste stappen gezet om meer gebruik te maken van bestaande en verschillende data te combineren tot informatie. In de brief ‘Versterking verantwoording van en inzicht in onderwijsgelden’ wordt de komende tijd ingezet op het openbaar maken van benchmarks.

SZW maakt veel gebruik van monitoringsgegevens van diverse instanties als CBS, UWV, SVB en de Belastingdienst. Een goed voorbeeld hiervan is het op initiatief van SZW opgezette asielcohortenonderzoek door het CBS. De belangrijkste cijfers voor SZW zijn samengebracht in de SZW cijfers-app. SZW heeft voor een aantal beleidsterreinen indicatoren ontwikkeld en in de begroting geplaatst. Ander voorbeeld is de WWZ, waarbij een evaluatieprogrammering is gemaakt met (naast eindevaluaties) tussenevaluaties of monitoring.

Het meten van doelmatigheid

RPE artikel 1

e. Doelmatigheid van het beleid: de relatie tussen de effecten van het beleid en de kosten van het beleid.

RPE, toelichting op artikel 2 eerste lid

Doelmatigheid betreft de relatie tussen de effecten van het beleid (op het beleidsdoel en overige baten) en de kosten van het beleid (de beleidsuitgaven en overige kosten binnen en buiten het departement). We spreken over doelmatigheid van beleid als het gewenste beleidseffect tegen zo min mogelijk kosten wordt bereikt.

Doelmatigheid en efficiëntie zijn synoniemen. Waar we in dit stuk spreken over doelmatigheid kan dus efficiëntie worden gelezen.

Doelmatigheid is een relatief begrip: er is altijd een vergelijking met een andere organisatie of een ander moment in de tijd nodig om een uitspraak over de mate van doelmatigheid te kunnen doen.

Bij het onderbouwen van de doelmatigheid in de beleidsdoorlichting licht je toe waarom het gekozen instrumentarium een efficiënte manier is (of was) om de doelstellingen te bereiken. Bijvoorbeeld door aan te geven dat vergeleken met andere instrumenten optimale effecten zijn gerealiseerd met de input: de ingezette (financiële) middelen. Als het doorgelichte instrumentarium – ten opzichte van alternatieve instrumenten – niet het meest doelmatige is/was om de doelstellingen te realiseren, licht je toe waarom deze keuze toch is gemaakt. Bovendien kan ook de doelmatigheid op uitvoeringsniveau (op het niveau van geleverde prestaties) worden toegelicht.

Twee typen doelmatigheid

(1) Doelmatigheid van het beleid als geheel, waarbij de outcome wordt gerelateerd aan de input.

Om iets te kunnen zeggen over de doelmatigheid van het beleid als geheel, moet er inzicht zijn in de doeltreffendheid.

Stappen

  • Breng de doeltreffendheid van het beleid als geheel in kaart – al dan niet inclusief neveneffecten. Betrek daarbij eventuele verschillen tussen doelgroepen en/of meetmomenten.
  • Doelmatigheid van het beleid in termen van beoogde en/of neveneffecten: Beschrijf waarom het gekozen instrument – in vergelijking met andere – een efficiënte manier is (geweest) om het maatschappelijke probleem op te lossen. Leg deze naast de praktijk op basis van de beschikbare gegevens uit verrichte evaluaties en eventuele andere studies: in hoeverre zijn die aannames werkelijkheid (geworden)?
  • Soms is vóór de invoering van het onderzochte instrument al een
    Maatschappelijke kosten- en batenanalyse (MKBA) verricht. Andere (mogelijk al verrichte) studies die deel uit kunnen maken van de beleidsdoorlichting zijn: multicriteria-analyse (zie in dit kader ook bijv. impact assessment of business case ) .

Geef ten slotte aan hoe je (meer) inzicht gaat verkrijgen in de doelmatigheid. Wanneer geen (goed) beeld is te geven van de doelmatigheid van het instrumentarium (bijvoorbeeld omdat het inzicht in de doeltreffendheid ontbreekt) geef dan in de Verbeterparagraaf aan, hoe je deze informatie alsnog gaat verzamelen. Dit kan bijvoorbeeld door gegevens over kosten en resultaten te gaan monitoren.

(2) Doelmatigheid van de beleidsprestaties, waarbij de output wordt gerelateerd aan de input.

Stappen

  • Breng de output, de beoogde beleidsprestaties, in kaart.
  • Beschrijf op basis van de beschikbare (evaluatie)studies, welke prikkels er zijn ten aanzien van doelmatigheid van de uitvoering (hoe worden uitvoerders geprikkeld tot efficiënte besteding van publieke middelen?). Wat is de feitelijke doelmatigheid van de uitvoering? Deze kun je in kaart brengen bijvoorbeeld door inzicht te bieden in de ‘gemiddelde kostprijs’ of winst die je verwacht te realiseren in de uitvoering.

Beide typen doelmatigheid vergen inzicht in de input, de ingezette middelen. Alle input moet in de meting worden betrokken.

Kengetallen van doelmatigheid: momentopname van de verhouding input – outcome

Mogelijk zijn beschikbare studies die ten grondslag liggen aan de beleidsdoorlichting gebaseerd op kengetallen. Doelmatigheidskengetallen zijn een momentopname van de verhouding tussen middelen (input) en doeltreffendheid (outcome). Bijvoorbeeld, het vergelijken van de kosten per aan het werk geholpen werkzoekende van verschillende reïntegratietrajecten.

De voordelen van kengetallen zijn:

  • Kengetallen geven op een eenvoudige wijze inzicht (in ontwikkelingen) in de doelmatigheid (bijv. over maanden of jaren);
  • Kengetallen hebben een signaalfunctie, met het oog op eventuele bijsturing.

Aan het gebruik van kengetallen kleven risico’s; reden om ze kritisch en voorzichtig in te zetten:

  • Zo kan een (uitvoerings)organisatie wel als beste uit de bus komen op één kengetal, maar ten koste van prestaties op een ander vlak. Een voorbeeld is de basisschool met weliswaar gemiddeld hoge cito-eindscores per leerling, maar blijkt de school weinig toegankelijk voor leerlingen die extra aandacht nodig hebben;
  • Soms zijn er verborgen kosten die niet in de kengetallen worden uitgedrukt en bijvoorbeeld worden afgewenteld op externe partijen of organisaties;
  • Soms zijn er verschillen tussen bijv. decentrale uitvoeringstrajecten (of doelgroepen) die maken dat kengetallen niet goed met elkaar te vergelijken zijn;
  • Kengetallen geven geen inzicht in de oorzaken achter verschillen, waardoor aanvullend onderzoek moet plaatsvinden om eventueel doelmatigheidsverbetering te bereiken.

Vaak is daarom meer dan één kengetal nodig om inzicht in de doelmatigheid te geven, in ieder geval een kengetal over de kosten per effect en een kengetal over de ontwikkeling van de kwaliteit.

Wees er vroeg bij … of neem het op in de Verbeterparagraaf

Als het gaat om het aantonen of plausibel maken van doeltreffendheid en doelmatigheid, kun je daaraan maar het beste direct of op tijd mee beginnen. Bijvoorbeeld door:

  • Al in een vroeg beleidsstadium een nulmeting te faciliteren of te doen
  • Kleinschalig te experimenteren met bepaalde instrumenten of pilots
  • Een controlegroep te vormen voor een experimentele evaluatie op kleinere dan wel grotere schaal – én deze in de nulmeting te betrekken
  • Een systeem voor monitoring op te zetten waarmee indicatoren van de output en de outcome kunnen worden gevolgd

Is dit voorafgaand aan deze beleidsdoorlichting (nog) niet gebeurd, dan biedt dat aanknopingspunten voor de verbeterparagraaf .

Verbeterparagraaf

Stap 3G) Verbeterparagraaf

Het is mogelijk dat de beleidsdoorlichting (op onderdelen) onvoldoende antwoord geeft op de vraag of het beleid doeltreffend en doelmatig is geweest. Bijvoorbeeld, omdat er onvoldoende evaluaties zijn verricht, omdat onderzoeksresultaten elkaar tegenspreken of omdat gebruikte indicatoren niet het volledige inzicht geven. Om te leren van deze ervaringen wordt aan iedere beleidsdoorlichting een verbeterparagraaf toegevoegd. Deze verbeterparagraaf is door de minister van Financiën toegezegd aan de Tweede Kamer .

Kortgezegd worden in de verbeterparagraaf aanbevelingen geformuleerd om in de eerstvolgende beleidsdoorlichting (over 4 tot 7 jaar) een beter inzicht te krijgen in de doeltreffendheid en doelmatigheid van het beleid. En niet wederom dezelfde beperkte conclusies te hoeven rapporteren aan de TK. De verbeterparagraaf geeft daarmee richting voor de toekomst, want laat zien waar de komende jaren aan gewerkt kan worden als het gaat om monitoring en evaluatie.

In de beleidsdoorlichting is onder andere aandacht besteed aan de vraag of er witte vlekken in de onderliggende evaluaties zitten (RPE-vraag 9) en in welke mate uitspraken kunnen worden gedaan over doeltreffendheid en doelmatigheid (RPE-vraag 10). De antwoorden op deze vragen bieden de basis voor de verbeterparagraaf. Onderwerpen waaraan gedacht kan worden zijn:

  • Verbetering van de evaluatieprogrammering om witte vlekken in te vullen;
  • Meer aandacht voor tussentijdse monitoring van prestaties of effecten om tot beter onderbouwde uitspraken te komen over de doeltreffendheid;
  • Aanbeveling om (nieuwe) indicatoren uit te werken om beter te kunnen meten of doelen bereikt worden. Dat vergt soms ook het SMART-er formuleren van het beleidsdoel zelf;
  • Aandacht voor gedragsaspecten in de evaluatie van beleid .
  • Verbetering van dataverzameling en –gebruik.

In de verbeterparagraaf werk je de verschillende verbeterpunten zo concreet mogelijk uit. Dit kun je doen door toe te lichten waar verbetering mogelijk is en hoe dat te bereiken is. Maak hierbij bijvoorbeeld gebruik van de expertise van de leden in de begeleidingscommissie of van de onafhankelijk deskundige. Een mooi streven is om een inhoudelijke en procesmatige structuur te organiseren waarbinnen je verder aan de slag gaat met de verbeterpunten.

In de kabinetsreactie worden de elementen uit de verbeterparagraaf benoemd en kan worden uitgelegd hoe de verantwoordelijk minister aan de slag gaat met de aanbevelingen en op welke wijze de Tweede kamer geïnformeerd wordt.

Tips, tricks en definities

Basisbegrippenlijstje RPE

Beleidsdoorlichting: een syntheseonderzoek naar de doeltreffendheid en de doelmatigheid van een substantieel, samenhangend deel van het beleid, dat wordt gevoerd op grond van één of meer beleidsartikelen van de rijksbegroting;

Beleidsevaluatie: een onderzoek naar de doeltreffendheid en de doelmatigheid van het beleid;

Doeltreffendheid van het beleid: de mate waarin de beleidsdoelstelling dankzij de inzet van de onderzochte beleidsinstrumenten wordt gerealiseerd;

Doelmatigheid van het beleid: de mate waarin het optimale effect tegen zo min mogelijk kosten en ongewenste neveneffecten wordt bewerkstelligd.

Onafhankelijk deskundige: een inhoudelijk deskundige die geen verantwoordelijkheid draagt voor het te onderzoeken beleid;

In deze ‘uitstap’ bespreken we verschillende mogelijke aanpakken ten behoeve van de evaluatie van doeltreffendheid en doelmatigheid; zonder dat die direct in de beleidsdoorlichting hoeven worden toegepast (dat is immers een syntheseonderzoek). De uitstap is bedoeld om degenen die de beleidsdoorlichting uitvoeren en begeleiden, hulpmiddelen te geven om bestaande (evaluatie-) onderzoeken te waarderen op relevantie en kwaliteit; en daarmee op geschiktheid voor de doorlichting. Ook bieden ze inspiratie voor de insteek van het syntheseonderzoek als zodanig.

Het meten van doeltreffendheid

RPE, artikel 1

d. Doeltreffendheid van het beleid: de mate waarin de beleidsdoelstelling dankzij de inzet van de onderzochte beleidsinstrumenten wordt gerealiseerd;

Doeltreffendheid is synoniem voor effectiviteit.

In figuur wordt het begrip doeltreffendheid geïllustreerd aan de hand van de resultatenketen, zoals deze ook bij het uitwerken van de beleidstheorie kan worden gebruikt.

  • Input: mensen en middelen die worden ingezet
  • Activiteiten: de interventies, instrumenten die met deze middelen worden uitgevoerd
  • Output: de prestaties die met deze activiteiten worden geleverd
  • Outcome: de directe effecten van deze prestaties

De outcome kan, behalve door beleid, óók door andere factoren worden beïnvloed.

Het woord “dankzij” in de definitie van doeltreffendheid vereist dat de causaliteit tussen beleid en effecten, oftewel tussen de prestaties (output) en de uiteindelijke effecten (outcome) plausibel of hard wordt gemaakt. Bijvoorbeeld: wordt een kleiner aantal verkeersdoden op jaarbasis inderdaad veroorzaakt door de aanleg van het x-aantal rotondes op risicoplekken? Deze outcome kan namelijk ook door andere externe factoren worden veroorzaakt zoals het steeds veiliger worden van auto’s, toegenomen gebruik van fietshelmen of de verkeersdrukte. Als alleen het aantal verkeersdoden wordt gemonitord zonder dat de relatie met het beleid wordt gelegd, spreken we van doelbereiking.

Een voorbeeld. De input van reïntegratiebeleid (cliënten die uit het werkproces zijn geraakt terug begeleiden naar werk) zijn middelen/mankracht. De activiteit is het opzetten en aanbieden van reïntegratietrajecten. De prestatie (output) is het aantal trajecten dat cliënten hebben gevolgd.

De doelbereiking is het percentage cliënten dat het werk hervat na zo’n traject te hebben gevolgd. Maar daarmee weten we nog niet, in hoeverre dit percentage het resultaat is van het reïntegratiebeleid. Er zijn immers ook een hoop andere factoren op werkhervatting van invloed, zoals de economische conjunctuur en de beschikbaarheid van (goede) kinderopvang. Daar komen we in een volgend blok op terug.

Vaak zijn de prestaties (output) en doelbereiking meetbaar te maken, bijvoorbeeld hoeveel werkhervattingstrajecten zijn uitgevoerd: dat is een zogenoemde prestatie-indicator. De doeltreffendheid van beleid (ten opzichte van een situatie zonder beleid) is lastiger in beeld te brengen: bijvoorbeeld, hoeveel werkzoekenden zijn aan een baan gekomen dankzij het beleid van ‘terugbegeleiding’ cq. re-integratie (outcome)?

Box. Evalueren van abstracte, of ver gelegen beleidsdoelen

Hoe concreter het beleidsdoel, des te beter het te evalueren (want meetbaar te maken) valt.

In de praktijk zijn beleidsdoelen helaas niet altijd glashelder. Bovendien verschillen doelen onderling sterk: sommige liggen bijvoorbeeld dichter bij het leveren van prestaties (output) dan andere, die zich richten op de – maatschappelijke – doorwerking, veelal op langere termijn. Dat heeft gevolgen voor de aanpak van de doorlichting.

Het is verstandig om in de beleidsdoorlichting duidelijk aan te geven als doelstellingen concreter gemaakt zouden moeten worden. De (beperkte) evalueerbaarheid van de doelen kan ook een van de conclusies van de doorlichting zijn. Hieronder wordt een aantal situaties geschetst waarin het lastig is om de realisatie van beleidsdoelen (en dus de doeltreffendheid van het beleid) goed te evalueren.

Als het beleidsdoel in de verre toekomst ligt

De doeltreffendheid van beleid is moeilijk vast te stellen als het beleidsdoel in de verre toekomst ligt. Een aanpak daarbij is: nagaan welke effecten er anno ‘nu’ al bereikt zijn. Dit maakt een uitspraak over de effectiviteit mogelijk zonder dat in de doorlichting meteen ook een uitspraak hoeft te worden gedaan over het al dan niet halen van het toekomstige doel. Nog mooier is het als op grond van de tot nu toe behaalde resultaten ook een inschatting kan worden gemaakt van de kans dat het uiteindelijke beleidsdoel wordt gehaald. Dit kan bijvoorbeeld met behulp van een scenarioberekening of een plausibiliteitsredenering. Een concreet voorbeeld hiervan vormt de ‘stoplichtentabel’ in de bijlage van de Balans voor de Leefomgeving van het Planbureau voor de Leefomgeving .

Als het maatschappelijke doel ontbreekt

Er zijn beleidsartikelen waaraan geen maatschappelijke doelen zijn gekoppeld, maar alleen doelen op prestatie- of outputniveau. Een voorbeeld is beleidsartikel 2 van Defensie Taakuitvoering zeestrijdkrachten: “De zeestrijdkrachten leveren operationeel gerede maritieme expeditionaire capaciteit, zowel vloot als mariniers, voor nationale en internationale operaties". Wanneer strikt zou worden gekeken naar het bereiken van dit beleidsdoel is het voldoende om na te gaan of de prestatie ‘leveren van capaciteit’ is gerealiseerd. Dan zou de doorlichting zich alleen op de output kunnen richten. Het Ministerie van Defensie kiest er daarom voor om meer thematische beleidsdoorlichtingen uit te voeren, waarin bijvoorbeeld de effecten van internationale operaties centraal staan. Een voorbeeld is de beleidsdoorlichting Bescherming kwetsbare scheepvaart nabij Somalië uit 2014.

Twee hoofdbenaderingen in de evaluatie van doeltreffendheid

In ‘evaluatieland’ zijn twee hoofdbenaderingen te onderscheiden: de attributieve en de contributieve (zie schema).

Schema

Attributie (black box)

Bijv. Experimenten, quasi-experimenten

Contributie (clear box)

Bijv. CMO, verklarend onderzoek met de beleidstheorie als leidraad

Causaliteit

(In welke mate ) Werkt het beleid?

Hoe werkt het beleid?

Verklaring

 

Focus op (gedrags)mechanismen, ingebed in een context van condities

Outcome

Van tevoren gedefinieerd

Van tevoren gedefinieerd, en: afhankelijk van context

Context

De context wordt voor de evaluatie geneutraliseerd (uitgeschakeld) om netto-effect van beleid te destilleren

Werkt het (i.h.a.)?

Wat werkt voor wie, en onder welke omstandigheden?

Leren van evalueren

Ja, maar a-contextueel (je weet niet wanneer of waar het beter of minder uitpakt)

Ja, maar moeilijk overzicht te bewaren over de omstandigheden waaronder resultaten worden geboekt

  1. Attributie: in welke mate werkt het?

Een bekende graadmeter die in de praktijk wordt gebruikt om het causale verband tussen prestatie (output) en effect is de effectladder.

Effectladder: hoe ‘hard’ is doeltreffendheid gemaakt?

In de opzet van de Beleidsdoorlichting Landbouw, Natuur en Voedselkwaliteit (EZK, juni 2018) wordt gerefereerd aan de effectladder https://zoek.officielebekendmakingen.nl/kst-31104-4.html . EZK en LNV gebruikt deze om de hardheid van gemeten effectiviteit (lees: doeltreffendheid) van de onderzochte beleidsinstrumenten te duiden. In het kader van de operatie Inzicht in Kwaliteit heeft SEO een evaluatie uitgevoerd van beleidsdoorlichtingen, hierbij is de effectladder verder uitgewerkt (SEO, 2018, Beleidsdoorlichtingen belicht):

Het Nederlands jeugdinstituut werkt deze gradaties wat nader uit (voor het eigen domein): www.nji.nl/nl/Kennis/Dossier/Effectieve-jeugdhulp/Effectieve-organisaties/Werken-aan-effectiviteit

Trede 1: Voorwaardelijk

Op trede 1 van de effectladder staat de interventie op papier. De aandacht gaat vooral uit naar het doel van de interventie, de doelgroep, de aanpak en de randvoorwaarden voor de uitvoering. Door deze explicitering is de werkwijze van de interventie te begrijpen en de aanpak gemakkelijker overdraagbaar.

Trede 2: Veelbelovend

Het formuleren van een goede interventietheorie maakt een interventie in theorie effectief. Op trede 2 van de effectladder gaat het om een aannemelijk verhaal (anders gezegd: een plausibele beleidstheorie) dat de interventie kan werken. Als daarbij gerefereerd wordt aan algemeen aanvaarde en met onderzoek ondersteunde theorieën komt de interventie nog sterker te staan. Interventies in de databank Effectieve Jeugdinterventies op deze website voldoen minstens aan dit niveau.

Trede 3: Doelbereiking

Het meten vormt de kern van trede 3 van de effectladder: er zijn cijfers beschikbaar die bijvoorbeeld laten zien dat de doelgroep wordt bereikt, waarom sommige cliënten voortijdig afhaken, dat de cliënten tevreden zijn, dat de doelen van de interventie worden gerealiseerd of dat er positieve veranderingen zijn op een relevante uitkomstmaat.

Trede 4: Plausibel

Als een onderzoek is bedoeld om vooraf voorspelde verbanden te toetsen, bijvoorbeeld tussen de duur van de interventie en de uitkomsten in een groep, dan spreekt men van 'veranderingstheoretisch' onderzoek. Als zo'nvoorspelling uitkomt, kun je spreken van goede aanwijzingen voor effectiviteit.

Trede 5: Bewezen effectief (doeltreffend)

Interventies die voldoende causale bewijskracht hebben zijn 'bewezen effectief' te noemen: de gemeten verbetering is toe te schrijven aan de gebruikte interventie. Op trede 5 van de effectladder is er sprake van een goed omschreven, theoretisch onderbouwde en in de praktijk getoetste aanpak, waarbij bovendien is aangetoond dat de interventie beter is dan 'geen interventie' of 'een andere interventie'. Daarvoor is een vergelijking nodig met een controlegroep die geen hulp heeft ontvangen of die de interventie niet gekregen heeft maar wel een ander aanbod.

(Quasi-)Experimenteel evaluatie-ontwerp (black box)

Een harde manier om doeltreffendheid te meten is het doen van een experiment: werkt het? Hierbij worden twee (sterk) vergelijkbare groepen bestudeerd, waarbij de ene het beleid ondergaat en de andere niet.

blackbox benadering

Hierdoor resteert nog maar 1 verschil tussen de twee groepen: de input van het door te lichten beleid. Het verschil in uitkomst tussen de twee groepen is dan toe te schrijven – te attribueren – aan het beleid.

Terugkomend op het reïntegratievoorbeeld. Door óók de kans op werkhervatting te meten zonder de inzet van de werkhervattingstrajecten, kan de doeltreffendheid van de reïntegratieinstrumenten worden afgeleid. Stel bijvoorbeeld dat een reïntegratiebedrijf 100 klanten krijgt en er na verloop van tijd 40 uitstromen naar werk. Wanneer er zonder het gevoerde beleid er toch ook 30 uitstromen naar werk, is het netto-effect van de ingezette trajecten – de doeltreffendheid dus – (40-30=) 10 cliënten.

Een veel gehoord argument om géén experimentele aanpak te hanteren, is dat een wet(swijziging) of beleid al is uitgerold over de hele doelgroep, waardoor het vormen van een controlegroep een gepasseerd station is. Verder worden bezwaren van ethische aard geuit bij het ontzeggen van nieuwe interventies aan de controlegroep. Per situatie zou kunnen worden bekeken of deze argumenten standhouden, dus of toch niet (alsnog) tot een systematische vergelijking van groepen kan worden gekomen, die attributie mogelijk maakt.

Maar sowieso is attributie-onderzoek in de praktijk een lastige opgave. Een paar redenen:

  • Beleid introduceert in veel gevallen kaders (bijv. met een kaderwet), in plaats van afgebakende interventies (zoals een concrete heffing). Veel sturing gebeurt in en met netwerken (bijv. met decentrale overheden en/of in publiek-private samenwerking). Het beleid is geen lineaire top-down oefening maar complexer, de dynamiek is ‘verweven’;
  • Beleid behelst soms een transitie van het ene naar het andere stelsel (bijv. de centralisatie van de politie, of juist de decentralisaties in zorg, werk en jeugdhulp). Zulke transities behelzen ontwikkelende systeemveranderingen op de lange termijn die moeilijk van tevoren zijn uit te tekenen (Van der Steen, 2018).

De complexiteit van veel (onderdelen van) rijksbeleid wordt steeds vaker onderkend. Evaluatie-aanpakken die zich hiervoor lenen zijn in ontwikkeling, maar nog onvoldoende uitgekristalliseerd om ze hier nu al op te nemen.

 


Box. Andere attributieve evaluatie-aanpakken en tips voor verdieping

(1) Systematische monitoring op output- en/of doelindicatoren genereert tijdreeksen van gegevens (bijvoorbeeld het aantal dodelijke verkeersslachtoffers per jaar in Nederland). Trends en trendbreuken in zo’n tijdreeks kunnen vervolgens in verband worden gebracht met het moment waarop beleidsinterventies (bijv. snelheidsbeperkende maatregelen of aanleg van extra rotondes) hebben plaatsgevonden. Is een trendbreuk mogelijk het gevolg van interventie(s), dan kan vervolgens worden gecontroleerd voor invloeden van buitenaf (bijvoorbeeld cijfers over lokale verkeersdrukte). Naarmate er meer metingen over de tijd zijn, worden toevallige invloeden op de uitkomstmaat steeds meer uitgesloten.

(2) Een studie over 1 tijdsperiode, die gebruik maakt van uitkomstmaten bij deelgroepen van de doelgroep, die in verschillende mate aan de interventie zijn blootgesteld. Statistische controles dienen ervoor te zorgen dat alternatieve verklaringen voor verschillen in uitkomsten zoveel mogelijk worden uitgeschakeld.

Leestips

Voor verschillende typen (experimentele en zogenoemde quasi-experimentele) opzetten voor effectiviteitsonderzoek kan het overzicht door Mulder, Daalder en Leeuw (WODC 2013 ) – op basis van de justitiële praktijk – een inspiratiebron zijn.

En daarnaast het eindrapport van de werkgroep ‘Durf te meten’ (Commissie Theeuwes, 2012)


 

Neveneffecten

Niet alleen inzicht in beoogde effecten (doeltreffendheid en doelmatigheid) van beleid is belangrijk, maar ook inzicht in de (positieve en negatieve, gewenste en ongewenste) neveneffecten. Onder vraag 7 van het IAK vind je bijvoorbeeld verplichte toetsen waarmee effecten in termen van regeldruk voor burgers of bedrijven en voor het milieu en gendergelijkheid in kaart behoren te worden gebracht . Deze aandachtspunten en toetsen bevorderen een integrale kosten-batenafweging in de beleidsvoorbereiding: wegen de verwachte maatschappelijke baten op tegen dergelijke kosten?

Inzicht in de neveneffecten biedt bovendien aanknopingspunten ter verbetering van eenmaal lopend beleid. Dit maakt het relevant om er in de beleidsdoorlichting aandacht aan te besteden.

(B) Contributie. Hoe werkt het, voor wie en onder welke condities?

Als doeltreffendheid niet hard kan worden aangetoond, kan de relatie tussen beleid en effect wel plausibel worden gemaakt. Dit wordt ook wel de contributieve benadering van evaluatie genoemd, zoals ook vervat in het schema bij de inleiding van deze uitstap.

Context-mechanisme-uitkomst (CMO)

Een bekende contributieve evaluatiebenadering is de context-mechanisme-outcome heuristiek, afgekort C-M-O. Je opent dan de black box van de werking door stappen van input, output tot en met outcome, en de condities waaronder die zich voordoen, na te lopen. Geheimen achter de werking of niet-werking van beleid worden ontsluierd: een clear box. De eerdergenoemde beleidstheorie is daarbij essentieel.

Nieuw onderzoek naar elke stap is niet altijd nodig, bijvoorbeeld als met de beschikbare literatuur al voldoende inzicht is verkregen in de werking (doeltreffendheid & doelmatigheid) van een beleid of instrumenten daarbinnen.

De CMO-benadering kan gecombineerd worden met andere evaluatietypen zoals een (quasi-) experiment.

Participatieve evaluatie

Bij participatieve evaluatie – zoals responsieve evaluatie – ligt de nadruk op de betreffende ‘stakeholders’ en hun verschillende perspectieven op de werkelijkheid. Met behulp van bijpassende onderzoeksmethoden (denk bijvoorbeeld aan focusgroepen) kunnen verschillende (doel)groepen aangeven welke veranderingen naar hun ervaring het gevolg zijn van een beleidsinitiatief, wie heeft geprofiteerd en wie niet, en wat gepercipieerde sterke en zwakke punten zijn.

Voor een deel komt de participatieve evaluatie voort uit frustratie over de soms beperkte relevantie van (met name) ‘experimentele’ aanpakken. Een participatieve aanpak zou juist de contextgevoeligheid ( wanneer/waar werkt het ‘t best?) en daarmee de bruikbaarheid en de relevantie van evaluatiebevindingen vergroten. De participatieve benadering kan ook in combinatie met andere evaluatiebenaderingen worden toegepast.

Procesevaluatie: focus op de uitvoering en eerste resultaten

Een tussenstap naar het in kaart brengen van doeltreffendheid is het verrichten van een procesevaluatie: hoe en/of in hoeverre is het beleid tot uitvoering gebracht (geïmplementeerd)? En worden daarmee daadwerkelijk de beoogde doelgroepen bereikt en problemen aangepakt? Procesevaluaties vergen een maatstaf waartegen de beleidsprestaties worden afgezet. Die maatstaf kan ontleend worden aan de betreffende wet- en regelgeving, de beleidstheorie, professionele standaarden of aan verwachtingen bij stakeholders.

Vraag

Opzet procesevaluatie

Is het programma uitgevoerd zoals beoogd?

 

Vergelijk implementatie-activiteiten / -prestaties met aan beleid of stakeholders ontleende maatstaf(-aven)

Zijn uitvoerings- of managementproblemen opgetreden?

Vergelijk prestaties met verwachtingen in termen van kwaliteit, kosten of doelmatigheid

Onderzoek variatie in termen van kwaliteit /prestatie tussen contexten (bijv. gemeenten), verstrekkers, of sub-doelgroepen

Waarom worden de beoogde programmadoelen niet – of niet meer – bereikt? Wat zijn knelpunten in de implementatie?

(Diepte-) case studies

- Onderlinge vergelijking van implementatie door bijv. verschillende gemeenten – zoeken naar patronen

Bronnen

  • Uitvoeringsgegevens (bijv. ter toetsing van kwaliteit of snelheid van aanmeldings- en selectieprocedures)
  • Registraties en (bijv. CBS-) statistieken (bijv. gemiddelde inkomensniveau uitkeringsdoelgroep)
  • Surveys onder een representatieve selectie van (lokale) uitvoerders (bijv. is het wettelijk kader / de verstrekte toelichting erop voldoende duidelijk?)

Combinaties van gegevenstypen verdienen de voorkeur vanwege de betrouwbaarheid

Monitoring

Het monitoren van indicatoren van de output en de outcome is belangrijk om de vinger aan de pols te houden wat betreft de voortgang en potentiële werking van het beleid. En monitoring genereert waardevolle bouwstenen voor latere evaluaties.

OCW beschikt over veel monitorinformatie. Veel is beschikbaar via de site OCW in cijfers. De herkomst van de data varieert (internationale data, zoals uit PISA, PIAAC surveys en nationale CBS- e.a. data). De indicatoren in de begroting geven de beleidsprioriteiten weer en hierover wordt jaarlijks in het jaarverslag gerapporteerd. Ook de jaarverslagen van de onderwijsinstellingen zijn beschikbaar. Hiermee worden de eerste stappen gezet om meer gebruik te maken van bestaande en verschillende data te combineren tot informatie. In de brief ‘Versterking verantwoording van en inzicht in onderwijsgelden’ wordt de komende tijd ingezet op het openbaar maken van benchmarks.

SZW maakt veel gebruik van monitoringsgegevens van diverse instanties als CBS, UWV, SVB en de Belastingdienst. Een goed voorbeeld hiervan is het op initiatief van SZW opgezette asielcohortenonderzoek door het CBS. De belangrijkste cijfers voor SZW zijn samengebracht in de SZW cijfers-app. SZW heeft voor een aantal beleidsterreinen indicatoren ontwikkeld en in de begroting geplaatst. Ander voorbeeld is de WWZ, waarbij een evaluatieprogrammering is gemaakt met (naast eindevaluaties) tussenevaluaties of monitoring.

Het meten van doelmatigheid

RPE artikel 1

e. Doelmatigheid van het beleid: de relatie tussen de effecten van het beleid en de kosten van het beleid.

RPE, toelichting op artikel 2 eerste lid

Doelmatigheid betreft de relatie tussen de effecten van het beleid (op het beleidsdoel en overige baten) en de kosten van het beleid (de beleidsuitgaven en overige kosten binnen en buiten het departement). We spreken over doelmatigheid van beleid als het gewenste beleidseffect tegen zo min mogelijk kosten wordt bereikt.

Doelmatigheid en efficiëntie zijn synoniemen. Waar we in dit stuk spreken over doelmatigheid kan dus efficiëntie worden gelezen.

Doelmatigheid is een relatief begrip: er is altijd een vergelijking met een andere organisatie of een ander moment in de tijd nodig om een uitspraak over de mate van doelmatigheid te kunnen doen.

Bij het onderbouwen van de doelmatigheid in de beleidsdoorlichting licht je toe waarom het gekozen instrumentarium een efficiënte manier is (of was) om de doelstellingen te bereiken. Bijvoorbeeld door aan te geven dat vergeleken met andere instrumenten optimale effecten zijn gerealiseerd met de input: de ingezette (financiële) middelen. Als het doorgelichte instrumentarium – ten opzichte van alternatieve instrumenten – niet het meest doelmatige is/was om de doelstellingen te realiseren, licht je toe waarom deze keuze toch is gemaakt. Bovendien kan ook de doelmatigheid op uitvoeringsniveau (op het niveau van geleverde prestaties) worden toegelicht.

Twee typen doelmatigheid

(1) Doelmatigheid van het beleid als geheel, waarbij de outcome wordt gerelateerd aan de input.

Om iets te kunnen zeggen over de doelmatigheid van het beleid als geheel, moet er inzicht zijn in de doeltreffendheid.

Stappen

  • Breng de doeltreffendheid van het beleid als geheel in kaart – al dan niet inclusief neveneffecten. Betrek daarbij eventuele verschillen tussen doelgroepen en/of meetmomenten.
  • Doelmatigheid van het beleid in termen van beoogde en/of neveneffecten: Beschrijf waarom het gekozen instrument – in vergelijking met andere – een efficiënte manier is (geweest) om het maatschappelijke probleem op te lossen. Leg deze naast de praktijk op basis van de beschikbare gegevens uit verrichte evaluaties en eventuele andere studies: in hoeverre zijn die aannames werkelijkheid (geworden)?
  • Soms is vóór de invoering van het onderzochte instrument al een
    Maatschappelijke kosten- en batenanalyse (MKBA) verricht. Andere (mogelijk al verrichte) studies die deel uit kunnen maken van de beleidsdoorlichting zijn: multicriteria-analyse (zie in dit kader ook bijv. impact assessment of business case ) .

Geef ten slotte aan hoe je (meer) inzicht gaat verkrijgen in de doelmatigheid. Wanneer geen (goed) beeld is te geven van de doelmatigheid van het instrumentarium (bijvoorbeeld omdat het inzicht in de doeltreffendheid ontbreekt) geef dan in de Verbeterparagraaf aan, hoe je deze informatie alsnog gaat verzamelen. Dit kan bijvoorbeeld door gegevens over kosten en resultaten te gaan monitoren.

(2) Doelmatigheid van de beleidsprestaties, waarbij de output wordt gerelateerd aan de input.

Stappen

  • Breng de output, de beoogde beleidsprestaties, in kaart.
  • Beschrijf op basis van de beschikbare (evaluatie)studies, welke prikkels er zijn ten aanzien van doelmatigheid van de uitvoering (hoe worden uitvoerders geprikkeld tot efficiënte besteding van publieke middelen?). Wat is de feitelijke doelmatigheid van de uitvoering? Deze kun je in kaart brengen bijvoorbeeld door inzicht te bieden in de ‘gemiddelde kostprijs’ of winst die je verwacht te realiseren in de uitvoering.

Beide typen doelmatigheid vergen inzicht in de input, de ingezette middelen. Alle input moet in de meting worden betrokken.

Kengetallen van doelmatigheid: momentopname van de verhouding input – outcome

Mogelijk zijn beschikbare studies die ten grondslag liggen aan de beleidsdoorlichting gebaseerd op kengetallen. Doelmatigheidskengetallen zijn een momentopname van de verhouding tussen middelen (input) en doeltreffendheid (outcome). Bijvoorbeeld, het vergelijken van de kosten per aan het werk geholpen werkzoekende van verschillende reïntegratietrajecten.

De voordelen van kengetallen zijn:

  • Kengetallen geven op een eenvoudige wijze inzicht (in ontwikkelingen) in de doelmatigheid (bijv. over maanden of jaren);
  • Kengetallen hebben een signaalfunctie, met het oog op eventuele bijsturing.

Aan het gebruik van kengetallen kleven risico’s; reden om ze kritisch en voorzichtig in te zetten:

  • Zo kan een (uitvoerings)organisatie wel als beste uit de bus komen op één kengetal, maar ten koste van prestaties op een ander vlak. Een voorbeeld is de basisschool met weliswaar gemiddeld hoge cito-eindscores per leerling, maar blijkt de school weinig toegankelijk voor leerlingen die extra aandacht nodig hebben;
  • Soms zijn er verborgen kosten die niet in de kengetallen worden uitgedrukt en bijvoorbeeld worden afgewenteld op externe partijen of organisaties;
  • Soms zijn er verschillen tussen bijv. decentrale uitvoeringstrajecten (of doelgroepen) die maken dat kengetallen niet goed met elkaar te vergelijken zijn;
  • Kengetallen geven geen inzicht in de oorzaken achter verschillen, waardoor aanvullend onderzoek moet plaatsvinden om eventueel doelmatigheidsverbetering te bereiken.

Vaak is daarom meer dan één kengetal nodig om inzicht in de doelmatigheid te geven, in ieder geval een kengetal over de kosten per effect en een kengetal over de ontwikkeling van de kwaliteit.

Wees er vroeg bij … of neem het op in de Verbeterparagraaf

Als het gaat om het aantonen of plausibel maken van doeltreffendheid en doelmatigheid, kun je daaraan maar het beste direct of op tijd mee beginnen. Bijvoorbeeld door:

  • Al in een vroeg beleidsstadium een nulmeting te faciliteren of te doen
  • Kleinschalig te experimenteren met bepaalde instrumenten of pilots
  • Een controlegroep te vormen voor een experimentele evaluatie op kleinere dan wel grotere schaal – én deze in de nulmeting te betrekken
  • Een systeem voor monitoring op te zetten waarmee indicatoren van de output en de outcome kunnen worden gevolgd

Is dit voorafgaand aan deze beleidsdoorlichting (nog) niet gebeurd, dan biedt dat aanknopingspunten voor de verbeterparagraaf