2. Opzet en vraagstelling naar de Tweede Kamer

Aan de Tweede Kamer is naar aanleiding van de motie Harbers toegezegd dat zij een toelichting ontvangt op de vraagstelling en onderzoeksopzet van elke beleidsdoorlichting.

Stap 2A) Stuur de opzet uiterlijk een week voor Prinsjesdag in het jaar vóór oplevering

Stuur de opzet uiterlijk een week voor Prinsjesdag in het jaar vóór oplevering naar de Tweede Kamer. Houd rekening met het zomerreces van bewindslieden voor het ondertekenen van de brief over de opzet. Vuistregel is om dit uiterlijk ca. zestien maanden voor de verwachte publicatiedatum te doen en bij een omvangrijke beleidsdoorlichting zo mogelijk eerder. Dan is er voldoende tijd om de reactie van de Kamer goed mee te nemen in de onderzoeksopzet. Dit is met name van belang bij het eventueel uitbesteden van de doorlichting.

Stap 2B) Behandel in de opzet:

Bij brief van 1 juni 2015 heeft de minister van Financiën aan de Tweede Kamer geschreven aan welke inhoudelijke eisen de toelichting op de onderzoeksopzet van een beleidsdoorlichting ten minste moet voldoen:

1. De aanpak van de doorlichting;
2. Hoe aan de algemene kwaliteitseisen zal worden voldaan;
3. Hoe de onafhankelijkheid van de doorlichting zal worden gewaarborgd.

Gebruik als basis het Plan van aanpak.

De TK agendeert de opzet van de beleidsdoorlichting voor een vergadering van de betreffende Kamercommissie. De Tweede Kamer kan vervolgens vragen stellen over de opzet of een voorstel voor aanpassingen of aanvullingen doen en deze per brief kenbaar maken aan de bewindspersoon die over het beleid gaat. Het is gebruikelijk dat de bewindspersoon per brief laat weten hoe de opmerkingen/aanvullingen van de Kamercommissie worden verwerkt.

Ad 1) De aanpak: afbakening en meer

De toelichting op de onderzoeksopzet moet de Tweede Kamer ten eerste inzicht verschaffen in de afbakening van de doorlichting en de wijze waarop de verplichte onderdelen uit de RPE zullen worden uitgewerkt:

• Reikwijdte in de tijd : Wat was het tijdstip van de vorige beleidsdoorlichting, op welke periode heeft de voorgestelde doorlichting betrekking?
• Afbakening : Welk(e) beleidsartikel(en) (en welk(e) onderde(e)l(en) vallen onder de beleidsdoorlichting en welke niet?

• Geef aan hoe je omgaat met vage of abstracte, of ver in de toekomst gelegen– beleidsdoelen; bijvoorbeeld door deze onder te verdelen in concretere (meetbare) subdoelen. Geef hierin ook aan welke (methodologische) beperkingen of problemen je tegenkomt en welke veronderstellingen of vereenvoudigingen je hiervoor hanteert. Bij recentelijk geïntroduceerd of gewijzigd beleid kun je leunen op de evaluatieparagraaf van de MvT van de beleidsinstrumenten .
• Eventueel tussentijds gewijzigd beleid en/of beleidsdoelen : Hoe om te gaan met beleid dat in de loop van de doorgelichte periode is veranderd, of met gewijzigde beleidsdoelen?
• Geef aan hoe de vijftien vragen van de beleidsdoorlichting (RPE) beantwoord zullen worden. Kun je op alle vragen antwoord geven, ook op de doelmatigheidsvraag? Ook hier kun je mogelijk leunen op de evaluatieparagraaf van de MvT van beleidsinstrumenten

• Volledigheid van het beschikbare (evaluatie)materiaal : een beleidsdoorlichting is – zoals in de inleiding beschreven – een syntheseonderzoek : Zijn er (genoeg) evaluaties beschikbaar die deze vraag beantwoorden en zijn dat de juiste evaluaties? Is aanvullend materiaal nodig? Als het op voorhand al duidelijk is dat een vraag niet beantwoord kan worden op basis van het bestaande materiaal, geef dan aan hoe hiermee wordt omgegaan. Ook is het een optie om op korte termijn alsnog een evaluatieonderzoek te laten verrichten.
• Globale toelichting op de aanpak van de doorlichting : Wat zijn de benodigde data en met welke methoden worden deze verzameld? Is het nodig om aanvullende evaluaties te verrichten? Wat zijn de mogelijkheden en beperkingen van de doorlichting, gegeven het beleid en de context waarbinnen dit beleid wordt gevoerd?

• Aanpak van de 20%-besparingsvariant: vermeld de grondslag voor de uit te werken besparingsvariant in de opzet .

Ad 2) Hoe aan de algemene kwaliteitseisen zal worden voldaan 

Hierboven (ad 1) genoemde punten geven de Tweede Kamer inzicht in hoe het onderzoek wordt aangepakt en de kwaliteit ervan wordt geborgd. Daarnaast kan extra informatie worden verschaft over de manier waarop de kwaliteitsborging plaatsvindt, bijvoorbeeld door het instellen van een klankbordgroep of begeleidingscommissie, zelf uitvoeren eventueel na het volgen van een training (bijvoorbeeld: Maatwerkcursus Beleidsdoorlichtingen door IRF/BSA), via uitbesteden aan een deskundig onderzoeksbureau en/of het inschakelen externe kennis en kunde.

Ad 3) Hoe de onafhankelijkheid van de doorlichting zal worden gewaarborgd

Hoe de onafhankelijkheid van een beleidsdoorlichting moet worden gewaarborgd, staat in de RPE.

Om de Tweede Kamer hierin inzicht te verschaffen, zou je de volgende vragen kunnen beantwoorden:

• Wordt de doorlichting uitgevoerd in eigen beheer, of (deels) uitbesteed ? Zo ja, aan wie?
• Welke onafhankelijke deskundige wordt ingeschakeld en hoe wordt hij of zij bij de doorlichting betrokken? (Neemt de deskundige deel aan de besprekingen van het rapport, geeft de deskundige op afstand tips of stelt de deskundige na vastlegging van het rapport een eindoordeel op?) Indien meer dan één deskundige wordt betrokken, wie geeft dan het uiteindelijke onafhankelijkenoordeel over de kwaliteit?

Stap 2C) Maak het plan van aanpak definitief

Nadat de reactie van de Tweede Kamer is verwerkt, is het tijd om het plan van aanpak (zie stap 1C) verder uit te werken en definitief te maken, aan de hand van de volgende extra stappen:

• Bepaal de benodigde data, onderzoeksmethoden, en wijze van berekening van de min 20% variant definitief (waarbij ook wordt bekeken of het nodig is om aanvullende evaluaties te verrichten);
• Vertaal de planning op hoofdlijnen naar meer concreet benodigde: budget, activiteiten, taakverdeling en een uitgewerkte tijdsplanning .

Als de beleidsdoorlichting wordt uitbesteed, maken sommige genoemde elementen uit het plan van aanpak deel uit van de offerteaanvraag en dus van uitgebrachte offertes door onderzoeksbureaus .

Stap 2D) Maak de keuze tussen uitbesteden of zelf uitvoeren

Je kunt een beleidsdoorlichting uitbesteden of in eigen beheer uitvoeren. Elke benadering heeft zijn voor- en nadelen.

Pluspunten van zelf uitvoeren

• De kans om veel van de beleidsdoorlichting te leren, zowel tussentijds als van de resultaten
• Kennis van het beleidsveld is aanwezig
• Flexibiliteit: onderzoek in eigen beheer is relatief goed bij te sturen (bij uitbesteding ligt veel contractueel vast)

Pluspunten van uitbesteden aan een externe partij

• Je wordt ‘gedwongen’ om vooraf goed na te denken over wat de beleidsdoorlichting moet opleveren
• Expertise: bijvoorbeeld over evaluatiemethoden die niet aanwezig is binnen het eigen departement. Dit kan tot een grotere efficiëntie leiden.
• Onafhankelijkheid: de uitvoering ligt bij mensen die niet (direct) bij het beleid betrokken zijn
• Een blik van buiten met een andere invalshoek leidt wellicht tot verrassende aanbevelingen en lessen
• Er ligt minder druk op de interne capaciteit

Een ’gezonde’ begeleiding door beleidsmedewerkers gedurende een uitbestedingstraject is gewenst om te zorgen dat het departement goed betrokken blijft en voldoende (tussentijdse) lessen uit voortgang en bevindingen kan trekken. Zie voor do’s en dont’s van het begeleiden van (onafhankelijk) onderzoek ook par. 4.1.7 in de Gedragscode Integriteit Rijk .

Afspraken vastleggen (bij uitbesteding)

Uitbesteden van de beleidsdoorlichting houdt een Europees aanbestedingstraject in bij diensten voor de centrale overheid boven de €144.000; daaronder kan een nationale procedure worden gevolgd, zoals een procedure met voorafgaande bekendmaking of een (meervoudige) onderhandse procedure; er zijn 4 nationale procedures . Dit vraagt in dat geval specifieke aandacht voor de aanbestedingsregels. Neem hierover tijdig contact met de inkoopafdeling. Deze kan adviseren over de aanpak, doorlooptijd en de begeleiding tijdens het traject (ca 6 maanden). Belangrijke elementen zijn het opstellen van het aanbestedingsdocument (programma van eisen), de methodiek bij het beoordelen van offertes en de afwikkeling rond afgewezen bureaus. Houd bij het aanbesteden er rekening mee dat dit proces enkele maanden in beslag kan nemen. Daarom is het raadzaam als aanbesteden gewenst is de Tweede Kamer eerder te informeren over de opzet en vraagstelling.

Er is altijd de keuze tussen volledig uitbesteden van de doorlichting, of van onderdelen ervan; zo wordt – bijvoorbeeld – de 20% besparingsvariant nogal eens in eigen beheer uitgevoerd met als input de conceptresultaten van de externe partij. Bij volledige uitbesteding zal de beleidsdirectie meer op afstand staan dan bij zelf uitvoeren. Goede afspraken met de opdrachtnemer zijn daarom belangrijk. Dit kan door in het contract of in een aanvullend protocol afspraken op te nemen over:

• Hoe de taken tussen onderzoeksbureau en departement worden verdeeld (leg hierbij onder andere vast wie verantwoordelijk is voor het kiezen/doorrekenen van de 20%-minder varianten)
• Welke medewerkers met elkaar contact hebben en hoe vaak;
• Wanneer en welke informatie-uitwisseling plaatsvindt tussen het departement en het bureau, bijvoorbeeld de te bestuderen onderzoeken voor syntheseonderzoek;
• Wie het overleg met de begeleidingscommissie inhoudelijk en procesmatig voorbereidt;
• Wat de rol zal zijn van de onafhankelijke deskundige, de momenten waarop hij/zij wordt betrokken, de informatie die hij/zij ontvangt en van wie (departement of bureau);
• Met welke frequentie er voortgangsinformatie zal worden verstrekt, inclusief knelpunten en risico’s;
• Hoe de verslaglegging van overleg en archivering van documenten wordt geregeld;
• Welke escalatieprocedure wordt gevolgd bij belangrijke verschillen van inzicht.
• Wanneer welke producten worden verwacht.

Het is verstandig om in het rapport duidelijk aan te geven wie de auteur is van welke rapportonderdelen: departement zelf of een extern bureau. In het geval van aanvullend evaluatieonderzoek om gaten op te vullen is het van belang om te zorgen voor goede afstemming tussen de opstellers van de beleidsdoorlichting en degenen die de uitkomsten van het aanvullende onderzoek op papier zetten.

BIJLAGEN

(Bij Stap 2C) Planning & budget

Wat betreft de planning van de beleidsdoorlichting:

• Je kunt het beste terugrekenen vanaf het moment dat de stukken aan de Tweede Kamer worden gestuurd en de verschillende voorportalen voor het in de Ministerraad behandeld wordt. Dit kan circa twee maanden duren.
• Het streven zou moeten zijn om de doorlichting in het derde kwartaal naar de Tweede Kamer te sturen, zodat er ruimte voor uitloop is. In het vierde kwartaal moet de doorlichting ‘in de Kamer liggen’.
• De betrokkenen kunnen het beste tijdig worden benaderd, zodat zij in hun agenda rekening kunnen houden met overleg en de voorbereiding daarvan waaronder het lezen van stukken.

Het budget voor de doorlichting wordt grotendeels bepaald door de keuze voor zelf uitvoeren of uitbesteden van werkzaamheden. Kostenposten die meegenomen moeten worden zijn in elk geval:

• kosten van het onderzoeksbureau;
• vergoeding voor de onafhankelijke deskundige(n) en leden van de begeleidingscommissie;
• kosten van verrichten van aanvullend onderzoek;
• kosten verbonden aan presentatie van de uitkomsten (drukwerk, organiseren bijeenkomst).

Enkele departementen hebben handreikingen of een format voor de planning van een beleidsdoorlichting, zoals het (SZW-) voorbeeld hieronder.

3. De inhoud in

Stap 3A) Maak een overzicht van eerder (evaluatie)onderzoek 

Een beleidsdoorlichting is een syntheseonderzoek: dit staat of valt met de beschikbaarheid van eerder afgeronde evaluaties, en eventuele andere onderzoeken. Het maken van een overzicht van de beschikbare informatie vormt het startpunt van een syntheseonderzoek. Behalve in opdracht van de overheid uitgevoerde evaluatieonderzoeken kunnen daarvoor ook overige bronnen uit binnen- en buitenland worden gebruikt, zoals uitvoeringsinformatie en resultaten uit wetenschappelijk empirisch onderzoek.

Betrek in het overzicht van eerder (evaluatie)onderzoek in elk geval:

• Alle (genoemde) bronnen die zicht helpen bieden op één of meer vragen van de beleidsdoorlichting;
• Per bron een korte samenvatting van de resultaten en conclusies in termen van doelbereiking, doeltreffendheid en doelmatigheid;
• Vermeldingen naar de gebruikte bronnen, zodat de studies die ten grondslag liggen aan de beleidsdoorlichting ook toegankelijk worden voor anderen.

Stap 3B) Beoordeel de kwaliteit van het verzamelde onderzoek

Het is belangrijk om een kwaliteitsbeoordeling te maken van de verzamelde onderliggende evaluaties en andere studies.

Maak voor meer concrete handvatten voor deze kwaliteitsbeoordeling gebruik van Hulpmiddelen bij de kwaliteitsbeoordeling .

Stap 3C) Reconstrueer de beleidstheorie

De term ‘beleidstheorie’ duidt op de overkoepelende argumentatie achter de veronderstelde werking van beleidsinstrumenten. In feite is dit de ruggengraat van het beleid. De redenering waarom beleid werkt, moet kloppend zijn. Idealiter stoelt de beleidstheorie op eerdere ervaringen, wetenschappelijke inzichten en kennis/support uit de praktijk.

Om goed te kunnen evalueren, is het heel zinvol om al bij de beleidsvorming de beleidstheorie te construeren, en na te denken over mogelijkheden om die te evalueren. Artikel 3.1 van de Comptabiliteitswet (‘CW 3.1’) vereist dat in beleidsvoorstellen wordt toegelicht welke doelen worden nagestreefd, welke beleidsinstrumenten daartoe worden ingezet, de financiële consequenties en waarom verondersteld wordt dat het beleid doeltreffend en doelmatig zal zijn. De beleidstheorie maakt daarom ook onderdeel uit van het Integraal afwegingskader voor beleid en regelgeving (IAK), hoofdvraag 3 en 4 en de bijbehorende factsheets.

Stappen om tot (re)constructie van de beleidstheorie te komen

Idealiter: vroeg in de beleidscyclus

1. Is het probleem waar het beleid zich op zal richten gespecificeerd in termen van oorzaken en gevolgen? En vervolgens: Zijn de genoemde oorzaken en gevolgen in lijn met bestaande kennis en inzichten?
2. Is de keuze van beleidsinstrumenten toegespitst op de aard van het onderliggende probleem? Leg aannames bloot à waarom is x de oorzaak van y?
3. Via welke denk-stappen verwacht men dat de gekozen instrumenten tot de beoogde doelen leiden? Leg aannames bloot à waarom zal instrument A leiden tot doel B? “Het is evident dat .... zal werken”; “Naar onze mening is de beste / enige manier om dit probleem aan te pakken ….”; “De jarenlange ervaring in onze organisatie vertelt ons dat ….."
4. Zijn die stappen logisch en worden ze ondersteund door (wetenschappelijke) kennis en inzichten over de effectiviteit van dezelfde of vergelijkbare instrumenten in vergelijkbare contexten? Denk aan Logische consistentie en Empirisch gehalte.
5. Geven 1-4 aanleiding om het beleid te herzien? (Zo ja, op welke punten?)

De gedachtegang achter het beleid wordt in de praktijk onvoldoende expliciet uiteengezet in officiële beleidsstukken, laat staan in de begroting. Niettemin kan de beleidstheorie achteraf worden gereconstrueerd met behulp van beleidsteksten en aanvullende interviews – en dit gebeurt regelmatig. De beleidstheorie wordt dan bij voorkeur weergegeven in de vorm van een schema of model waarin deze verbanden naar voren komen, zoals een doelenboom of een resultatenketen. De figuur hieronder geeft zo’n keten in mogelijke vorm weer.

Kern is de rij in het (midden figuur) de loopt van input/middelen (geld, personeel, materieel) naar throughput/activiteiten (zoals bijv. het ontwikkelen en uitrollen van een reïntegratietraject) naar output/prestaties (bijv. de aangeboden reïntegratietrajecten). En vervolgens van output naar de outcome/effecten (i.c. het aandeel deelnemers dat het werk heeft hervat).

Je zou binnen de beoogde effecten nog de intermediate outcome en final outcome kunnen onderscheiden (niet in figuur); waarbij het aandeel werkhervattenden de intermediate outcome is en de final outcome bijvoorbeeld een hoger algemeen welvaartspeil.

​

Een goede beleidstheorie behelst meer dan het opschrijven van deze keten. Achter de pijlen liggen veronderstellingen over de werking. Vooral de pijl van output naar outcome is cruciaal; daar zitten vaak nogal wat aannames achter, die tijdens de totstandkoming van beleid vaak niet expliciet worden gemaakt.

Bij reconstructie van de beleidstheorie ligt dus de nadruk op de vraag waarom er eigenlijk pijlen zijn getekend tussen input en output, en tussen output en outcome. Deze kun je voor elk doorgelicht beleidsinstrument afzonderlijk uitwerken, maar voor de kern van de beleidsdoorlichting is de ratio achter de mix van ingezette instrumenten, nu juist het meest belangrijk. Niet voor elk beleidsartikel zal gemakkelijk een beleidstheorie kunnen worden gereconstrueerd. Soms ontbreken heldere doelen, soms valt het beleidsinstrumentarium niet goed onder een begrotingsdoel te scharen. Vermeld deze knelpunten en verricht bijvoorbeeld een reconstructie op de beschikbare losse onderdelen.

Al met al heeft een schematische weergave van de beleidstheorie in een beleidsdoorlichting meerdere voordelen:

• Deze stimuleert het formuleren van meetbare indicatoren voor input, output, outcome, en
• Nodigt uit tot een kritische blik op tussentijdse resultaten (bijv. zorgt de voorlichting wel voor meer fietshelmen?) en tijdig bijsturen.

Vermeld ten slotte of in de doorgelichte periode wijzigingen zijn opgetreden in het beleid en (dus) in de beleidstheorie. Dit bepaalt immers ook in hoeverre er conclusies kunnen worden getrokken over de effecten van het beleid.

Stap 3D) Benoem witte vlekken

De beleidstheorie is een hulpmiddel om lacunes in het beschikbare evaluatieonderzoek – dat ten grondslag ligt aan de doorlichting – inzichtelijk te maken. Zulke lacunes kunnen maken dat uitspraken over bepaalde onderdelen van het beleid, of over bijvoorbeeld de doeltreffendheid daarvan (bovenop de uitvoering) niet mogelijk zijn. Verricht in die gevallen zo mogelijk alsnog aanvullend (evaluatie)onderzoek. Daarbij zijn ook lichtere vormen denkbaar, zoals gesprekken met bijvoorbeeld uitvoeringsdiensten om aanvullende informatie te vergaren. Is aanvullend onderzoek niet (meer) mogelijk, geef dan in de Verbeterparagraaf aan hoe de witte vlekken alsnog worden aangepakt.

Stap 3E) Synthese: doeltreffendheid/doelmatigheid van alle instrumenten in samenhang

Een synthese maken is meer dan alleen een overzicht geven van de evaluaties en hun afzonderlijke resultaten. In een beleidsdoorlichting wordt een oordeel over de werking (doeltreffendheid en doelmatigheid) van alle instrumenten in onderlinge samenhang verwacht. Hulpmiddel of ‘kapstok’ daarbij is, zoals benoemd, de beleidstheorie.

Ook als voldoende evaluatieonderzoek beschikbaar is, kun je tegen problemen aanlopen. Zo is het mogelijk dat twee studies over hetzelfde beleid elkaar tegenspreken. Het is in dit geval verstandig om de studies wat meer in detail te bekijken. Meten ze wel hetzelfde, is de kwaliteit van beide studies gelijk? Bij nadere bestudering blijkt een uitspraak dan toch vaak wel mogelijk. Zie onderstaand voorbeeld.

UITSTAP. Wat is precies doeltreffendheid en doelmatigheid en hoe kun je deze abstracte begrippen meetbaar maken?

Het meten van doeltreffendheid

Doeltreffendheid is synoniem voor effectiviteit.

In figuur wordt het begrip doeltreffendheid geïllustreerd aan de hand van de resultatenketen, zoals deze ook bij het uitwerken van de beleidstheorie kan worden gebruikt.

• Input: mensen en middelen die worden ingezet
• Activiteiten: de interventies, instrumenten die met deze middelen worden uitgevoerd
• Output: de prestaties die met deze activiteiten worden geleverd
• Outcome: de directe effecten van deze prestaties

De outcome kan, behalve door beleid, óók door andere factoren worden beïnvloed.

Het woord “dankzij” in de definitie van doeltreffendheid vereist dat de causaliteit tussen beleid en effecten, oftewel tussen de prestaties (output) en de uiteindelijke effecten (outcome) plausibel of hard wordt gemaakt. Bijvoorbeeld: wordt een kleiner aantal verkeersdoden op jaarbasis inderdaad veroorzaakt door de aanleg van het x-aantal rotondes op risicoplekken? Deze outcome kan namelijk ook door andere externe factoren worden veroorzaakt zoals het steeds veiliger worden van auto’s, toegenomen gebruik van fietshelmen of de verkeersdrukte. Als alleen het aantal verkeersdoden wordt gemonitord zonder dat de relatie met het beleid wordt gelegd, spreken we van doelbereiking.

Vaak zijn de prestaties (output) en doelbereiking meetbaar te maken, bijvoorbeeld hoeveel werkhervattingstrajecten zijn uitgevoerd: dat is een zogenoemde prestatie-indicator. De doeltreffendheid van beleid (ten opzichte van een situatie zonder beleid) is lastiger in beeld te brengen: bijvoorbeeld, hoeveel werkzoekenden zijn aan een baan gekomen dankzij het beleid van ‘terugbegeleiding’ cq. re-integratie (outcome)?

Twee hoofdbenaderingen in de evaluatie van doeltreffendheid

In ‘evaluatieland’ zijn twee hoofdbenaderingen te onderscheiden: de attributieve en de contributieve (zie schema).

1. Attributie: in welke mate werkt het?

Een bekende graadmeter die in de praktijk wordt gebruikt om het causale verband tussen prestatie (output) en effect is de effectladder.

(Quasi-)Experimenteel evaluatie-ontwerp (black box)

Een harde manier om doeltreffendheid te meten is het doen van een experiment: werkt het? Hierbij worden twee (sterk) vergelijkbare groepen bestudeerd, waarbij de ene het beleid ondergaat en de andere niet.

​

Hierdoor resteert nog maar 1 verschil tussen de twee groepen: de input van het door te lichten beleid. Het verschil in uitkomst tussen de twee groepen is dan toe te schrijven – te attribueren – aan het beleid.

Een veel gehoord argument om géén experimentele aanpak te hanteren, is dat een wet(swijziging) of beleid al is uitgerold over de hele doelgroep, waardoor het vormen van een controlegroep een gepasseerd station is. Verder worden bezwaren van ethische aard geuit bij het ontzeggen van nieuwe interventies aan de controlegroep. Per situatie zou kunnen worden bekeken of deze argumenten standhouden, dus of toch niet (alsnog) tot een systematische vergelijking van groepen kan worden gekomen, die attributie mogelijk maakt.

Maar sowieso is attributie-onderzoek in de praktijk een lastige opgave. Een paar redenen:

• Beleid introduceert in veel gevallen kaders (bijv. met een kaderwet), in plaats van afgebakende interventies (zoals een concrete heffing). Veel sturing gebeurt in en met netwerken (bijv. met decentrale overheden en/of in publiek-private samenwerking). Het beleid is geen lineaire top-down oefening maar complexer, de dynamiek is ‘verweven’;
• Beleid behelst soms een transitie van het ene naar het andere stelsel (bijv. de centralisatie van de politie, of juist de decentralisaties in zorg, werk en jeugdhulp). Zulke transities behelzen ontwikkelende systeemveranderingen op de lange termijn die moeilijk van tevoren zijn uit te tekenen (Van der Steen, 2018).

De complexiteit van veel (onderdelen van) rijksbeleid wordt steeds vaker onderkend. Evaluatie-aanpakken die zich hiervoor lenen zijn in ontwikkeling, maar nog onvoldoende uitgekristalliseerd om ze hier nu al op te nemen.

Neveneffecten

Niet alleen inzicht in beoogde effecten (doeltreffendheid en doelmatigheid) van beleid is belangrijk, maar ook inzicht in de (positieve en negatieve, gewenste en ongewenste) neveneffecten. Onder vraag 7 van het IAK vind je bijvoorbeeld verplichte toetsen waarmee effecten in termen van regeldruk voor burgers of bedrijven en voor het milieu en gendergelijkheid in kaart behoren te worden gebracht . Deze aandachtspunten en toetsen bevorderen een integrale kosten-batenafweging in de beleidsvoorbereiding: wegen de verwachte maatschappelijke baten op tegen dergelijke kosten?

Inzicht in de neveneffecten biedt bovendien aanknopingspunten ter verbetering van eenmaal lopend beleid. Dit maakt het relevant om er in de beleidsdoorlichting aandacht aan te besteden.

(B) Contributie. Hoe werkt het, voor wie en onder welke condities?

Als doeltreffendheid niet hard kan worden aangetoond, kan de relatie tussen beleid en effect wel plausibel worden gemaakt. Dit wordt ook wel de contributieve benadering van evaluatie genoemd, zoals ook vervat in het schema bij de inleiding van deze uitstap.

Context-mechanisme-uitkomst (CMO)

Een bekende contributieve evaluatiebenadering is de context-mechanisme-outcome heuristiek, afgekort C-M-O. Je opent dan de black box van de werking door stappen van input, output tot en met outcome, en de condities waaronder die zich voordoen, na te lopen. Geheimen achter de werking of niet-werking van beleid worden ontsluierd: een clear box. De eerdergenoemde beleidstheorie is daarbij essentieel.

Nieuw onderzoek naar elke stap is niet altijd nodig, bijvoorbeeld als met de beschikbare literatuur al voldoende inzicht is verkregen in de werking (doeltreffendheid & doelmatigheid) van een beleid of instrumenten daarbinnen.

De CMO-benadering kan gecombineerd worden met andere evaluatietypen zoals een (quasi-) experiment.

Participatieve evaluatie

Bij participatieve evaluatie – zoals responsieve evaluatie – ligt de nadruk op de betreffende ‘stakeholders’ en hun verschillende perspectieven op de werkelijkheid. Met behulp van bijpassende onderzoeksmethoden (denk bijvoorbeeld aan focusgroepen) kunnen verschillende (doel)groepen aangeven welke veranderingen naar hun ervaring het gevolg zijn van een beleidsinitiatief, wie heeft geprofiteerd en wie niet, en wat gepercipieerde sterke en zwakke punten zijn.

Voor een deel komt de participatieve evaluatie voort uit frustratie over de soms beperkte relevantie van (met name) ‘experimentele’ aanpakken. Een participatieve aanpak zou juist de contextgevoeligheid ( wanneer/waar werkt het ‘t best?) en daarmee de bruikbaarheid en de relevantie van evaluatiebevindingen vergroten. De participatieve benadering kan ook in combinatie met andere evaluatiebenaderingen worden toegepast.

Procesevaluatie: focus op de uitvoering en eerste resultaten

Een tussenstap naar het in kaart brengen van doeltreffendheid is het verrichten van een procesevaluatie: hoe en/of in hoeverre is het beleid tot uitvoering gebracht (geïmplementeerd)? En worden daarmee daadwerkelijk de beoogde doelgroepen bereikt en problemen aangepakt? Procesevaluaties vergen een maatstaf waartegen de beleidsprestaties worden afgezet. Die maatstaf kan ontleend worden aan de betreffende wet- en regelgeving, de beleidstheorie, professionele standaarden of aan verwachtingen bij stakeholders.

Monitoring

Het monitoren van indicatoren van de output en de outcome is belangrijk om de vinger aan de pols te houden wat betreft de voortgang en potentiële werking van het beleid. En monitoring genereert waardevolle bouwstenen voor latere evaluaties.

Het meten van doelmatigheid

Doelmatigheid en efficiëntie zijn synoniemen. Waar we in dit stuk spreken over doelmatigheid kan dus efficiëntie worden gelezen.

Doelmatigheid is een relatief begrip: er is altijd een vergelijking met een andere organisatie of een ander moment in de tijd nodig om een uitspraak over de mate van doelmatigheid te kunnen doen.

Bij het onderbouwen van de doelmatigheid in de beleidsdoorlichting licht je toe waarom het gekozen instrumentarium een efficiënte manier is (of was) om de doelstellingen te bereiken. Bijvoorbeeld door aan te geven dat vergeleken met andere instrumenten optimale effecten zijn gerealiseerd met de input: de ingezette (financiële) middelen. Als het doorgelichte instrumentarium – ten opzichte van alternatieve instrumenten – niet het meest doelmatige is/was om de doelstellingen te realiseren, licht je toe waarom deze keuze toch is gemaakt. Bovendien kan ook de doelmatigheid op uitvoeringsniveau (op het niveau van geleverde prestaties) worden toegelicht.

Twee typen doelmatigheid

(1) Doelmatigheid van het beleid als geheel, waarbij de outcome wordt gerelateerd aan de input.

Om iets te kunnen zeggen over de doelmatigheid van het beleid als geheel, moet er inzicht zijn in de doeltreffendheid.

Stappen

• Breng de doeltreffendheid van het beleid als geheel in kaart – al dan niet inclusief neveneffecten. Betrek daarbij eventuele verschillen tussen doelgroepen en/of meetmomenten.
• Doelmatigheid van het beleid in termen van beoogde en/of neveneffecten: Beschrijf waarom het gekozen instrument – in vergelijking met andere – een efficiënte manier is (geweest) om het maatschappelijke probleem op te lossen. Leg deze naast de praktijk op basis van de beschikbare gegevens uit verrichte evaluaties en eventuele andere studies: in hoeverre zijn die aannames werkelijkheid (geworden)?
• Soms is vóór de invoering van het onderzochte instrument al een
  Maatschappelijke kosten- en batenanalyse (MKBA) verricht. Andere (mogelijk al verrichte) studies die deel uit kunnen maken van de beleidsdoorlichting zijn: multicriteria-analyse (zie in dit kader ook bijv. impact assessment of business case ) .

Geef ten slotte aan hoe je (meer) inzicht gaat verkrijgen in de doelmatigheid. Wanneer geen (goed) beeld is te geven van de doelmatigheid van het instrumentarium (bijvoorbeeld omdat het inzicht in de doeltreffendheid ontbreekt) geef dan in de Verbeterparagraaf aan, hoe je deze informatie alsnog gaat verzamelen. Dit kan bijvoorbeeld door gegevens over kosten en resultaten te gaan monitoren.

(2) Doelmatigheid van de beleidsprestaties, waarbij de output wordt gerelateerd aan de input.

Stappen

• Breng de output, de beoogde beleidsprestaties, in kaart.
• Beschrijf op basis van de beschikbare (evaluatie)studies, welke prikkels er zijn ten aanzien van doelmatigheid van de uitvoering (hoe worden uitvoerders geprikkeld tot efficiënte besteding van publieke middelen?). Wat is de feitelijke doelmatigheid van de uitvoering? Deze kun je in kaart brengen bijvoorbeeld door inzicht te bieden in de ‘gemiddelde kostprijs’ of winst die je verwacht te realiseren in de uitvoering.

Beide typen doelmatigheid vergen inzicht in de input, de ingezette middelen. Alle input moet in de meting worden betrokken.

Kengetallen van doelmatigheid: momentopname van de verhouding input – outcome

Mogelijk zijn beschikbare studies die ten grondslag liggen aan de beleidsdoorlichting gebaseerd op kengetallen. Doelmatigheidskengetallen zijn een momentopname van de verhouding tussen middelen (input) en doeltreffendheid (outcome). Bijvoorbeeld, het vergelijken van de kosten per aan het werk geholpen werkzoekende van verschillende reïntegratietrajecten.

De voordelen van kengetallen zijn:

• Kengetallen geven op een eenvoudige wijze inzicht (in ontwikkelingen) in de doelmatigheid (bijv. over maanden of jaren);
• Kengetallen hebben een signaalfunctie, met het oog op eventuele bijsturing.

Aan het gebruik van kengetallen kleven risico’s; reden om ze kritisch en voorzichtig in te zetten:

• Zo kan een (uitvoerings)organisatie wel als beste uit de bus komen op één kengetal, maar ten koste van prestaties op een ander vlak. Een voorbeeld is de basisschool met weliswaar gemiddeld hoge cito-eindscores per leerling, maar blijkt de school weinig toegankelijk voor leerlingen die extra aandacht nodig hebben;
• Soms zijn er verborgen kosten die niet in de kengetallen worden uitgedrukt en bijvoorbeeld worden afgewenteld op externe partijen of organisaties;
• Soms zijn er verschillen tussen bijv. decentrale uitvoeringstrajecten (of doelgroepen) die maken dat kengetallen niet goed met elkaar te vergelijken zijn;
• Kengetallen geven geen inzicht in de oorzaken achter verschillen, waardoor aanvullend onderzoek moet plaatsvinden om eventueel doelmatigheidsverbetering te bereiken.

Vaak is daarom meer dan één kengetal nodig om inzicht in de doelmatigheid te geven, in ieder geval een kengetal over de kosten per effect en een kengetal over de ontwikkeling van de kwaliteit.

Wees er vroeg bij … of neem het op in de Verbeterparagraaf

Als het gaat om het aantonen of plausibel maken van doeltreffendheid en doelmatigheid, kun je daaraan maar het beste direct of op tijd mee beginnen. Bijvoorbeeld door:

• Al in een vroeg beleidsstadium een nulmeting te faciliteren of te doen
• Kleinschalig te experimenteren met bepaalde instrumenten of pilots
• Een controlegroep te vormen voor een experimentele evaluatie op kleinere dan wel grotere schaal – én deze in de nulmeting te betrekken
• Een systeem voor monitoring op te zetten waarmee indicatoren van de output en de outcome kunnen worden gevolgd

Is dit voorafgaand aan deze beleidsdoorlichting (nog) niet gebeurd, dan biedt dat aanknopingspunten voor de verbeterparagraaf.

Stap 3F) Werk de 20%-besparingsvariant uit

Alle beleidsdoorlichtingen moeten een beschrijving bevatten van beleidsopties voor het geval er significant minder budget (-/- 20%) beschikbaar is, de zogenaamde 20%-besparingsvariant. Zo’n beschrijving voegt een vooruitkijkend element toe aan een beleidsdoorlichting: inzichtelijk wordt aan welke varianten kan worden gedacht om een significante besparing te realiseren en wat de verwachte effecten van die varianten zijn.

In de uitwerking van de beleidsdoorlichting is aandacht voor de manieren waarop de doeltreffendheid en doelmatigheid van beleid vergroot kunnen worden (RPE-vraag 14). Deze kennis kan helpen om de invulling van de besparingsvariant vorm te geven. Op die manier is het makkelijker om inhoudelijke keuzes te maken, in plaats van de kaasschaaf hanteren.

Wat zegt de RPE?

In de toelichting bij de Regeling Periodiek Evaluatieonderzoek is een toelichting op de besparingsvariant opgenomen:

De grondslag van de besparingsvariant

De grondslag voor de berekening van een 20%-variant bestaat in ieder geval uit de som van de bedragen die op de meest recente begroting staan vermeld bij het doorgelichte beleid. Je neemt niet alleen de uitgaven mee, maar ook de andere elementen, zoals fiscale en premie-uitgaven, uitvoeringskosten en niet-belastingontvangsten. Voor garantieregelen geldt een uitzondering: je hoeft garantieregelingen niet mee te nemen in de grondslag van de besparingsvariant. Eventuele premieontvangsten van een garantieregeling (aan de ontvangstenkant van het begrotingsartikel) neem je wel mee.

Als de beleidsdoorlichting niet het volledige beleidsartikel beslaat, ligt het voor de hand dat alleen de bedragen behorend bij het doorgelichte gedeelte worden meegenomen. En als de beleidsdoorlichting betrekking heeft op (delen van) een aantal beleidsartikelen, moet de som van de doorgelichte delen als basis worden genomen.

Overigens kan van ‘de meest recente begroting’ gemotiveerd worden afgeweken, bijvoorbeeld als ten tijde van publicatie van de doorlichting de nieuwe begroting al is vastgesteld of er tussentijds belangrijke wijzigingen in de budgetten zijn doorgevoerd.

Wat wordt er van je verwacht?

Het doel van deze 20%-variant is het uitwerken van ten minste één beleidsvariant die een netto besparing van 20% inhoudt. Dat betekent dat je kunt kiezen voor het besparen op de uitgaven, het verhogen van de inkomsten of een combinatie van beiden.

Je hoeft die besparing niet in een jaar te realiseren. Na vier jaar (t+4) moet de besparingsvariant wel op minstens 20% uitkomen. In eerdere jaren kun je dan minder dan 20% besparen (of zelfs meer uitgeven, vanwege bijvoorbeeld frictiekosten).

Een variant mag je opbouwen uit losse maatregelen, bijvoorbeeld vier opties die ieder 5% besparen. Dit telt dan als één besparingsvariant (niet als vier). Als er veel maatregelen zijn waarop zou kunnen worden bespaard, kunnen deze als een à la carte menu worden gepresenteerd, waarbij in elke variant – een combinatie van verschillende maatregelen – het totaal tot ten minste 20% optelt. Dit vergt wel dat de maatregelen ook gelijktijdig uitvoerbaar zijn en dat bij de gelijktijdige uitvoering de te besparen bedragen nog steeds volledig kunnen worden gerealiseerd.

In het uitwerken van de besparingsvariant(en) moet je rekening houden met wettelijke bepalingen, gemaakte afspraken en frictiekosten. Zo kun je bijvoorbeeld een meerjarige subsidie niet van het een op het andere jaar stopzetten (die moet je afbouwen). Een ander voorbeeld is het sluiten van gevangenissen: dat kan in eerste instantie tot meerkosten leiden. Ook hier geldt dat na vier jaar netto 20% bespaard moet zijn.

Het is ook mogelijk dat besparingen op jouw beleidsterrein leiden tot extra uitgaven op een ander beleidsterrein (waterbedeffect). Maak dat ook inzichtelijk.

Zoals de toelichting in de RPE stelt, leg je uit hoe je besparingsvariant eruitziet en waar je deze op baseert (bij voorkeur natuurlijk op basis van de analyse in de beleidsdoorlichting). Daarnaast geef je een toelichting op de verwachte gevolgen van de besparing. Leg bijvoorbeeld uit welke maatschappelijke effecten zullen optreden en welke groepen ‘pijn’ zullen ondervinden (en wat die inhoudt). Ook kun je ingaan op eventuele strijdigheid met Europese richtlijnen of nationale wetten die zouden moeten worden aangepast.

Intensiveringsvariant

Het is mogelijk (niet verplicht) om een 20%-intensiveringsvariant uit te werken; dus op basis van 20% meer middelen. Hiervoor gelden dezelfde richtlijnen als voor de besparingsvariant.

Appreciatie van de bestedingsvariant(en)

In de kabinetsreactie kan/kunnen de besparingsvariant(en) in perspectief worden geplaatst, door bijvoorbeeld in te gaan op politieke haalbaarheid of meer realistische varianten.

Voorbeeld:

Een voorbeeld is de beleidsdoorlichting Toegang, toelating en opvang vreemdelingen (artikel 37.2 JenV).

In het hoofdstuk over de besparingsvariant zijn twee tabellen opgenomen. De eerste tabel beschrijft de grondslag:

​

De tweede tabel laat de besparingsopgave zien en brengt in beeld hoe de verschillende besparingsopties daaraan bijdragen:

​

In het vervolg van het hoofdstuk worden de verschillende besparingsmaatregelen (in de tabel staan er zes) beschreven. De maatregel wordt inhoudelijk toegelicht en de besparing wordt financieel onderbouwd. Ook wordt een korte beschrijving gegeven van de maatschappelijke gevolgen van de besparing. Hieronder staat ter illustratie de toelichting bij een maatregel.

Geen COA-opvang voor nareizigers

Het idee achter deze optie is dat nareizigers pas een MVV krijgen om naar Nederland te reizen wanneer de referent woonruimte voor hen heeft. De gezinsherenigingsrichtlijn en Nederlandse wetgeving schrijven enkel voor binnen welke termijn je op de nareisaanvraag moet beslissen en niet binnen welke termijn nareizigers na de inwilliging mogen reizen. Juridisch is deze mogelijkheid haalbaar. Het grote voordeel is dat het COA geen onderdak meer hoeft te bieden aan nareizigers. Uitgaand van een gemiddelde opvangduur voor nareizigers van ca 3,5 maanden en ca 3.000 nareizigers per jaar betekent dit een besparingspotentieel van ca €21 miljoen.

Gevolg: De juridisch-ethische vraag blijft hier buiten beschouwing of het wenselijk is om soms kwetsbare groepen in onveilige gebieden te laten wachten tot in Nederland woonruimte beschikbaar is.

Stap 3G) Verbeterparagraaf

Het is mogelijk dat de beleidsdoorlichting (op onderdelen) onvoldoende antwoord geeft op de vraag of het beleid doeltreffend en doelmatig is geweest. Bijvoorbeeld, omdat er onvoldoende evaluaties zijn verricht, omdat onderzoeksresultaten elkaar tegenspreken of omdat gebruikte indicatoren niet het volledige inzicht geven. Om te leren van deze ervaringen wordt aan iedere beleidsdoorlichting een verbeterparagraaf toegevoegd. Deze verbeterparagraaf is door de minister van Financiën toegezegd aan de Tweede Kamer .

Kortgezegd worden in de verbeterparagraaf aanbevelingen geformuleerd om in de eerstvolgende beleidsdoorlichting (over 4 tot 7 jaar) een beter inzicht te krijgen in de doeltreffendheid en doelmatigheid van het beleid. En niet wederom dezelfde beperkte conclusies te hoeven rapporteren aan de TK. De verbeterparagraaf geeft daarmee richting voor de toekomst, want laat zien waar de komende jaren aan gewerkt kan worden als het gaat om monitoring en evaluatie.

In de beleidsdoorlichting is onder andere aandacht besteed aan de vraag of er witte vlekken in de onderliggende evaluaties zitten (RPE-vraag 9) en in welke mate uitspraken kunnen worden gedaan over doeltreffendheid en doelmatigheid (RPE-vraag 10). De antwoorden op deze vragen bieden de basis voor de verbeterparagraaf. Onderwerpen waaraan gedacht kan worden zijn:

• Verbetering van de evaluatieprogrammering om witte vlekken in te vullen;
• Meer aandacht voor tussentijdse monitoring van prestaties of effecten om tot beter onderbouwde uitspraken te komen over de doeltreffendheid;
• Aanbeveling om (nieuwe) indicatoren uit te werken om beter te kunnen meten of doelen bereikt worden. Dat vergt soms ook het SMART-er formuleren van het beleidsdoel zelf;
• Aandacht voor gedragsaspecten in de evaluatie van beleid .
• Verbetering van dataverzameling en –gebruik.

In de verbeterparagraaf werk je de verschillende verbeterpunten zo concreet mogelijk uit. Dit kun je doen door toe te lichten waar verbetering mogelijk is en hoe dat te bereiken is. Maak hierbij bijvoorbeeld gebruik van de expertise van de leden in de begeleidingscommissie of van de onafhankelijk deskundige. Een mooi streven is om een inhoudelijke en procesmatige structuur te organiseren waarbinnen je verder aan de slag gaat met de verbeterpunten.

In de kabinetsreactie worden de elementen uit de verbeterparagraaf benoemd en kan worden uitgelegd hoe de verantwoordelijk minister aan de slag gaat met de aanbevelingen en op welke wijze de Tweede kamer geïnformeerd wordt.

BIJLAGEN

(Bij Stap 3B) Hulpmiddelen bij de kwaliteitsbeoordeling

De RPE stelt de volgende eisen aan evaluaties van doeltreffendheid en doelmatigheid van beleid:

• Het onderzoek maakt duidelijk welk beleid wordt onderzocht en wat de doelstellingen van dat beleid zijn;
• Het onderzoek geeft antwoord op de vraag in hoeverre het beleid, alsmede de daarmee samenhangende uitgaven, doeltreffend en doelmatig is;
• De conclusies van het onderzoek worden onderbouwd door onderliggende bevindingen;
• De in het onderzoek gebruikte onderzoeksmethode is valide en betrouwbaar;
• Het rapport geeft inzicht in de gebruikte evaluatiemethode en in de mogelijkheden en onmogelijkheden om de doeltreffendheid en de doelmatigheid van het betreffende beleid vast te stellen.

Een uitwerking daarvan en handvatten daarbij bieden onderstaande checklists voor, respectievelijk: evaluaties algemeen, doeltreffendheids- en doelmatigheidsonderzoek

Criteria voor evaluatieonderzoek algemeen

• Het rapport geeft een weergave van relevante beleidsmatige achtergronden en uitgangspunten, als ook van het institutionele krachtenveld waarin het evaluatieobject opereert.
• Het rapport geeft een uiteenzetting van de beleidstheorie met de veronderstellingen over de oorzaak van (maatschappelijke) problemen en de werking van onderzochte interventies in de bestrijding van die problemen: hoe gaan die precies aan het gestelde doel bijdragen?
• De probleemstelling formuleert kernachtig waarop de evaluatie is gericht (bijvoorbeeld: In hoeverre is het beleid effectief gebleken? Waar zitten knelpunten?). Er zijn eventueel deel- of onderzoeksvragen waarvan de beantwoording samen een antwoord biedt op die probleemstelling.
• Er is een heldere en navolgbare uitleg bij de aanpak of methodologie van het evaluatieonderzoek. Bijvoorbeeld:
  1. Hoe eventuele steekproeven zijn getrokken (doorgaans in geval van kwantitatief ofwel cijfermatig onderzoek);
  2. Laat zien hoe abstracte zaken zoals bijv. ‘toegankelijkheid van het recht’ meetbaar zijn gemaakt door ze zo concreet mogelijk te maken (bijv. door het op te delen in bijv. ‘betaalbaarheid’ en ‘bereikbaarheid’, en vervolgens de onderdelen te meten);
  3. Geeft een heldere toelichting op manier waarop de gebruikte bronnen van gegevens (bijv. registraties, maar ook respondenten) zijn geselecteerd, en op de manier waarop de verkregen gegevens zijn verwerkt en geanalyseerd;
  4. Geeft informatie over de vraag of conclusies uit beschikbare gegevens kunnen worden gegeneraliseerd naar de hele populatie (bijv. Nederlandse burgers of mkb).
  5. Geeft uitleg over de vraag of verschillende bronnen/methoden zijn gecombineerd om 1 uitspraak te kunnen doen (zogenoemde ‘data-triangulatie’ ten gunste van de betrouwbaarheid);
  6. Vermeldt (eventuele) tekortkomingen van de evaluatie. Bijvoorbeeld of bevindingen en conclusies gegeneraliseerd mogen worden en zo ja, in hoeverre.
• Kwaliteitscontrole : het rapport geeft weer op welke wijze een kwaliteitscontrole is uitgevoerd. Bijvoorbeeld: interne kwaliteitscontrole, begeleidings- of stuurgroep, inschakeling van onafhankelijke externe deskundigen.
• De conclusies worden ondersteund door de feitelijke bevindingen.

Criteria voor doeltreffendheidsonderzoek

8. De evaluatie licht de manier waarop de doeltreffendheid is onderzocht en gemeten, helder toe
9. De conclusies over doeltreffendheid worden ondersteund door de feitelijke (deel)bevindingen
10. De veranderingen in doel-indicatoren na verloop van tijd (op ‘t1’) zijn vergeleken met de doel-indicatoren op het moment van de start (‘nulmeting’; op ‘t0’)
11. De evaluatie-aanpak is zo gekozen dat deze inzicht biedt in de mate waarin de waargenomen veranderingen het gevolg zijn van het onderzochte beleid .
12. Behalve de effectiviteit (gemeten veranderingen in termen van de doelstellingen van het programma/project/beleidsdoelstelling) zijn ook neveneffecten in kaart gebracht.

Criteria voor doelmatigheidsonderzoek

12. De evaluatie geeft een heldere toelichting op de wijze waarop de doelmatigheid is onderzocht
13. De conclusies over doelmatigheid worden ondersteund door de bevindingen.
14. De conclusies over doelmatigheid geven antwoord op vragen als:

• Doelmatigheid van prestaties / bedrijfsvoering. Is de input (geld, mankracht, middelen) ingezet tegen zo laag mogelijke kosten?
  • Zijn activiteiten efficiënt uitgevoerd? Is overlap of dubbeling van activiteiten bijvoorbeeld vermeden? Zijn overheadkosten zo laag mogelijk gehouden?
• Doelmatigheid van beleid . Is het programma doelmatig in vergelijking met andere interventies die hetzelfde doel hebben?

Deze criteria zijn vooral bedoeld om een algemene indruk te krijgen van de kwaliteit van een evaluatie. Niet alle evaluaties zullen aan alle criteria voldoen. Dit betekent nog niet dat ze overboord moeten worden gedaan. Maar voldoen aan sommige criteria is wel noodzakelijk: Als de conclusies uit een evaluatie niet worden gedekt door de onderzoeksbevindingen (criterium 2), zijn de conclusies niet valide. Om dit goed te kunnen beoordelen zijn ook criteria 8 en 12 van belang: een toelichting in de evaluaties waarop de doeltreffendheid/doelmatigheid van beleid zijn onderzocht.

Regeldrukbeperking

Idealiter zijn de gevolgen van het beleid in termen van regeldruk voor bedrijven, mede-overheden en burgers voorafgaand aan de invoering in kaart gebracht. Het IAK (Integraal Afwegingskader voor beleid en wetgeving) bevat informatie over deze (en andere) gevolgen . Voor een samenvatting van de procedures die gelden voor het bijtijds in kaart brengen van de regeldrukgevolgen van een voorstel is daar een Processchema regeldrukverantwoording en verwante wetgevingskwaliteitsinstrumenten en Handleiding te vinden.

Het ATR (Adviescollege Toetsing Regeldruk) is per 1 juni 2017 van start gegaan als opvolger van Actal. Het ATR heeft als kerntaak het adviseren over en toetsen van voorgenomen wetgeving in een zo vroeg mogelijke fase van het wetgevingsproces. Het Adviescollege Toetsing Regeldruk (ATR) beoordeelt de gevolgen voor de regeldrukeffecten van voorgenomen wet- en regelgeving aan de hand van het volgende toetsingskader:

1. Nut en noodzaak: is er een taak voor de overheid en is wetgeving het meest aangewezen instrument?
2. Zijn er minder belastende alternatieven mogelijk?
3. Is gekozen voor een uitvoeringswijze die werkbaar is voor de doelgroepen die de wetgeving moeten naleven?
4. Zijn de gevolgen voor de regeldrukeffecten volledig en juist in beeld gebracht?

Maar ook kan ATR adviseren over bestaande wetgeving, aan parlement en medeoverheden, en over beleidsregels en overige regels van organisaties die zijn belast met uitvoering of handhaving van wetgeving.

Op de website van de ATR is een Handboek meting regeldrukkosten te vinden, voor het zo feitelijk mogelijk in kaart brengen van de regeldruk van beleid in de voorstelfase.

Bij stappen 3C- 3E:

Gedragsinzichten voor doeltreffender en doelmatiger beleid

In deze paragraaf wordt ingegaan op gedragsinzichten en de toepassing ervan. Gedragsinzichten helpen om te komen tot doeltreffender en doelmatiger beleid. De gedragsinzichten zijn met name relevant voor de stap 3C (‘Reconstrueer de beleidstheorie’), maar natuurlijk ook voor stap 3D (‘Benoem de witte vlekken’) en stap 3E (‘Synthese’).

Gedragsinzichten

Het gedrag en de keuzes van mensen spelen bij veel overheidsbeleid een belangrijke rol. Vaak is beleid erop gericht om het gedrag van mensen te beïnvloeden. Via wet- en regelgeving, financiële prikkels en/of communicatie stimuleert de overheid vormen van gewenst gedrag en remt zij ongewenst gedrag af. Maar ook beleid dat niet specifiek is gericht op het beïnvloeden van gedrag, heeft daar vaak wel effect op. Het gedrag en de keuzes van mensen hebben grote invloed op de beleidsterreinen waar de overheid zich mee bezighoudt. Denk bijvoorbeeld aan het gebruik van de zorg, het onderwijs en het wegennet, maar ook aan het voorkomen van criminaliteit of overlast, het behalen van duurzaamheidsdoelstellingen, het sparen voor pensioenen en het functioneren van markten.

Voor effectief beleid is het daarom noodzakelijk een realistisch beeld te hebben van de reacties van mensen op een bepaalde maatregel of interventie. Traditioneel is daarbij het uitgangspunt dat mensen rationele beslissers zijn die de relevante voor- en nadelen afwegen en op basis hiervan een bewuste keuze maken. De gedragswetenschappen leren echter dat gedrag vaak niet het gevolg is van rationele afwegingen maar dat er allerlei psychologische en sociale factoren een rol spelen. De relevante inzichten vanuit de gedragswetenschappen zijn divers, maar kennen een aantal terugkerende elementen:

• Ten eerste worden keuzes van mensen beïnvloed door allerlei systematische afwijkingen (biases) van de optimale (rationele) keuze. Een bekend voorbeeld is dat mensen “verliesaversie” hebben: een risico op verlies telt zwaarder mee in de keuzes van mensen dan een mogelijke winst.
• Ten tweede hebben mensen een beperkte zelfbeheersing en hechten ze vaak meer waarde aan een aangenaam heden dan aan een aangename toekomst. Zelfstandig sparen voor het pensioen blijkt in de praktijk bijvoorbeeld vaak lastig te zijn. Mensen handelen hierin tijdsinconsistent: wat ze daadwerkelijk nu doen, is niet in overeenstemming met wat ze eerder aangaven te willen doen.
• Ten derde maken we een deel van onze keuzes onbewust. Dit komt onder andere tot uiting bij gewoontegedrag. Maar ook bij complexe beslissingen, waarin het lastig is om alle relevante informatie te overzien, spelen onbewuste processen een belangrijke rol.
• Tot slot wijst gedragswetenschappelijke kennis op het belang van de sociale omgeving. Mensen zijn sociale wezens; ze willen graag bij een groep horen en sociale normen (oftewel wat anderen (in meerderheid) doen en denken) hebben een sterke invloed op hun keuzegedrag.

Meer informatie over gedragsinzichten is onder meer te vinden in de WRR-publicatie ‘Met kennis van gedrag beleid maken’ en in de kabinetsreactie .

Toepassing gedragsinzichten in beleid

Informatie over hoe gedragsinzichten toe te passen in beleid is te vinden in Toepassen gedragsinzichten , zoals opgenomen in het Integraal afwegingskader voor beleid en regelgeving (IAK).

Voorbeelden van toepassing van gedragsinzichten zijn te vinden in de publicatie Rijk aan gedragsinzichten . In deze publicatie wordt aan de hand van praktijkvoorbeelden uit de verschillende beleidsdepartementen beschreven hoe gedragsinzichten beleid hebben verrijkt en doeltreffender en doelmatiger hebben gemaakt.

Doenvermogentoets

Een gedragsaspect dat bijzondere aandacht verdient is het doenvermogen van mensen. In de WRR-publicatie WRR-rapport ‘Weten is nog geen doen; Een realistisch perspectief op redzaamheid’ wordt hier uitgebreid op ingegaan. De WRR beveelt aan om bij voorgenomen beleid en regelgeving vooraf te toetsen of de regeling ‘doenlijk’ is voor mensen (doenvermogentoets), ook wanneer zij een lastige periode doormaken en hun mentale vermogens zwaar worden belast. In uitvoeringstoetsen moet niet alleen het perspectief van uitvoeringsorganisaties worden betrokken, maar ook het perspectief van de doelgroep(en). Zij moeten de regeling niet alleen kennen maar ook ‘kunnen’. Het kabinet heeft deze aanbeveling overgenomen. Indien aan de orde moet in de toelichting worden ingegaan op de manier waarop rekening is gehouden met het doenvermogen (is uitgegaan van een realistische inschatting van het doenvermogen en zijn er passende maatregelen getroffen, bijvoorbeeld door bepaalde keuzearchitectuur?).

Meer informatie over de doenvermogentoets is te vinden in Doenvermogen , ook opgenomen in het IAK.

Contactpersonen

Mocht je vragen hebben over (het toepassen van) gedragsinzichten dan kan je altijd contact opnemen met de contactpersoon van het departement waar je werkzaam bent (link alleen toegankelijk vanaf een werkplek bij de Rijksoverheid).

4: Opstellen rapport

Stap 4A) Schrijven van de beleidsdoorlichting

Alle voorgaande onderwerpen komen uiteindelijk terecht in een rapportage. De penvoerder heeft de vrijheid om het rapport naar eigen inzicht te structureren, zolang de 15 RPE-vragen daarbij maar beantwoord worden.

Een belangrijk aandachtspunt zijn de conclusies: elke conclusie in de doorlichting moet worden ondersteund door de bevindingen. Vermijd dus meningen of standpunten.

Is de doorlichting bruikbaar? Zorg voor:

1. Helderheid over het doel van de beleidsdoorlichting, waarvoor de onderzoeksuitkomsten zullen worden of zijn gebruikt.

2. Duidelijkheid en volledigheid waarmee in het evaluatierapport en de samenvatting ervan de essentie van het onderzoek, en vooral de hoofdbevindingen, zijn weergeven

3. Volledigheid waarmee alle onderzoeksvragen door de conclusies worden beantwoord

4. Praktische uitvoerbaarheid van gepresenteerde aanbevelingen en de mate waarin deze binnen het bereik liggen van betrokken verantwoordelijke beleidsmakers.

Stap 4B) Leg het rapport voor aan de onafhankelijke deskundige voor het eindoordeel

Het rapport van de beleidsdoorlichting moet worden voorgelegd aan de onafhankelijke deskundige. Hij/zij zal schriftelijk een oordeel over de kwaliteit geven. Het oordeel van de deskundige vormt een kwaliteitswaarborg voor de Tweede Kamer. Daarom moet altijd zo’n oordeel worden toegevoegd aan de doorlichting.

Een onafhankelijk oordeel over de beleidsdoorlichting kan op veel criteria berusten. Maak hierover zo mogelijk afspraken vooraf, en laat de onafhankelijke deskundige duidelijk vermelden op welke criteria hij of zij het oordeel baseert.

Stap 4C) De beleidsdoorlichting is niet op tijd af, wat dan?

Voor het einde van het jaar moet de beleidsdoorlichting afgerond zijn en via de MR aan de Tweede Kamer zijn verzonden. Het kan zijn dat dit niet lukt, bijvoorbeeld omdat aanvullend onderzoek uitloopt. In dat geval moet – eveneens voor het einde van het jaar – een uitstelbrief aan de Tweede Kamer zijn gestuurd. In die brief moet met redenen omkleed worden uitgelegd waarom de beleidsdoorlichting te laat wordt afgerond.

5: Behandeling en verzending

Stap 5A) Neem de kabinetsreactie op

Het definitieve rapport en het oordeel van de onafhankelijke deskundige worden voorzien van een reactie van de minister (of staatssecretaris als deze verantwoordelijk is) die over het beleid gaat. De verantwoordelijke minister geeft namens het hele kabinet een reactie op de beleidsdoorlichting. Deze wordt via (ambtelijk voorportaal en onderraad en) de Ministerraad verstuurd aan de Tweede Kamer.

De kabinetsreactie geeft:

• Een evenwichtige samenvatting die recht doet aan alle hoofdconclusies over de doelmatigheid en doeltreffendheid van het beleid.
• De conclusies die de minister vermeldt dienen ook daadwerkelijk door het rapport te worden ondersteund. Vervolgens geeft de minister zijn/haar visie op het rapport.
• Een reactie op de geformuleerde aanbevelingen en 20%-besparingsvarianten.
• Beleidsconclusies. Deze zijn bij voorkeur actiegericht: wat is de bewindspersoon van plan te gaan doen? Beleidsconclusies moeten uiteindelijk een weerslag krijgen in de jaarverslagen en beleidsbrieven.
• Tot slot kan de kabinetsreactie ingaan op het oordeel van de onafhankelijke deskundige.
• Houd er rekening mee dat wanneer de conclusies van een doorlichting tot voorgenomen beleidswijzigingen leiden, deze niet zomaar in de brief mogen. Beleidsvoornemens moeten via de beleidsbrief met de Minister van Financiën worden besproken (voorjaar) en mogen op zijn vroegst met Prinsjesdag (september) worden gepresenteerd.

Stem de kabinetsreactie af met FEZ en de IRF (en eventueel met relevante vakdepartementen) voordat deze via de MR naar de Tweede Kamer wordt gezonden.

Stap 5B) Behandeling stukken in de onderraad/ministerraad

Voorafgaand aan de ministerraad wordt de kabinetsreactie met de beleidsdoorlichting besproken in het desbetreffende ambtelijke ‘voorportaal’ en vervolgens in de ministeriële onderraad. Dit kan enkele weken in beslag nemen. Het is van belang hiermee bij de planning rekening te houden. De werkwijze kan per departement verschillend zijn, maar wijkt niet af van de manier waarop andere stukken in de ministerraad worden gebracht (vraag na bij FEZ of de MR-contactpersoon hoe dat in jouw departement gaat).

Na akkoord van het voorportaal is de beleidsdirectie verantwoordelijk voor het aanbieden van stukken aan de onderraad dan wel de ministerraad, inclusief een door de bewindspersoon ondertekend MR-aanbiedingsformulier. Het secretariaat van het voorportaal speelt hierin geen rol. Meer informatie kun je opvragen bij de eigen departementale MR-contactpersoon. Voor aanlevering resteert vaak weinig tijd ná het ambtelijke voorportaal; bereid dit dus zoveel mogelijk voor.

Stap 5C) Verzending naar Tweede Kamer

De minister stuurt de kabinetsreactie met beleidsdoorlichting en oordeel van de onafhankelijk deskundige nadat deze in de ministerraad (MR) is behandeld, naar de Tweede Kamer. Hiervoor verwijzen wij naar de procesgang binnen het eigen departement.

Kort samengevat verloopt de behandeling van de beleidsdoorlichting in de Tweede Kamer als volgt:

• De desbetreffende Kamercommissie houdt een feitelijke vragenronde over de beleidsdoorlichting. De ambtelijke Dienst Analyse en Onderzoek (DAO) ondersteunt daarbij en geeft naast opmerkingen over de inhoud, advies over de kwaliteit van de beleidsdoorlichting.
• De Kamercommissie besluit na ontvangst van de antwoorden op de feitelijke vragen over de verdere behandelwijze.
• Het is uiteraard aan de Tweede Kamer om te beslissen of een debat over de beleidsdoorlichting gewenst is, of de beleidsdoorlichting bij een al gepland debat te betrekken. Er kan dan gekozen worden voor een afzonderlijk overleg waarin verantwoording (terugkijken), het trekken van lessen en het maken van afspraken ter verbetering van het beleid centraal staan.
• De uitkomst van de behandeling wordt schriftelijk vastgelegd en vormt in de praktijk, samen met de kabinetsreactie op de conclusies van de doorlichting, de basis voor de vervolgacties.

Stap 5D) Publicatie van de doorlichting & kabinetsreactie

Na verzending aan de Tweede kamer wordt de beleidsdoorlichting (en de kabinetsreactie, oordeel van de onafhankelijke deskundige en eventuele bijlagen) gepubliceerd op de website van de Tweede Kamer en op Rijksoverheid.nl. Daarnaast draagt het trekkende ministerie zorg voor de publicatie ervan op www.rijksbegroting.nl.

Zorg ervoor dat de uitkomsten van de beleidsdoorlichting worden opgenomen in het departementale jaarverslag, in het onderdeel ‘beleidsconclusies’ van het betreffende begrotingsartikel’. Dit tekstueel gedeelte presenteert uitkomsten van recent (evaluatie-)onderzoek – waaronder doorlichtingen – en de doorwerking van de resultaten daarvan.

• De conclusies van de beleidsdoorlichting en vervolgstappen (wat de minister ermee gaat doen), naast de eventuele gevolgen voor de evaluatieprogrammering zouden een plaats moeten krijgen in de departementale begroting.

6. Vervolgacties

Stap 6A) Zet eventuele beleidsaanpassingen in gang

Het is mogelijk dat de reactie van het kabinet en/of de Tweede Kamer op de conclusies van de beleidsdoorlichting leiden tot ontwikkeling/aanpassing of stopzetten van beleid. Dit vraagt van het beleidsdepartement de nodige vervolgstappen.

• Deze stappen moeten in beeld worden gebracht en worden opgenomen in het jaarverslag, begroting en in desbetreffende beleidsbrieven.
• In geval van beleidsaanpassingen (of gehele vernieuwing) moet aangepaste (of nieuwe) beleidstheorie worden opgesteld. Daarbij kan gebruik worden gemaakt van de 7 stappen in het Integraal afwegingskader voor beleid en wetgeving (IAK).
• De vereiste activiteiten moeten een plek krijgen in het planning- & controlcyclus of beleidscyclus, zodat voortgang en afronding kunnen worden gemonitord en (bij)gestuurd.

Stap 6B) Plan en monitor komende evaluaties – in lijn met de Verbeterparagraaf

De afronding van een beleidsdoorlichting vormt meteen het startpunt van een nieuwe cyclus. Een aanzet daartoe wordt gegeven in de Verbeterparagraaf

• Werk het evaluatieprogramma bij op basis van de afgeronde beleidsdoorlichting voor de komende periode van vier à zeven jaar.
• Deze evaluaties worden (net als andere verbeteracties) opgenomen in de planning- & controlcyclus van het departement, zodat voortgang en afronding ervan kunnen worden gemonitord.