Awareness meten zonder alleen naar de klikratio te kijken

TL;DR

• Een lage klikratio voelt als goed nieuws, maar zegt op zichzelf weinig. Misschien was de testmail gewoon makkelijk te herkennen.
• Meet wat mensen doen: hoeveel procent meldt, hoe snel, wie dezelfde fout blijft maken en wat er gebeurt onder tijdsdruk.
• Weeg elk cijfer tegen de moeilijkheid van het scenario. Een algemene nepmail en een gerichte spearphishing liggen niet op dezelfde meetlat.
• De eerlijkste maatstaf: durft iemand na een klik nog te melden? Daar zie je of je cultuur werkt.

Oktober is de Europese maand van de cyberveiligheid, van 1 tot en met 31 oktober, een initiatief van de Europese Commissie met steun van ENISA. In veel bedrijven betekent dat een phishingtest, een presentatie en daarna een cijfer op een slide. Meestal is dat cijfer de klikratio. Daalt ze, dan was het een goed jaar.

Dat is te kort door de bocht. Wat security awareness is en hoe je een programma opbouwt, staat al in onze post over wat security awareness is en in de gids voor security awareness training. Deze post gaat over een andere vraag: hoe weet je of het werkt? Bij een phishingtest meten we naast kliks ook meldingen, en in een security awareness programma combineren we training met realistische oefeningen om te zien wat mensen doen onder druk. Dat levert bruikbaardere cijfers op dan een klikratio alleen. Dit zijn de maatstaven die wij meenemen.

Waarom de klikratio alleen te weinig zegt

De klikratio is het percentage ontvangers dat op de link in een testmail klikte. Een echt gegeven, en we gooien het niet weg. Maar het hangt volledig af van de mail die je stuurde. Een slordige nepmail met een vreemde afzender en drie taalfouten geeft bijna altijd een lage klikratio. Een mail die lijkt op het bericht van je leasingmaatschappij, verstuurd op de dag dat de nieuwe wagens worden toegewezen, geeft een andere uitkomst.

Een lage klikratio kan dus betekenen dat je mensen alert zijn. Ze kan ook betekenen dat de test te makkelijk was. Aan het cijfer zelf zie je het verschil niet. En over de mensen die niet klikten zegt het al helemaal niets: hebben ze de mail herkend en gemeld, gewoon verwijderd, of niet gezien omdat ze die dag vrij waren? Drie verschillende situaties, een en hetzelfde cijfer.

Meldratio en tijd tot melden

De meldratio is het percentage ontvangers dat een verdachte mail doorgeeft aan IT of via de meldknop. Dat cijfer vertelt wat de klikratio niet kan: of mensen actief doen wat je van ze vraagt. Niet klikken is passief. Melden is een handeling, en net die handeling beschermt de rest van de organisatie, want na de eerste melding kan IT de mail bij iedereen weghalen.

Daarbij hoort de tijd tot de eerste melding. Een phishingmail die na drie minuten gemeld wordt, richt minder aan dan een die pas na een halve dag opvalt. Bij een phishingtest meten we beide: hoeveel mensen melden en hoe lang dat duurt. Stijgt de meldratio en daalt de tijd tot melden, dan verandert er echt iets, ook als de klikratio stabiel blijft.

Nog iets uit de praktijk: een meldknop die moeilijk te vinden is, drukt de meldratio. Dan weet je niet of het aan je mensen ligt of aan je knop. Dat zoeken we eerst uit.

Herhaalfouten

Een organisatie waarin bij elke test andere mensen klikken, heeft een ander probleem dan een organisatie waarin telkens dezelfde tien klikken. In het eerste geval is het ruis: iedereen heeft wel eens een drukke dag. In het tweede geval heb je een groep die extra aandacht nodig heeft, en meestal zit daar een reden achter. Een rol met veel externe mail, een gedeelde mailbox, een team dat nooit bij de training was.

Daarom bekijken we resultaten per team en per rol, over meerdere testgolven heen. Niet om mensen aan de schandpaal te nagelen, wel om te zien waar herhaling het meest oplevert. Korte, herhaalde oefening werkt daar beter dan nog een jaarlijkse presentatie. Dat is waar Swishing voor dient: sessies van vijf tot tien minuten waarin mensen zelf beslissen of een mail veilig is, met uitleg meteen erna. Swishing is training, geen meting. De meting blijft de phishingtest, en die doe je na een paar maanden opnieuw.

Gedrag onder druk in realistische scenario's

Een testmail op een rustige dinsdagochtend meet iets anders dan een telefoontje van "de bank" terwijl de kwartaalafsluiting loopt. Aanvallers kiezen hun moment en spelen op haast, autoriteit en hulpvaardigheid. Wil je weten hoe je mensen dan reageren, dan moet je scenario dat ook doen.

Daarom beperken we een awarenessprogramma niet tot mail. We combineren training met phishing, quishing, smishing en vishing en met scenario's rond AI-gebruik, en we testen het meldgedrag. Na afloop volgt een live debrief door een hacker, en na enkele maanden meten we opnieuw. Wat je dan ziet: maakte iemand onder druk de juiste keuze, en durfde hij te zeggen "ik bel je terug op het nummer dat ik ken"?

De Escape Truck zit in dezelfde hoek. Teams van vier tot acht werken onder tijdsdruk aan securitypuzzels en bespreken na elke ronde met een ethische hacker wat ze zagen. Het is geen meetinstrument. Je ziet er wel aan wie onder druk nog nadenkt en wie de eerste code intikt die werkt.

Hoe moeilijk was het scenario?

Elk cijfer hierboven heeft context nodig: hoe moeilijk was de test? Een algemene mail naar iedereen is een ander niveau dan een gerichte spearphishing naar de boekhouding met de naam van een echte leverancier. Bij een phishingtest bouwen we campagnes in golven, van algemeen naar gericht, en noteren we per golf de moeilijkheid. Pas dan kun je cijfers vergelijken.

Een klikratio die stijgt terwijl de scenario's moeilijker worden, is geen achteruitgang. Een klikratio die daalt bij gelijke scenario's is wel vooruitgang. Zonder dat tweede gegeven vergelijk je appels met peren. Dat gebeurt vaker dan je denkt, zeker als dezelfde partij de moeilijkheid kiest en de resultaten rapporteert.

Durven mensen melden na een fout?

Dit is de maatstaf die het minst gemeten wordt en het meest zegt. Iemand klikt, beseft een seconde later dat het fout was, en belt IT. Of niet. Uit dat tweede scenario groeien echte incidenten: een klik die niemand meldt, omdat de klikker bang is voor de reactie.

Je meet het eenvoudig: hoeveel van de mensen die klikten, meldden dat achteraf zelf? Dat percentage zegt meer over je cultuur dan elke andere score. Het zegt of mensen durven, en dat durven komt van hoe je op fouten reageert. Een organisatie die klikkers op een lijst zet, krijgt minder meldingen en evenveel kliks.

Wat ons betreft is dit de kern van awareness meten. Een lage klikratio staat mooi op een slide. Een hoge meldratio na een fout betekent dat een incident gestopt wordt voor het er een is.

Veelgestelde vragen

Is een lage klikratio een slecht teken?

Nee, maar ook niet automatisch een goed teken. Een lage klikratio kan betekenen dat je mensen alert zijn, of dat de testmail te makkelijk te herkennen was. Kijk naar de moeilijkheid van het scenario en naar de meldratio voor je conclusies trekt.

Wat is een meldratio?

Het percentage ontvangers van een verdachte mail dat die actief meldt bij IT of via een meldknop. Samen met de tijd tot de eerste melding is dit de maatstaf die het dichtst bij echt beschermend gedrag komt.

Vervangt Swishing een phishingtest?

Nee. Swishing is training: korte sessies waarin mensen zelf beslissen of een mail veilig is en meteen uitleg krijgen. Een phishingtest meet wat mensen in hun echte mailbox doen. Je gebruikt de test om te meten en Swishing om te verbeteren, en daarna meet je opnieuw.

Hoe vaak moet je awareness meten?

Vaker dan een keer per jaar, want een jaarlijkse meting zegt niets over herhaalfouten of over het effect van training. Werk in golven en meet een paar maanden na elke trainingsronde opnieuw, met scenario's van vergelijkbare moeilijkheid.

Moet je resultaten per medewerker delen?

Liever niet als ranglijst. Resultaten per team en per rol tonen waar herhaling nodig is. Individuele cijfers gebruik je alleen om gericht te begeleiden, nooit om iemand af te rekenen, anders droogt je meldratio op.

Gerelateerde diensten en bronnen

Wil je meten wat je mensen echt doen, dan start je met een phishingtest (campagnes in golven, kliks en meldingen gemeten) binnen een security awareness programma dat training koppelt aan realistische oefeningen en een hertest. Voor de herhaling tussen twee metingen is er Swishing, en voor een dag die blijft hangen de Security Awareness Escape Truck. Achtergrond lees je in onze posts over wat security awareness is, de gids voor security awareness training, gamified phishingsimulatie, wat Swishing is en gestolen inloggegevens door infostealers, want die post toont waar een gemiste melding toe leidt.