Waarom levert hetzelfde rapport verschillende conclusies op?
Het rapport ligt op tafel. De cijfers zijn gecontroleerd, de grafieken zijn bijgewerkt en de analyse is klaar. Toch duurt het niet lang voordat de discussie begint.
De ene manager ziet dat het aantal klanten is gegroeid. Een collega wijst erop dat het juist is gedaald. Iemand anders vraagt waarom een bepaalde klantgroep überhaupt is meegenomen. Vanuit de operatie komt de opmerking dat een deel van deze klanten helemaal niet als actieve klant wordt beschouwd.
Als analist kijk je opnieuw naar het rapport. De berekeningen kloppen. De bron is dezelfde. De filters zijn correct toegepast en toch lijken mensen naar verschillende cijfers te kijken.
Dat is vaak het moment waarop de aandacht opnieuw naar de data gaat. Er wordt gecontroleerd of de query klopt, of de juiste periode is geselecteerd en of er geen fout in de rapportage zit. Soms wordt een analyse opnieuw uitgevoerd om zeker te weten dat de uitkomst technisch correct is.
Alleen zit het probleem niet altijd in de data.
Soms kijken mensen naar hetzelfde getal en geven ze er een andere betekenis aan.
Hetzelfde woord betekent niet automatisch hetzelfde
In organisaties worden voortdurend begrippen gebruikt die vanzelfsprekend klinken. Klant. Omzet. Verzuim. Incident. Doorlooptijd. Actieve gebruiker. Afgeronde aanvraag.
Iedereen kent de woorden. Daardoor wordt gemakkelijk aangenomen dat iedereen ook hetzelfde bedoelt.
In de praktijk blijkt dat vaak anders te liggen.
Voor de ene afdeling is iemand klant zodra er een overeenkomst is getekend. Voor een andere afdeling pas wanneer de dienstverlening daadwerkelijk is gestart. Finance kijkt misschien naar klanten met een financiële transactie in de betreffende periode, terwijl een operationeel team ook klanten meetelt bij wie tijdelijk geen activiteit plaatsvindt.
Geen van die interpretaties hoeft op zichzelf vreemd te zijn. Ze kunnen allemaal logisch zijn vanuit het werk dat iemand doet.
Het verschil wordt pas zichtbaar wanneer dezelfde term in een rapport wordt gebruikt alsof er maar één betekenis bestaat.
De discussie lijkt dan over de uitkomst te gaan, terwijl mensen in werkelijkheid verschillende definities hanteren.
De betekenis is onderweg ontstaan
Verschillende interpretaties ontstaan meestal niet omdat mensen onzorgvuldig zijn. Begrippen krijgen in de loop van de tijd betekenis binnen de context waarin ze worden gebruikt.
Een team bouwt een eigen overzicht omdat het bestaande rapport niet voldoende aansluit op het dagelijkse werk. Een afdeling voegt een uitzondering toe omdat een bepaalde klantgroep anders een vertekend beeld geeft. Een systeem gebruikt een technische status die later in de organisatie dezelfde naam krijgt als een processtap, terwijl die twee niet precies hetzelfde betekenen.
Zo kunnen meerdere betekenissen naast elkaar ontstaan.
Zolang mensen binnen hun eigen omgeving werken, valt dat nauwelijks op. Collega’s kennen de context. Ze weten welke uitzonderingen gelden en begrijpen wat met een bepaald woord wordt bedoeld.
Het verschil wordt zichtbaar zodra informatie wordt samengebracht.
Dan blijkt bijvoorbeeld dat twee rapportages allebei het aantal actieve klanten tonen, maar een andere populatie gebruiken. Een dashboard telt aanvragen op basis van de aanmaakdatum, terwijl een analyse dezelfde aanvragen groepeert op de datum waarop ze zijn afgerond. Twee teams rapporteren over doorlooptijd, maar het ene team begint te meten bij ontvangst en het andere bij het moment waarop de behandeling daadwerkelijk start.
De cijfers kunnen technisch correct zijn en toch niet vergelijkbaar.
Dat maakt dit soort discussies lastig. Een technische controle vindt namelijk geen fout wanneer de berekening correct is uitgevoerd volgens de gekozen definitie.
Een rapport neemt de discussie niet weg
Van een rapport wordt vaak verwacht dat het duidelijkheid brengt. De cijfers staan immers zichtbaar bij elkaar en iedereen kijkt naar dezelfde informatie.
Toch lost één rapport verschillen in betekenis niet automatisch op.
Als de definitie achter een cijfer niet duidelijk is, neemt iedere lezer zijn eigen kennis en context mee. De analist weet misschien precies welke selectie is gemaakt, maar de gebruiker van het rapport ziet alleen de term die boven de grafiek staat.
Daar begint interpretatie.
De manager denkt aan alle klanten waarvoor hij verantwoordelijk is. De operationeel medewerker denkt aan klanten die op dit moment worden bediend. Finance denkt aan de populatie die financieel meetelt.
Het rapport verandert niet. De betekenis die mensen eraan geven wel.
Voor een analist kan dat frustrerend zijn. Zeker wanneer veel tijd is besteed aan datakwaliteit, controles en een zorgvuldige analyse. De neiging ontstaat dan om nog preciezer te rekenen of nog meer toelichting aan het rapport toe te voegen.
Meer data helpt alleen niet wanneer het verschil onder de cijfers zit.
De discussie verplaatst zich naar de conclusie
Wanneer definities niet gedeeld worden, wordt het lastig om gezamenlijk conclusies te trekken.
Een stijging kan voor de ene persoon een positieve ontwikkeling zijn, terwijl een ander eerst wil weten welke groep precies is gegroeid. Een norm lijkt gehaald, totdat blijkt dat een afdeling een andere startdatum gebruikt voor de berekening. Een vergelijking tussen teams leidt tot vragen omdat uitzonderingen op verschillende manieren zijn verwerkt.
De gevolgen blijven niet beperkt tot een inhoudelijke discussie tijdens een overleg.
Analyses worden opnieuw uitgevoerd. Rapporten worden naast elkaar gelegd om verschillen te verklaren. Medewerkers bouwen eigen overzichten omdat zij de centrale cijfers niet herkennen. Besluiten worden uitgesteld omdat eerst moet worden vastgesteld welk cijfer leidend is.
Langzaam verschuift de aandacht van de vraag die de organisatie wilde beantwoorden naar de betrouwbaarheid van de informatie zelf.
Dat is een belangrijk verschil.
De oorspronkelijke vraag kan bijvoorbeeld zijn waarom de doorlooptijd oploopt. Als het overleg vervolgens vooral gaat over wat onder doorlooptijd wordt verstaan, wanneer de meting begint en welke dossiers wel of niet meetellen, is er nog geen gezamenlijk vertrekpunt voor de analyse.
Het rapport gaf een uitkomst. De organisatie had nog geen gedeelde betekenis.
Vergelijkbaarheid begint vóór de analyse
Data wordt pas vergelijkbaar als definities vergelijkbaar zijn.
Dat betekent niet dat ieder begrip in een organisatie altijd maar één definitie mag hebben. Soms zijn verschillende definities nodig omdat afdelingen andere vragen beantwoorden.
Het verschil moet alleen zichtbaar zijn.
Een operationele definitie van actieve klant kan prima naast een financiële definitie bestaan. Verwarring ontstaat wanneer beide cijfers dezelfde naam krijgen en vervolgens zonder context met elkaar worden vergeleken.
De vraag is daarom niet alleen: klopt dit cijfer?
Een minstens zo belangrijke vraag is: bedoelen we hetzelfde wanneer we dit cijfer gebruiken?
Dat is vaak de mentale verschuiving die nodig is. Een discussie over cijfers is niet automatisch een dataprobleem. Soms laat die discussie vooral zien dat kennis over de betekenis van begrippen verspreid zit over mensen, teams en rapportages.
Zolang die betekenis alleen bekend is bij degenen die de context kennen, blijft ieder nieuw rapport ruimte geven aan oude verschillen.
Hoe ik help
Ik help ondernemers en organisaties begrijpen wat hun cijfers betekenen en hoe ze daar betere beslissingen mee kunnen nemen.
Daarbij kijk ik niet alleen naar de rapportage zelf, maar ook naar de begrippen waarop de analyse is gebouwd. Welke definities worden gebruikt? Waar verschillen interpretaties? Welke uitzonderingen zijn in de loop van de tijd ontstaan? Welke kennis zit bij analisten of medewerkers in het hoofd, maar is nergens duidelijk vastgelegd?
Door die verschillen zichtbaar te maken, ontstaat een beter gesprek over de data. Niet door iedere nuance weg te nemen, maar door helder te maken welk cijfer welke betekenis heeft en welke vergelijking wel of niet logisch is.
Dat geeft analisten een duidelijker vertrekpunt voor hun werk en helpt gebruikers van rapportages om conclusies te trekken vanuit dezelfde betekenis.
Herken je dat binnen jouw team of organisatie?
In een Boutique Session kijken we samen naar waar de verschillen in interpretatie ontstaan en wat nodig is om definities, data en conclusies beter op elkaar aan te laten sluiten.
Samen zorgen we dat het klopt.
BOUTIQUE SESSION
Helder krijgen waar het vastloopt.
Merk je dat iets in je organisatie niet goed loopt, maar is nog niet duidelijk waardoor? In 60 minuten brengen we in kaart wat er gebeurt en waar mensen, afspraken, informatie of systemen niet goed op elkaar aansluiten. Daarna weet je wat eerst aandacht nodig heeft en welke stap je kunt zetten.
