Wat handmatig cross-browser-testen bureaus werkelijk kost

Webbureaus leven zelden van één enkel project. Het normale geval is een portfolio: twintig, dertig, vijftig klantwebsites die worden onderhouden, geactualiseerd en draaiende gehouden. Bij dat onderhoud hoort werk dat in vrijwel geen enkele offerte als aparte post opduikt en toch regelmatig terugkeert: na elke wijziging controleren of de site er overal nog uitziet zoals hij hoort. Dat onzichtbare werk heeft een zeer zichtbare prijs — je hoeft hem maar één keer uit te rekenen.

Een rekenvoorbeeld, bewust conservatief gekozen: een klantwebsite heeft acht paginatypen die het lay-outrisico afdekken — homepage, twee inhoudssjablonen, dienstenoverzicht, contactformulier, blogartikel, juridische pagina's, foutpagina. Er wordt getest in drie browsers en drie apparaatklassen. Dat levert 72 weergaven per website en per ronde op. Wie per weergave slechts een halve minuut nodig heeft — openen, scrollen, kijken —, is ruim een half uur bezig. Per website. Per ronde.

Nu vermenigvuldigt dat getal zich in twee richtingen. Ten eerste over het portfolio: bij dertig onderhouden websites wordt uit dat halve uur een hele werkdag met niets dan kijken. Ten tweede over de tijd: contentmanagementsystemen en hun plug-ins willen regelmatig worden bijgewerkt, vaak maandelijks, om veiligheidsredenen meestal zonder uitstel. Elk van die updates kan de lay-out verschuiven — en zou strikt genomen een controleronde moeten uitlokken. Wie beide bij elkaar optelt, komt al snel op meerdere mensdagen per maand die uitsluitend voor herhaalde visuele controle opgaan.

In werkelijkheid wordt die rekening zelden betaald — en precies dat is het probleem. De minste onderhoudscontracten voeren browsertesten als aparte post op. Het werk belandt dus of onbetaald in de marge van het bureau, of het wordt stilzwijgend ingekort: men controleert nog maar één browser, nog maar de homepage, nog maar als er tijd is. Beide zijn bedrijfseconomische beslissingen, ook al worden ze zelden zo genoemd. De eerste kost winst, de tweede koopt risico in.

Je kunt dezelfde rekening ook vanaf de budgetkant opzetten: hoeveel controle past er überhaupt in een gebruikelijk onderhoudscontract? Een contingent van twee uur per maand is met updates, kleine tekstwijzigingen en incidentele support meestal uitgeput voordat de eerste browsercontrole is begonnen. De visuele controle concurreert dus niet met leegloop, maar met ander, zichtbaarder werk — en verliest die concurrentie structureel, omdat het uitvallen ervan aanvankelijk niemand opvalt. Precies daarom helpt het weinig om aan discipline te appelleren. Een controle die betrouwbaar moet plaatsvinden, moet ofwel als aparte betaalde post in het contract staan, ofwel qua inspanning zo klein worden dat ze er terloops bij gebeurt. In de praktijk is meestal beide nodig: de post, zodat het werk betaald wordt, en de automatisering, zodat het binnen die post past.

Daar komt een factor bij die uurtarieven niet weergeven: herhaalde visuele controle is vermoeiend, en vermoeide ogen zien dingen over het hoofd. Wie voor de veertigste keer dezelfde homepage bekijkt, ziet wat hij verwacht te zien — niet de drie pixel verschuiving in de header of de knop die op smalle schermen sinds kort afbreekt. De betrouwbaarheid van de controle daalt juist daar waar haar omvang stijgt. Mensen zijn uitstekend in staat een lay-out één keer kritisch te beoordelen, en slecht in staat dezelfde lay-out maandelijks onveranderd kritisch te beoordelen.

Wat kost het omgekeerd om niet te controleren? De duurste variant is de meest voorkomende: de klant ontdekt de fout als eerste. Een kapot contactformulier op de iPhone, een overlappend menu in Firefox — wekenlang onopgemerkt, tot er een geërgerde e-mail komt. De eigenlijke schade is daarbij zelden de reparatiekost, maar het vertrouwensverlies: het onderhoudscontract dat precies zulke gevallen moest voorkomen, heeft zichtbaar niet gewerkt. Daar komen brandweerinzetten op het verkeerde moment bij, die gepland werk verdringen en op hun beurt vervolgkosten veroorzaken.

Op dit punt verandert automatisering de rekening — niet omdat software grondiger kijkt dan een mens, maar omdat ze het aanmaken van de weergaven parallelliseert en het vergelijken overneemt. Screenshotdiensten maken uit één URL in korte tijd de complete set browser- en apparaatweergaven; bij ScanU duurt zo'n ronde ongeveer 30 seconden en dekt ze Chrome, Firefox en Safari in mobiele, tablet- en desktopweergave af. Het verloop van zo'n controleronde legt ScanU uit op zijn website. Uit een halve dag doorklikken wordt een kwartier rapporten doornemen.

De beslissende hefboom is daarbij niet de afzonderlijke screenshot, maar de vergelijking. Wordt na elke vrijgegeven wijziging een referentiestand opgeslagen, dan hoeft bij de volgende update niemand meer 72 weergaven te beoordelen — maar alleen nog de plekken waar iets veranderd is. De machine beantwoordt de vraag „is er iets anders dan eerst?", de mens de vraag „is dat erg?". Dat is een duidelijk betere werkverdeling dan de vorige, waarin de mens beide vragen tegelijk moest beantwoorden, weergave voor weergave.

Bij een eerlijke rekening horen de gereedschapskosten. ScanU staffelt naar credits, projecten en aantal apparaten: het gratis niveau omvat 500 credits per maand bij één project, het Pro-niveau 3000 credits en vijf projecten voor 19 euro, Pro+ 10000 credits en tien projecten voor 29 euro, het Max-niveau 50000 credits en twintig projecten voor 49 euro per maand — details somt het prijsoverzicht van ScanU op. Of dat rendeert, kan elk bureau met het eigen uurtarief narekenen: de maandkosten van het grootste niveau komen bij de meeste bureaus overeen met minder dan één enkel uur declarabel werk.

De project- en creditstaffeling dwingt daarbij een nuttige discipline af: welke klantprojecten hebben fijnmazige controle nodig, welke komen toe met één ronde per maand? Een actief doorontwikkelde webshop rechtvaardigt meer controlerondes dan een statische visitekaartjeswebsite die twee keer per jaar wordt aangeraakt. Wie zijn portfolio één keer zo sorteert, heeft er meteen een basis bij voor de volgende onderhandeling over het onderhoudscontract — de controleomvang laat zich plotseling becijferen en als dienst opvoeren in plaats van als stilzwijgende vanzelfsprekendheid.

Hoe een invoering over een heel portfolio concreet kan verlopen, laat zich in vier stappen schetsen. Ten eerste de inventarisatie: alle onderhouden websites op een lijst, per project genoteerd hoe vaak er daadwerkelijk iets verandert en welke paginatypen er bestaan. Ten tweede de classificatie: projecten met frequente wijzigingen of besteltrajecten krijgen een fijnmazig controleprofiel, rustige bestaande sites een maandelijks. Ten derde baselines aanleggen — en wel op basis van een toestand die iemand heeft gecontroleerd en vrijgegeven, niet zomaar van de huidige toestand, die mogelijk al een onopgemerkte fout bevat. Ten vierde de controle inhaken in de bestaande updateroutine, zodat na elke plug-in- of CMS-update automatisch nieuwe weergaven ontstaan en met de baseline worden vergeleken. Realistisch gezien trekt dat zich over enkele weken uit wanneer het portfolio dertig projecten omvat — niet omdat de techniek traag zou zijn, maar omdat het aanleggen van zuivere referentiestanden per project een korte, maar echte kwaliteitsbeslissing vergt, die niemand in bulk zou moeten doorwuiven.

Een neveneffect is documentair van aard: deelbare controlerapporten laten zich in de klantcommunicatie inbedden. In plaats van te verzekeren dat „we alles getest hebben", kan het bureau laten zien wat wanneer in welke browsers is gecontroleerd. Dat vervangt geen vertrouwensrelatie, maar maakt het onzichtbare werk voor het eerst zichtbaar — en zichtbaar werk laat zich gemakkelijker betalen dan onzichtbaar werk.

Open blijft in veel bureaus de vraag wie de rapporten eigenlijk bekijkt. Voor gebeurtenisgebonden ronden is het antwoord eenvoudig: wie de update heeft ingespeeld, beoordeelt de gemelde afwijkingen — die persoon kan ze het snelst duiden. Voor de periodieke ronden zonder concrete aanleiding bewijst een roulerende dienst zijn waarde, zoals veel teams die van de supportmailbox kennen: één met naam genoemde persoon per week, met het mandaat om opvallendheden meteen als taak vast te leggen in plaats van er alleen kennis van te nemen. Belangrijker dan de concrete regeling is haar bestaan. Rapporten die van niemand zijn, worden binnen enkele weken achtergrondruis — en dan is de hele automatisering zonder effect, hoe betrouwbaar ze technisch ook draait.

Even duidelijk zou moeten zijn wat automatisering níét doet. Screenshotvergelijkingen toetsen weergave, geen functie: of het formulier daadwerkelijk verstuurt, de betaling doorloopt, de zoekfunctie vindt — dat wordt alleen door functionele tests of handwerk uitgemaakt. Ook het beoordelen van gemelde afwijkingen blijft mensenwerk, en valse alarmen door reclamebanners, carrousels of wisselende inhoud kosten op hun beurt tijd tot de testomgevingen netjes zijn ingericht. Wie automatisering invoert, ruilt routinewerk in voor inrichtings- en onderhoudswerk — die ruil loont meestal, maar hij is niet gratis.

Bij een realistische planning hoort daarom: de eerste weken zijn de zwaarste. Portfolio's zijn heterogeen — de ene klantsite draagt een nieuwscarrousel, de volgende wisselende reclamebanners, de derde een boekingswidget met dagdata. Elk van die bronnen produceert aanvankelijk valse alarmen, tot de controle-instellingen per project zitten. Wie dat niet inrekent, ervaart de invoering als een teleurstelling en breekt af voordat het nut zichtbaar wordt. Zinniger is het om de omschakeling als een klein intern project te behandelen: met een verantwoordelijke, een tijdsbudget en het uitgesproken doel om na enkele weken voor elk project een rustig, betrouwbaar controlesignaal te hebben. Antwoorden op typische inrichtingsvragen bundelt de aanbieder in de veelgestelde vragen over ScanU.

En niet voor elk bureau valt de rekening hetzelfde uit. Wie twee websites onderhoudt die zelden veranderen, controleert in een uur met de hand wat automatisering nauwelijks sneller afhandelt. De wiskunde kantelt met de hoeveelheid: met elk extra project, elke extra updatecyclus, elke browser meer in de controlelijst. Er is een punt waarop handwerk de eerlijkere keuze is — en een punt vanaf waar het er alleen nog maar zo uitziet.

Voor de start biedt een gecontroleerd experiment zich aan: één enkel, wisselvallig klantproject via het gratis niveau in beeld brengen, een maand lang parallel aan de bestaande praktijk laten lopen en dan vergelijken — gevonden afwijkingen, verbruikte tijd, valse alarmen. Een Nederlandstalig overzicht van de dienst geeft de Nederlandstalige startpagina van ScanU. Na die maand ligt er een eigen getal op tafel in plaats van een schatting.

Uiteindelijk is het een eenvoudige beslissing over de vorm van de kosten. Gecontroleerd moet er hoe dan ook worden — de vraag is alleen of een bureau daarvoor terugkerend werkuren betaalt waarvan de betrouwbaarheid met de herhaling daalt, of eenmalig structuur opbouwt en doorlopend gereedschapskosten draagt. Beide zijn legitiem. Alleen de derde variant, het controleren stilzwijgend laten vervallen, is geen kostenbesparing. Het is een lening op het vertrouwen van de klanten, en die wordt ooit opeisbaar.