De VdLC-methode is bedacht om de invloed van externe tekstschrijvers en AI bij inschrijvers op aanbestedingen te elimineren. Hiervoor worden vertegenwoordigers van de inschrijvende partij uitgenodigd om op het kantoor van de aanbestedende dienst zonder hulpmiddelen een aantal vragen over de opdracht te beantwoorden. Het is geen interview, er is geen fysiek contact tussen de beoordelaars en de vertegenwoordigers van de inschrijvers.
De concept tekst voor in de aankondiging maakt al veel duidelijk:
[Naam aanbestedende dienst] heeft bij deze aanbesteding voor het beoordelen van de kwaliteit gekozen voor een deskundigheidstoets op locatie van de aanbestedende dienst. Wij willen daarmee de kosten die gepaard gaan met het inschrijven op een aanbesteding omlaag brengen en de rol van tekstschrijvers en AI elimineren.
Daarom vragen wij u bij deze aanbesteding niet om uitgebreide plannen van aanpak en visies bij uw inschrijving in te leveren. Wij zullen de deskundigheid van de inschrijvers toetsen door middel van een deskundigheidstoets die afgenomen wordt op de locatie van [Naam aanbestedende dienst].
Dit houdt in dat wij na de indiening van uw inschrijving (OPTIE) personen uitnodigen om namens uw bedrijf gedurende (OPTIE) uur een aantal vragen te beantwoorden. Het is geen interview en voor alle inschrijvers gelden dezelfde voorwaarden. U spreekt met de inkoper/procesbegeleider, u krijgt voldoende tijd om u voor te bereiden op de antwoorden, en de beoordelaars zijn niet fysiek aanwezig. Zij beoordelen uw inschrijving aan de hand van de audio-opnames van uw antwoorden (of een transcriptie daarvan)
U bepaalt zelf welke personen uw bedrijf vertegenwoordigen. Het is niet toegestaan om externe consultants hiervoor in te zitten. Om een indicatie te hebben dat deze personen binding met uw bedrijf hebben verzoeken wij u om een week voor de geplande datum aan te geven welke personen de deskundigheidstoets zullen afleggen en een verklaring van een tekenbevoegde te overleggen dat deze personen al minimaal (OPTIE) jaar in vaste dienst zijn bij uw organisatie. Als u de aanbesteding wint dient u ook aan de hand van een arbeidsovereenkomst te bewijzen dat deze personen in vaste dienst zijn. Indien dat niet zo is leidt dat tot uitsluiting.
De beoordeling van de deskundigheidstoets bepaalt (OPTIE) procent van uw score. De vragen hebben betrekking op de volgende gunningscriteria:
(INVULLEN)
De kluis met uw prijs blijft gesloten tot na de beoordeling van de deskundigheidstoets. Geen van de beoordelaars heeft dus informatie over uw prijs. Als het toch nodig is om de financiële elementen van de inschrijving vooraf te controleren dan zal dat gedaan worden door een collega van de inkoopafdeling die verder op geen enkele wijze bij deze aanbesteding betrokken is.
Graag horen wij van u welke personen u wilt afvaardigen om de deskundigheidstoets te doen, met daarbij een bewijs of verklaring dat deze personen meer dan (OPTIE) jaar in dienst zijn, teruggerekend vanaf de datum dat deze aanbesteding gepubliceerd is. ”
Welke personen komen er namens het bedrijf? Hoe houdt de aanbestedende dienst daar controle op?
De VdLC-methode is min of meer bedacht om zo zuiver mogelijk de kwaliteit van de inschrijvers te meten, dus zonder hulp van AI, maar ook zonder hulp van ingehuurde consultants.
In de eerste versie van de methode schreef ik dat de vertegenwoordigers van het bedrijf minimaal drie jaar in vaste dienst bij het bedrijf moesten zijn en dat het bedrijf dat moest aantonen door bijvoorbeeld arbeidsovereenkomsten.
Inmiddels denk ik daar genuanceerder over.
Iedere aanbesteding is anders, iedere branche is anders. Ik zit ook niet meer vast aan die drie jaar. Ik kan me indenken dat je twee of een jaar jaar voldoende vindt. Ik kan me indenken dat je 2, 4 of 5 mensen vraagt.
Soms gaat een aanbesteding over een veelheid van onderwerpen. Het UWV heeft bijvoorbeeld ooit een aanbesteding gedaan voor facilitaire dienstverlening waarbij de volgende percelen opgenomen waren: i) schoonmaak, ii) restauratieve voorzieningen, iii) reststoffenmanagement, iv) groenvoorziening, v) warme en koude drankenvoorziening, vi) beveiligingsdiensten, vii) klein facilitair onderhoud en viii) BHV-middelen. In zo’n geval kunnen drie personen nooit deskundig genoeg zijn om antwoord te geven op vragen over al die onderwerpen.
Hoe controleer je of de vertegenwoordigers van de inschrijver ook echt in vaste dienst zijn?
Je laat het bedrijf een bewijs leveren (arbeidscontract? Linkedinprofiel?)
Je laat een tekenbevoegde van het bedrijf een verklaring indienen waarin hij of zijn zegt dat de personen A, B en C al twee of drie jaar in dienst zijn.
Je laat arbeidsovereenkomsten aanleveren (alleen bij de winnaar)
Het protocol
De drie afgevaardigde personen van de inschrijvers ontvangen een A4-tje met daarop een aantal open vragen. Deze vragen zijn niet van te voren bekend gemaakt.
Een van de grootste nadelen van Best Value Procurement was dat slimme inschrijvers zich perfect voorbereidden op het interview en zelfs op vraag 6 (Wat zijn uw performance-indicatoren en hoe gaat u die objectiveren?) zonder aarzeling een uit het hoofd geleerd antwoord gaven, terwijl de MKB-er die dat allemaal niet wist maar wat voor zich uit stotterde.
De aanbestedende dienst heeft hierbij een grote vrijheid. Aanbesteden is maatwerk. Het kernteam weet het beste welke vragen het meest belangrijk zijn voor deze aanbesteding. Ook het aantal vragen kan per aanbesteding aangepast worden.
Overwegingen:
Hoe minder vragen, hoe minder onderscheid
Te veel vragen kan leiden tot een te lange voorbereidingstijd voor de inschrijvers.
Let op: als je kijkt naar het voorbeeld van Alfred de Weert en je gaat vragen stellen over al die onderwerpen dan is het vrijwel onmogelijk dat die drie personen over elke onderwerp iets zinnings kunnen zeggen.
Daarom is het ook zo belangrijk dat alleen de vragen overblijven waarop de aanbestedende dienst verschillen verwacht en waarop gescoord kan worden. De overige zaken zijn als het goed is vervat in eisen.
Test het zelf eerst uit: stel vragen op en laat drie collega’s de antwoorden voorbereiden. Schat in wat een realistische voorbereidingstijd is.
De vragen kunnen ondersteund worden door bijvoorbeeld video of schema’s o.i.d.
De vertegenwoordigers van de inschrijvers komen aan en worden ontvangen door de inkoper/procesbegeleider
Keuze:
Op locatie van aanbestedende dienst
Nadeel: mensen kunnen elkaar tegenkomen
Op een neutrale locatie (hotel o.i.d.)
Nadeel: het kost wat.
De inkoper heeft een papier met daarop de vragen.
De drie vertegenwoordigers krijgen vervolgens een redelijke tijd om zich voor te bereiden op de antwoorden. Belangrijk is dat er hierbij geen telefoons, laptops of e-horloges gebruikt mogen worden. We willen alle externe ongelijkheid voorkomen.
Feitelijk betekent dit dat de inkoper in dezelfde ruimte is als de drie vertegenwoordigers van de inschrijver.
Na bijvoorbeeld een half uur of een uur voorbereiding geeft een van de drie vertegenwoordigers antwoorden op de gestelde vragen. Dit mag ook per vraag iemand anders zijn. Ieder antwoord duurt maximaal 1 minuut. Dat lijkt weinig maar in een minuut kun je ongeveer 275 woorden kwijt. Het antwoord op een eenvoudige vraag kan ook een halve minuut duren.
Aandachtspunt: zorg voor een timer of een kookwekker
De inkoper leest de vragen voor en neemt de antwoorden op. Het gaat daarbij om een audio-opname en niet om een video-opname.
Keuze:
A Een van de drie inschijvers geeft alle antwoorden
B De aanwezige inschrijvers geven ieder een of meer antwoorden
Als de inschrijver dat wil mogen ze een herstelmogelijkheid gebruiken. Ze doen dan de hele tekst opnieuw.
Noot: terugluisteren is niet toegestaan. Dan verzandt je in discussies. De inschrijver krijgt gewoon een kans om het over te doen en de eerste versie wordt gewist.
Voor de zekerheid: doe het dubbel, dus bijvoorbeeld met twee Iphones of een Iphone en een opnameapparaat (ZOOM)
ALTERNATIEVE OPTIE:
Je kunt er ook voor kiezen om de inschrijvers na de voorbereidingstijd de antwoorden zelf te laten typen op een door de aanbestedende dienst geleverde laptop die niet op internet is aangesloten. Nadeel: er komt toch weer een element van schrijfvaardigheid bij kijken. Voordeel: het is minder eng voor de inschrijvers.
Als alle vragen beantwoord zijn vertrekken de inschrijvers.
Hierna zijn er drie mogelijkheden:
1 De inkoper gaat aan de slag om de audiobestanden om te zetten naar een wordbestand.
De wordbestanden worden gelezen en beoordeeld door de beoordelingscommissie (net als nu)
Voordeel: Vrijwel niet te achterhalen welk antwoord van welke inschrijver is
Nadeel: Er kan een vergissing ontstaan als een woord onduidelijk is uitgesproken.
2 De beoordelaars luisteren naar de audiobestanden
Voordeel: Vergissingen zijn uitgesloten, als iemand zich verspreekt is dat een deel van de inschrijving
Nadeel: Het stemgeluid kan invloed hebben op het oordeel: schelle stem, raar accent etc etc
3 De beoordelaars lezen de tekst die de inschrijvers getypt hebben en geven hun oordeel.
In deze korte video legt Theo van der Linden uit dat AI een enorme gamechanger zal zijn bij het aanbesteden.