Wat is het beginpunt?
Het beginpunt is een nieuwe batch. Iemand vult een onderwerp in, kiest een categorie, bepaalt het gewenste niveau en geeft eventueel een korte briefing mee. Denk bijvoorbeeld aan een batch over muziek, voetbal of eten en drinken. Op dat moment is er nog geen kant-en-klare quiz. Er is alleen een duidelijke opdracht: maak 10 goede vragen die passen bij dit onderwerp en dit niveau.
Wat is het gewenste eindpunt?
Het eindpunt is een set van 10 pubquizvragen die klaar is voor gebruik. Elke vraag moet duidelijk zijn, feitelijk kloppen, goed speelbaar zijn en passen binnen de hele batch. Het systeem probeert dus niet alleen losse vragen te maken, maar een complete reeks die gevarieerd genoeg is en geen onnodige dubbelingen bevat. Vragen die nog twijfel oproepen, gaan niet direct live maar worden apart gezet voor controle.
Wat gebeurt er direct na de start?
Zodra de batch wordt gestart, zet de initiator als het ware 10 dozen op de lopende band. Elke doos staat voor 1 vraag. Die dozen krijgen een eerste taakomschrijving mee, zoals het soort vraag, het onderwerp binnen de batch en het gewenste moeilijkheidsniveau. Daarna gaat elke doos stap voor stap door de fabriek.
Welke rollen zijn er in deze fabriek?
De fabriek werkt met meerdere vaste rollen. Elke rol heeft een eigen taak en kijkt op een andere manier naar dezelfde vraag. Daardoor ontstaat niet alleen snelheid, maar ook controle. In deze opzet zijn dat onder andere de Initiator, de Writer, de Factchecker, de Validator, de handmatige Controle en de uiteindelijke Vrijgave.
Wat doet de Initiator?
De initiator bedenkt de basisopzet van de batch. Deze rol bepaalt wat voor soort vragen er nodig zijn, hoe er afwisseling ontstaat en welke plek elke vraag binnen de hele reeks krijgt. De initiator zorgt er dus voor dat niet alle 10 vragen op elkaar lijken. Het is de rol die de eerste richting bepaalt en de dozen goed op de band zet.
Wat doet de Writer?
De writer schrijft de daadwerkelijke meerkeuzevraag. Deze rol maakt de vraagtekst, bedenkt vier antwoordopties, kiest het juiste antwoord en voegt vaak ook een korte uitleg toe. De writer moet niet alleen iets inhoudelijk corrects maken, maar ook iets dat lekker speelt in een quiz. De vraag moet dus helder zijn, compact genoeg en voorzien van geloofwaardige afleiders.
Wat doet de Factchecker?
De factchecker controleert of de inhoud klopt. Deze rol kijkt naar feiten, formulering, mogelijke dubbelzinnigheid en weggeefhints. Als een vraag feitelijk niet sterk genoeg is of te makkelijk te raden wordt door slechte antwoordopties, dan wordt de doos niet doorgelaten. De factchecker helpt dus om fouten en slordigheden eruit te halen voordat de vraag verdergaat.
Wat doet de Validator?
De validator kijkt naar de vraag als quizproduct. Hierbij gaat het niet alleen om feitelijke juistheid, maar ook om speelbaarheid en kwaliteit binnen de hele batch. De validator beoordeelt bijvoorbeeld of de vraag genoeg toevoegt, of hij niet te veel lijkt op een andere vraag en of hij past bij het gekozen niveau. Een vraag kan dus feitelijk goed zijn en toch worden teruggestuurd als hij te weinig onderscheidend is.
Hoe lees je de productbrief van een vraag?
De productbrief laat per vraag zien wat de bedoeling was, welk type vraag het is, welke overlapregels gelden en waar de vraag zich in het proces bevindt. Je ziet ook de inhoud van de doos: de antwoordopties, het juiste antwoord en de uitleg. Zo kun je per vraag teruglezen wat de fabriek precies heeft gebouwd en waarom die vraag wel of niet is doorgelaten.
Wat laat de berichtstroom zien?
De berichtstroom is het logboek van de fabriek. Daarin staat wanneer een vraag door een rol is bekeken, wat die rol heeft besloten en waarom. Voor een leek is dit belangrijk, omdat je hierdoor kunt zien dat de AI niet zomaar iets uitspuugt. Je ziet namelijk welke stap een vraag heeft doorlopen en welke argumenten zijn gebruikt om iets goed of juist nog niet goed genoeg te vinden.
Wat is het verschil tussen controle en vrijgave?
Niet elke vraag gaat automatisch door naar het eind. Sommige vragen komen in handmatige controle terecht. Dat gebeurt wanneer er nog twijfel is, wanneer iets net niet sterk genoeg voelt of wanneer batchbreed nog een keuze gemaakt moet worden. Vragen die wel volledig voldoen, komen in vrijgave terecht. Dat zijn de dozen die klaar zijn om echt gebruikt te worden in een quiz of om verder verwerkt te worden in het systeem.
Waarom worden sommige vragen teruggestuurd?
Terugsturen is juist een belangrijk onderdeel van de kwaliteit. In de berichtstroom is goed te zien dat een vraag soms eerst wordt afgekeurd en daarna opnieuw door de writer wordt aangepast. Dat kan bijvoorbeeld gebeuren bij overlap met een andere vraag, te weinig variatie, een te voorspelbare opzet of een onvoldoende sterke invalshoek. De fabriek is dus geen rechte lijn, maar een proces van verbeteren tot een vraag echt goed genoeg is.
Hoe kan er verschil ontstaan tussen de controles?
Soms lijkt het alsof controles elkaar tegenspreken, maar meestal gaat het dan niet om een echt conflict over de feiten. De factchecker kan zeggen dat een vraag inhoudelijk klopt. De validator kan vervolgens toch blokkeren, omdat diezelfde vraag binnen de totale batch te zwak, te generiek of te weinig onderscheidend is. De ene controle kijkt dus vooral naar juistheid, terwijl de andere kijkt naar spelwaarde en eindkwaliteit.
Bij het laatste voorbeeld is dat goed zichtbaar. De broncontrole zegt in feite: deze vraag over 10cc klopt. De redactionele controle zegt: hij klopt, maar hij voegt binnen deze batch te weinig toe. Dat is dus geen inhoudelijke fout in de vraag zelf, maar een verschil tussen feitelijke verificatie en eindredactie. Juist daarom is handmatige controle soms nodig.
Hoe zie je de voortgang van zo'n batch?
De voortgang is zichtbaar als een lopende band met verschillende stations. Je ziet hoeveel dozen er bij elk station liggen en welke vraag op dat moment waar staat. Daarnaast is er een berichtstroom waarin wordt vastgelegd wat elke rol heeft gedaan en waarom een vraag is goedgekeurd of afgekeurd. Daardoor is het proces niet alleen slim, maar ook uitlegbaar en controleerbaar.
Waarom is deze manier van werken waardevol?
Deze aanpak maakt het mogelijk om sneller batches quizvragen te bouwen zonder dat de kwaliteit volledig afhangt van een enkele maker. De kracht zit in de combinatie van rollen: de ene rol bedenkt, de andere schrijft, de volgende controleert en een laatste rol bewaakt de speelbaarheid. Daardoor ontstaat een systeem dat schaalbaar is, maar toch kritisch blijft. Juist dat maakt deze vragenfabriek interessant als praktisch voorbeeld van hoe meerdere AI-rollen samen een beter eindresultaat kunnen opleveren.