vrijdag 2 februari 2024
Jaarlijks organiseert NWO samen met het Lorenz Center de workshop ICT with Industry. Dit is een 5-daagse workshop die zich richt op het bedenken van innovatieve oplossingen voor wetenschappelijk uitdagende, commerciële business cases. Bij Axini zijn we altijd op zoek naar innovatie van ons model-gebaseerde testplatform. ICT with Industry geeft ons de mogelijkheid om samen te werken met slimme onderzoekers.
Als partner van de industrie leveren we cases aan waar een team van slimme onderzoekers aan werkt om een oplossing te bedenken. Dit jaar hadden we de luxe dat 2 van onze cases werden geaccepteerd. Eén case over testautomatisering voor 3D games en één over de toepassing van GenAI en/of Large Language Models (LLM's) in model-gebaseerd testen. Een belangrijk criterium voor Axini is dat we aan het eind van de week een werkend prototype willen zien.
Beide teams hebben keihard gewerkt en opmerkelijk interessante resultaten geboekt, waaronder werkende prototypes.
GenAI/LLM's en model-gebaseerd testen
Het team dat aan GenAI voor MBT heeft gewerkt
Zoals je je kunt voorstellen is inmiddels iedereen, ook wij, geïnteresseerd in GenAI. In het bijzonder zijn we geïnteresseerd in het gebruik van GenAI voor het maken van Axini modellen. Het team onderzocht dit en produceerde een interessante en haalbare aanpak om Large Language Models (LLM's) te gebruiken om requirements en specificatiedocumentatie (geschreven in natuurlijke taal) om te zetten in Axini modellen. Ze toonden ook aan dat deze aanpak ook werkt voor het omzetten van broncode in Axini modellen. Als zodanig ontwikkelde het team een LLM-pijplijn die de documenten in natuurlijke taal omzet in Axini-modellen, door de documenten als tussenstap om te zetten in broncode. Hoewel de modellen niet altijd 100% correct zijn, vormen ze een geweldig uitgangspunt. Het is eenvoudig om (delen van) de modellen die de AI-aanpak oplevert uit te breiden en te verbeteren.
Model-gebaseerd testen van 3D racegames
Het team dat aan MBT van 3d games heeft gewerkt
De systemen die we modelleren en testen hebben veelal duidelijke interfaces. In het geval van 3D-games is dit niet zo. Er is veel impliciete kennis die voor mensen makkelijk te begrijpen is, maar voor computers moeilijk. Bij racegames is de besturing bijvoorbeeld eenvoudig: gas geven, remmen, links, rechts. Maar als je een computer met deze instructies over een circuit laat rijden, is de auto meer van de baan dan erop. Zelfs als je daar bugs vindt, zijn ze minder interessant voor makers van spellen. We zochten dus naar een manier om aan ons platform te beschrijven wat de bedoeling van het spel is.
Het team dat deze case onderzocht, koos een open-source 3D racegame als het te testen systeem. Ze kwamen met het idee om een game task-manager te introduceren met controle over het spel op een hoger niveau, waar ons platform op kan inhaken. Het resultaat is dat via ons platform de raceauto van punt naar punt op een circuit kan rijden. Tegelijkertijd kijkt ons platform ook of de game coherent is. Dat wil zeggen dat de game niet bevriest of vastloopt, en dat botsingen correct worden gedeteceerd.