Greatminds podcast
Greatminds duikt in allerlei onderwerpen die te maken hebben met software architectuur: van AI tot integratie architectuur voor ieder komt er wel wat aan bod of je nu een tech-liefhebber bent, in de software-industrie werkt, een business owner bent, of gewoon nieuwsgierig naar wat de toekomst ons kan brengen.
Greatminds podcast
Waarom evalueren we (Open Source) LLM’s?
Deze podcast duikt diep in de uitdagingen en benodigdheden bij het evalueren van open source Large Language Models (LLMs). Vanuit hun expertises als architect en data scientist bespreken Hildo van Es en Robin Smits specifieke incidenten om het cruciale belang van grondige evaluatie van LLM's te onderstrepen. Denk aan zoals de misstappen van DPD’s chatbot en Cortana’s ontwikkeling van ongewenste ideeën.
Van Es en Smits wijzen op de noodzaak van een brede reeks tests, inclusief ethische en bias-evaluaties, die afwijken van traditionele softwaretests. Verder wordt het gebruik van Hugging Face’s leaderboard en benchmarks aangehaald als essentiële hulpmiddelen voor het beoordelen van modelprestaties.
De discussie belicht ook het initiatief voor Nederlandstalige evaluaties en de implicaties van het testen van LLM's met bedrijfsspecifieke datasets, waarbij de complexiteit en de inherente risico’s van AI-modellen niet mogen worden onderschat.
