.webp)
Greatminds podcast
Greatminds duikt in allerlei onderwerpen die te maken hebben met software architectuur: van AI tot integratie architectuur voor ieder komt er wel wat aan bod of je nu een tech-liefhebber bent, in de software-industrie werkt, een business owner bent, of gewoon nieuwsgierig naar wat de toekomst ons kan brengen.
Greatminds podcast
Pretraining AI
In de deze aflevering van de greatminds podcast gaat Hildo van Es, IT-architect en medeoprichter van greatminds, in gesprek met Robin Smits van Lumi ML Consulting. Ze ontrafelen de geheimen van pre-training bij LLM's (Large Language Models). Ook hebben ze het erover waarom deze cruciale stap onmisbaar is voor de vooruitgang van kunstmatige intelligentie. Robin vertelt hoe pre-training werkt en legt uit waarom het zo’n belangrijke rol speelt in het totale AI-proces.
🔑 Belangrijkste inzichten:
- Zonder pre-training kan een model niets: dit is de ruggengraat van elk AI-systeem.
- De kwaliteit van je dataset bepaalt de waarde van je model — niet alleen de omvang.
- Pre-training is kostbaar, maar de strategische keuzes in dit stadium maken het verschil.
📱 Connect met onze gast en host:
⏱ Tijdstempels:
00:00 – Introductie Hildo en Robin
01:15 – Wat is pre-training en waarom is het zo belangrijk?
04:14 – Verschil met RAG, promptengineering en fine-tuning
08:05 – Hoe werkt pre-training in de praktijk?
09:57 – Soorten data: tekst, code, multimodaal
16:03 – Vereisten aan hardware: tienduizenden GPU’s
19:00 – Small Language Models en edge deployment
21:18 – Evaluatie: hoe weet je of pre-training goed gelukt is?
22:05 – Risico’s van slechte datasets en verkeerde kennis
23:37 – Continuous pre-training en het risico van vergeten
25:09 – Trends: model collapse, multilingual & multimodal AI
28:09 – Kosten, energieverbruik en kerncentrales
29:17 – Continuous pre-training in het SDLC-proces
34:00 – Afsluiting
