Large Language Models

De cursus Large Language Models van SpiralTrain biedt een diepgaand overzicht van grote taalmodellen (LLMs), van transformer architecturen tot geavanceerde onderwerpen zoals fine-tuning, veiligheid, d

Introductie tot LLMs
Deze module geeft een overzicht van LLM’s, met uitleg over transformers, attention en tokenisatie. Modellen als GPT, BERT en T5 worden besproken, net als schaalwetten, trainingsdoelen en het verschil tussen pretraining en fine-tuning. Open source vs gesloten modellen komt ook aan bod.
Modelarchitecturen
Deelnemers leren over decoders, encoder-decoders en modellen zoals LLaMA en PaLM. Er wordt ingegaan op trainingspipelines, precisie (FP16, quant), en tools zoals Hugging Face en Deepspeed. LoRA, QLoRA en instructietuning worden geïntroduceerd.
LLMs Trainen
Deze module behandelt het voorbereiden van data en het fine-tunen van modellen. Onderwerpen zijn tokenizer setup, SFT, adapters, overfitting voorkomen en evaluatie. Benchmarking en alignment worden toegelicht met Hugging Face tools.
LLM Deployen
Deelnemers leren hoe LLMs in productie worden gebracht. Inference-optimalisatie, quantisatie, distillatie en cloudhosting komen aan bod. Ook wordt gekeken naar LangChain, vector stores, caching en kostenbeheersing bij schaalvergroting.
Veiligheid en Bias
Focus ligt op het herkennen en beperken van bias in modellen.