Deep learning: van theorie tot praktijk
Beschrijving
In de snel evoluerende wereld van artificiële intelligentie staat deep learning centraal als een krachtige technologie die een revolutie teweegbrengt in diverse domeinen, variërend van computer vision en natuurlijke taalverwerking tot robotica, bio-informatica en gezondheidszorg. Deze reeks van lessen biedt een diepgaand inzicht in de fundamentele concepten, architectuur en toepassingen van deep learning.
Gedurende deze reeks zullen we onze reis beginnen met het verkennen van de basisprincipes van neurale netwerken, de bouwstenen van deep learning. We zullen begrijpen hoe deze netwerken werken en hoe ze in staat zijn om complexe patronen te leren en te generaliseren vanuit gegevens. Na het opdoen van een stevige basis zullen we ons richten op enkele van de meest invloedrijke en baanbrekende toepassingen van deep learning. We zullen de opkomst van convolutionele neurale netwerken (CNN's) bespreken voor beeldherkenning, recurrente neurale netwerken (RNN's) en transformers voor sequentieel leren, en generatieve modellen voor creatieve toepassingen zoals beeldgeneratie en stijltransfer. Tijdens de laatste lesavonden focussen we op enkele specifieke toepassingsdomeinen waar deep learning een meerwaarde heeft.
Naast de theoretische achtergrond, wordt daarom in deze opleiding ook aandacht besteed aan het verwerven van praktisch inzicht via hands-on ervaring. Er wordt een overzicht gegeven van de verschillende deep learning principes en technieken, de valkuilen en de best-practices. Via oefeningen leren we ook de essentiële praktische know-how aan, die u zal kunnen gebruiken om zelf met deep learning aan de slag te gaan voor uw projecten.
In parallel met de verschillende lessen, kan je ook vrijblijvend deelnemen aan een diepgaander project waar je (alleen of in groep) alle tot dan toe geziene technieken kan combineren en gebruiken om een praktisch probleem op te lossen. Je werkt zelfstandig aan dit project, maar we voorzien ook een sessie om de deelnemers feedback te geven over dit project.
Programma
Inleiding tot neurale netwerken
In deze eerste les herhalen we enkele basisprincipes van machine learning, zoals overfitting, de bias-variance trade-off en feature engineering. Verder bespreken we volledig-geconnecteerde neurale netwerken (Eng. Fully-connected neural networks). We staan stil bij de optimalisatie-algoritmen om neurale netwerken te trainen, en we leggen uit hoe hyperparameters kunnen ingesteld worden.
Datum: 15 oktober 2024
Lesgever: Willem Waegeman
Convolutionele neurale netwerken
In deze les duiken we dieper in de wereld van convolutionele neurale netwerken (CNN's), een krachtige techniek binnen machine learning voor beeldherkenning en -analyse. Tijdens deze les zullen we de fundamentele concepten van CNN's verkennen, waaronder convolutielagen, pooling-lagen en volledig verbonden lagen. We zullen de architectuur van CNN's onderzoeken en begrijpen hoe ze in staat zijn om complexe visuele patronen te leren en te herkennen. Daarnaast zullen we enkele populaire CNN-modellen bespreken, zoals LeNet, AlexNet en VGGNet, en hun toepassingen in verschillende domeinen.
Datum: 22 oktober 2024
Lesgever: Willem Waegeman
Recurrente neurale netwerken en long-short-term memory netwerken
Deze les bespreekt hoe RNN's werken en hoe ze worden toegepast in sequentieel georiënteerde taken, zoals natuurlijke taalverwerking, tijdreeksvoorspelling en spraakherkenning. We zullen de architectuur van RNN's verkennen, inclusief de terugkerende aard van hun verbindingen en de uitdagingen van het leren van lange-termijnafhankelijkheden. Vervolgens zullen we de LSTM-architectuur introduceren als een oplossing voor het omgaan met het probleem van het 'vergeten' van relevante informatie over lange periodes.
Datum: 5 november 2024
Lesgever: Willem Waegeman
Generatieve modellen
We duiken de fascinerende wereld van generatieve modellen in, met een specifieke focus op variational autoencoders (VAE's). Generatieve modellen zijn een krachtige klasse van neurale netwerken die in staat zijn om nieuwe gegevenspunten te genereren die lijken op een bepaalde dataset. Tijdens deze les zullen we de theoretische grondslagen van generatieve modellen verkennen en begrijpen hoe ze kunnen worden gebruikt voor taken zoals beeldgeneratie, anomaliedetectie en het aanvullen van ontbrekende gegevens. We zullen eerst auto-encoders introduceren, vooraleer de architectuur van variational autoencoders (VAE's) te bespreken. We zullen de intuïtie achter VAE's begrijpen en hoe ze probabilistische concepten gebruiken om de complexiteit van de gegevens te modelleren. Tot slot zullen we praktische voorbeelden behandelen en werken aan hands-on oefeningen om VAE's te implementeren en te trainen voor specifieke generatieve taken.
Datum: 12 november 2024
Lesgever: Willem Waegeman
Transformer architecturen
Deze les behandelt transformer architecturen, origineel ontwikkeld binnen het domein van natuurlijke taalverwerking, maar tegenwoordig ook essentieel in bijvoorbeeld computer visie, spraakverwerking en bio-informatica. We beginnen met de basis bouwblokken van deze modellen (zoals het ‘self-attention’ mechanisme) en gaan dan over naar een aantal standaard architecturen, geïllustreerd met invloedrijke modellen zoals BERT en GPT. De voordelen en beperkingen van dergelijke modellen zullen worden besproken, ook ten opzichte van voorlopers zoals de RNN’s, en we ronden af met een aantal praktische voorbeelden en oefeningen.
Datum: 19 november 2024
Lesgever: Thomas Demeester
Focusavond inzake toepassingen binnen natuurlijke taalverwerking
Tijdens deze sessie verkennen we hoe transformer architecturen de wereld van natuurlijke taalverwerking (NLP) hebben omgevormd. We bespreken hoe het overheersend paradigma van ‘pretrain and finetune’ in NLP door de komst van modellen zoals ChatGPT sinds een tweetal jaar is vervangen door het paradigma ‘pretrain, prompt, and predict'. We kijken specifiek naar enkele toepassingen (zoals tekst classificatie en machine vertaling), uitbreidingen van de basisarchitecturen (bv. via contrastieve training), technieken voor ‘finetuning’ van de basismodellen, en het ontwerpen van prompts voor grote autoregressieve taalmodellen. Opnieuw doen we hands-on ervaring op via een aantal oefeningen tijdens het tweede deel van de avond.
Datum: 26 november 2024
Lesgever: Thomas Demeester
Focusavond inzake toepassingen binnen computer visie
Computervisie is een wetenschappelijke discipline die als doel heeft om computersystemen in staat te stellen betekenisvolle en semantisch rijke informatie te extraheren uit beeldmateriaal. Mede door de beschikbaarheid van zeer grote en vlot toegankelijke datasets (zoals bvb. ImageNet, MS Coco etc.) is dit een discipline die vandaag grotendeels gedomineerd wordt door deep learning technieken. In deze sessie gebruiken we basisproblemen zoals beeldclassificatie, object-detectie, object-heridentificatie en semantische segmentatie om te illustreren hoe neurale netwerken voor computervisie worden opgebouwd en op een gebruiksvriendelijke manier toegankelijk zijn in bvb. Detectron2 of de verschillende YOLO-versies. Daarnaast bekijken we hoe, in navolging van evoluties in de NLP, transformer-architecturen de basis zijn gaan vormen voor moderne foundation models in de computervisie, met Segment Anything als een bekende toepassing. We eindigen met een bespreking van generatieve AI binnen computervisie en toepassingen zoals text-to-image. In een praktisch deel gaan de cursisten zelf aan de slag met enkele basisnetwerken die beschikbaar zijn in Detectron2.
Datum: 3 december 2024
Lesgever: Jan Verwaeren
Focusavond inzake toepassingen binnen aanbevelingssystemen
Deze sessie bespreekt een specialisatie binnen het domein van machine learning / deep learning namelijk aanbevelingssystemen. Het zijn de technieken die mensen assisteren bij het maken van beslissingen zoals welke film bekijken (bv. Netflix), wat te beluisteren (bv. Spotify) of wat aan te kopen (bv. Amazon). We bespreken de werking van aanbevelingssystemen vertrekkende van de klassieke algoritmen zoals content-based systemen, collaborative filtering, en matrix decompositie methoden (meer specifiek, singular value decomposition). Het gebruik van specifieke neurale netwerken voor aanbevelingstoepassingen komt ook aan bod. Bij elke techniek worden de voor- en nadelen toegelicht. Via een demo op basis van een open-source recommender toolkit wordt aangetoond hoe aanbevelingssystemen gebruikt kunnen worden op een realistische use-case.
Datum: 10 december 2024
Lesgever: Toon De Pessemier
Schrijf je hier in voor lessen uit deze cursus
Deep learning: van theorie tot praktijk
De deelnameprijs bedraagt 1.600 euro.
Klik hier voor alle info: www.ugain.ugent.be/deeplearning2024.htm