Kurzusleírás
A tanfolyam három különálló napra oszlik, a harmadik szabadon választható.
1. nap – Machine Learning és Deep Learning: elméleti fogalmak
1. AI bevezetés, Machine Learning és Deep Learning
- A mesterséges intelligencia története, alapfogalmai és szokásos alkalmazásai távol állnak a terület fantáziáitól
- Kollektív intelligencia: számos virtuális ügynök által megosztott összesített tudás
- Genetikai algoritmusok: virtuális ágensek populációjának fejlesztése szelekcióval
- Machine Learning szokásos: meghatározás.
- Feladattípusok: irányított tanulás, felügyelet nélküli tanulás, megerősítéses tanulás
- A műveletek típusai: osztályozás, regresszió, klaszterezés, sűrűségbecslés, dimenziócsökkentés
- Példák az algoritmusokra Machine Learning: Lineáris regresszió, Naive Bayes, Random Tree
- Gépi tanulás VS Deep Learning: problémák, amelyekkel kapcsolatban az Machine Learning a mai napig a legkorszerűbb (Random Forests & XGBoosts)
2. A neurális hálózat alapfogalmai (Alkalmazás: többrétegű perceptron)
- Emlékeztető a matematikai alapokra.
- Neurális hálózat definíciója: klasszikus architektúra, korábbi aktiválások aktiválási és súlyozási funkciói, hálózat mélysége
- Neurális háló tanulásának definíciója: költségfüggvények, visszaszaporodás, sztochasztikus gradiens süllyedés, maximális valószínűség.
- Neurális hálózat modellezése: bemeneti és kimeneti adatok modellezése a probléma típusa szerint (regresszió, osztályozás stb.). A dimenzionalitás átka. Különbség a többfunkciós adatok és a jel között. Költségfüggvény kiválasztása az adatok alapján.
- Függvény közelítése neurális hálózat segítségével: bemutatás és példák
- Eloszlás közelítése neurális hálózat segítségével: bemutatás és példák
- Adatbővítés: hogyan lehet egyensúlyozni egy adatkészletet
- Neurális hálózat eredményeinek általánosítása.
- Neurális hálózat inicializálásai és regularizálásai: L1/L2 regularizálás, Batch normalizálás...
- Optimalizálások és konvergencia algoritmusok.
3. Általános ML/DL eszközök
Egy egyszerű bemutatót tervezünk az előnyökkel, hátrányokkal, az ökoszisztémában elfoglalt helyzettel és felhasználással.
- Adatkezelő eszközök: Apache Spark, Apache Hadoop
- Általános eszközök Machine Learning: Numpy, Scipy, Sci-kit
- Magas szintű DL keretrendszerek: PyTorch, Keras, Lasagne
- Alacsony szintű DL keretrendszerek: Theano, Torch, Caffe, Tensorflow
2. nap – Konvolúciós és visszatérő hálózatok
4. Konvolúciós Neural Networks (CNN).
- CNN-ek bemutatása: alapelvek és alkalmazások
- A CNN alapvető működése: konvolúciós réteg, kernel használata, padding & stride, jellemzőtérképek generálása, 'pooling' típusú rétegek. 1D, 2D és 3D bővítmények.
- A különböző CNN-architektúrák bemutatása, amelyek a legkorszerűbb képosztályozást hozták: LeNet, VGG Networks, Network in Network, Inception, Resnet. Az egyes architektúrák által hozott innovációk és globálisabb alkalmazásaik bemutatása (1x1 konvolúciós vagy maradék kapcsolatok)
- Figyelemmodell használata.
- Alkalmazás egy szokásos besorolási forgatókönyvhöz (szöveg vagy kép)
- CNN-ek generáláshoz: szuperfelbontás, pixelenkénti szegmentálás. A kép létrehozásához szükséges jellemzőtérképek bővítésének főbb stratégiáinak bemutatása.
5. Ismétlődő Neural Networks (RNN).
- RNN-ek bemutatása: alapelvek és alkalmazások.
- Az RNN alapvető működése: rejtett aktiválás, időben visszafelé terjedés, kibontott változat.
- Fejlesztések a GRU (Gated Recurrent Units) és az LSTM (Long Short Term Memory) felé. A különböző állapotok és az ezen architektúrák által előidézett fejlesztések bemutatása
- Konvergencia és eltűnő gradiens problémák
- A klasszikus architektúrák típusai: Idősor előrejelzése, osztályozás...
- RNN Encoder Dekóder típusú architektúra. Figyelemmodell használata.
- NLP alkalmazások: szó/karakter kódolás, fordítás.
- Videó alkalmazások: a videósorozat következő generált képének előrejelzése.
3. nap – Generációs modellek és Reinforcement Learning
6. Generációs modellek: Variational AutoEncoder (VAE) és Generative Adversarial Networks (GAN).
- Generációs modellek bemutatása, kapcsolat a 2. napon látható CNN-ekkel
- Automatikus kódolás: méretcsökkentés és korlátozott generálás
- Variational Auto-encoder: generációs modell és az adatok eloszlásának közelítése. A látens tér meghatározása és használata. Újraparaméterezési trükk. Alkalmazások és betartott határértékek
- Generatív ellenséges hálózatok: alapelvek. Kéthálózati architektúra (generátor és diszkriminátor) váltakozó tanulással, költségfüggvényekkel.
- A GAN konvergenciája és a felmerült nehézségek.
- Továbbfejlesztett konvergencia: Wasserstein GAN, BeGAN. Földmozgási távolság.
- Alkalmazások képek vagy fényképek generálására, szöveg generálására, szuper
felbontás.
7.MélyReinforcement Learning.
- Megerősítő tanulás bemutatása: egy ágens irányítása egy állapot és lehetséges cselekvések által meghatározott környezetben
- Neurális hálózat használata az állapotfüggvény közelítésére
- Deep Q Learning: megtapasztalhatja az újrajátszást és alkalmazást egy videojáték vezérlésére.
- A tanulási politika optimalizálása. Szabályzaton belüli és irányelven kívüli. Színészkritikai architektúra. A3C.
- Alkalmazások: egyszerű videojáték vagy digitális rendszer vezérlése.
Követelmények
Mérnöki szint