Programming with Big Data in R Képzés

Ez a kurzus azoknak a fejlesztőknek és adattudósoknak szól, akik szeretnék megérteni és megvalósítani a mesterséges intelligenciát alkalmazásaikban. Különös hangsúlyt kap az adatelemzés, az elosztott mesterséges intelligencia és a természetes nyelvi feldolgozás.

Az Apache Beam egy nyílt forráskódú, egységes programozási modell párhuzamos adatfeldolgozási folyamatok meghatározására és végrehajtására. Ereje abban rejlik, hogy képes kötegelt és adatfolyam-folyamatokat is futtatni, a végrehajtást pedig a Beam egyik támogatott elosztott feldolgozási háttérrendszere hajtja végre: Apache Apex, Apache Flink, Apache Spark és Google Cloud Dataflow. Az Apache Beam olyan ETL (Extract, Transform, and Load) feladatoknál hasznos, mint például az adatok mozgatása különböző tárolóeszközök és adatforrások között, az adatok kívánatosabb formátumba való átalakítása és az adatok új rendszerbe való betöltése.

Ezen az oktató által vezetett, élő (helyszíni vagy távoli) képzésen a résztvevők megtanulják, hogyan implementálják az Apache Beam SDK-kat egy Java vagy Python alkalmazásban, amely adatfeldolgozási folyamatot határoz meg a nagy adathalmazok kisebb darabokra bontásához. független, párhuzamos feldolgozáshoz.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja Apache Beam.
• Használjon egyetlen programozási modellt a kötegelt és adatfolyam-feldolgozás végrehajtásához a Java vagy Python alkalmazásból.
• Csővezetékek végrehajtása több környezetben.

A tanfolyam formátuma

• Rész előadás, részben beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Jegyzet

• Ez a tanfolyam a jövőben elérhető lesz Scala. Kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljük.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan kell Data Vault-et építeni.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg az Data Vault 2.0 mögött meghúzódó architektúra és tervezési koncepciókat, valamint annak interakcióját a Big Data, NoSQL és AI között.
• Használjon adattároló technikákat, hogy lehetővé tegye az adattárházban lévő előzményadatok auditálását, nyomon követését és ellenőrzését.
• Konzisztens és megismételhető ETL (Extract, Transform, Load) folyamat kialakítása.
• Építsen és telepítsen nagymértékben méretezhető és megismételhető raktárakat.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja az elosztott adatfolyam- és kötegelt adatfeldolgozás mögött meghúzódó elveket és megközelítéseket, és végigvezeti a résztvevőket egy valós idejű adatfolyam-alkalmazás létrehozásán a Apache Flink-ban.

A képzés végére a résztvevők képesek lesznek:

• Környezet létrehozása adatelemző alkalmazások fejlesztéséhez.
• Ismerje meg, hogyan működik Apache Flink gráffeldolgozó könyvtára (Gelly).
• Flink-alapú, hibatűrő, adatfolyam-küldő alkalmazások becsomagolása, végrehajtása és figyelése.
• Változatos munkaterhelések kezelése.
• Végezzen haladó elemzést.
• Hozzon létre egy több csomópontból álló Flink-fürtöt.
• Mérje meg és optimalizálja a teljesítményt.
• Integrálja a Flink-et különböző Big Data rendszerekkel.
• Hasonlítsa össze a Flink képességeit más big data feldolgozó keretrendszerekkel.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megismerkedhetnek a technológiai kínálatokkal és a grafikonadatok feldolgozásának megvalósítási módszereivel. A cél a valós objektumok, jellemzőik és kapcsolataik azonosítása, majd a kapcsolatok modellezése és adatként való feldolgozása Graph Computing (más néven Graph Analytics) megközelítéssel. Kezdjük egy átfogó áttekintéssel, és leszűkítjük a konkrét eszközöket, miközben esettanulmányok, gyakorlati gyakorlatok és élő telepítések sorozatán lépkedünk végig.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a grafikonadatok megőrzését és bejárását.
• Válassza ki a legjobb keretrendszert egy adott feladathoz (a gráfadatbázisoktól a kötegelt feldolgozási keretrendszerekig).
• A Hadoop, a Spark, GraphX és a Pregel megvalósítása számos gépen párhuzamosan végezhet gráfszámítást.
• Tekintse meg a valós világban felmerülő big data problémákat grafikonok, folyamatok és bejárások formájában.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja Hortonworks Data Platform (HDP)-et, és végigvezeti a résztvevőket a Spark + Hadoop megoldás bevezetésén.

A képzés végére a résztvevők képesek lesznek:

• A Hortonworks segítségével megbízhatóan futtathatja a Hadoop-t nagy léptékben.
• Egyesítse a Hadoop biztonsági, irányítási és működési képességeit a Spark agilis analitikai munkafolyamataival.
• A Hortonworks segítségével vizsgálja meg, érvényesítse, hitelesítse és támogassa a Spark-projekt egyes összetevőit.
• Különböző típusú adatokat dolgozhat fel, beleértve a strukturált, strukturálatlan, mozgásban lévő és nyugalmi adatokat.

Ez a tanfolyam ismerteti a Hive SQL nyelv használatát (AKA: Hive HQL, SQL on Hive , Hive QL) azok számára, akik adatokat Hive a Hive

A Cloudera Impala egy nyílt forráskódú, masszívan párhuzamos feldolgozású (MPP) SQL lekérdezőmotor Apache Hadoop fürtökhöz.

A Impala lehetővé teszi a felhasználók számára, hogy alacsony késleltetésű SQL lekérdezéseket küldjenek a Hadoop Distributed File Systemben és az Apache Hbase-ben tárolt adatokhoz anélkül, hogy adatmozgatást vagy átalakítást kellene végezniük.

Közönség

Ez a kurzus azoknak az elemzőknek és adattudósoknak szól, akik a Hadoop-ban tárolt adatokon elemzik a Business Intelligence vagy SQL eszközöket.

A tanfolyam után a küldöttek képesek lesznek

• A Impala segítségével nyerjen ki értelmes információkat a Hadoop klaszterekből.
• Írjon speciális programokat a Business Intelligencia megkönnyítésére a Impala SQL nyelvjárásban.
• Hibaelhárítás Impala.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik a Apache Kafka adatfolyam-feldolgozást kódírás nélkül szeretnék megvalósítani.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Confluent KSQL-t.
• Állítson be egy adatfolyam-feldolgozási folyamatot csak SQL parancsok használatával (nincs Java vagy Python kódolás).
• Végezzen adatszűrést, átalakításokat, összesítést, összekapcsolást, ablakozást és szekciózást teljes egészében a SQL-ben.
• Interaktív, folyamatos lekérdezések tervezése és üzembe helyezése az ETL és a valós idejű elemzések streameléséhez.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan telepítsék és kezeljék a Apache NiFi-t élő laborkörnyezetben.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apachi NiFi-t.
• Forrása, átalakítása és kezelése különböző, elosztott adatforrásokból, beleértve az adatbázisokat és a nagy adatforrásokat.
• Automatizálja az adatfolyamokat.
• Engedélyezze a streamelési elemzést.
• Alkalmazzon különféle megközelítéseket az adatfeldolgozáshoz.
• Alakítsa át Big Data üzleti betekintést.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják az áramlásalapú programozás alapjait, miközben számos demó-bővítményt, komponenst és processzort fejlesztenek a Apache NiFi segítségével.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a NiFi architektúráját és adatfolyam-koncepcióit.
• Bővítmények fejlesztése NiFi és harmadik féltől származó API-k használatával.
• Egyedi fejlesztésű saját Apache Nifi processzort.
• Valós idejű adatok feldolgozása és feldolgozása eltérő és nem megszokott fájlformátumokból és adatforrásokból.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használja a Sparkot a Python-val a Big Data elemzéséhez.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a nagy adatelemzéshez az PySpark segítségével.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adatmérnököknek, adattudósoknak és programozóknak szól, akik a Spark Streaming funkciókat szeretnék használni a valós idejű adatok feldolgozásához és elemzéséhez.

A képzés végére a résztvevők képesek lesznek a Spark Streaming segítségével feldolgozni az élő adatfolyamokat adatbázisokban, fájlrendszerekben és élő műszerfalakban.

Az MLlib a Spark gépi tanulási (ML) könyvtára. Célja, hogy a gyakorlati gépi tanulás méretezhető és egyszerű legyen. Közös tanulási algoritmusokból és segédprogramokból áll, beleértve a besorolást, a regressziót, a klaszterezést, az együttműködő szűrést, a dimenziócsökkentést, valamint az alacsonyabb szintű optimalizálási primitíveket és a magasabb szintű csővezeték API-kat.

Ez két csomagra oszlik:

• A spark.mllib tartalmazza az RDD-re épített eredeti API-t.

• A spark.ml magasabb szintű API-t kínál, amely a DataFrames tetején épült ML-csővezetékek építéséhez.

Közönség

Ez a tanfolyam olyan mérnökökre és fejlesztőkre irányul, akik egy beépített gépkönyvtárat kívánnak használni az Apache Spark

A Tidyverse sokoldalú R csomagok gyűjteménye az adatok tisztításához, feldolgozásához, modellezéséhez és megjelenítéséhez. Néhány a mellékelt csomagok közül: ggplot2, dplyr, tidyr, readr, purrr és tibble.

Ebben az oktató által vezetett, élő képzésen a résztvevők megtanulják, hogyan lehet az adatokat manipulálni és megjeleníteni a Tidyverse eszközök használatával.

A képzés végére a résztvevők képesek lesznek:

• Végezzen adatelemzést és hozzon létre vonzó vizualizációkat
• Készítsen hasznos következtetéseket a mintaadatok különféle adatkészleteiből
• Az adatok szűrése, rendezése és összefoglalása a feltáró kérdések megválaszolásához
• A feldolgozott adatokat informatív vonal-, oszlop- és hisztogramokká alakíthatja
• Adatok importálása és szűrése különféle adatforrásokból, beleértve az Excel , CSV és SPSS fájlokat

Közönség

• Az R nyelv kezdõi
• Az adatelemzés és az adatok megjelenítésének kezdője

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat