Mire használható az Airflow?

Az Apache Airflow egy nyílt forráskódú eszköz a munkafolyamatok programozására, ütemezésére és figyelésére . Ez az egyik legrobusztusabb platform, amelyet a Data Engineers használ a munkafolyamatok vagy folyamatok összehangolására. Könnyen megjelenítheti az adatfolyamatok függőségét, előrehaladását, naplóit, kódját, aktiválási feladatait és sikerességi állapotát.

Mikor ne használja az Airflow-t?

Honnan tudhatom, hogy működik-e az Airflow?

Az Airflow-példány állapotának ellenőrzéséhez egyszerűen elérheti a /health végpontot . Egy JSON-objektumot ad vissza, amelyben magas szintű pillantást biztosít.

Hány DAG-t képes kezelni az Airflow?

A korábbi verziókban max_threads (forrás)ként van definiálva. A max_active_runs_per_dag meghatározza az aktív DAG-futások maximális számát (DAG-onként), amelyet az Airflow Scheduler egy adott időpontban képes kezelni. Ha ez 16-ra van állítva, az azt jelenti, hogy az ütemező DAG-onként legfeljebb 16 aktív DAG-futást tud kezelni.

Ki használja a légáramlást?

Ki használja az Airflow-t? Állítólag 251 vállalat használja az Airflow-t technológiai készleteiben, köztük az Airbnb, a Slack és a Robinhood .

Hogyan futtathatom manuálisan a légáramlási DAG-ot?

Amikor újratölti az Airflow felhasználói felületet a böngészőjében, látnia kell a hello_world DAG-t az Airflow felhasználói felületén. A DAG-futás elindításához először kapcsolja be a munkafolyamatot (1. nyíl), majd kattintson a Trigger Dag gombra (2. nyíl), végül kattintson a Grafikonnézetre (3. nyíl), hogy megtekinthesse a futás előrehaladását.

A Jenkins hasonló a légáramláshoz?

Az Airflow inkább az ütemezett gyártási feladatok figyelembevételére szolgál, ezért az Airflow-t széles körben használják az adatfolyamok figyelésére és ütemezésére, míg a Jenkins-t folyamatos integrációkra és szállításokra.

Melyik végrehajtó a legjobb az Airflow számára?

Ha cége széles körben alkalmazza a Kubernetes-t, akkor a KubernetesExecutor lehet a legjobb választás az Airflow végrehajtó számára. Egy másik gyönyörű dolog a KubernetesExecutorban, hogy különböző docker-képeket készíthet a feladataihoz, és ez nagyobb rugalmasságot biztosít. A DebugExecutort az 1.10-ben vezették be.

Mi az a pooling az Airflow-ban?

Az Airflow Pools az Airflow UI-n keresztül konfigurálható, és korlátozza a párhuzamosságot bármely konkrét feladatcsoportban . Használhatja bizonyos feladatok elsőbbségének megadására másokkal szemben, vagy korlátozhatja a végrehajtást olyan esetekben, mint például egy harmadik féltől származó API elérése, amelyen sebességkorlátok vannak.

Hogyan kapcsolhatom ki az Airflow DAG-t?

Az Airflow használja a Redist?

Az Airflow webszerver és ütemezője ugyanazt a tárolót fogja megosztani. Nyilvánosan elérhető docker-képeket fogunk használni a Postgres és a Redis számára. A két tárolót a munkavégző csomópontokhoz használják, az utolsó tárolót pedig a dolgozó csomópontok figyelésére.

Mi az a párhuzamosság az Airflow-ban?

párhuzamosság: azon feladatpéldányok száma, amelyek egyidejűleg futhatnak a beállított DAG összes aktív futtatásában . Alapértelmezés szerint a mag. dag_concurrency, ha nincs beállítva.

Hogyan frissíthetem az Airflow-t?

Milyen hátrányai vannak a légáramlásnak?

Jobb a légáramlás, mint az oozie?

Előnyök: Az Airflow UI sokkal jobb, mint a Hue (Oozie UI), például: Az Airflow UI fanézettel rendelkezik a feladatok kudarcainak nyomon követésére, ellentétben a Hue-val, amely csak a feladatok meghibásodását követi nyomon. Az Airflow UI lehetővé teszi a munkafolyamat-kód megtekintését is, amit a Hue UI nem. ... Az Oozie-val ellentétben az esemény alapú trigger könnyen hozzáadható az Airflow-hoz.

Mikor használjam az Apache légáramlást?

Ha nyílt forráskódú munkafolyamat-automatizálási eszközre van szüksége, mindenképpen fontolja meg az Apache Airflow alkalmazását. Ez a Python-alapú technológia megkönnyíti az adatfolyamok beállítását és karbantartását.

Jobb a prefektus, mint az Airflow?

Prefektus, új belépő a piacon, az Airflow-hoz képest . Ez egy nyílt forráskódú projekt; azonban van egy fizetős felhőverzió a munkafolyamatok nyomon követésére. A prefektus még mindig lemarad az Airflow-hoz tartozó csengőkkel és sípokkal. Azonban elvégzi a feladatát, és sok integrációja van.

Mi a különbség a Kafka és az Airflow között?

A Kafka egy elosztott, particionált, replikált véglegesítési naplószolgáltatás. Az üzenetküldő rendszer funkcionalitását biztosítja, de egyedi kialakítással. Az Airflow a technológiai verem „ Workflow Manager ” kategóriájába tartozik, míg a Kafka elsősorban az „Üzenetsor” kategóriába sorolható.

Hogyan lehet hibakeresni a légáramlást?

A Run/Debug Config beállítása Kattintson a jobb felső sarokban található futás/hibakeresés legördülő menüre, és válassza a Konfigurációk szerkesztése lehetőséget. Kattintson a + jelre egy új Python Run/Debug konfiguráció hozzáadásához. Adj neki nevet. A szkript elérési útja esetén a Docker-tárolóban lévő airflow parancsra szeretnénk mutatni.

Mi az a zeller végrehajtó légáramlás?

A CeleryExecutor az egyik módszer a dolgozók számának növelésére . Ahhoz, hogy ez működjön, be kell állítania egy Celery háttérprogramot (RabbitMQ, Redis, ...), és módosítania kell a légáramlást. cfg, hogy a végrehajtó paramétert a CeleryExecutorra mutassa, és megadja a kapcsolódó Celery beállításokat.