데엔(Data-Engineering)/에어플로우(Airflow)2 에어플로우 기초 1.워크플로우 : 여러 개의 DAG들을 묶어서 큰 규모의 비즈니스 프로세스를 관리하는 개념 일련의 작업들을 통해 비즈니스 프로세스를 수행하는 전체적인 흐름을 의미한다. workflow는 여러 개의 DAG들로 구성될 수 있고, DAG 간의 종속성을 관리하여 전체적인 작업 흐름을 제어하고 모니터링할 수 있다. workflow는 에어플로우에서 여러 개의 DAG들을 논리적으로 묶어서 관리하고, 큰 규모의 비즈니스 프로세스를 효율적으로 실행하고 관리하는 데 사용된다. 2. DAG (Directed Acyclic Graph - 방향이 있는 순환되지 않는 그래프) : 작업 흐름을 정의하고 관리하는 개별적인 그래프 모델 에어플로우에서 작업 흐름을 정의하는 그래프 형태의 모델로, 작업(task)들이 노드(node)로 표.. 2023. 4. 12. Airflow 윈도우 설치 (+ 가상환경) 설치 과정) Airflow 는 파이썬 기반의 데이터 워크플로우 관리도구 ※아쉽게도 Airflow는 Windows 버전의 공식 설치를 지원하지 않기 때문에 다른 방법을 통해 설치해야 한다. Windows에서는 크게 아래 2가지 방법으로 에어플로우를 설치할 수 있다. (1) WSL 로 설치 (2) Docker 를 이용해 설치 ※ WSL이란 윈도우에서 Ubuntu, CentOS 등의 리눅스 커널(의 일부)을 사용할 수 있게 해주는 시스템) 대부분의 윈도우에서의 airflow설치 과정을 가상환경을 통해 리눅스 기반의 환경을 구축하고 그 위에 airflow를 설치하는 방식이었다. 블로그와 영상들로 안내된 방법들 중 가장 간편하고 깔끔했던 방법으로 진행했다. 1. microsoft Store에서 WSL 설치 2. .. 2023. 4. 12. 이전 1 다음
