[Airflow] 윈도우 환경에서 WSL 및 Airflow 설치하기

안녕하세요! 지난번 공지드린대로 최근 Airflow를 공부 중입니다.

윈도우 환경에서 Airflow 설치까지는 완료했는데, 좀 더 준비해서 의미있을만한 산출물로 만들고 싶어서요. 

 

이왕 데이터 파이프라인 구축하는 김에 관심있는 도메인 기반 데이터 분석 환경을 구축해볼까 생각 중입니다! 

Airflow 개념을 1도 모르고 시작하는거라 생각보다 시간이 걸릴 것 같아서..우선 WSL 및 Airflow 설치방법을 먼저 공유하려고 합니다!  

 

Airflow 설치를 위해 저도 이것저것 검색해봤는데 대부분 Mac OS 기준으로 작성된 게 대부분이더라구요. 

Airflow가 윈도우 환경에서 직접 설치가 불가한 점 때문인 것 같았습니다. 

 

물론 윈도우 환경에서 설치하는 방법을 작성해둔 블로그를 여러개 봤지만 상세히 다룬 곳이 없어서 조금 힘들더라구요. 

 

그래서 WSL 설치방법부터 Airflow까지 상세히 다뤄볼까 하니 길어도 양해 부탁드립니다-! 

# 윈도우 환경에서 WSL 및 Airflow 설치하기
1. WSL 설치하기(Windows 11)
2. WSL 기반 Airflow 설치하기
3. Ubuntu 내 가상환경 설정하기

---

1. WSL 설치하기(Windows 11)

 

※ 유튜브 영상 링크로 내용 일부 대체함을 참고해주세요-! 상세히 설명해주시기 때문에 영상만 봐도 설치할 수 있습니다. 

출처 : 슬기로운통계생활 - 2강. 윈도우에서 리눅스 사용하기(WSL 설치)

1) WSL이란? 

- Windows Subsystem for Linux의 약어로, Windows에서 리눅스 실행환경을 지원하는 Windows의 확장 기능 의미

- Windows에서 리눅스 작업 환경을 만들기 위해 WSL 설치 필수

 

2) 간단한 리눅스 명령어들

출처 : 슬기로운통계생활 - 2강. 윈도우에서 리눅스 사용하기(WSL 설치) 일부 발췌

 

3) WSL 설치하기

- Windows PowerShell 관리자 모드 실행 → wsl --install 실행

- 설치 완료 후, Enter new UNIX username과 New Password 작성 필요

WSL UNIX username 및 password 생성 완료 후 출력 메시지

 

4) WSL 실행하기

- 윈도우 검색창에서 WSL 검색(윈도우 버튼 키 또는 하단 작업표시줄 검색 클릭)

 

- WSL 실행 시, 기 생성한 WSL UNIX username으로 자동 로그인됨(관리자모드 실행 

WSL 정상 작동 완료! 🤗

---

2. WSL 기반 Airflow 설치하기

 

※ Airflow 설치 전, WSL 기반 Python 설치 과정도 포함하고 있습니다. 아래 절차대로 진행 부탁드려요 :) 

 

1) Python 및 기타 패키지 설치

(1) 패키지 리스트 업데이트

sudo apt update

(2) Python 설치

sudo apt install python3 python3-pip

(3) Airflow에 필요한 추가 패키지 설치

sudo apt install libmysqlclient-dev

---

2) Airflow 설치

(1) Airflow 설치를 위한 환경 변수 설정

export AIRFLOW_HOME=~/airflow

(2) Airflow 설치

- 해당 과정까진 WSL에서 코드 실행

pip install apache-airflow

(3) Airflow db 초기화

- Airflow 설치까지 완료되었다면, Ubuntu 활성화 필요(WSL에서 아래 코드 실행 불가)

- Ubuntu 활성화 방법은 1-4) WSL 실행하기와 동일하게 검색하여 실행하면 됨

airflow db init

(4) Airflow 폴더 안에 dags 디렉토리 생성

mkdir dags

---

3) Airflow 웹 서버 실행

(1) Airflow 웹 서버 시작

- 기본 포트가 8080으로 설정되어 있기 때문에 airlow webserver라고만 작성해도 실행 가능함

airflow webserver -p 8080

(2) 별도의 터미널에서 Airflow 스케줄러 실행

airflow scheduler

(3) Chrome 또는 Window edge에서 Airflow 접속하기

- 아래 주소 복사 후, Chrome에 붙여넣기

http://localhost:8080

localhost:8080 접속 시, 출력되는 Airflow 로그인 화면

 

(4) Username 및 Password 생성하기

- username 및 password 부문에 자신이 원하는 정보로 변경하여 코드 실행

- 비밀번호의 경우, 로그인 후 추가 변경 가능하니 최초 접속 때는 간단하게 만들어도 무방함

airflow users create --role Admin --username admin --email admin --firstname admin --lastname admin --password admin

 

*️⃣ 만약, 상단 코드의 의미가 궁금하다면, Ubuntu 활성화 후, 'airflow' 코드 실행

Airflow 관련 commands와 commands별 설명을 살펴볼 수 있음

 

(5) Airlfow 메인 화면

- 계정 로그인 후, 아래와 같은 화면 활성화 되면 Airflow 설치 완료! 👍

Airlfow 메인 화면

---

4) Airflow 비밀번호 변경하기

(1) 우측 상단 붉은 박스 클릭 - Your Profile 선택

(2) 하단 Reset my password 선택을 통해 비밀번호 변경 가능함

Airflow 내 Your Profile 편집화면

---

3. Ubuntu 내 가상환경 설정하기

 

1) Python3-venv 패키지 설치

- 해당 절차의 경우, 설치된 Python 버전에 맞게 설치해야 함

- Python 설치 버전 확인 방법 : python3 --version 실행 

sudo apt install python3.10-venv

2) 가상환경 설정하기

- 가상환경명은 편의에 따라 설정 가능

python3 -m venv airflow(가상환경명)

3) 가상환경 활성화/비활성화 방법

- 가상환경 활성화 시, 아래 이미지 처럼 계정명 앞에 '(가상환경명)' 이 활성화됨

source airflow/bin/activate # 활성화
deactivate # 비활성화

가상환경 활성화/비활성화에 따른 결과 참고

---

이렇게 윈도우 환경에서 WSL 및 Airflow 설치와 더불어 Ubuntu에서 가상환경 설정까지 하는 방법을 보여드렸는데요.

 

잘 참고하셔서 다들 설치 성공하셨으면 좋겠습니다 :) 

그럼 오늘도 긴 글 읽어주셔서 감사합니다~!