데이터 리터러시를 위한 발자취

지난번 포스팅한 Airflow 파이프라인 구축 과정에서 MySQL Connection Setting 이슈로 테이블 조회가 어려웠던 부분을 다루려 합니다. 오류 해결과정에서 알게 된 방법이기에 최대한 간결하게 다뤄보겠습니다-! *️⃣ MySQL Connection Setting 오류 🔸 사용 중인 PC 내 기 설치된 Windows 버전 MySQL 존재함 🔸 Airflow 사용을 위해 Ubuntu 버전 MySQL을 추가 설치함 🔸 DBeaver에 Windows 버전 MySQL 연결되었으나, Ubuntu의 MySQL의 연결이 제대로 수행되지 않음 🔸 이 문제로 DBeaver에서 preprocess_result 절차에 따른 MySQL DB 조회 불가, wsl 환경에서만 확인 가능 ➡️ DBeaver에서도 Ubu..

안녕하세요-! Airflow 공부 중에 파이프라인 구축 관련 테스트하기 좋은 블로그가 있어서요. 아래 블로그 글을 참고하여 Naver api 기반 Airflow 데이터 파이프라인 구축까지 테스트 겸 실행해 보았습니다. 참고 : Airflow 엄청 자세한 튜토리얼 #왕초심자용 Airflow 엄청 자세한 튜토리얼 #왕초심자용 에어플로우에 대한 정보를 제공하는 정확하고 전문적인 글들이 많고, 여기서는 나와 같은 초보분들을 위해 설치부터 아주 간단한 실습을 다룰 것이기 때문에 이론은 직관적으로만 설명해서 느 velog.io 처음 Airflow를 접해보는 분들도 잘 따라할 수 있게 정리해 주신 블로그라 아래 내용 보기 전에 먼저 보신다면 조금 더 이해하기 쉬울 것 같아요~! 👍 👍 👍 전체적인 Dag skelto..

안녕하세요! 지난번 공지드린대로 최근 Airflow를 공부 중입니다. 윈도우 환경에서 Airflow 설치까지는 완료했는데, 좀 더 준비해서 의미있을만한 산출물로 만들고 싶어서요. 이왕 데이터 파이프라인 구축하는 김에 관심있는 도메인 기반 데이터 분석 환경을 구축해볼까 생각 중입니다! Airflow 개념을 1도 모르고 시작하는거라 생각보다 시간이 걸릴 것 같아서..우선 WSL 및 Airflow 설치방법을 먼저 공유하려고 합니다! Airflow 설치를 위해 저도 이것저것 검색해봤는데 대부분 Mac OS 기준으로 작성된 게 대부분이더라구요. Airflow가 윈도우 환경에서 직접 설치가 불가한 점 때문인 것 같았습니다. 물론 윈도우 환경에서 설치하는 방법을 작성해둔 블로그를 여러개 봤지만 상세히 다룬 곳이 없어..