데이터 리터러시를 위한 발자취

오늘은 원티드 프리온보딩 데이터챌린지에서 배웠던 구글 BigQuery의 일부 기능들을 다뤄보려고 합니다. BigQuery 환경 셋팅 방법은 아래 링크에서 더 자세히 다루고 있기 때문에 이 부분은 생략하도록 하겠습니다-! Google BigQuery (1) 빅쿼리에 데이터를 연결하는 3가지 방법 빅쿼리에서 데이터를 연결하는 방법은 크게 세 가지가 있습니다. 여러분의 상황에 적합한 방법을 찾아 차근차근 따라 해보시면 아주 쉽게 빅쿼리에서 데이터를 보실 수 있을 거예요. datarian.io 전체 내용은 아래와 같으니 참고 부탁드려요. 1. Json 컬럼 출력하기(BigQuery vs MySQL) 1) BigQuery에서 Json 컬럼 출력하기 2) MySQL에서 Json 컬럼 출력하기 3) 더미데이터 기반 ..

지난번 포스팅한 Airflow 파이프라인 구축 과정에서 MySQL Connection Setting 이슈로 테이블 조회가 어려웠던 부분을 다루려 합니다. 오류 해결과정에서 알게 된 방법이기에 최대한 간결하게 다뤄보겠습니다-! *️⃣ MySQL Connection Setting 오류 🔸 사용 중인 PC 내 기 설치된 Windows 버전 MySQL 존재함 🔸 Airflow 사용을 위해 Ubuntu 버전 MySQL을 추가 설치함 🔸 DBeaver에 Windows 버전 MySQL 연결되었으나, Ubuntu의 MySQL의 연결이 제대로 수행되지 않음 🔸 이 문제로 DBeaver에서 preprocess_result 절차에 따른 MySQL DB 조회 불가, wsl 환경에서만 확인 가능 ➡️ DBeaver에서도 Ubu..

안녕하세요-! Airflow 공부 중에 파이프라인 구축 관련 테스트하기 좋은 블로그가 있어서요. 아래 블로그 글을 참고하여 Naver api 기반 Airflow 데이터 파이프라인 구축까지 테스트 겸 실행해 보았습니다. 참고 : Airflow 엄청 자세한 튜토리얼 #왕초심자용 Airflow 엄청 자세한 튜토리얼 #왕초심자용 에어플로우에 대한 정보를 제공하는 정확하고 전문적인 글들이 많고, 여기서는 나와 같은 초보분들을 위해 설치부터 아주 간단한 실습을 다룰 것이기 때문에 이론은 직관적으로만 설명해서 느 velog.io 처음 Airflow를 접해보는 분들도 잘 따라할 수 있게 정리해 주신 블로그라 아래 내용 보기 전에 먼저 보신다면 조금 더 이해하기 쉬울 것 같아요~! 👍 👍 👍 전체적인 Dag skelto..