데이터 리터러시를 위한 발자취

안녕하세요, 지난번 BigQuery에 이어 NLP 기반 워드클라우드 시각화 구현한 부분을 다루고자 합니다. 본문에 사용된 데이터는 '프리온보딩 원티드 데이터 챌린지 1월' 과정에서 제공된 데이터를 활용한 점 참고 부탁드려요. 또한, 하단 GitHub의 KRWordRank를 활용하여 키워드 추출 및 워드클라우드 시각화를 진행하였습니다. GitHub - lovit/KR-WordRank: 비지도학습 방법으로 한국어 텍스트에서 단어/키워드를 자동으로 추출하는 비지도학습 방법으로 한국어 텍스트에서 단어/키워드를 자동으로 추출하는 라이브러리입니다. Contribute to lovit/KR-WordRank development by creating an account on GitHub. github.com 내용은 아..

오늘은 원티드 프리온보딩 데이터챌린지에서 배웠던 구글 BigQuery의 일부 기능들을 다뤄보려고 합니다. BigQuery 환경 셋팅 방법은 아래 링크에서 더 자세히 다루고 있기 때문에 이 부분은 생략하도록 하겠습니다-! Google BigQuery (1) 빅쿼리에 데이터를 연결하는 3가지 방법 빅쿼리에서 데이터를 연결하는 방법은 크게 세 가지가 있습니다. 여러분의 상황에 적합한 방법을 찾아 차근차근 따라 해보시면 아주 쉽게 빅쿼리에서 데이터를 보실 수 있을 거예요. datarian.io 전체 내용은 아래와 같으니 참고 부탁드려요. 1. Json 컬럼 출력하기(BigQuery vs MySQL) 1) BigQuery에서 Json 컬럼 출력하기 2) MySQL에서 Json 컬럼 출력하기 3) 더미데이터 기반 ..

안녕하세요-! 2024년 새해를 맞이하고 오랜만에 올리는 글입니다 😊 그동안 연말 마무리 겸 취업 준비 겸 이래저래 바빴더니 블로그 업로드가 뜸했네요 ㅎㅎ 사실 Python이나 SQL이나 결국 언어이기 때문에 안쓰게 되면 감을 잃게 되는만큼 프로그래머스나 해커랭크를 통해서 연습을 해놨는데요. 오늘은 원티드에서 주관하는 '프리온보딩 데이터 챌린지'를 추천드리고 싶어서 이렇게 찾아왔습니다! 데이터 챌린지 주제가 흥미로워서 신청해서 들어봤는데요. 수강해보니니 커리큘럼 구성이 괜찮아서 데이터분석가에 관심 있으신 분들도 들으시면 좋을 것 같습니다. 2주동안 주 2회, 각 3시간씩 진행된 강의였고, 저녁 7시부터 진행되기 때문에 직장인분들도 많이 들으시더라고요. OT를 보니 매월 데이터 분야 외에도 프론트엔드, 백..

Ollivander's Inventory 문제 - print the id, age, coins_needed, power of wands. - minimum number of gold galleons. - non evil wand of high power and age. - sorted in order of descending power. 문제풀이 접근방식은 아래와 같이 정리하여 진행했습니다. 1. 테이블 조인 - Wands, Wands_Property 테이블 간 조인 수행 2. non evil 조건 조회 - WHERE절 기반 'is_evil' 이 '0'인 조건 조회 3. 셀프조인을 통해 coins_needed가 적은 조건 조회 - 2번 절차 중 AND 조건을 통해 coins_needed의 MIN 값 구하..

지난번 포스팅한 Airflow 파이프라인 구축 과정에서 MySQL Connection Setting 이슈로 테이블 조회가 어려웠던 부분을 다루려 합니다. 오류 해결과정에서 알게 된 방법이기에 최대한 간결하게 다뤄보겠습니다-! *️⃣ MySQL Connection Setting 오류 🔸 사용 중인 PC 내 기 설치된 Windows 버전 MySQL 존재함 🔸 Airflow 사용을 위해 Ubuntu 버전 MySQL을 추가 설치함 🔸 DBeaver에 Windows 버전 MySQL 연결되었으나, Ubuntu의 MySQL의 연결이 제대로 수행되지 않음 🔸 이 문제로 DBeaver에서 preprocess_result 절차에 따른 MySQL DB 조회 불가, wsl 환경에서만 확인 가능 ➡️ DBeaver에서도 Ubu..

안녕하세요-! Airflow 공부 중에 파이프라인 구축 관련 테스트하기 좋은 블로그가 있어서요. 아래 블로그 글을 참고하여 Naver api 기반 Airflow 데이터 파이프라인 구축까지 테스트 겸 실행해 보았습니다. 참고 : Airflow 엄청 자세한 튜토리얼 #왕초심자용 Airflow 엄청 자세한 튜토리얼 #왕초심자용 에어플로우에 대한 정보를 제공하는 정확하고 전문적인 글들이 많고, 여기서는 나와 같은 초보분들을 위해 설치부터 아주 간단한 실습을 다룰 것이기 때문에 이론은 직관적으로만 설명해서 느 velog.io 처음 Airflow를 접해보는 분들도 잘 따라할 수 있게 정리해 주신 블로그라 아래 내용 보기 전에 먼저 보신다면 조금 더 이해하기 쉬울 것 같아요~! 👍 👍 👍 전체적인 Dag skelto..

안녕하세요! 지난번 공지드린대로 최근 Airflow를 공부 중입니다. 윈도우 환경에서 Airflow 설치까지는 완료했는데, 좀 더 준비해서 의미있을만한 산출물로 만들고 싶어서요. 이왕 데이터 파이프라인 구축하는 김에 관심있는 도메인 기반 데이터 분석 환경을 구축해볼까 생각 중입니다! Airflow 개념을 1도 모르고 시작하는거라 생각보다 시간이 걸릴 것 같아서..우선 WSL 및 Airflow 설치방법을 먼저 공유하려고 합니다! Airflow 설치를 위해 저도 이것저것 검색해봤는데 대부분 Mac OS 기준으로 작성된 게 대부분이더라구요. Airflow가 윈도우 환경에서 직접 설치가 불가한 점 때문인 것 같았습니다. 물론 윈도우 환경에서 설치하는 방법을 작성해둔 블로그를 여러개 봤지만 상세히 다룬 곳이 없어..

안녕하세요! 최근 날씨가 제법 쌀쌀해져서 주변에 독감 환자가 늘고 있습니다. 워낙 일교차가 큰 탓인 것 같은데 이번 독감은 생각보다 강하다는 말을 많이 들어서 항상 감기 조심하고 있습니다 ㅎㅎ 다들 건강 조심하시길 바라며, 오늘은 윈도우 11 터미널에서 Anaconda Prompt를 추가하는 방법을 소개하려고 합니다. 윈도우 11을 설치한 이후, 터미널 앱이 별도 생성되는데요. 기본적으로는 Windows PowerShell, 명령 프롬프트(cmd), Azure Cloud shell 이렇게 제공하고 있습니다. 저는 Anaconda Prompt를 종종 사용하다 보니 터미널 내 아나콘다를 바로 사용할 수 있게 프로필을 추가하였습니다. 1. 터미널 설정 내 프로필 추가하기 1) 좌측 하단 '새 프로필 추가' 선..

안녕하세요! 오랜만에 QGIS Tip을 가져왔습니다. 해당 내용은 QGIS에서 대용량 SHP 데이터를 다룰 때 아주 유용한 팁입니다. 제가 진행했던 프로젝트 중 100 Cell 또는 50 Cell 단위의 인구 데이터를 구매하여 분석에 활용한 적이 있는데요. 인구 데이터 대부분이 대용량이다보니 원천데이터를 QGIS에 업로드하는 것만으로도 화면이 버벅거리곤 했습니다. 사용 중인 컴퓨터 사양이 좋은 편이었는데도 간단한 공간 분석을 진행할 때마다 상당한 시간이 소요되었습니다. 그러다 보니 오래 걸리는 작업일 경우 미리 돌려놓고 퇴근하곤 했습니다 ㅎㅎ 하지만 이 점도 문제가 있었는데요. 처리 도중 컴퓨터 다운으로 인해 작업물 자체가 날아간 적도 많아서..😭 굉장히 애를 먹었던 데이터였습니다. 하지만 늘 방법은 존..

10/26 진행된 수료식을 끝으로 부트캠프 모든 과정이 끝났습니다 ㅎㅎ 기자단 활동은 모두 끝났지만 별개로 가벼운 소감을 남기고 싶어서 작성해 봅니다. 4개월, 짧은 시간이었지만 은근 길게 느껴졌는데 폭풍 같은 시간이 흐른 것 같습니다. 파이널 프로젝트까지 끝내고 나서인지 다들 환한 얼굴로 비대면 수료식에 참여했는데 저도 홀가분했습니다 ㅎㅎ 물론 부트캠프가 끝났을 뿐, 취업 준비부터 해야 할 것들이 잔뜩 쌓여있지만 아주 잠시동안 이 기쁨을 누려볼까 합니다! 수료식 이후 주말 동안 파이널 프로젝트 같이 했던 분들 만나러 서울에 갔었는데 덕분에 즐거운 시간을 보낼 수 있었어요. 오랜만에 새로운 분들을 만나 미래에 대한 고민거리도 같이 떠들면서 보내니까 시간 가는 줄 모르겠더라고요. 분명 힘든 점도 아쉬운 점..