기록습관
데이터 엔지니어링 빌드로그, 시각화, 분석, AI활용, 회화연습
-
최신 글
초보의 첫 PR 사이클: squash merge 전후로 막힌 5가지
DART 클라이언트 브랜치를 push하고, PR을 올리고, squash merge한 뒤 브랜치를 정리하기까지. PR 한 사이클을 처음 돌면서 다섯 번 막혔다. 돌아보면 원인은 대부분 같았다. 로컬 브랜치와 원격 브랜치가 별개라는 것, 그리고 squash가 커밋을 새로 만든다는 것을 몰랐다. 이번 글은 막혔던 5가지 작업 순서대로 정리한 빌드로그다. 1. 첫 push가 거부됐다: upstream 내가…
지난 글
-
초보의 첫 재시도 로직: 리뷰에서 걸린 실수 모음
DART(전자공시) Open API 클라이언트에 재시도 로직을 처음 붙였다. “실패하면 몇 번 더 해보면 되지”라고 생각했는데, 리뷰를 네 차례 넘게 받으면서 생각보다 훨씬 많은 걸 몰랐다는 걸 알게 됐다. 이 글은 삽질 과정에서 배운 것과 리뷰에서 걸린 실수를 정리한 빌드로그다. 다루는…
-
Terraform 구축 첫 apply까지 반드시 피해야 할 함정 12가지
테라폼 설치 후 첫 apply까지 겪게 되는 12가지 핵심 함정을 정리했습니다. AWS S3와 EC2 구축 예시를 통해 인프라 코드 관리의 실수를 줄이고 안정적인 운영 환경을 만드는 방법을 알아보세요.
-
브랜든 2세대 부피순삭 압축 파우치, 애 키우면서 써본 후기
애 옷장 왜 이렇게 터지는지 애 키우는 집이면 다들 공감할 텐데, 계절 한 번 지나가면 옷이 왜 이렇게 쌓이는지 모르겠다. 신생아복, 돌 때 입던 옷, 겨울 패딩, 이불에 담요까지… 옷장 하나로는 진짜 답이 없다. 게다가 명절이나 여행 갈 때 캐리어에…
-
Synapse에서 외부 스토리지 호출하여 Excel 파일 불러오기
Azure Synapse은 대규모 DW를 구축하거나 ETL 설계에서 필요한 통합 플랫폼이다. 특히 Spark환경에서 데이터를 효율적으로 불러오고, 쓸 때 자주사용하는 패키지가 mssparkutils 이다. 이번 글에서는 notebookutils와 mssparkutils를 중점적으로 이용한 외부 스토리지 접근 및 Credential 인증, 그리고 엑셀을 불러오는 방법을 알아본다. 🧩 mssparkutils란?…
-
맥북에 PySpark 로컬 환경 설치 (feat. Brew)
1. 기본 준비물 VSCode + Jupyter 환경 구성 VS Code 다운로드 처음 설치는 기본 환경 준비를 위해 위에 링크를 들어가 VS Code 를 설치하고 위 화면과 같이 Extension 에서 Jupyter를 설치한다. 2. Homebrew 설치 여부 확인 Brew 다운로드 맥북에서는 pySpark를…