JIG BLOG

빵 좋아하는 개발자

I like Data engineering and MLOPS.

Recent posts

Spark 내부 동작 분석: RDD Action 실행에서 Task 분배까지

3 minute read

Spark 내부 동작 분석: RDD Action 실행에서 Task 분배까지

Kafka의 Raft 기반 Topic 생성과 Commit 과정

4 minute read

Kafka의 Raft 기반 Topic 생성과 Commit 과정

Spark-Submit 이후 YARN 클러스터에서 실행되는 과정 알아보기

8 minute read

Spark-Submit 이후 YARN 클러스터에서 실행되는 과정 알아보기

위경도 데이터 s3 cost 90% 줄이기 (w. data storage format)

2 minute read

위경도 데이터 s3 cost 90% 줄이기 (w. data storage format)

[Data storage format] - Parquet vs ORC 비교하기

2 minute read

[Data storage format] - Parquet vs ORC 비교하기