![]()
이번에는 Spark Cluster를 하나의 머신에서 간편하게 구축하는 과정을 기록하려 합니다. 아래 표는 사용 환경입니다. 하지만 docker 와 docker-compose 그리고 os 버젼은 컨테이너화 과정이기 때문에 큰 영향은 없을 것입니다. type version OS Ubuntu 20.04 docker Docker version 23.0.1 docker-compose version 1.27.4 앞서 언급했듯이 docker-compose를 통하여 간편히 하나의 머신에서 spark master와 worker 두개를 띄울 것입니다. 이 환경은 production, 즉 운영에서 쓰이기에는 무리가 있습니다. spark의 concept부터가 여러 대의 머신의 memory를 사용하여 대용량의 데이터를 처리하는..
Computing resource 준비하기 개발용 Linux 서버 3대와(k8s-master, k8s-slave01, k8s-slave02) 내 데스크탑 Linux 서버 1대(desktop)로 시작하였다. 모두 ubuntu 20.04로 초기화를 해주었다. OS: Ubuntu 20.04 Rancher 설치 (desktop) Rancher는 컨테이너 오케스트레이션 플랫폼이다. 다시 말해 Kubernetes나 다른 컨테이너 관리 시스템을 쉽게 배포하고 관리할 수 있게 도와주는 도구이다. Rancher를 활용하면 개발자와 운영팀은 복잡한 에플리케이션을 컨테이너화하고 배포하는 작업을 편하게 할 수 있다. 아래 사이트에 가면 Rancher를 쉽게 설치할 수 있다 :) https://www.rancher.com/qu..
![]()
이번 시간에는 multi-node로 이루어진 kubernetes 환경에서 apache airflow 를 설치하는 과정을 공유하려 합니다. 필자는 on-premise 환경에 구성된 kubernetes 에 설치를 진행하였습니다. 원활한 진행을 위해서는 kubernetes 의 default storage class 가 있어야합니다. helm init helm 설치 curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 chmod 700 get_helm.sh ./get_helm.sh https://helm.sh/ko/docs/intro/install/ 헬름 설치하기 헬름 설치하고 작동하는 방법 배우기..
os: Ubuntu 20.04 fdisk (fixed disk) 명령어는 partition table을 관리하는 명령어로써 파티션의 생성, 수정, 삭제가 가능합니다. 저는 kubernetes의 heketti storage class를 생성하기 위해 파티션을 모두 삭제하는 작업을 진행하였습니다. sudo fdisk -l # 현재 디스크 및 파티션 보기 sudo fdisk [drive] # sudo fdisk /dev/sda # fdisk 를 통하여 drive에서 작업 # m for menu # d for delete a partition # w for write table to disk and exit # d 로 파티션을 지우고 나서 w로 저장하면 된다. 원레는 fdisk를 통하여 partition을 삭제..
