![]()
1. Sphinx Documentation 이란? Sphinx Documentation 은 파이썬 주석을 기반하여 자동으로 문서화를 해주는 오픈소스이다. 아래는 Sphinx Dcoumentation 공식 사이트이다. Sphinx makes it easy to create intelligent and beautiful documentation. https://www.sphinx-doc.org/en/master/ Welcome — Sphinx documentation Welcome Sphinx makes it easy to create intelligent and beautiful documentation. Here are some of Sphinx’s major features: Output formats..
![]()
0. prerequisite 컴퓨터 총 세대를 준비하였다. name node * 1 data node * 2 ubuntu hadoop java version 20.04 3.3.1 11 1. hadoop source code 다운로드 wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar xzf hadoop-3.3.1.tar.gz 2. /etc/hosts 수정 sudo vim /etc/hosts 10.12.168.200 hadoop-master-00 10.12.168.201 hadoop-slave-00 10.12.168.202 hadoop-slave-01 3. ssh key 생성 및 복제 ssh-keygen -t rs..
저희 서버 메모리는 가득 차있는데, 프로그램 돌리면 퍼포먼스가 잘 안나와요! 모니터링 해보면 일정량의 swap memory를 계속 사용해서 그런 것 같아요 🧐 VM swappiness: 리눅스 시스템 성능을 최적화하기 위한 핵심 요소 리눅스 운영 체제는 다양한 성능 향상 기능을 제공하며, 그 중 하나가 VM swappiness입니다. VM swappiness는 시스템의 메모리 관리와 관련된 중요한 개념으로, 시스템 성능을 튜닝하고 최적화하는 데 중요한 역할을 합니다. 이 글에서는 VM 스와피니스에 대해 자세히 알아보고, 어떻게 시스템 성능을 향상시킬 수 있는지 살펴보겠습니다 🙂 VM swapiness란? VM 스와피니스는 리눅스 커널에서 제공해주는 파라미터 중 하나로, 시스템이 얼마나 자주 swap ar..
![]()
0. 배경 이번에는 Spark Cluster를 docker swarm을 사용하여 구축했던 과정을 기록하려 합니다. Spark Cluster를 왜 도커 스웜 위..? 🤔 라고 묻는다면... 난처하다! 이 환경을 구축하였을 때의 상황은, Spark 도입이 필요함 (User): 운영자님! 지금 프로그램이 계속 에러가 납니다. 고쳐주세요! (Me): (dmesg 로그 확인 후) 음... Out Of Memory Killer (OOM) 이 프로그램을 강제 종료하였네요 ! 파일이 200GB를 넘어가서 그러네요.. 대용량의 데이터를 처리하는 프로그램이 있었는데, 처음에는 60GB 이내의 데이터를 처리할 것을 예상하고 개발을 하였었다. 하지만 데이터가 점점 커지면서 한대의 컴퓨터에서 multi-threading 혹은 ..
