전체 글

1. AWS Certified Data Engineer 이란? 얼마 전 (2023년 10월 31일~2024년 1월12일) AWS Certified Data Engineer 시험이 Beta 버젼으로 오픈되었다. (정식 버젼은 2024년 3월 12일 부터 시작 된다.) AWS 공식 홈페이지에서 따르면 AWS Certified Data Engineer은 validates skills and knowledge in core data-related AWS services, ability to implement data pipelines, monitor and troubleshoot issues, and optimize cost and performance in accordance with best practice..

0. 문제 설명 문제는 간단하게 말해서, 왼쪽 도형 세개를 이용하여 높이가 3이고 넓이가 n 인 사각형을 빈틈없이 채울 수 있는 가짓수를 찾아내는 문제이다. 문제는 간단하지만 풀이 과정은 너무 험난했다. 실력이 많이 부족한걸수도 있고, 자랑스러운 걸수도 있고! 무려 2틀 동안 끙끙대며 풀었던 아방가르드 타일링 문제에 대한 과정과 풀이를 설명하려 한다. 우선, 다른 타일링 문제들과 같이 Dynamic Programming으로 접근해야 한다는 것은 느낌적으로 알았다. 첫 날은 그 점화식을 세우기 위해서 끙끙대며 점화식을 나름 만들어보고 풀어보았지만, 맞지 않았다. 😥 둘째 날 부터, 무작정 점화식을 세우는 것보다 조금만 더 차분히 그려가며 접근해보기로 하였다. https://school.programmers..

1. 프로그래머스를 선택한 이유 알고리즘 문제 푸는 것을 좋아하여 이전부터 leetcode, 백준 등 다양한 플랫폼을 사용하여 문제를 풀어왔다. 물론 leetcode 와 백준 둘다 공부를 하기에 훌륭한 사이트이긴 하지만, leetcode는 영어로 된 플랫폼이기도 하고, 문제가 살짝 '다이렉트'한 느낌이 있었다. 마치 '이건 DP문제야 array를 줄게 한번 풀어봐' 랄까. 백준도 문제가 다양하고 퀄리티도 훌륭했지만, UI 와 UX를 중요시하는 나로써 사실 손이 잘 가지 않았다. 프로그래머스는 UI와 UX가 너무 좋다. 맥북을 키면 자동으로 프로그래머스 부터 들어가는게 이제 습관이 될 정도로 하루 하루 한두문제씩 풀며 보람과 뿌듯함을 느꼈다. 어떤 사람들은 타 플랫폼에 비해 문제 수가 적어 아쉽다하지만 나..

다른 사람들의 풀이와 비교를 하고싶어서 검색을 했지만, 풀이가 아직까지 많지는 않아서 공유를 드립니다 문제 https://school.programmers.co.kr/learn/courses/30/lessons/250136 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제는 비교적 간단하죠, 목표는 석유를 가장 많이 시추를 하는 것이고, 시추관이 지나가는 길에 있는 석유는 모조리 끌어 모을 수 있을 때, 어디에 구멍을 뚫을 것인가! 풀이 석유의 양을 기록하는 dictionary (e.g. {'석유id': 석유양}) 를 만든다. 석유의 양을 측정함과 동시..

1. Sphinx Documentation 이란? Sphinx Documentation 은 파이썬 주석을 기반하여 자동으로 문서화를 해주는 오픈소스이다. 아래는 Sphinx Dcoumentation 공식 사이트이다. Sphinx makes it easy to create intelligent and beautiful documentation. https://www.sphinx-doc.org/en/master/ Welcome — Sphinx documentation Welcome Sphinx makes it easy to create intelligent and beautiful documentation. Here are some of Sphinx’s major features: Output formats..

0. prerequisite 컴퓨터 총 세대를 준비하였다. name node * 1 data node * 2 ubuntu hadoop java version 20.04 3.3.1 11 1. hadoop source code 다운로드 wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar xzf hadoop-3.3.1.tar.gz 2. /etc/hosts 수정 sudo vim /etc/hosts 10.12.168.200 hadoop-master-00 10.12.168.201 hadoop-slave-00 10.12.168.202 hadoop-slave-01 3. ssh key 생성 및 복제 ssh-keygen -t rs..

저희 서버 메모리는 가득 차있는데, 프로그램 돌리면 퍼포먼스가 잘 안나와요! 모니터링 해보면 일정량의 swap memory를 계속 사용해서 그런 것 같아요 🧐 VM swappiness: 리눅스 시스템 성능을 최적화하기 위한 핵심 요소 리눅스 운영 체제는 다양한 성능 향상 기능을 제공하며, 그 중 하나가 VM swappiness입니다. VM swappiness는 시스템의 메모리 관리와 관련된 중요한 개념으로, 시스템 성능을 튜닝하고 최적화하는 데 중요한 역할을 합니다. 이 글에서는 VM 스와피니스에 대해 자세히 알아보고, 어떻게 시스템 성능을 향상시킬 수 있는지 살펴보겠습니다 🙂 VM swapiness란? VM 스와피니스는 리눅스 커널에서 제공해주는 파라미터 중 하나로, 시스템이 얼마나 자주 swap ar..

0. 배경 이번에는 Spark Cluster를 docker swarm을 사용하여 구축했던 과정을 기록하려 합니다. Spark Cluster를 왜 도커 스웜 위..? 🤔 라고 묻는다면... 난처하다! 이 환경을 구축하였을 때의 상황은, Spark 도입이 필요함 (User): 운영자님! 지금 프로그램이 계속 에러가 납니다. 고쳐주세요! (Me): (dmesg 로그 확인 후) 음... Out Of Memory Killer (OOM) 이 프로그램을 강제 종료하였네요 ! 파일이 200GB를 넘어가서 그러네요.. 대용량의 데이터를 처리하는 프로그램이 있었는데, 처음에는 60GB 이내의 데이터를 처리할 것을 예상하고 개발을 하였었다. 하지만 데이터가 점점 커지면서 한대의 컴퓨터에서 multi-threading 혹은 ..