본문 바로가기
데엔(Data-Engineering)/하둡(Hadoop)

Manager 전환 이슈

by KwonSoonBin 2023. 4. 8.

문제 상황)

부팅 시 리소스매니저와 노드매니저가 바뀌는 현상을 보고, yarn 에 문제가 있다고 생각했다.

 

결과)

처음에는 네임노드와 데이터노드를 설정해주는 것 처럼 기본 고정 값이 있다고 생각했다.

자료를 살펴보니... 매니저의 경우 yarn이 상황에 따라서 그때그때 매니저를 지정하기 때문에 yarn클러스터 실행 시 달라질 수 있다고 안내되어 있었다.

  • Active, Standby ResourceManager 확인 방법
$ yarn rmadmin -getServiceState rm1
$ yarn rmadmin -getServiceState rm2

Tip

💡 Yarn의 리소스 매니저는 DFSZKFailoverController가 내장되어 있어서, HDFS 처럼 따로 서비스를 띄울 필요가 없다. Yarn의 상태 정보는 주키퍼에서 저장/관리 한다.

 

'데엔(Data-Engineering) > 하둡(Hadoop)' 카테고리의 다른 글

Failover controller란?  (0) 2023.04.09
HDFS 휴지통  (1) 2023.04.09
네임노드 & 데이터노드  (0) 2023.04.08
HDFS 저장 용량 확보 과정  (1) 2023.04.08
Why Hadoop?  (0) 2022.11.08

댓글