문제 상황)
부팅 시 리소스매니저와 노드매니저가 바뀌는 현상을 보고, yarn 에 문제가 있다고 생각했다.
결과)
처음에는 네임노드와 데이터노드를 설정해주는 것 처럼 기본 고정 값이 있다고 생각했다.
자료를 살펴보니... 매니저의 경우 yarn이 상황에 따라서 그때그때 매니저를 지정하기 때문에 yarn클러스터 실행 시 달라질 수 있다고 안내되어 있었다.
- Active, Standby ResourceManager 확인 방법
$ yarn rmadmin -getServiceState rm1
$ yarn rmadmin -getServiceState rm2
※ Tip ※
💡 Yarn의 리소스 매니저는 DFSZKFailoverController가 내장되어 있어서, HDFS 처럼 따로 서비스를 띄울 필요가 없다. Yarn의 상태 정보는 주키퍼에서 저장/관리 한다.
'데엔(Data-Engineering) > 하둡(Hadoop)' 카테고리의 다른 글
Failover controller란? (0) | 2023.04.09 |
---|---|
HDFS 휴지통 (1) | 2023.04.09 |
네임노드 & 데이터노드 (0) | 2023.04.08 |
HDFS 저장 용량 확보 과정 (1) | 2023.04.08 |
Why Hadoop? (0) | 2022.11.08 |
댓글