140 字
1 分鐘
AWS EMR 模式差異
2022-08-17
Ying Xiang Zhao
Ying Xiang Zhao

Mode#

  1. Client mode
  2. Cluster mode

差異點#


driver 放置的位置

driver放置於
ClientMaster
ClusterSlave(Worker)其中一台

影響層面#


    1. Memory 設定

啟動Job時,是否要指定memory的使用量

Memory設定
Client都可
Cluster指定比較優,因為driver預設2GB
    1. 機器壞掉時影響層面
EC2壞掉影響層面worker記憶體量
Client千萬不能壞Master,需要額外的重啟流程
Cluster壞帶有driver的worker時,master會協助重啟

小結論#

Client 適合中小型

適合情境
ClientMaster/Slave 在同一網路內
ClusterMaster/Slave 在不同網路內
AWS EMR 模式差異
https://geminixiang.xyz/posts/aws-emr-mode-difference/
作者
Ying Xiang Zhao
發佈於
2022-08-17
許可協議
CC BY-NC-SA 4.0