Spark submit không cấp phát đúng kích thước RAM khi submit lên Yarn?
Mình có sử dụng spark-submit để submit ứng dụng spark lên yarn với cú pháp sau:
spark-submit --num-executors 4 --executor-cores 4 --executor-memory 6G
Nhưng khi xem trên spark UI thì chỉ có 3.2gb / executor.
spark
,spark-streaming
,công nghệ thông tin
Lượng memory mà bạn thấy trên Spark UI được tính bằng executor-memory * spark.memory.fraction - 300MB.
Bạn xem lại phần cấu hình của tham số spark.memory.fraction
300 MB là dành cho JVM Heap
Chi tiết bạn tham khảo thêm ở đây nhé:
Nội dung liên quan
Bác nông dân
Lượng memory mà bạn thấy trên Spark UI được tính bằng executor-memory * spark.memory.fraction - 300MB.
Bạn xem lại phần cấu hình của tham số spark.memory.fraction
300 MB là dành cho JVM Heap
Chi tiết bạn tham khảo thêm ở đây nhé:
Configuration - Spark 1.6.2 Documentation
spark.apache.org