apache-sparkトラブルシュート

java.lang.OutOfMemoryError: Java heap space

javaのヒープメモリが足りない。こういうトラブルの場合大抵はメモリの設定が悪い。

ExecuorMemoryとDriverMemoryを拡大させる

conf/spark-env.shに以下を追加し、ドライバー(親)とエクゼキューター(複数のマシンに分散して実行するプロセス?)の確保できる最大メモリを増やす

また、collectなど、最終的にmapしたRDDを収集するときの最大サイズにも注意が必要。そのような最大サイズはconfにspark.driver.maxResultSizeを設定する。

scalaを使用している場合、オプションはSparkContextから設定できる