この記事を読む

apache pysparkでUnicodeEncodeError: ‘ascii’ codec can’t encode characterとか出たら

localeの設定が間違っていると思われます。 pysparkの実行環境で

を表示してみましょう。ANSIとか出てきたら駄目です。ここがUTF-8でないといけません。 spa…

この記事を読む

apache-sparkトラブルシュート

java.lang.OutOfMemoryError: Java heap space javaのヒープメモリが足りない。こういうトラブルの場合大抵はメモリの設定が悪い。 ExecuorMemoryとDriverMemoryを拡大させる c…