メモです！ stackoverflowまとめただけです！ 以下バージョンです。 >> pyspark --version SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/spark/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLogg…

結論から言うとJDKが32bitのせいなので64bitをインストール＆環境変数の設定をしましょう。 結論にたどり着くまでに色々ハマったので以下メモ（微妙な情報が混ぜってるかも） sparkの処理中にjava.io.IOException: ディスクに十分な空き領域がありません。と…

以下バージョンです。 dockerコンテナ内で起動しています。 >> pyspark --version SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/spark/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLoggerBinder…

環境はMacOSです。 sparkは以下 >>> echo $JAVA_HOME /Library/Java/JavaVirtualMachines/jdk1.8.0_122.jdk/Contents/Home >>> pyspark --version Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.3…

職場のWin10環境でハマりまくっているのでMacでサクッとやってみる。 基本的にレポジトリ周辺にまとめられているドキュメントを参照しただけです。 まずレポジトリをクローン github.com docker docker run -d -p 8090:8090 sparkjobserver/spark-jobserver:…