自分用メモです。 OSはUbunts 18.04 LTSです。 状況 GCEでkaggle APIでデータをダウンロードしていたら No space left on device と表示されエラー 対処１ おそらくディスク容量に空きがないと思われるので df -h で容量を確認する。 そして、容量を圧迫して…

やりたいこと docker for windowsでdocker-composeを使ってpostgresのデータを永続化したい。 バージョンは以下。OSはWin10です。 方法 下記コマンドで永続化のためのデータコンテナ作成 docker create --name dbdata postgres docker-compose.ymlにvolumeを…

現象 バケットを削除したはずなのに、バケット配下のフォルダのみ削除されバケットは残っている状態。。。 また、Data not foundと表示されコンソール上で何も操作できない。。。 対処 削除が反映されるまで時間がかかるのでちょっと待ちましょうとのこと。 …

読みました。 www.nikkeibp.co.jp 帯にもあるようにアプリ開発者に超絶おすすめ WordPress, MySQLをEC2に構築するためのネットワーク周りについて学べます。 vartualBoxとかを使う場合にはもっと細々とコマンドを打ったりしてネットワークを作る必要があるん…

一時的な対処なのでご了承ください。 下記バージョンです。 OSはWin10です。 aws --version # aws-cli/1.16.10 Python/2.7.9 Windows/8 botocore/1.12.0 configureでAPI keyやプロキシ等諸々を設定した後、ネットワークを繋ごうとすると下記エラー aws s3 ls…

メモです！ stackoverflowまとめただけです！ 以下バージョンです。 >> pyspark --version SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/spark/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLogg…

結論から言うとJDKが32bitのせいなので64bitをインストール＆環境変数の設定をしましょう。 結論にたどり着くまでに色々ハマったので以下メモ（微妙な情報が混ぜってるかも） sparkの処理中にjava.io.IOException: ディスクに十分な空き領域がありません。と…

以下バージョンです。 dockerコンテナ内で起動しています。 >> pyspark --version SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/spark/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLoggerBinder…

環境はMacOSです。 sparkは以下 >>> echo $JAVA_HOME /Library/Java/JavaVirtualMachines/jdk1.8.0_122.jdk/Contents/Home >>> pyspark --version Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.3…

職場のWin10環境でハマりまくっているのでMacでサクッとやってみる。 基本的にレポジトリ周辺にまとめられているドキュメントを参照しただけです。 まずレポジトリをクローン github.com docker docker run -d -p 8090:8090 sparkjobserver/spark-jobserver:…

メモです。 Win10環境でdocker-compose upすると下記エラー Error response from daemon: Cannot restart container xxxxx: driver failed programming external connectivity on endpoint xxxxx Win10の高速スタートアップ機能の「完全シャットダウン」とや…

読みました。 gihyo.jp ドッグイヤーしまくりました。 最近はデータ分析やらダッシュボード・プロトタイプ作成が主な業務になっているので、こういうデータ欲しいんだけどどう書くのが効率的かな〜って時に逆引きしてます。 特にSQLはちょっと苦手なので、目…

例 Seriesを作る際にindexを指定した場合、指定したindexはリストなので順番を持っています。 なので、リストの順番でSeriesが作られます。 hoge = pd.Series([1, 2, 3, 4, 5], index=['C','A','B','E','D']) print(hoge) # 実行結果 C 1 A 2 B 3 E 4 D 5 dt…

色々試しました。 Tokenize ~ Pos tagging ~ chunking ~ IOB tagging いじくる文章はiPhoneのwikiを使います。 import nltk sent = """iPhone is a line of smartphones designed and marketed by Apple Inc. The iPhone line of products use Apple's iOS m…

読みました。 gihyo.jp めちゃくちゃ良かった。 最近読んだ中で一番良かった。 やはり良書と呼ばれるものはハズレがない Python以外の言語経験がある方ならこれ一冊で十分 「みんなのPython」→「パーフェクトPython」の順番でもいいかもしれない。 初めての…

CRFについて勉強中です。 色々調べつつサンプルを動かして見ました。 こちらはコマンドラインで実行できるcrfsuiteのチュートリアル記事です。 CRFsuite - Tutorial on Chunking Task - 英語ですが、難しい単語は出てこないですしざっくり大まかな概要は把握…