hatunina’s blog

メモと日記です

kaggleの「Bitcoin Historical Data」のカーネルを読むその3

これ Predicting BTC Price Using RNN | Kaggle 概要 LSTMで日足を学習・予測させています。 ライブラリはkerasです。 Qiitaとかでもよく見るやつ タメになったやつ コードこれだけで学習できちゃうんすね。。。 from keras.models import Sequential from k…

kaggleの「Bitcoin Historical Data」のカーネルを読むその2

今日はこちら Bitcoin Price. Prediction by ARIMA | Kaggle 概要 自己回帰和分移動平均モデル(ARIMAモデル)とやら。 うーむ、事前知識なさすぎて、ちょっと専門的になるとわからん 時系列データ分析に関する本も並行して読まねば statsmodelsというライブ…

kaggleの「Bitcoin Historical Data」のカーネルを読むその1

カーネルを上から順番に読んだものをまとめていきます。 その1としましたが、続くかはわかりません。 概要 Bitcoin Historical Data | Kaggle コンペとして開かれているわけでなく、学生さんがデータセットを公開していて、みんなテキトーに遊んでねって感…

「ベイズ推定入門」を読みました

読みました。 shop.ohmsha.co.jp 完全に息抜きです。 余裕のあるうちにちょっとでも語彙力を増やす。 以下目次です。 第1章 こんなところにベイズ推定 第2章 確率分布とベイズ推定 第3章 機械学習とベイズ推定 第4章 不可能を可能にするベイズ推定 第5章 カ…

bitflyerから日付を指定して約定履歴を取得するスクリプトを改良しました

これの続きです。 hatunina.hatenablog.com 追加したところ ・データ取得開始日だけでなく取得終了日(時間)まで指定できるようになりました。 ・取得したデータを1分足、1時間足、日足のHLOC(高値、安値、始値、終値) + 出来高に変換できるようになりま…

NLTKでIOBタグ付けと頻出単語描画とストップワード除去とシノニムを探す

色々試しました。 Tokenize ~ Pos tagging ~ chunking ~ IOB tagging いじくる文章はiPhoneのwikiを使います。 import nltk sent = """iPhone is a line of smartphones designed and marketed by Apple Inc. The iPhone line of products use Apple's iOS m…

「パーフェクトPython」を読みました

読みました。 gihyo.jp めちゃくちゃ良かった。 最近読んだ中で一番良かった。 やはり良書と呼ばれるものはハズレがない Python以外の言語経験がある方ならこれ一冊で十分 「みんなのPython」→「パーフェクトPython」の順番でもいいかもしれない。 初めての…

bitflyerから日付を指定して約定履歴を取得するスクリプトを作りました

作りました。 github.com この方とめっちゃ被ってるけど俺氏3月末から着手してたから。。ユルシテ。。。。 sshuhei.com 経緯 botは去年の6月ぐらいにコインチェックのAPIで作っていました。Javaで! 当時はJavaしか使えなかったのでラッパーが公開されてい…

pandasのset_valueを.at[]に書き換える

大量のset_valueを書き換える雑務が降ってきたのでついでにまとめる とりあえず例 import pandas as pd import numpy as np from numpy.random import seed seed(1) df = pd.DataFrame(np.random.randn(5, 4), columns=list('ABCD')) print(df.head()) 実行…

「プログラマの数学」を読みました

これです。 www.hyuki.com 紀伊国屋でやっている数学フェアで見かけたので買いました。 サッと読むつもりがクイズ多めで意外と時間がかかってしまった。 個人的には数学ガールぐらいの問題量というか一つをじっくり考える方が好きです。

「シス管系女子2」を読みました

読みました。 system-admin-girl.com 1に続いて2も読みました。 cronから公開鍵に始まりシェルスクリプトの実用的なお話等々 シェルを書く機会は今のところ皆無ですが、ミーティングや日常会話で話題になった際にちょっと何を話しているのかイメージできる…

crfsuiteとpycrfsuiteについて

CRFについて勉強中です。 色々調べつつサンプルを動かして見ました。 こちらはコマンドラインで実行できるcrfsuiteのチュートリアル記事です。 CRFsuite - Tutorial on Chunking Task - 英語ですが、難しい単語は出てこないですしざっくり大まかな概要は把握…

高階関数とlambda式

パーフェクトPython 130Pあたりの内容です。 高階関数とは、関数を引数としてとったり戻り値として返す関数を指します。 例えば、こんな感じ。 def spam(): print('spam!') def ham(arg): print('ham!') arg() def egg(): print('egg!') return spam spam() …

「シス管系女子1」を読みました

system-admin-girl.com 最近、よく数百万行のtsvファイルをbashで見たり加工したりすることがよくあります。 毎回、やりたいことをググって一度使ったものは手元にまとめたりしているのですが、いまいち身についた感覚がしませんでした。 シェルスクリプトに…

Pythonのconfigparserで設定ファイルを読み込む

mainのプロセスで初期化する内容が多くなって来た時には設定ファイルを作成して読み込むのが良い。 例えば、こんな感じのmain.pyがあったとします。 #!/usr/bin/env python # -*- coding: utf-8 -*- class Main(object): def __init__(self): self.data_dir=…

Aidemyやってみた

Aidemy、良いよというお話です、 現在、無料公開中とのことで下記三つのコースをやってみました。 ・Pandasを用いたデータ処理 ・データクレンジング ・自然言語処理 僕は書籍を読んでも写経というのが苦手で、せっかく読んだ知識が右から左へ流れがちになっ…

「みんなのPython 第4版」を読みました

読みました。 僕は元々、Javaを使ってWeb系の仕事をしているのでPythonのみを学ぶ目的で読んだ本はこれが初めてになります。 業務で本格的にPythonを使うことになりWebや動画サービスの断片的な知識だけではどうにもならなくなったため、とりあえず大雑把にJ…

「人工知能プログラミングのための数学がわかる本」を読みました

2週間ぐらい前に読みました。 必要最低限な数学だけ取り上げられています。 Andrew先生のcouseraの動画を見て数式にアレルギー反応を示した方なんかにはちょうどいいんじゃないでしょうか? 学び初めの一冊としても良いのでは? ただ、最後の誤差逆伝播はち…

numpyでkmeans

numpyでkmeansしました。 github.com 安心と安定のirisデータを使ってkmeansしてます。 元データには正解ラベルがあるので、それとkmeansでクラスタリングした結果を描画して比較してます。 ラベルの色が違うのはご愛嬌。。。 右の図の右上にある赤の点とか…

主成分分析いろいろ

主成分分析について色々調べて試したのでざっくりまとめます。 雰囲気で理解しているので間違った解釈をしている可能性あり データセットに対する固有値問題を解けばいいよ!ってノリだけどそもそも、 ① データセットの共分散行列を求める ② 共分散行列の分…

「仕事ではじめる機械学習」を読みました

読みました。 www.oreilly.co.jp 表紙はオオアルマジロだそうです。 wikipediaによると成体になると75cm~100cmだそうです。 体重は19kg~33kgです。見た目はもっと重そう。 4章の「システムに機械学習を組み込む」という話が面白かったです。 よく、実装前は…

「1週間でLPICの基礎が学べる本」を読みました

これを読みました。 book.impress.co.jp VirtualBoxやらラズパイやら趣味程度では触っているのですが、いかんせん趣味なので分からないことはその場で調べてコピペするだけ。。。何も身につかぬ。。。。 なので、ちゃんと書籍で体系的に学ぼうと思い、読みま…

最初の投稿です

主に機械学習とかPythonとかJavaについて書こうと思っています。 いわゆるただのメモです。 たまに、日記も書くかもしれません。 2年目エンジニアなので間違っていることを堂々と書くことの方が多いかと思いますが、そのときはゆるめにマサカリを投げてくだ…