Dルートで行こう

ハック日記

2015-10-01から1ヶ月間の記事一覧

滑走窓方式データ整形 Rscript

滑走窓方でなくても使えるスクリプトです。 とりあえず部分時系列を得たい方推奨です。 ans<-spliting(data,1,3500,20) kmeans(ans,3) data:時系列データ。複数行不可 start:与えた行列のスタートしたい地点。1が推奨 end:与えた行列の終わりにしたい地点。…

Rscript をテストした

行のラベルを動的に配置することができるか、テスト test <- function(){ x <- matrix(1:2, nrow=1, ncol=2) # 行列rownames(x) <- c("up") # 行 xx <-c("unchi")xxx <-c("unchi2")xx <- rbind ( xx, xxx ) colnames(x) <- c(xx) # 列の名前 return(x) } > a…

データサイエンティスト養成本を買った感想

どことは言わんが、ネットで持ち上げられているデータサイエンティストの入門書?を買ってみた。 期待していたより簡略で分かりやすい本であり、ネットで調べるよりも圧倒的な時間コスト削減に役立っている書籍だと思った。 私が前回記事に書いたARIMAモデル…

DTWと基準例分割テストを明日からしてみる。

この3週間はある一定区間に区切って合計スパムメール数を予測解析検討してきたが、実際やりたいと思っているのは、決定木分析であり、時系列に並んだデータの決定木分析になる。 代表的なものはDTWと基準例分割テストになるがDTWのアルゴリズムは転がってい…

いやー拙者学習不足でござった

前に書いた記事に横ばいのArimaモデルから生成される予測を書いたのでござるが 自己回帰和分平均にギザギザを求めている方がバカでござった。 改めて訓練データの分散を見てみるときれいにギザギザがなっており下りもしないが上がりもしないものであり、移動…

Arimaモデル生成とbox検査を行った結果

This Script http://www.ec.kansai-u.ac.jp/user/arakit/documents/lbrts.pdf ちなみにRをものすごく網羅的に詳しく説明してあるため有用的と言える。ここからの引用?? http://www.di.fc.ul.pt/~jpn/r/ts/index.html > plotForecastErrors <- function(for…

スパムメールのモデルがクソすぎて悩む

varモデルを作成し、多変量変数を用いた予測をしてみた。> st.vr<-VAR(day3,p=VARselect(day3,lag.max=365)$selection[1])>day3 Time Series: Start = 1 End = 365 Frequency = 1 V8 V9 V10 V11 V12 1 0.35347648 0.06539085 13.358882 2 4 2 0.33842754 0.0…

記事更新が遅れたのはhatenabogが異様に遅かったからだ

快適快適!な回線ではてなブログにいざ記事を書きに行こうと思ったら ものすごく読み込みに時間がかかった 特にヘッダーの読み込みが遅くうんこうんこしていたわけだが やっとヘッダーが読み込まれ記事を書くをくりっこしたところ プログレスの丸いやつが回…

作業メモ

Rでglmを実行するとこうなった。 factorでnon-spamとspamの2クラスに分けていることが原因 > fit <- glm(spam ~ log.time, data = k, family = poisson)Error in if (any(y < 0)) stop("negative values not allowed for the 'Poisson' family") : missing v…

作業メモ

kaiseki_data.arff から 余計なものを削除する 40119,1199686935,3,20498,30870,text,non-multipart,2,0.06931702,0.01223242,1,spam40714,1201049779,0,22059,30870,text,non-multipart,2,0.07904412,0.01102941,2,spam40712,1202712729,3,21523,30870,text…

RStudio(R言語)に触れて思ったこと。

とりあえず、RStudioは読み込むURIの中に2byteがあったらエラーが出て起動しない。 RStudio用のアカウントを作成するんだ! Githubと連携させることもできるのでまあまあ便利。 とりあえずrepo https://github.com/pushnanashi/Spam_Mashine_Learning

Bitcoinの予測、時期について

BItcoinの歴史を学んでいくと、MtGoxの大暴落以降徐々に下がっている傾向にあることが分かった。 前日、それを学習データとして加えテストしてみた結果、中々なものだという記事を書いたがそれは間違いだったことが今理解できた。 過去900日を学習データ(モ…

Bitcoin and Weka by Linux

Linux 上でwekaを動かす。 Linuxもjavaもよくわからない人は絶対先にwindowsGUIのWEKAを実行しまくることをお勧めしたい。 wekaのLinuxverをDLし任意の場所に回答(私の場合は/root/) javaのクラスパスを変えたくない人は以下のように実行 java -cp /root/w…

Bitcoinを機械学習させた結果  -Bitcoinの予測-

3年分900日を学習データ600日とテストデータ300日にわけて検証を行った。 ちな、要素として Date,Open,High,Low,Close,Volume by bitcoin,Volume by最近,総量 としている。Dateはその日の00:00:00をUNIXTIMEに変換したものであり、High高値の瞬時的時…

Bitcoinを予測する際の要素検証

引用「Bayesian regression and Bitcoin」ベイズ回帰とBitcoin http://arxiv.org/pdf/1410.1231.pdf ・twitter ・重み付き多数決 ・時間を3分割した中で各時間トップ60のトレーダーを注目 数式はそもそも見なくていい。ベイズも適当に回帰線として考えてお…

Bitcoinの機械学習って未発達ってところじゃねえな

諸事情で海外サーバを借りるため1マンほどBitcoinに突っ込んで 7500円ほどをBitcoinに監禁したまま放置してた。当時レートで27500円。 今みたら結構高騰してて30500円で、すぐ売った。 なんか知らんが8200円になったという話。 気になったので検索して調べ…

R言語…しゅごい

R言語マニュアル https://cran.r-project.org/doc/contrib/manuals-jp/Mase-Rstatman.pdf wekaでは統計学の真似事しかできず、細かい値が分からないのでR言語をやらないといけない。 Rには一応RwekaというものがありWekaれることも確認。 ・Wekaった結果 spa…

後輩が力作を作ってきた件

今、ユーザがAIを組みそれを戦わせる対戦ゲームをチームで開発中ですが、 Web,DB担当の私は正直物足りない担当でした。 なのでかなり放置をしてたのですが、後輩が紹介ムービーを作ってきたので見たら 超力作で「ホゲー」と思ってしまった。 急ピッチででき…