Juliaで並列計算を試す

引き続き Numerai をランダムフォレストで解いてみる。

のスライドによると、 DecisionTree は並列計算対応してくれているらしいので、実験してみた。

using DataFrames
using DecisionTree
using ScikitLearn
using LossFunctions
train = readtable("./numerai_training_data.csv")
test = readtable("./numerai_tournament_data.csv")
yTrain_array = Array(train[:, :target] * 1.0)
xTrain_array = Array(train[:, 4:53])
@time model = build_forest(yTrain_array, xTrain_array, 2, 30, 4, 0.7, 50)
pred_test = apply_forest(model, Array(test[:,4:53]))
labelsInfoTest = DataFrame()
labelsInfoTest[:id] = test[:id]
labelsInfoTest[:probability] = pred_test
writetable("numerai_answer3.csv", labelsInfoTest, separator=',', header=true)

@time を付けることでそのコードでの処理時間やメモリ使用量が分かるっぽい。

実行結果

> julia numerai.jl 
657.770862 seconds

> julia -p 3 numerai.jl 
282.813077 seconds

確かに、かなり時間が節約できている。

今後はJupyter である程度変数とかを絞ったら、コードにして並列計算したほうが良さそう。

肝心のNumeraiの結果は一度、Loglossが 0.70 台まで下がったが、Originarity チェックで弾かれた。なんでだろう。

他の結果は 0.75 以上の結果になってしまった。

損失関数の計算で分かってきたけど、1か0 の結果に対して、全ての予測が 0.5 だと、Logloss は 0.75 になる。

つまり0.75を下回らないと、予測の精度は全てを 0.5 で答えた結果よりも悪いことになる。

ここに一つのハードルがありそうだ。データはマスキングされているけど、元々はグラフデータとかの内容だろうし、普通に株取引とかで機械学習でやろうとしても、なかなか結果が出せないのと同じで、取引データから利益を出せるようになるには、もっとデータサイエンスを学ばないといけないな。

Julia で Numerai にチャレンジ

Numerai というデータサイエンスが競い合って、効率の良いファウンドを運営しようという試み。

ビットコインで雇われた匿名の7,500人が「頭脳」となるヘッジファンド「Numerai」|WIRED.jp

良いデータを登録できると、報酬ももらえるので頑張って Julia で挑戦してみる。

using DataFrames
using DecisionTree
using ScikitLearn

train = readtable("./numerai_training_data.csv")
test = readtable("./numerai_tournament_data.csv")

yTrain_array = Array(train[:, :target] * 1.0)
xTrain_array = Array(train[:,4:53])

model = RandomForestRegressor()
ScikitLearn.fit!(model, xTrain_array, yTrain_array)

predTest = ScikitLearn.predict(model, Array(test[:,4:53]))

labelsInfoTest = DataFrame()
labelsInfoTest[:id] = test[:id]
labelsInfoTest[:probability] = predTest

writetable("numerai_predict.csv", labelsInfoTest, separator=',', header=true)

とりあえず、simpleなランダムフォレストを作って登録もできた。Loglossは0.76522ぐらいだった。

Julia で箱ひげ図を表示する

Kaggle の Titanic 問題 をやっている。

性別と等級から年齢の平均は異なりそうで、それをNaN値に入れることを考えた。

まずは、実際にどれくらい違いがでるのかを確認してみる。

箱ひげ図を表示できれば良さそうなので、JuliaのGadflyライブラリを使って、図を表示してみる。

やっぱり差異はありそうなので、今後の:AgeのNaN値にはとりあえず、この平均を入れていくことにする。

田中TOMの めざせ Kaggle Master #3 相関係数

動画URL

田中TOMのめざせKaggleMaster #3 相関係数

相関係数

どの特徴量がターゲットに対して強い相関があるかを見ることは、
データ分析の最初の取っ掛かりとして良さそう

以下の解説記事が相関係数についてわかりやすくまとまっていた。
5分で分かる!相関係数の求め方

pandasで相関係数を求めてみた

pandas.DataFrame.corr

参考にした記事
Kaggleのtitanic問題で上位10%に入るまでのデータ解析と所感

やってみたやつ
gist

Julia Now

Tiatnic のデータ解析系記事
http://ajkl.github.io/2015/08/10/Titanic-with-Julia/

今週のニュース