会社で、oracleで吐き出した130MぐらいのTSVをいつもは、Mysqlで処理をしているのだけど、色々今後人に渡す場合も考えてSqliteでやろうと思いRubyでやってみた。
db.execute("COPY im_data FROM '130M.txt'")
ちょｗｗｗ、ゲロる程遅ぇぇぇぇよ。
これは、しんどい…selectは早いんだけど、インポートが激遅いorz
色々調べてみるとトランザクションがhogeって書いてあるんだけど、例のごとくCで書いてあるページやpythonで書いてあって、微妙。
あと、元データが130Mに対して、できたDBサイズが470Mにも膨らむ…これも要調査。
こんな感じだと自分が使うならMysqlで処理した方が…ってなるなぁ。
もちょい、色々調べてみよう。