トップ «前の日記(2007-08-10 [J]) 最新 次の日記(2007-09-01 [J])» 編集

『よだきがり』のたわごと

2007|04|05|06|07|08|09|10|11|12|
2008|01|02|03|04|05|06|07|08|09|10|11|12|
2009|01|02|03|04|05|06|07|08|09|10|11|12|
2010|01|02|07|08|09|10|
2011|03|04|
2012|10|12|
2013|04|

2007-08-21 [J] sqlite

_ テキストインポート…

会社で、oracleで吐き出した130MぐらいのTSVをいつもは、Mysqlで処理をしているのだけど、色々今後人に渡す場合も考えてSqliteでやろうと思いRubyでやってみた。

db.execute("COPY im_data FROM '130M.txt'")

ちょwww、ゲロる程遅ぇぇぇぇよ。

これは、しんどい…selectは早いんだけど、インポートが激遅いorz

色々調べてみるとトランザクションがhogeって書いてあるんだけど、例のごとくCで書いてあるページやpythonで書いてあって、微妙。

あと、元データが130Mに対して、できたDBサイズが470Mにも膨らむ…これも要調査。

こんな感じだと自分が使うならMysqlで処理した方が…ってなるなぁ。

もちょい、色々調べてみよう。

お名前:
E-mail:
コメント: