[mysql][db]データ増大に伴う、データ表示処理・データ蓄積処理の変更履歴…

背景

ログの蓄積について、とりあえずでやっていたら処理がドンドンおもくなっていき、それにつれ、対応を変えていったのでその履歴のメモ。

最初の要望:アクセスログから、アクセスページとユーザーIDのユニークな組み合わせを取得し、webで表示したい。

GROUP BY url, user_idで簡単に取れる。

しかし、件数が増えるにつれWEBから都度SQL発行では遅すぎる。

次の対応：バッチで日次でサマリーテーブルにデータを入れておこう。

webでつかったGroup BYの結果をそのままテーブルに保存。

これをwebから参照しよう!!

しかし、これも件数が増えるにつれ。。。1時間以上かかるように….

次の対応：毎日追加分のログだけインサートしよう（そりゃそうだけど）

データの有無をプログラムでチェックすればいいけど、ちょっと面倒くさいな。

主キーが重複したら、入らず処理を続行してくれればよいだけなので…一意制約違反を無視してしまえ。

IGNORE さまさまーー。

次はどんなことになるかな….