ETLツール (Extract/Transform/Loa) アクセスログ集計 他システム連携（ファイル送信・受信） DBの日次更新処理 Server再起動

適当にディレクトリ作ってたら、リリースの時にいろいろめんどい。。 ってことに気づいたので、今後のために少し考える 実現したいこと job 単位ごとにリリースして version 管理したい（1ファイルだけリリースとかしない） csv と log は リリースして vers…

src=di dist=d2 find ${src} -type d | sed "s/^${src}/${dist}/" | xargs -r mkdirんー、コピーはしてないな。コレ

Dateコマンドで先月を求めるときは、注意 こうやって書いてはいけない date -d"${ymd} 1 month ago" +"%Y%m"月末にきちんと動作しないため # NGなケース ymd=20140329 date -d"${ymd} 1 month ago" +"%Y%m" 201403 # 28までは必ず先月中に日付があるので問題…

他システム連携ではありがちなFTP取得も もちろんBatch化できる #!/bin/sh cd `dirname $0` host=xxx.jp id=foo pass=bar ftp -nv ${host} << _END user ${id} ${pass} cd /international.cute.coocan.jp/homepage/tmp prompt mget *.txt bye _END

設計 BashでのBatch処理 Tips Batch処理内でftpでファイルを取得する Batch処理 Dateコマンドで年月を求める際の注意点 Batch処理 ディレクトリを構造をコピーする - アウトプットができる技術者に Batch処理 ディレクトリ構造を考える - アウトプットができ…

個人的なメモなので参考まで 設計時の心得 一般的に Batch処理は、前処理 > 本処理 > 後処理 となる 性能は考慮して作らないと後で泣きをみる リアルタイム / 更新頻度の高いジョブ 異常時は極力早く対応するため、アラートが出るようにしておく リカバリ対…