nginxのログをtd-agentを利用して、MySQLに突っ込んでみた 〜アクセスログのデータベース化

nginxのログを収集したいので、td-agentを入れることにした。そのあとどうするかは考えます ここでは、nginxのログの設定から、Fluentdの設定を行い、最終的にMySQLのテーブルにログを吐くところまでを記載したいと思います

かなりの長編ですが、皆様の環境でもこの通りやれば、かならず、、動くはずです。。動くといいな。。

サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)

MariaDBにアカウントを設定しよう

mariaDBにアカウント設定しよう

前回こちらでMariaDBはインストールできたかと思います。この時点ではmariadbはデータベースもなければ、ユーザーIDもありません。内部的にrootというアカウントを持っておりますが、パスワードなしの状態で運用するのは危険なのでこのMariaDBに対して自由にログインできないように、接続時パスワードを設定する方法を記載していきます。ちなみにMySQLも全く同じ作業なので、MySQLをご利用の方は適宜置き換えてください

hit.hateblo.jp

MariaDBを数秒でインストールする手順

mariadbをyumでインストールする際の簡易手順

細かい設定は別としてインストールして起動するまでだったら、数秒で終わります、そんな手順です。こちらでは、インストールから起動までを説明していきます

Mariadb Essentials

サービス無停止でMySQLのレプリケーション環境を構築する方法

サービス無停止でMySQLのレプリケーション環境を構築する方法

稼働中のサービスを停止できないけど、スレーブを増やしたい（増殖したい）なんて場合に使える技になります。 実際これでとあるサービスの運用をやっております。

おうちで学べるデータベースのきほん

MySQLでデータ更新時に自動的に更新日時をセットする方法

MySQL5.6およびMariaDB 10.0 以降のカラム定義にてdatetime型にON UPDATE オプションを付けると、データ更新時に日付時刻を自動でレコードにセットすることができるらしい。

3ステップでしっかり学ぶ MySQL入門 [改訂2版]

早速ですが試してみたいと思います！！

git 削除をリモートリポジトリにも反映される方法は？

ローカルで削除したファイルおよびディレクトリをリモートリポジトリにも反映させるには？

gitでpullとかpushで認証情報を求められないようにする方法

Linuxコンソール上でのgitの操作

gitでpullとかpushで認証情報を求められないようにする方法をメモ

Gitが、おもしろいほどわかる基本の使い方33

nginxを利用したamazon S3への動画リバースプロキシー

nginxを利用して、amazonのs3へ動画ファイルを自動取得する、コンフィグファイルの設定をメモしました。

これのメリットは、

• s3へのアクセスが何回もいかないので、ネットワーク転送課金を低く抑えることができる

• 動画URLを短くまとめることができる

でしょうか。

conohaオブジェクトストレージを利用した低コスト動画サイト運用 ～conoha-ojs を利用する

オブジェクトストレージがどんなに便利かわからない状態で、ちょっと作ってみました。conohaのオブジェクトストレージですごくいいなと思ったところが、

• amazon S3と比較してネットワーク転送料がかからない

ってところですｗ 今回画像だけしかアップしておりませんが、他にも動画とかもありかな？と思います。

swiftを頑張って覚えないとと思ったのですが、私にはあまりにも難しすぎて、断念しましたが、

すばらしいツールがあったのでこれを使うことにしました。

Anker PowerCore 5000 (5000mAh 軽量コンパクト スティック型 モバイルバッテリー) iPhone / iPad / Xperia / Android各種他対応 トラベルポーチ付属【PowerIQ & VoltageBoost搭載】

gitのインストール

defaultのyumのバージョンだと謎のhttp errorとかのエラーがあるので手動でインストールする 毎回ここでつまずくからいい加減覚えないとなあ。。

新conohaで追加ディスクをマウントする方法

新conoha (cloud) で追加ディスクを認識させる方法

新conohaになってから、大容量のディスクを利用すると、初回で認識してくれなくなったので、手順をメモしました

MySQL ストアドプロシージャ/ファンクションを使ってみよう！

いやー・・・本当に情報が少なくて苦労した。というか現在進行形で苦労してます。表題の通り、MySQLのストアドプロシージャ/ストアドファンクションの件なのですが、oracle触っているときも、db2触っているときも、「管理が複雑になるから」ともっともらしいことをいって避けていた道なんですけど、なんとなくわかったところで、「あ、これ結構つかえるじゃん？」と思ってきた。まあ、たしかにプロシージャ側がデータベースサーバサイドで動くわけなのでアプリケーションとの比重を考える必要があるかと思うけど、phpとでもjavaでもアプリケーション視点で考えてみれば、小難しいこと考えなくてもよくなるので、パラメータ渡したら期待した結果が戻ればそれで良いわけでSQLでの過程なんてどーでも良いわけだ、またある意味アプリケーションのプログラムと、ストアドプロシージャは分離されているので、細かい計算ロジックをストアドプロシージャ側で実装すれば、仕様変更があっても、もしかしたらストアドプロシージャだけを変更するだけですむかもしれないですしね。

パスワードなしでsudoできる設定

以下の例は、userにpanda を追加する手順です、rootアカウントにて、"visudo" とコマンドをうって頂きますと、設定ページが表示されますので設定ページで以下の記述を追加してください

DB2のバックアップ＆リストア

DB2のバックアップ＆リストアについての備忘録です。以下のケースの場合の想定で作成されたものになります。

" データベースをオンラインバックアップで取得している。 " データベースのバックアップにログを含めている。 上記条件に当てはまらない場合は、リストア、およびロールフォワードの手順が若干違いますので、ご注意をお願いします。

GO Lang MysqlでテーブルをSELECTするSAMPLE

GO 言語　・・・若干というか、全然わかっていないのですが、とりあえず動いたのでメモする なにぶん、プログラムを久しぶりに書いたので、細かいところは全然だめですが、次回何かに応用するときに自分でここ見ようというレベルのメモになりますので、至らない部分はお許しください