Database JUNKY

MySQL,MariaDBを中心としたブログです

td-agent

amazon linux2にtd-agentをインストールする

これだけです $ curl -L https://toolbelt.treasuredata.com/sh/install-amazon2-td-agent3.sh | sh

MySQL8.0 td-agent mysqlが起動できない場合の対処方法 ibmysqlclient.so.20: cannot open

こんなエラーがでてtd-agentが起動できない現象が、MySQL8.0環境下のサーバで発生しました。 libmysqlclient.so.20: cannot open shared object file: No such file or directory 今回、MySQL5.7がインストールしているサーバをMySQL8.0に入れ替えたのですが…

nginxのログをtd-agentを利用して、MySQLに突っ込んでみた 〜アクセスログのデータベース化

nginxのログを収集したいので、td-agentを入れることにした。そのあとどうするかは考えます ここでは、nginxのログの設定から、Fluentdの設定を行い、最終的にMySQLのテーブルにログを吐くところまでを記載したいと思います かなりの長編ですが、皆様の環境…

Treasure Dataからgoogleスプレッドシートにダイレクトに出力する

前回、td-agentを利用してltsvのデータをトレジャーデータに書き込むなんてことをやりました。今回はそのトレジャーデータからGoogle スプレッドシートに直接書き込むなんてことをやってみようかと思います。まぁ結果としてできたことはできたのですが、スプ…

トレジャーデータを使ってみる(treasure-data) *インストール

最近めっきりブログの更新が遅れてしまったのですが、飽きちゃったわけではなく、すごーく一年間忙しかったから更新できなかっただけです。とは言いつつも、何も試していないのです。ここ一年、ビッグデータ、ビッグデータてつい最近騒がれており。私個人と…