前回のMySQLとInfiniDB でリアルタイムDWHを作る PART1から、だいぶ間が空いてしまいましたが、そろそろリアルタイムDWHの話を復活しようと思います。PART2では、リアルタイムDWHを構築する際の環境構成について説明し、結果何をどうしたいのか？の結果を記…

むかしむかし、僕のブログでこんなことを書きました。 (OSSなDWH InfiniDB の話 ⑤ ～リアルタイムDWH化について) もう一年以上経っちゃいました・・・。この話、もちろん忘れていたわけでもなく、需要があまりなかったので、「ふーん、世間ではそんなにニー…

MySQLのバックアップってどうやってますか？単純なバックアップであれば、mysqldumpでもデータディレクトリを丸ごとコピーでも好きな方法でやればいいと思いますが、じゃあそれが止めることが許されないサービスだったら？というところを突き詰めて「サービ…

MySQLとかの状態監視したいんだけど、なんかいいツールないかな？と思ったのがきっかけて、muninとか入れてみました。負荷監視ツールとして有名なのはMRTGですが、私はよくわからんのと設定がめんどくさそうなので（もちろん人によっては、使いやすいと思う…

知っている方にはどうでもいい情報なのですが、例えばMySQLのレプリケーションスレーブを作成する際に、mysqldumpからのダンプファイルを、リストアする・・なんていうのがどうしようもなくめんどくさい人は、データディレクトリ丸ごとスレーブサーバに転送…

MySQLのデータをエクスポートして、他DBMSにデータをインポートする際にツールを使わない場合、たぶん・・なんですが、CSVをというフォーマットを介してデータ移行をするかと思っているのですが、そこで必ず引っかかってくるのが３つあり 1. データベースの…

MySQLのサーバが運用してて、ん？今どれくらいの接続があるの？というのを調べたい場合は、extended-statusを調べればわかるよ。という話。

メモです。MySQLのgroup_concat()の関数、以前、こんなところで紹介させていただきましたが、結果データの列長が長すぎると結果が欠けて出力されてしまいます。しかもデフォルトの設定ではエラーにはなりません。 group_concatの仕様として、MySQLの結果セッ…

毎回毎回、それをやろうとすると、ん？あれ？って思う、MySQLの謎仕様、それがエクスポートコマンドです（汗

MySQLで文字列結合を利用する場合、concat関数しか使えないと思っておりましたが、他者DBMSのように、パイプ(||）で表現することが可能なことを発見してしまいました。 知らなかった・・。

ちょっと仕事の関係で、とあるデータベースからIBM DB2からMySQLに移行する案件があり、その中で、 一部のデータベースがFEDEARATIONのみで構成されている特殊なものがあり、一応このままでMySQLの FEDERATION構成に移行したのですが。。。なんか気持ち悪い…

最近更新していないのすこし休憩・・以下に記載している問題を、SQLなんかでやったら評価的には、おそらく「プログラミング能力不適合者」に認定されること必至なのでマネしないように・・・この問題・・前職での問題なのですが、利用する言語はなんでもよく…

適当感は否定できないですが・・・MySQLサーバのユーザー設定を一括で行うshellです。当該shellは、 ・root なんでもありの神様アカウント ・sysadm データベース管理全般（DBA用） ・sysusr サービスで利用するアカウント ・slave レプリケーションで利用す…

そもそも地図はよくわからないので、もう地図のことは書くまいと心に決めていたのですが、意外と見ていただいている方は多いので、やっぱり地図データベースのことを書きます。前回は、MySQLをベースに書きましたが、今回は、PostgreSQLで、PostGISを利用し…

いきなりですが、こんな構成のテーブル群があったりします。左記の図では、ユーザー情報を管理する、ユーザーテーブル、およびそのユーザーが持っているスキル を格納しているスキルテーブル、ユーザーとスキルテーブルは、１対多で紐づいています。みたいな…

ちょっと話が、前回のストアドプロシージャを使う話と前後してしまいますが・・・ iPhone, Android等のスマートフォンの爆発的な普及によって最近、位置情報を活用したアプリケーションが増えてきました。スマートフォンから出力される位置情報は、緯度、経…

前回、InfiniDBでフリー版にもかかわらず、制限事項が少なくてうれしいとか書いちゃいましたが、制限事項は一応あります。そんなものをメモがてらに纏めてみました。

OSSのDWH InfiniDBが、VER 2.2.2 にアップしたみたいなので改めてインストール手順書を書いてみました。 InfiniDBは、カラム指向のデータベースで、更新の性能は弱いですが、検索の性能は高いです。また、MySQLのストレージエンジンとして提供されているため…

MySQLでの大文字小文字の値の区別の話って・・・意識しなかったのだけどデフォルトの設定だと区別しない仕様なんですね・・。 ここでいう大文字、小文字の区別とは、任意のテーブルに設定するカラムのCHAR,VARCHAR,TEXT属性のことです。既にMySQLのDBエンジ…

MySQLでレプリケーションってMASTERが吐き出すバイナリログをリレーしてレプリケーションをするわけなのですが、そのままにしておくとMasterにバイナリログがどんどん溜っていきディスクを圧迫してきます。自動削除の機能もあるのだけど・・MASTERのバイナリ…

mysqldump（mysql 5.5）のメモです。 いっぱいオプションがありますので、色々なサイトからかき集めてまとめてました。mysql 5.5になってからなのかな？レプリケーション関係（MASTER,SLAVE）のオプションが追加になっているようです。

ほぼ自分のメモです。表題の件は、１サーバ内に、複数のデータベース（スキーマ）がある場合、データベースごとにダンプファイルを取得したかったためだけに作成したshell(bash)です。

障害発生！！！どうする！？でも・・MySQLだと、レプリケーション（スレーブ→マスターの昇格））でほぼなんとかなっちゃうのであまり使われることはないとは思いますが、実はロードフォワード（roll forward)回復もできちゃうんすよｗｗというほぼ僕のメモで…

mysql 5.5になり、パーティションの機能もバージョンアップしました。MySQL 5.1では以前、当ブログにて書きましたが、今回は、MySQL 5.5で書きたいと思います。 後ろの行で、MySQL 5.1 と 5.5の比較（のようなもの）を書きましたのでご確認ください。

SQLを最近忘れてきている・・・よく使うかどうがわかりませんが、集計系でちょこちょこ、「あれ？どうするんだっけ？」と毎回毎回調べるのも面倒になってきたのでメモがてら掲載することにしました。MySQLを例に書いておりますが、別のほかのDBでもいけるか…

題名長いすね・・たとえば、MySQLのSLAVEを利用した内部ロードバランサーを構築した場合など、振り分け先のリアルサーバにちょっとした細工をする必要があるのですが、慣れればいいのですが私はこの手のものは、なかなか慣れないのですべてスクリプト化しち…

innotopとは、linuxのtopコマンドのmysql版みたいなもんです、これを使って流れているクエリーはキャッシュのヒット率や、デッドロック検出や、その他、レプリケーション状態なども見ることができます。もっと細かな情報を簡単にできるコマンドもございます…

単なるメモです。 my.cnf の設定をして、mysqldを起動してみたところ、表題の World-writable config file '/etc/my.cnf' is ignored がでてきた。World-writableって世界中から書き込める設定という意味なのでしょうか？よくわからんので、 # chmod 775 /et…

MySQLといえば、レプリケーション、レプリケーションといえばMySQLというくらい、MySQLのレプリケーションは簡単、かつ有効に活用できる機能の一つ、MySQLを利用しているサービスでレプリケーションを利用していないサービスはほぼ無いと思ってよいでしょう…

いまごろ、MySQL memory engine の活用方法なんぞ書いてみようかと・・。 ちょっと前に話題になった・・かどうかしらないけど、インメモリデータベースって知ってますか？あらゆるシステムにおいて最大のボトルネックの箇所って、まあ、ほぼ例外なくデータア…