Database JUNKY

MySQL,MariaDBを中心としたブログです

amazon linux でgalera clusterを運用する時の注意点

あー。。別にamazon linuxに絞り込む必要はないのですが。もう、ec2以外ではそんなにやる気ないなーって思うので、備忘録がわりに残しておきます。 XIHAMA Xiaomi Mi Band 2 バンド ベルト 交換用 シリコン製 カラフル 交換用 ベルト (Army Green)出版社/メ…

amazon linuxにyumでleptonica、tesseractをインストールする方法

意外とハマったので、メモとして残して起きます。 ちなみに、 tesseract OCRアプリです leptonica オープンソースの画像処理系ライブラリ です!コンパイルでインストールする方法を色々掲載しているところが多いですが、amazon linux , redhat , centos 等…

Galara Cluster for MySQLでクラスタ環境を構築する

Galara Cluster for MySQL 5.7 でクラスタ環境を構築する 前回のMariaDBでのGalera Clusterの構築は手違いで消してしまった(−_−;)今回は、MySQL5.7でGalera Clusterを構築、運用することをやっていきたいと思います。以外と簡単ではあるのですが、今回EL…

Mariadb10.2 Galera Clusterで即席クラスタ環境を構築する!!

Mariadb10.2 Include Galera Cluster 日々のデータベース運用の中で、一番大変なのが、パフォーマンスチューニング。 チューニングの大半は、索引チューニングを行うか、SLAVE サーバをスケールアウトして、負荷分散するかの2つを行いうのが(私的には)一…

mysql_health_check でlong_queryをnagiosで監視する

月に一度はかならずはまるnagios サービスが長期化すると、この観点でも監視を入れないとだめだっていうのがどんどん増えてきて対応はするのですが、また数日後、どう設定したんだっけ?というのを忘れてしまうのが難点なので、あくまでも自己流ですが、メモ…

aws cli 簡単セットアップ手順(amazon linux)

amazon linux でのaws cliのインストール方法 amazon linux というか、ec2インスタンスを立ち上げた時、aws cli がインストールされていると何かと便利なのは知っているのですが、設定するのに調べてからやるのに時間を取られてしまうのでメモしました。

ファイルの最終アクセス日時の契機は何?(atime)

最終アクセス日時について調べてみた Windows,Linux 共にファイルに対して、作成日、更新日はあるのはご存知だとは思いますが、最終アクセス日付というのがあるのは知っていますか?ってえ?知っている、知らなかったの自分だけですね。ごめんなさい。では、…

find exec rm を駆使して、最終アクセス日からN日以上経過しているファイルを削除する

長いインフラの運用の中で、毎年発生して、そして毎年のように同じ件を調べるという、時間の無駄遣いを軽減すべくここにメモを残しておいて、あとで、自分で見ます 内容的には、ファイルの更新日ではなくて、そのファイルの最終アクセスしてからN日経過した…

excelでの管理に!ec2のインスタンス一覧を作成する

数十台のecインスタンスだったらこんな必要はないと思いますが、数百台、ものによっては、数千台っていうec2インスタンスを管理、もしくは一覧を作成したい場合、ec2管理コンソールで管理できなくなってきます。 そこで便利なのが、awsコマンドになってくる…

conoha VPSの簡単作成手順

仕事から、conohaのVPSを作る機会が多く、もうスピードで終わらせたいから、コピペでサーバが構築できるようにしようと思った僕のメモです。 あと、これも慣れの話なのですが、私、centos5,6系しか知らないので、こちらcentos6ベースでの構築手順を載せてい…

conohaのオブジェクトストレージで、安価に動画サイトを作成しよう!

オブジェクトストレージがどんなに便利かわからない状態で、ちょっと作ってみました。conohaのオブジェクトストレージですごくいいなと思ったところが、 amazon S3と比較してネットワーク転送料がかからない ってところですw 今回画像だけしかアップしてお…

AWS S3でディレクトリをリージョン間転送する

世界中で利用される画像/動画アプリにて、日本リージョンのS3から画像/動画を参照しているが、アメリカからのアクセスが異様に遅いという話があり。いろいろ調べてCDNを高速化した内容をここに書いていきたいと思います ADEWU 伊達メガネ 半分フレーム ウッ…

トイレの水が出ない!!修理の方法など SH381BA編

夏本番!!水回り、特にトイレの故障がおおい季節になります!! 今回は話を変えて、トイレの修理の話をしたいと思います 本日、我が家のTOTOのトイレ(SH381BA)から水がでなくなりました、つまりトイレ使えなくちゃったんですよ。 水が一生懸命だそうとして…

最速! mysql5.7 インストール手順

MySQL5.7のインストール しばらくMariaDBに使っていたので、MySQL 5.7のインストール方法について、すっかり忘れてしまったので、備忘録代わりに書きます。その過程でエラーおよびワーニングが発生ししたものに関しては、1つずつ、my.cnfを修正して、結果エ…

これはすごい!mariadb10.0 でマルチソースレプリケーションが可能に

MariaDBでマルチソースレプリケーション 私的に待ちに待ったあの機能が追加されました。それは、マルチデータソースレプリケーション、mariadb10.0から実装されるという話は知っておりましたが、ようやく触る機会がきたので試してみようと思います。 余談で…

知ってた!?MySQL5.6以上から日本語全文検索ができるようになったってこと・・

MySQL5.6~ で日本語全文検索ができるぞ!!! 最近MariaDBばかりやっていて、MySQLの存在を忘れていたのですが、今まで英語しか利用できなかったのに、いつの間にか標準で日本語全文検索ができるようになっていたので、久しぶりに触って見ようと思います。…

Typoraでこのブログを書いてます

自分の場合、いつもブログを書く時に、仕事のエビデンスを元に書いていたのですが、エビデンスを、マークダウンに変更してから、はてなに投稿するというプロセスに無駄があったのですが、Typoraで書くようになってから、エビデンスも、ブログ掲載も同じファ…

【エンジニア必見】 インフルエンザ流行速報 [2016年-2017年] 予防接種と予防策について

やってきました。インフルエンザの季節! 2016/11/21 高病原性鳥インフルエンザウイルス(H5N6亜型)が、秋田、鳥取で検出されました。環境庁は、警戒レベルを最高度の「3」に引き上げております さあ、やってきました。インフルエンザの季節です。チームで…

conoha オブジェクトストレージを利用した静的 画像/動画サイトの作成(conoha-ojsと512MBプランの活用)

オブジェクトストレージがどんなに便利かわからない状態で、ちょっと作ってみました。conohaのオブジェクトストレージですごくいいなと思ったところが、 amazon S3と比較してネットワーク転送料がかからない amazon Ec2と比較してVPSもネットワーク転送量が…

AWS - ec2のインスタンスを大量生産しよう

awsの10台、20台のEC2インスタンスであれば、力技で作れる、でわ、100台,200台の場合はどうする?の場合の、大量生産の方法をざっとまとめました。 設定の肝はEXCELのスプレッドシートですw やんわりとしか書いておりませんが、それでもわかる人は(きっと…

N日以上のファイルを削除する方法 ~ tmpwatch

指定日次以上経過しているファイルの削除方法する方法として、よくあるのが find /var/log/etc/ -mtime +2 -exec rm -f {} \; とかですが、もっと楽な方法があったのでメモです Cyxus(シクサズ)スクリーンブルーレイ止めの眼鏡 防止青色光紫外線 視力を保護 …

MySQL,MariaDBでタグ機能(TAG)を実現する(TOXI法)④SQL応用

もう、設計としては完了しているので、作成されたデータを元に応用SQLを考えてみます。 もう特に考える部分はないので、あとは好きな角度からSQLを発行するだけでいいと思います。 TANITA 【SDカード搭載】 & 【乗った人をピタリと当てる「乗るピタ機能」搭…

MySQL,MariaDBでタグ機能(TAG)を実現する(TOXI法)③タグマップデータ投入

前回 hit.hateblo.jp にて、タグデータを投入する説明はしましたが、肝心のDIARYの中での紐付けについては書いていませんでした。 前回の記事を含め、タグのマッピングの登録方法についても記載していきます。もちろんストアドプロシージャベースでの話です …

MySQL,MariaDBでタグ機能(TAG)を実現する(TOXI法)②タグデータ挿入

前回の、TOXI法による、MySQLのタグのしくみを説明しました。 hit.hateblo.jp 正規化として、これ以上ないくらいの完璧さなのですが、実際このタグ、複数のユーザーが任意に設定できるという、いわゆるソーシャルタグの場合はどうでしょう? 正規化とはうら…

MySQL,MariaDBでタグ機能(TAG)を実現する(TOXI法)①タグ関連のスキーマ設計

MySQLでタグのしくみを作る? MySQLでタグの仕組みを作る場合は、どのような設計をすればいいのでしょうか? タグの設計にはいくつかの種類があり Licious:コンテンツ系のデーブル1つの中にタグフィールドを持たせる方法 Scuttle: コンテンツ系とタグ系のテ…

オートナンバーをランダムユニークな値に変換する

MySQL(MariaDB)のオートナンバー型ってもちろん便利なのですが、数年システムを運用していくと、こんな課題が出てきてしまいます。 とあるWEBシステムで、規則性のあるデータを見つけてしまう。ちなみに、これ、セキュリティの話ではなく、あくまでも、外…

なければINSERT、あればUPDATE(ON DUPLICATE KEY UPDATE)

レコードがなければINSERT、あればUPDATEなどどいう超便利なSQL構文があります ON DUPLICATE KEY UPDATE オプションがそれなのですが、 結構便利です、今回 MariaDBで試しておりますが、MySQLでもおそらく同様にいけると思います。 これが出来る前提条件は、…

乱射注意!!!MySQL TRIGGER(トリガー)は結構使える!!

使いみちによっては、すごく便利なトリガーについて説明します。使いみちと書いたのは、なんでもかんでもトリガーにもりもりしちゃうと対象テーブルのパフォーマンスに影響出ちゃうよという乱射状態になってしまいますので注意って感じです トリガーとは Tri…

MySQLでジョブキューを管理する(Q4M)

いまいちキューの概念がわかっていないのだが、ようはあれかな?非同期で、データをやりとりするもの?え?違う???たとえば、受注処理の場合とか、受注が完了するまでアプリケーションが待つのではなく、キューという形で一連の受注プロセスからデーモン…

容量無制限!! NFSからAmazon Elastic File System (EFS) に移行する

今までec2のインスタンスでnfsサーバを立てて運用していましたが、ディスクの使用率が逼迫してくると、ディスクの追加作業が面倒な上に、時間がかかるので、今回、既存のec2 nfsサーバをEFSに移行しちゃおうと考えたわけです。 旧構成 上記、図の通りawsのec…