Database JUNKY

MySQL,MariaDBを中心としたブログです

Galara Cluster for MySQLでクラスタ環境を構築する

Galara Cluster for MySQL 5.7 でクラスタ環境を構築する

前回のMariaDBでのGalera Clusterの構築は手違いで消してしまった(−_−;)今回は、MySQL5.7でGalera Clusterを構築、運用することをやっていきたいと思います。以外と簡単ではあるのですが、今回ELBとINTERNAL DNSを駆使して更新負荷分散を試してみようと思います

f:id:hit10231023:20170905173531j:plain

続きを読む

Mariadb10.2 Galera Clusterで即席クラスタ環境を構築する!!

Mariadb10.2 Include Galera Cluster

日々のデータベース運用の中で、一番大変なのが、パフォーマンスチューニング。 チューニングの大半は、索引チューニングを行うか、SLAVE サーバをスケールアウトして、負荷分散するかの2つを行いうのが(私的には)一番おおくやるやり方なのですが。 更新負荷については、かなりハードルが高いのが現状です。基本的に更新系はスケールアウトできないし。かといってスケールアップすると、それなりにお金かかるしで、どうしても躊躇しちゃいます。参照のスケールアウトはするのにね。。って。。。あ

更新もスケールアウトすればいいんじゃん

ってことで、クラスタをはじめてやってみることにしました。 MySQL Clusterですと使ったことはないのですが、なんか、いろいろと制約がありそうで 既存の構成を維持しずらいので今回は、MariaDBで組み込まれている、Galera Clusterを入れてみようと思います

Galera Cluster とは

ちょっとみる限りですと、クラスターというより、マルチマスタレプリケーションのように見えますね。ただ、一般的な非同期レプリケーションではなく、同期レプリケーションです。データの同期は、rsyncで行なっているっぽいです。 Galera Clusterの利点としては、構造がシンプルなので特に違和感なく利用できそうってことです。

Amazon Web Services企業導入ガイドブック -企業担当者が知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用まで-

Amazon Web Services企業導入ガイドブック -企業担当者が知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用まで-

Amazon Web Services 基礎からのネットワーク&サーバー構築 改訂版

Amazon Web Services 基礎からのネットワーク&サーバー構築 改訂版

MariaDB&MySQL全機能バイブル

MariaDB&MySQL全機能バイブル

詳解MySQL 5.7 止まらぬ進化に乗り遅れないためのテクニカルガイド (NEXT ONE)

詳解MySQL 5.7 止まらぬ進化に乗り遅れないためのテクニカルガイド (NEXT ONE)

続きを読む

mysql_health_check でlong_queryをnagiosで監視する

月に一度はかならずはまるnagios サービスが長期化すると、この観点でも監視を入れないとだめだっていうのがどんどん増えてきて対応はするのですが、また数日後、どう設定したんだっけ?というのを忘れてしまうのが難点なので、あくまでも自己流ですが、メモとして残しておこうと思います。

続きを読む

aws cli 簡単セットアップ手順(amazon linux)

amazon linux でのaws cliのインストール方法

amazon linux というか、ec2インスタンスを立ち上げた時、aws cli がインストールされていると何かと便利なのは知っているのですが、設定するのに調べてからやるのに時間を取られてしまうのでメモしました。

続きを読む

ファイルの最終アクセス日時の契機は何?(atime)

最終アクセス日時について調べてみた

Windows,Linux 共にファイルに対して、作成日、更新日はあるのはご存知だとは思いますが、最終アクセス日付というのがあるのは知っていますか?ってえ?知っている、知らなかったの自分だけですね。ごめんなさい。では、この最終アクセス日時っていつ更新されるかわかりますか?

  • ファイルをcpした時?
  • ファイルをmvした時?
  • ls で一覧を見た時?
  • cat もしくは、 less で見た時?
  • webから参照した場合

と色々なケースでアクセスってあると思うのですが、何か契機(トリガー)で変更されるのか私自身わかっていないので、調べてみました。

あ、すみません、以降 centos6系で検証を進めます。windowsは、、ごめんなさい。あまり要件がないのとしくみがちょっと違うので今回検証からは除外させていただきます。

Fire TV Stick (New モデル)

Fire TV Stick (New モデル)

続きを読む

find exec rm を駆使して、最終アクセス日からN日以上経過しているファイルを削除する

長いインフラの運用の中で、毎年発生して、そして毎年のように同じ件を調べるという、時間の無駄遣いを軽減すべくここにメモを残しておいて、あとで、自分で見ます

内容的には、ファイルの更新日ではなくて、そのファイルの最終アクセスしてからN日経過したファイルを削除したいとかなんですね。なんだろ、業界的にいうと、LRU(Least Recently Used )っていうんですかね?

アクセスのない、古い動画はキャッシュから消してしまいましょうみたいな感覚で消す想定で、今回調べてみました。

find, atime , exec, rm がキーワードかな

Spinido® ノート PC スタンド silver (TI-Station)

Spinido® ノート PC スタンド silver (TI-Station)

続きを読む

excelでの管理に!ec2のインスタンス一覧を作成する

数十台のecインスタンスだったらこんな必要はないと思いますが、数百台、ものによっては、数千台っていうec2インスタンスを管理、もしくは一覧を作成したい場合、ec2管理コンソールで管理できなくなってきます。 そこで便利なのが、awsコマンドになってくるのですが、こちら結果が、jsonで帰ってきます。システマチックにこれを管理するぶんには便利なのですが、もっとレガシーにexcelとかで管理したい場合また、これが面倒になってきたりします。

ながながと描きましたが、これをEXCELで管理しやすいように、jqを利用してコピー&ペーストで済ませようとしたのが以下のコマンドになります。

続きを読む

conoha VPSの簡単作成手順

仕事から、conohaのVPSを作る機会が多く、もうスピードで終わらせたいから、コピペでサーバが構築できるようにしようと思った僕のメモです。 あと、これも慣れの話なのですが、私、centos5,6系しか知らないので、こちらcentos6ベースでの構築手順を載せています。

https://goo.gl/UmYmVh

あくまでもサーバを作成する手順だけなので、ここでは、データベースやnginx等のミドルウェアのことについては触れていないのでご注意くださいませ。

【1円/時間】GMOインターネットのSSD「ConoHa VPS」

続きを読む

conohaのオブジェクトストレージで、安価に動画サイトを作成しよう!

オブジェクトストレージがどんなに便利かわからない状態で、ちょっと作ってみました。conohaのオブジェクトストレージですごくいいなと思ったところが、

  • amazon S3と比較してネットワーク転送料がかからない

ってところですw 今回画像だけしかアップしておりませんが、動画でもぜんぜんありだと思います!

しかし、swiftを頑張って覚えないとと思ったのですが、私にはあまりにも難しすぎて、断念しましたが、

ここに https://github.com/hironobu-s/conoha-ojs すばらしいツールがあったのでこれを使うことにしました。

【1円/時間】GMOインターネットのSSD「ConoHa VPS」

続きを読む

AWS S3でディレクトリをリージョン間転送する

世界中で利用される画像/動画アプリにて、日本リージョンのS3から画像/動画を参照しているが、アメリカからのアクセスが異様に遅いという話があり。いろいろ調べてCDNを高速化した内容をここに書いていきたいと思います

続きを読む

トイレの水が出ない!!修理の方法など SH381BA編

夏本番!!水回り、特にトイレの故障がおおい季節になります!!

今回は話を変えて、トイレの修理の話をしたいと思います

本日、我が家のTOTOのトイレ(SH381BA)から水がでなくなりました、つまりトイレ使えなくちゃったんですよ。 水が一生懸命だそうとしている音が聞こえるのですが、一向にタンクに水が溜まらない、どういうこっちゃ?と・・

東芝 温水洗浄便座 クリーンウォッシュ ウォシュレット SCS-T160 パステルアイボリー

東芝 温水洗浄便座 クリーンウォッシュ ウォシュレット SCS-T160 パステルアイボリー

[asin:B072HVJJFG:detail]

幸いにも、自分の家、トイレが2つあるので、全く使えない状態というのは避けることはできたのですが、 それでも、今まで2台トイレがあったのに、1台しか使えないって、どれだけ不便になるか実感できました。 このようなケースの場合、なんというパーツ名のなんという型番のものを購入すればいいのかを、備忘録代わりに残しておきます。

どなたか、同じ症状で役に立てば幸いです。今回は止水ダイヤフラム

の交換とあいなりましたw

このエントリーをはてなブックマークに追加

続きを読む

最速! mysql5.7 インストール手順

MySQL5.7のインストール

しばらくMariaDBに使っていたので、MySQL 5.7のインストール方法について、すっかり忘れてしまったので、備忘録代わりに書きます。その過程でエラーおよびワーニングが発生ししたものに関しては、1つずつ、my.cnfを修正して、結果エラーはZEROになりましたので、最後に出てくるmy.cnfはまるっとコピペしても大丈かと思います。 また、今回、centos6系でインストールを実施しましたが、32BITも、64BITも同様の手順で行えます。

FREETEL SAMURAI 「KIWAMI 極」 白

FREETEL SAMURAI 「KIWAMI 極」 白

続きを読む

これはすごい!mariadb10.0 でマルチソースレプリケーションが可能に

MariaDBでマルチソースレプリケーション

私的に待ちに待ったあの機能が追加されました。それは、マルチデータソースレプリケーション、mariadb10.0から実装されるという話は知っておりましたが、ようやく触る機会がきたので試してみようと思います。 余談ではありますが、弊社では、30スキーマはあろうデータベースをこれで一台に集約しておりますので、ちゃんと実績はありますのでご安心を

f:id:hit10231023:20161121171801j:plain

10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く (Informatics &IDEA)

10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く (Informatics &IDEA)

MariaDB&MySQL全機能バイブル

MariaDB&MySQL全機能バイブル

続きを読む

知ってた!?MySQL5.6以上から日本語全文検索ができるようになったってこと・・

MySQL5.6~ で日本語全文検索ができるぞ!!!

f:id:hit10231023:20161130134139p:plain

最近MariaDBばかりやっていて、MySQLの存在を忘れていたのですが、今まで英語しか利用できなかったのに、いつの間にか標準で日本語全文検索ができるようになっていたので、久しぶりに触って見ようと思います。これがまた、意外に簡単!だったので、その設定/実装方法をできるだけ簡単に紹介したいと思います

全文検索とは

あれですね。通常テーブルに設定するカラムの索引ではなく、行全体に対して、インデクシングをする設定といえばいいのかしら

IROTEC(アイロテック) ラバー ダンベル 40KGセット (片手20KG×2個)

IROTEC(アイロテック) ラバー ダンベル 40KGセット (片手20KG×2個)

ウィキペディアで見るとこんな感じで書かれております

複数の文書(ファイル)から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味

データベースでいうところの、複数カラムにまたがったカラムの中の全文を対象にした検索って言い方になると思います。僕的には、「索引を設定できない大きなサイズのカラムも全文検索索引でさくさく検索できる」と言った意味合いで利用しております。(ざっくりすぎですみません・・)

過去のMySQL、いや、Mariaもそうなのですが、昔から全文検索自体の機能はついていたのですが、こと日本語の全文検索になると。Mroonga等、サードパーティーのエンジンを入れる必要がありました。入れるまでは良いのですが、その後の運用保守が結構めんどくさい ・・いや、、Mroongaが使いづらいという話ではなくて、私自身が、複雑な構成をとっていたため、RDBMS本体のバージョンアップ等が大きな壁になっていたんですね。

今回は、日本語全文検索が標準で実装される!!これは大きいと思います。

索引文字列の抽出方法について

MySQLの抽出のデフォルトは、N-Gramになります、N-Gramは、検索対象を単語単位ではなく文字単位で分解し、後続の N-1 文字を含めた状態で出現頻度を求める方法です。インデクシングの速度は速いですが、サイズがでかくなることと検索のノイズ、そして検索速度が遅いというデメリットがあります。しかしながら、単語辞書が必要ないという利点があり、比較的導入しやすいと思います。

実装

前置きはさておき、実装を検討してみます。

続きを読む

Typoraでこのブログを書いてます

自分の場合、いつもブログを書く時に、仕事のエビデンスを元に書いていたのですが、エビデンスを、マークダウンに変更してから、はてなに投稿するというプロセスに無駄があったのですが、Typoraで書くようになってから、エビデンスも、ブログ掲載も同じファイルを使えばよくなりましたのですごく効率良くなりましたよ。という話です

f:id:hit10231023:20161124125412j:plain

続きを読む