Database JUNKY

MySQL,MariaDBを中心としたブログです

amazon linux でgalera clusterを運用する時の注意点

あー。。別にamazon linuxに絞り込む必要はないのですが。もう、ec2以外ではそんなにやる気ないなーって思うので、備忘録がわりに残しておきます。

f:id:hit10231023:20170905173531j:plain

続きを読む

amazon linuxにyumでleptonica、tesseractをインストールする方法

意外とハマったので、メモとして残して起きます。

ちなみに、

tesseract

OCRアプリです

leptonica

オープンソースの画像処理系ライブラリ

です!コンパイルでインストールする方法を色々掲載しているところが多いですが、amazon linux , redhat , centos 等で使われる、yumでインストールする方法はあまりなかったの載せました。

【Amazon.co.jp限定】Amazonオリジナルマグカップ黒

【Amazon.co.jp限定】Amazonオリジナルマグカップ黒

続きを読む

Galara Cluster for MySQLでクラスタ環境を構築する

Galara Cluster for MySQL 5.7 でクラスタ環境を構築する

前回のMariaDBでのGalera Clusterの構築は手違いで消してしまった(−_−;)今回は、MySQL5.7でGalera Clusterを構築、運用することをやっていきたいと思います。以外と簡単ではあるのですが、今回ELBとINTERNAL DNSを駆使して更新負荷分散を試してみようと思います

f:id:hit10231023:20170905173531j:plain

続きを読む

Mariadb10.2 Galera Clusterで即席クラスタ環境を構築する!!

Mariadb10.2 Include Galera Cluster

日々のデータベース運用の中で、一番大変なのが、パフォーマンスチューニング。 チューニングの大半は、索引チューニングを行うか、SLAVE サーバをスケールアウトして、負荷分散するかの2つを行いうのが(私的には)一番おおくやるやり方なのですが。 更新負荷については、かなりハードルが高いのが現状です。基本的に更新系はスケールアウトできないし。かといってスケールアップすると、それなりにお金かかるしで、どうしても躊躇しちゃいます。参照のスケールアウトはするのにね。。って。。。あ

更新もスケールアウトすればいいんじゃん

ってことで、クラスタをはじめてやってみることにしました。 MySQL Clusterですと使ったことはないのですが、なんか、いろいろと制約がありそうで 既存の構成を維持しずらいので今回は、MariaDBで組み込まれている、Galera Clusterを入れてみようと思います

Galera Cluster とは

ちょっとみる限りですと、クラスターというより、マルチマスタレプリケーションのように見えますね。ただ、一般的な非同期レプリケーションではなく、同期レプリケーションです。データの同期は、rsyncで行なっているっぽいです。 Galera Clusterの利点としては、構造がシンプルなので特に違和感なく利用できそうってことです。

Amazon Web Services企業導入ガイドブック -企業担当者が知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用まで-

Amazon Web Services企業導入ガイドブック -企業担当者が知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用まで-

Amazon Web Services 基礎からのネットワーク&サーバー構築 改訂版

Amazon Web Services 基礎からのネットワーク&サーバー構築 改訂版

MariaDB&MySQL全機能バイブル

MariaDB&MySQL全機能バイブル

詳解MySQL 5.7 止まらぬ進化に乗り遅れないためのテクニカルガイド (NEXT ONE)

詳解MySQL 5.7 止まらぬ進化に乗り遅れないためのテクニカルガイド (NEXT ONE)

続きを読む

mysql_health_check でlong_queryをnagiosで監視する

月に一度はかならずはまるnagios サービスが長期化すると、この観点でも監視を入れないとだめだっていうのがどんどん増えてきて対応はするのですが、また数日後、どう設定したんだっけ?というのを忘れてしまうのが難点なので、あくまでも自己流ですが、メモとして残しておこうと思います。

続きを読む

aws cli 簡単セットアップ手順(amazon linux)

amazon linux でのaws cliのインストール方法

amazon linux というか、ec2インスタンスを立ち上げた時、aws cli がインストールされていると何かと便利なのは知っているのですが、設定するのに調べてからやるのに時間を取られてしまうのでメモしました。

続きを読む

ファイルの最終アクセス日時の契機は何?(atime)

最終アクセス日時について調べてみた

Windows,Linux 共にファイルに対して、作成日、更新日はあるのはご存知だとは思いますが、最終アクセス日付というのがあるのは知っていますか?ってえ?知っている、知らなかったの自分だけですね。ごめんなさい。では、この最終アクセス日時っていつ更新されるかわかりますか?

  • ファイルをcpした時?
  • ファイルをmvした時?
  • ls で一覧を見た時?
  • cat もしくは、 less で見た時?
  • webから参照した場合

と色々なケースでアクセスってあると思うのですが、何か契機(トリガー)で変更されるのか私自身わかっていないので、調べてみました。

あ、すみません、以降 centos6系で検証を進めます。windowsは、、ごめんなさい。あまり要件がないのとしくみがちょっと違うので今回検証からは除外させていただきます。

Fire TV Stick (New モデル)

Fire TV Stick (New モデル)

続きを読む

find exec rm を駆使して、最終アクセス日からN日以上経過しているファイルを削除する

長いインフラの運用の中で、毎年発生して、そして毎年のように同じ件を調べるという、時間の無駄遣いを軽減すべくここにメモを残しておいて、あとで、自分で見ます

内容的には、ファイルの更新日ではなくて、そのファイルの最終アクセスしてからN日経過したファイルを削除したいとかなんですね。なんだろ、業界的にいうと、LRU(Least Recently Used )っていうんですかね?

アクセスのない、古い動画はキャッシュから消してしまいましょうみたいな感覚で消す想定で、今回調べてみました。

find, atime , exec, rm がキーワードかな

Spinido® ノート PC スタンド silver (TI-Station)

Spinido® ノート PC スタンド silver (TI-Station)

続きを読む

excelでの管理に!ec2のインスタンス一覧を作成する

数十台のecインスタンスだったらこんな必要はないと思いますが、数百台、ものによっては、数千台っていうec2インスタンスを管理、もしくは一覧を作成したい場合、ec2管理コンソールで管理できなくなってきます。 そこで便利なのが、awsコマンドになってくるのですが、こちら結果が、jsonで帰ってきます。システマチックにこれを管理するぶんには便利なのですが、もっとレガシーにexcelとかで管理したい場合また、これが面倒になってきたりします。

ながながと描きましたが、これをEXCELで管理しやすいように、jqを利用してコピー&ペーストで済ませようとしたのが以下のコマンドになります。

続きを読む

conoha VPSの簡単作成手順

仕事から、conohaのVPSを作る機会が多く、もうスピードで終わらせたいから、コピペでサーバが構築できるようにしようと思った僕のメモです。 あと、これも慣れの話なのですが、私、centos5,6系しか知らないので、こちらcentos6ベースでの構築手順を載せています。

https://goo.gl/UmYmVh

あくまでもサーバを作成する手順だけなので、ここでは、データベースやnginx等のミドルウェアのことについては触れていないのでご注意くださいませ。

【1円/時間】GMOインターネットのSSD「ConoHa VPS」

続きを読む

conohaのオブジェクトストレージで、安価に動画サイトを作成しよう!

オブジェクトストレージがどんなに便利かわからない状態で、ちょっと作ってみました。conohaのオブジェクトストレージですごくいいなと思ったところが、

  • amazon S3と比較してネットワーク転送料がかからない

ってところですw 今回画像だけしかアップしておりませんが、動画でもぜんぜんありだと思います!

しかし、swiftを頑張って覚えないとと思ったのですが、私にはあまりにも難しすぎて、断念しましたが、

ここに https://github.com/hironobu-s/conoha-ojs すばらしいツールがあったのでこれを使うことにしました。

【1円/時間】GMOインターネットのSSD「ConoHa VPS」

続きを読む

AWS S3でディレクトリをリージョン間転送する

世界中で利用される画像/動画アプリにて、日本リージョンのS3から画像/動画を参照しているが、アメリカからのアクセスが異様に遅いという話があり。いろいろ調べてCDNを高速化した内容をここに書いていきたいと思います

続きを読む

トイレの水が出ない!!修理の方法など SH381BA編

夏本番!!水回り、特にトイレの故障がおおい季節になります!!

今回は話を変えて、トイレの修理の話をしたいと思います

本日、我が家のTOTOのトイレ(SH381BA)から水がでなくなりました、つまりトイレ使えなくちゃったんですよ。 水が一生懸命だそうとしている音が聞こえるのですが、一向にタンクに水が溜まらない、どういうこっちゃ?と・・

東芝 温水洗浄便座 クリーンウォッシュ ウォシュレット SCS-T160 パステルアイボリー

東芝 温水洗浄便座 クリーンウォッシュ ウォシュレット SCS-T160 パステルアイボリー

[asin:B072HVJJFG:detail]

幸いにも、自分の家、トイレが2つあるので、全く使えない状態というのは避けることはできたのですが、 それでも、今まで2台トイレがあったのに、1台しか使えないって、どれだけ不便になるか実感できました。 このようなケースの場合、なんというパーツ名のなんという型番のものを購入すればいいのかを、備忘録代わりに残しておきます。

どなたか、同じ症状で役に立てば幸いです。今回は止水ダイヤフラム

の交換とあいなりましたw

このエントリーをはてなブックマークに追加

続きを読む

最速! mysql5.7 インストール手順

MySQL5.7のインストール

しばらくMariaDBに使っていたので、MySQL 5.7のインストール方法について、すっかり忘れてしまったので、備忘録代わりに書きます。その過程でエラーおよびワーニングが発生ししたものに関しては、1つずつ、my.cnfを修正して、結果エラーはZEROになりましたので、最後に出てくるmy.cnfはまるっとコピペしても大丈かと思います。 また、今回、centos6系でインストールを実施しましたが、32BITも、64BITも同様の手順で行えます。

FREETEL SAMURAI 「KIWAMI 極」 白

FREETEL SAMURAI 「KIWAMI 極」 白

続きを読む

これはすごい!mariadb10.0 でマルチソースレプリケーションが可能に

MariaDBでマルチソースレプリケーション

私的に待ちに待ったあの機能が追加されました。それは、マルチデータソースレプリケーション、mariadb10.0から実装されるという話は知っておりましたが、ようやく触る機会がきたので試してみようと思います。 余談ではありますが、弊社では、30スキーマはあろうデータベースをこれで一台に集約しておりますので、ちゃんと実績はありますのでご安心を

f:id:hit10231023:20161121171801j:plain

10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く (Informatics &IDEA)

10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く (Informatics &IDEA)

MariaDB&MySQL全機能バイブル

MariaDB&MySQL全機能バイブル

続きを読む