Database JUNKY

MySQL,MariaDBを中心としたブログです

aws cli 簡単セットアップ手順(amazon linux)

amazon linux でのaws cliのインストール方法

amazon linux というか、ec2インスタンスを立ち上げた時、aws cli がインストールされていると何かと便利なのは知っているのですが、設定するのに調べてからやるのに時間を取られてしまうのでメモしました。

続きを読む

ファイルの最終アクセス日時の契機は何?(atime)

最終アクセス日時について調べてみた

Windows,Linux 共にファイルに対して、作成日、更新日はあるのはご存知だとは思いますが、最終アクセス日付というのがあるのは知っていますか?ってえ?知っている、知らなかったの自分だけですね。ごめんなさい。では、この最終アクセス日時っていつ更新されるかわかりますか?

  • ファイルをcpした時?
  • ファイルをmvした時?
  • ls で一覧を見た時?
  • cat もしくは、 less で見た時?
  • webから参照した場合

と色々なケースでアクセスってあると思うのですが、何か契機(トリガー)で変更されるのか私自身わかっていないので、調べてみました。

あ、すみません、以降 centos6系で検証を進めます。windowsは、、ごめんなさい。あまり要件がないのとしくみがちょっと違うので今回検証からは除外させていただきます。

Fire TV Stick (New モデル)

Fire TV Stick (New モデル)

続きを読む

find exec rm を駆使して、最終アクセス日からN日以上経過しているファイルを削除する

長いインフラの運用の中で、毎年発生して、そして毎年のように同じ件を調べるという、時間の無駄遣いを軽減すべくここにメモを残しておいて、あとで、自分で見ます

内容的には、ファイルの更新日ではなくて、そのファイルの最終アクセスしてからN日経過したファイルを削除したいとかなんですね。なんだろ、業界的にいうと、LRU(Least Recently Used )っていうんですかね?

アクセスのない、古い動画はキャッシュから消してしまいましょうみたいな感覚で消す想定で、今回調べてみました。

find, atime , exec, rm がキーワードかな

Spinido® ノート PC スタンド silver (TI-Station)

Spinido® ノート PC スタンド silver (TI-Station)

続きを読む

excelでの管理に!ec2のインスタンス一覧を作成する

数十台のecインスタンスだったらこんな必要はないと思いますが、数百台、ものによっては、数千台っていうec2インスタンスを管理、もしくは一覧を作成したい場合、ec2管理コンソールで管理できなくなってきます。 そこで便利なのが、awsコマンドになってくるのですが、こちら結果が、jsonで帰ってきます。システマチックにこれを管理するぶんには便利なのですが、もっとレガシーにexcelとかで管理したい場合また、これが面倒になってきたりします。

ながながと描きましたが、これをEXCELで管理しやすいように、jqを利用してコピー&ペーストで済ませようとしたのが以下のコマンドになります。

続きを読む

conoha VPSの簡単作成手順

仕事から、conohaのVPSを作る機会が多く、もうスピードで終わらせたいから、コピペでサーバが構築できるようにしようと思った僕のメモです。 あと、これも慣れの話なのですが、私、centos5,6系しか知らないので、こちらcentos6ベースでの構築手順を載せています。

https://goo.gl/UmYmVh

あくまでもサーバを作成する手順だけなので、ここでは、データベースやnginx等のミドルウェアのことについては触れていないのでご注意くださいませ。

【1円/時間】GMOインターネットのSSD「ConoHa VPS」

続きを読む

conohaのオブジェクトストレージで、安価に動画サイトを作成しよう!

オブジェクトストレージがどんなに便利かわからない状態で、ちょっと作ってみました。conohaのオブジェクトストレージですごくいいなと思ったところが、

  • amazon S3と比較してネットワーク転送料がかからない

ってところですw 今回画像だけしかアップしておりませんが、動画でもぜんぜんありだと思います!

しかし、swiftを頑張って覚えないとと思ったのですが、私にはあまりにも難しすぎて、断念しましたが、

ここに https://github.com/hironobu-s/conoha-ojs すばらしいツールがあったのでこれを使うことにしました。

【1円/時間】GMOインターネットのSSD「ConoHa VPS」

続きを読む

AWS S3でディレクトリをリージョン間転送する

世界中で利用される画像/動画アプリにて、日本リージョンのS3から画像/動画を参照しているが、アメリカからのアクセスが異様に遅いという話があり。いろいろ調べてCDNを高速化した内容をここに書いていきたいと思います

続きを読む

トイレの水が出ない!!修理の方法など SH381BA編

夏本番!!水回り、特にトイレの故障がおおい季節になります!!

今回は話を変えて、トイレの修理の話をしたいと思います

本日、我が家のTOTOのトイレ(SH381BA)から水がでなくなりました、つまりトイレ使えなくちゃったんですよ。 水が一生懸命だそうとしている音が聞こえるのですが、一向にタンクに水が溜まらない、どういうこっちゃ?と・・

東芝 温水洗浄便座 クリーンウォッシュ パステルアイボリー SCS-T160

東芝 温水洗浄便座 クリーンウォッシュ パステルアイボリー SCS-T160

幸いにも、自分の家、トイレが2つあるので、全く使えない状態というのは避けることはできたのですが、 それでも、今まで2台トイレがあったのに、1台しか使えないって、どれだけ不便になるか実感できました。 このようなケースの場合、なんというパーツ名のなんという型番のものを購入すればいいのかを、備忘録代わりに残しておきます。

どなたか、同じ症状で役に立てば幸いです。今回は止水ダイヤフラム

の交換とあいなりましたw

このエントリーをはてなブックマークに追加

続きを読む

最速! mysql5.7 インストール手順

MySQL5.7のインストール

しばらくMariaDBに使っていたので、MySQL 5.7のインストール方法について、すっかり忘れてしまったので、備忘録代わりに書きます。その過程でエラーおよびワーニングが発生ししたものに関しては、1つずつ、my.cnfを修正して、結果エラーはZEROになりましたので、最後に出てくるmy.cnfはまるっとコピペしても大丈かと思います。 また、今回、centos6系でインストールを実施しましたが、32BITも、64BITも同様の手順で行えます。

FREETEL SAMURAI 「KIWAMI 極」 白

FREETEL SAMURAI 「KIWAMI 極」 白

続きを読む

これはすごい!mariadb10.0 でマルチソースレプリケーションが可能に

MariaDBでマルチソースレプリケーション

私的に待ちに待ったあの機能が追加されました。それは、マルチデータソースレプリケーション、mariadb10.0から実装されるという話は知っておりましたが、ようやく触る機会がきたので試してみようと思います。 余談ではありますが、弊社では、30スキーマはあろうデータベースをこれで一台に集約しておりますので、ちゃんと実績はありますのでご安心を

f:id:hit10231023:20161121171801j:plain

10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く (Informatics &IDEA)

10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く (Informatics &IDEA)

MariaDB&MySQL全機能バイブル

MariaDB&MySQL全機能バイブル

続きを読む

知ってた!?MySQL5.6以上から日本語全文検索ができるようになったってこと・・

MySQL5.6~ で日本語全文検索ができるぞ!!!

f:id:hit10231023:20161130134139p:plain

最近MariaDBばかりやっていて、MySQLの存在を忘れていたのですが、今まで英語しか利用できなかったのに、いつの間にか標準で日本語全文検索ができるようになっていたので、久しぶりに触って見ようと思います。これがまた、意外に簡単!だったので、その設定/実装方法をできるだけ簡単に紹介したいと思います

全文検索とは

あれですね。通常テーブルに設定するカラムの索引ではなく、行全体に対して、インデクシングをする設定といえばいいのかしら

IROTEC(アイロテック) ラバー ダンベル 40KGセット (片手20KG×2個)

IROTEC(アイロテック) ラバー ダンベル 40KGセット (片手20KG×2個)

ウィキペディアで見るとこんな感じで書かれております

複数の文書(ファイル)から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味

データベースでいうところの、複数カラムにまたがったカラムの中の全文を対象にした検索って言い方になると思います。僕的には、「索引を設定できない大きなサイズのカラムも全文検索索引でさくさく検索できる」と言った意味合いで利用しております。(ざっくりすぎですみません・・)

過去のMySQL、いや、Mariaもそうなのですが、昔から全文検索自体の機能はついていたのですが、こと日本語の全文検索になると。Mroonga等、サードパーティーのエンジンを入れる必要がありました。入れるまでは良いのですが、その後の運用保守が結構めんどくさい ・・いや、、Mroongaが使いづらいという話ではなくて、私自身が、複雑な構成をとっていたため、RDBMS本体のバージョンアップ等が大きな壁になっていたんですね。

今回は、日本語全文検索が標準で実装される!!これは大きいと思います。

索引文字列の抽出方法について

MySQLの抽出のデフォルトは、N-Gramになります、N-Gramは、検索対象を単語単位ではなく文字単位で分解し、後続の N-1 文字を含めた状態で出現頻度を求める方法です。インデクシングの速度は速いですが、サイズがでかくなることと検索のノイズ、そして検索速度が遅いというデメリットがあります。しかしながら、単語辞書が必要ないという利点があり、比較的導入しやすいと思います。

実装

前置きはさておき、実装を検討してみます。

続きを読む

Typoraでこのブログを書いてます

自分の場合、いつもブログを書く時に、仕事のエビデンスを元に書いていたのですが、エビデンスを、マークダウンに変更してから、はてなに投稿するというプロセスに無駄があったのですが、Typoraで書くようになってから、エビデンスも、ブログ掲載も同じファイルを使えばよくなりましたのですごく効率良くなりましたよ。という話です

f:id:hit10231023:20161124125412j:plain

続きを読む

【エンジニア必見】 インフルエンザ流行速報 [2016年-2017年] 予防接種と予防策について

やってきました。インフルエンザの季節!

2016/11/21 高病原性鳥インフルエンザウイルス(H5N6亜型)が、秋田、鳥取で検出されました。環境庁は、警戒レベルを最高度の「3」に引き上げております

f:id:hit10231023:20161118160037j:plain

さあ、やってきました。インフルエンザの季節です。チームで開発をする僕らにとっては、1名インフルエンザにかかると、開発の進捗が大幅に遅延します。企業にとっては、大きな損失になりますよね。あと、かかった本人も。。「ぼ、ぼくの席は、休みの後もちゃんとあるんだろうか?」なんていう不安にさいなまわれてしまいます。(自分だけか)私は、ここ10年ほど、インフルエンザにかかっておりません。最近では、企業も、パンデミックになるリスクを軽減するために、予防接種をやるところが多いというもの、インフルエンザにかからない理由なのではないでしょうか?

A&D みはりん坊ダブル AD-5687

A&D みはりん坊ダブル AD-5687

営業職とは違い、システムエンジニアは集団で行動する機会が多いと思います。一人インフルエンザにかかれば、一小隊全滅なんていう、もうディザスターレベルの問題になってしまいますので、12月以降インフルエンザウィルスから身を守る手段を事前に備えておきましょう

早速ですが、2017年 東京都 インフルエンザ速報とその予防策について書きたいと思います

クレベリンゲル 150g

クレベリンゲル 150g

続きを読む

conoha オブジェクトストレージを利用した静的 画像/動画サイトの作成(conoha-ojsと512MBプランの活用)

オブジェクトストレージがどんなに便利かわからない状態で、ちょっと作ってみました。conohaのオブジェクトストレージですごくいいなと思ったところが、

  • amazon S3と比較してネットワーク転送料がかからない
  • amazon Ec2と比較してVPSもネットワーク転送量がかからない

ってところです!! もちろんAWSには、他のサービスにはない魅力がいっぱいあります。でも全部それ使い切れますか?そしてそれいくらかかりますか? 今回は、conohaの格安VPSとオブジェクトストレージを利用して、超低コストな動画、画像サイトを作ってみようと思います。

今回画像だけしかアップしておりませんが、他にも動画とかもありかな?と思います。

続きを読む

AWS - ec2のインスタンスを大量生産しよう

f:id:hit10231023:20161114191553p:plain

awsの10台、20台のEC2インスタンスであれば、力技で作れる、でわ、100台,200台の場合はどうする?の場合の、大量生産の方法をざっとまとめました。

設定の肝はEXCELスプレッドシートですw

やんわりとしか書いておりませんが、それでもわかる人は(きっと)わかる!そんな内容です。

WWW HR Giger Com (Taschen 25th Anniversary Series)

WWW HR Giger Com (Taschen 25th Anniversary Series)

続きを読む