読者です 読者をやめる 読者になる 読者になる

Database JUNKY

MySQL,MariaDBを中心としたブログです

conoha VPSの簡単作成手順

仕事から、conohaのVPSを作る機会が多く、もうスピードで終わらせたいから、コピペでサーバが構築できるようにしようと思った僕のメモです。 あと、これも慣れの話なのですが、私、centos5,6系しか知らないので、こちらcentos6ベースでの構築手順を載せてい…

conohaのオブジェクトストレージで、安価に動画サイトを作成しよう!

オブジェクトストレージがどんなに便利かわからない状態で、ちょっと作ってみました。conohaのオブジェクトストレージですごくいいなと思ったところが、 amazon S3と比較してネットワーク転送料がかからない ってところですw 今回画像だけしかアップしてお…

AWS S3でディレクトリをリージョン間転送する

世界中で利用される画像/動画アプリにて、日本リージョンのS3から画像/動画を参照しているが、アメリカからのアクセスが異様に遅いという話があり。いろいろ調べてCDNを高速化した内容をここに書いていきたいと思います ADEWU 伊達メガネ 半分フレーム ウッ…

トイレの水が出ない!!修理の方法など SH381BA編

今回は話を変えて、トイレの修理の話をしたいと思います 本日、我が家のTOTOのトイレ(SH381BA)から水がでなくなりました、つまりトイレ使えなくちゃったんですよ。 水が一生懸命だそうとしている音が聞こえるのですが、一向にタンクに水が溜まらない、どうい…

最速! mysql5.7 インストール手順

MySQL5.7のインストール しばらくMariaDBに使っていたので、MySQL 5.7のインストール方法について、すっかり忘れてしまったので、備忘録代わりに書きます。その過程でエラーおよびワーニングが発生ししたものに関しては、1つずつ、my.cnfを修正して、結果エ…

これはすごい!mariadb10.0 でマルチソースレプリケーションが可能に

MariaDBでマルチソースレプリケーション 私的に待ちに待ったあの機能が追加されました。それは、マルチデータソースレプリケーション、mariadb10.0から実装されるという話は知っておりましたが、ようやく触る機会がきたので試してみようと思います。 余談で…

知ってた!?MySQL5.6以上から日本語全文検索ができるようになったってこと・・

MySQL5.6~ で日本語全文検索ができるぞ!!! 最近MariaDBばかりやっていて、MySQLの存在を忘れていたのですが、今まで英語しか利用できなかったのに、いつの間にか標準で日本語全文検索ができるようになっていたので、久しぶりに触って見ようと思います。…

Typoraでこのブログを書いてます

自分の場合、いつもブログを書く時に、仕事のエビデンスを元に書いていたのですが、エビデンスを、マークダウンに変更してから、はてなに投稿するというプロセスに無駄があったのですが、Typoraで書くようになってから、エビデンスも、ブログ掲載も同じファ…

【エンジニア必見】 インフルエンザ流行速報 [2016年-2017年] 予防接種と予防策について

やってきました。インフルエンザの季節! 2016/11/21 高病原性鳥インフルエンザウイルス(H5N6亜型)が、秋田、鳥取で検出されました。環境庁は、警戒レベルを最高度の「3」に引き上げております さあ、やってきました。インフルエンザの季節です。チームで…

conoha オブジェクトストレージを利用した静的 画像/動画サイトの作成(conoha-ojsと512MBプランの活用)

オブジェクトストレージがどんなに便利かわからない状態で、ちょっと作ってみました。conohaのオブジェクトストレージですごくいいなと思ったところが、 amazon S3と比較してネットワーク転送料がかからない amazon Ec2と比較してVPSもネットワーク転送量が…

AWS - ec2のインスタンスを大量生産しよう

awsの10台、20台のEC2インスタンスであれば、力技で作れる、でわ、100台,200台の場合はどうする?の場合の、大量生産の方法をざっとまとめました。 設定の肝はEXCELのスプレッドシートですw やんわりとしか書いておりませんが、それでもわかる人は(きっと…

N日以上のファイルを削除する方法 ~ tmpwatch

指定日次以上経過しているファイルの削除方法する方法として、よくあるのが find /var/log/etc/ -mtime +2 -exec rm -f {} \; とかですが、もっと楽な方法があったのでメモです Cyxus(シクサズ)スクリーンブルーレイ止めの眼鏡 防止青色光紫外線 視力を保護 …

MySQL,MariaDBでタグ機能(TAG)を実現する(TOXI法)④SQL応用

もう、設計としては完了しているので、作成されたデータを元に応用SQLを考えてみます。 もう特に考える部分はないので、あとは好きな角度からSQLを発行するだけでいいと思います。 TANITA 【SDカード搭載】 & 【乗った人をピタリと当てる「乗るピタ機能」搭…

MySQL,MariaDBでタグ機能(TAG)を実現する(TOXI法)③タグマップデータ投入

前回 hit.hateblo.jp にて、タグデータを投入する説明はしましたが、肝心のDIARYの中での紐付けについては書いていませんでした。 前回の記事を含め、タグのマッピングの登録方法についても記載していきます。もちろんストアドプロシージャベースでの話です …

MySQL,MariaDBでタグ機能(TAG)を実現する(TOXI法)②タグデータ挿入

前回の、TOXI法による、MySQLのタグのしくみを説明しました。 hit.hateblo.jp 正規化として、これ以上ないくらいの完璧さなのですが、実際このタグ、複数のユーザーが任意に設定できるという、いわゆるソーシャルタグの場合はどうでしょう? 正規化とはうら…

MySQL,MariaDBでタグ機能(TAG)を実現する(TOXI法)①タグ関連のスキーマ設計

MySQLでタグのしくみを作る? MySQLでタグの仕組みを作る場合は、どのような設計をすればいいのでしょうか? タグの設計にはいくつかの種類があり Licious:コンテンツ系のデーブル1つの中にタグフィールドを持たせる方法 Scuttle: コンテンツ系とタグ系のテ…

オートナンバーをランダムユニークな値に変換する

MySQL(MariaDB)のオートナンバー型ってもちろん便利なのですが、数年システムを運用していくと、こんな課題が出てきてしまいます。 とあるWEBシステムで、規則性のあるデータを見つけてしまう。ちなみに、これ、セキュリティの話ではなく、あくまでも、外…

なければINSERT、あればUPDATE(ON DUPLICATE KEY UPDATE)

レコードがなければINSERT、あればUPDATEなどどいう超便利なSQL構文があります ON DUPLICATE KEY UPDATE オプションがそれなのですが、 結構便利です、今回 MariaDBで試しておりますが、MySQLでもおそらく同様にいけると思います。 これが出来る前提条件は、…

乱射注意!!!MySQL TRIGGER(トリガー)は結構使える!!

使いみちによっては、すごく便利なトリガーについて説明します。使いみちと書いたのは、なんでもかんでもトリガーにもりもりしちゃうと対象テーブルのパフォーマンスに影響出ちゃうよという乱射状態になってしまいますので注意って感じです トリガーとは Tri…

MySQLでジョブキューを管理する(Q4M)

いまいちキューの概念がわかっていないのだが、ようはあれかな?非同期で、データをやりとりするもの?え?違う???たとえば、受注処理の場合とか、受注が完了するまでアプリケーションが待つのではなく、キューという形で一連の受注プロセスからデーモン…

容量無制限!! NFSからAmazon Elastic File System (EFS) に移行する

今までec2のインスタンスでnfsサーバを立てて運用していましたが、ディスクの使用率が逼迫してくると、ディスクの追加作業が面倒な上に、時間がかかるので、今回、既存のec2 nfsサーバをEFSに移行しちゃおうと考えたわけです。 旧構成 上記、図の通りawsのec…

[AWS] elbにRapid SSL証明書をインストールする

elbの証明書インストールで予想通りハマったので、来年の更新のために、ログを残しておきます。このあたり、すごく苦手でアレなのですが、elb配下のWEBサーバに証明書を設定するわけではなく、elbそのもの証明書をインストールするのねって当たり前か。。そ…

conohaのVPSでgnomeを後からインストールする方法

ちょっとX-windowが必要になってので、証跡がてらメモします。必要最低限の手順しか入れていないので環境によっては、これだと全然だめかもしれません BEST Bluetooth 4.1スポーツイヤホン 白黒2色 ネックバンド型 CVC6.0ノイズキャンセルテクノロジー搭載 …

owncloud client linuxのインストール

owncloudってご存知ですか?一言でいえば、DropBoxのオープンソース版です。対応するOSは、IOS,Androd,windows,macosそしてlinux (gnome)です! 自分でサーバを立てて運用することができますので、事実上、利用可能容量は、サーバで設定したディスクをすべて…

SQLで変数を使う

他のDBはよくしらないですが、MySQL系のSQLをSQL文中にユーザー変数を含めることができます。この手法を理解すると、洗練されたSQLを記述することができます。 SET文を用いる方法と、SELECT ~ INTO を用いる2種類の方法があります Anker PowerCore 5000 (5…

MySQL,MariaDB ストアドプロシージャ・ストアドファンクションテンプレート

MySQLおよびMariaDBにおいて、ストアドプロシージャを作成するときにいちいち、探しまわる時間がもったいないので、テンプレート的なものを用意しました、基本的、コンソールにコピペで行けるようにしておりますのでご自身の環境で作成する際のサンプルにご…

bashで配列を作成しループする方法

bashで配列を作成しループする方法 いつも忘れてしまうのでメモ・・ 配列のテーブルを作成して、それをループさせる方法です。配列ファイルは、別ファイルにさせて、それをインクルードさせる方が便利かもしれません。 helthknit ヘルスニット バックル バッ…

mysqlのconcatを||(パイプ)で対応できるようにしよう

文字列結合にいちいちconcatなんていう関数を使うのはめんどくさい、且つわけがわからなくなるので、パイプ(||)でconcatと同様の操作がおこなえるように変更するtipsです Jimu Robot 入門レベル出版社/メーカー: UBTECHメディア: おもちゃ&ホビーこの商品を…

mysqlアカウントで、コンソールにログインする方法

MySQL5.5からMaria10.0に変更したら、いつの間にか、linuxコンソールにてrootから、su - mysql ができなくなってしまいました。そちらを、su - できるようにした対処方法をメモします こんなエラーになってしまいました。 "This account is currently not av…

目指せ手ぶらインフラエンジニア!!になるために必須なiPhoneスマホアプリ

インフラエンジニア!っていうと、 24時間365日待機しており サービス維持のために、ところ構わずPCを持ち 心休まることなく生活しているエンジニア という印象を持っています そんなインフラエンジニアの負荷を下げるために、少なくとも、重たいPCは持たな…

IPhone アプリ: SSLエラーが発生してから対応したまでの話

本日IPhoneアプリケーションエンジニアさんから以下のようなエラーが出て、ファイルがダウンロードできなくなったという連絡を受けました Xiaomi Mi Band 2 有機EL液晶搭載,時刻チェック可能 ライトセンシティブ スマートリストバンド 心拍計 Bluetooth4.0 …

MySQLのrootアカウントが消えてしまった!!そんなときの復旧手順

何が起きたのかさっぱりわからないのですが、MySQL(MariaDBのパスワードがrootから何から消えてしまった。。 なぜ消えたのかは置いておいて、とりあえず、現状復帰しないことには、だーれも接続できない状態が続いてしまう・・これはまずい。 そんな場合のro…

DBが遅い!そんな時・・MySQL スロークエリーからの索引チューニング〜 mysqldumpslow

MySQL/MariaDBでのパフォーマンス低下一番の理由がスロークエリーです。MySQLでサービスを展開しているデータベースやさんって、例外なくここをきにするのではないかな?と思います。そしてスロークエリーが発生した場合の一番の対策は、適切な索引(INDEX)…

画像情報テーブルの作成 ~ソーシャルサービス系のDB構築

ソーシャルサービスにおいて、一番大切な部分はサービスの軸はなんなのか?です。instagramだったら写真ですよね。youtubeだったら、動画ですよね?facebookとtwitterだったら・・なんでしょう(笑) すべてのサービスにおいて、大切なのはコンセプトです \…

ソーシャルサービス系のデータベースを構築する

私、データベースエンジニアです データベースエンジニアとは 仕事を進める上で、多数の別部門との協力が必須となるデータベースエンジニアには、高いコミュニケーション能力が求められます。また、物事を論理的に考えることが好きな方もデータベースエンジ…

ソーシャルサービス系のデータベースを構築する~ ストアドプロシージャを実装する

すみません、まだ、書いていません

ソーシャルサービス系のデータベースを構築する~ コメント機能

すみません、まだ書いてません

いいね(LIKE)機能を実装する~ソーシャルサービス系のDBを構築する

いいねってなに? FACEBOOKですと、いいね、 Twitterだと♥のあれです。エンゲージメント率を高めるばかりではなく、記事の拡散にも効果を発揮しますよね。また、サービス運営者視点で話すと、話題が見つけやすくなりますよね。 ってなわけで、今度はいいね。…

ソーシャルサービス系のデータベースを構築する~ ユーザー情報編

ユーザー情報テーブルを作成してみよう 今回、どんなサービス、およびシステムでもありそうなユーザーマスタテーブルを設計/構築してみたいと思います ただ、テーブルを作る、登録しただけですと、ちょっとつまらないので今回は、ダイナミックカラムと、PASS…

ソーシャルサービス系のデータベースを構築する~データベースの作成

データベースを作成する まず、ソーシャルサービス系のデータベースといってもデータベースという大きな鉢がないとどうしようもならないため、データベースの作成をする必要があります。 データベースの作成といっても簡単で、ほんと、数秒で作成が終わっち…

フォロー/フォロワーの構築 ~ソーシャル系のDBを構築する

フォロー/フォロワーのテーブル設計 ソーシャルネットワーク系のデータベースでフォロー/フォロワーってどんなしくみで設計しているの?なんていうのを中心にまとめてみました NURO光キャンペーン ネットのみでも必ず3万円が貰える!

MySQL スキーマ内に存在する全ての索引を一括で抽出するSQL

mysql でテーブルの索引がどう設定されているのか知りたいときがあると思うのですが。その場合、 mysql> show index from TABLE_NAME; で確認できます でわ、スキーマ内の全てのテーブルの索引を抜き出したい場合はどうするか? というわけでinformation_sch…

GROUP_CONCATを利用して、列名を列挙したSQLを生成する

MYSQLには、GROUP_CONCATというすばらしい関数があるのですが、ような複数のレコードのとある値を、一行にまとめるということができる関数で、そりゃーもう便利です!!今回はこのGROUP_CONCATを利用して、SQLからSQLを生成するなんていうサンプルを作ってみ…

指定ディレクトリ内にあるテキストファイルの特定の文字列を一括で更新

指定ディレクトリ内にあるテキストファイルの特定の文字列を一括で更新するワンライナーです。 当該コマンドは、サブディレクトリの特定文字列も置き換えます。 cheero Energy Plus 12000mAh マルチデバイス対応 大容量モバイルバッテリー ★高速充電対応2A U…

MySQL:レプリケーションエラーをスキップする

日々の運用の中で、レプリケーションエラーが発生した場合、原因が分かっているものは、とっととスキップさせて先に進めたいですよね? そんなときには、SQL_SLAVE_SKIP_COUNTERを設定することでレプリケーションのエラーをスキップすることができます Fire …

SQLだけで、メールアドレスの@以前の文字を置き換える

SQLって奥が深いです。SQLだけで、ほぼデータの加工が行えます。 今回はメールアドレスをマスキングかけるというのを試してみたいと思います Lenovo タブレット 2in1 パソコン Miix 3 80HV0055JP/Microsoft Office Home & Business 2013搭載/2GB/64GB/Window…

mysqldump あれこれ

いままで使ったことのあるmysqldump でもバックアップの方法をメモ dumpするたびに、毎回毎回オプションを調べている時間がもったいないので、ほぼ自分用にメモしていきます。今後、追記してく予定なので、流れ次第で、内容が重複しちゃうかもです ほぼ、こ…

KeepAlivedとMySQLのタイムアウト設定は必ず確認して!!

MySQLをKeepAlivedでロードバランサーを実現というのは結構ある話ですが、それぞれのセッションタイムアウト値が違うため、いざサービスを運用する!!なんて時に思わぬ落とし穴があったります。そのための注意書きです iPhone 5s 16GB au [ゴールド]出版社/…

sshで接続しているユーザーを強制的にログアウトさせる方法

なにかの事情で、一部のlinuxユーザーを削除したい時とかそんな時ってありませんか?削除したいと思った時に削除対象のアカウントがログイン中だったなんて時はありませんか? その場合、OSの再起動をかけてから対応しますか?OSの再起動が許されない環境の…

MariaDB/NoSQL Dynamic Columns の活用

以前、ここに hit.hateblo.jp 掲載して、結構満足していたのですが、今更になって、MariaDBにその機能が実装されていたという、なんともお恥ずかしい話しになります MariaDBにDynamic Columnsというものがありまして、これがまさしくRDBMSとNoSQLのハイブリ…