2018-08-05

MySQL なければINSERT、あればスキップ（IGNORE〜）のおすすめ

MySQL IGNORE なければINSERT あれば、無視あれば無視 INSERT UPDATE IGNORE

かなり前に、なければINSERT、あればUPDATEというの書きました。

hit.hateblo.jp

しかしながら、現状で運用でもっとも活躍できるのは、IGNOREの方だと思います

どのようなケースで活用できるついて、サンプルを含め説明します

プライマリーキーを更新

以下のテーブルをサンプルにプライマリーキーを更新するSQLの挙動がどうなるか考えてみましょう

users

CREATE TABLE `users` (
  `userid` bigint(20) NOT NULL,
  `username` varchar(10) DEFAULT NULL,
  PRIMARY KEY (`userid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

プライマリーキーは、userid

データ

userテーブルの内容は以下の通り

> SELECT * FROM users ;
+--------+----------+
| userid | username |
+--------+----------+
|      1 | panda    |
|      2 | dog      |
|      3 | cat      |
+--------+----------+

2018-07-13

MySQL8.0 新機能 WITH句、共通テーブル式(CTE)のSQLの書き方教えます！

MySQL8 CTE WITH 共通テーブル式共通表式 COMMON

MySQL8.0にするなら、WITH句で！共通テーブル式を使いましょう！

MySQL8.0を使いたい理由は、CTEに対応したからなんです！！

そもそも、MySQL 8.0を使いたかった理由って、共通テーブル式が実装されてからなんです！私自身は、 IBM DB2でかなりお世話になりました。やがて年は過ぎ、MySQLしか触らなくなったのですが、WITH句ってどんなRDBMSにも付いているものだとばかり思っていたのですが、無い。。MySQLは無かったんですよね（汗）おかげさまで、サブクエリーのサブクエリをごりごり書く生活に慣れてしまいました。

今回は、このCTEを利用して、どれだけ、SQLが綺麗になるのかを見せたいと思います！

テーブル

今回、CTEとして利用するテーブル定義です

CREATE TABLE `loglog` (
  `id` bigint(20) unsigned NOT NULL DEFAULT '0',
  `created_at` datetime NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `action` varchar(20) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

2018-07-06

MySQL8 インビジブルインデックス（INVISIBLE INDEX）の勧め

MYSQL8 使われていない索引索引の削除インデックスの削除

その索引使われていますか？

MySQLで長年運用しているうちに、パフォーマンスチューニングが必要になって、ほとんどが、チューニング効果の高い、索引チューニング（インデックスチューニング）をしていきますよね。そんでインデックスをぺたぺた張っているうちに、インデクスだらけになり、気付いた時には、テーブルの全カラムに対して索引が設定されてたなんてことないですか？（自分だけかも）

その索引、本当に使われてますか？使われていない索引が大量に存在すると、データの更新パフォーマンスが低下します。的確な答えではないのでですが、インデックスはある意味、インデックスのデータを含めたテーブルが一個できるといった認識をもってくれれば、使った数だけ、テーブルが増えていくって感覚をもってくれればイメージがつきやすいかな？って思います。

ということで、MySQL8.0で実装された、インビジブルインデックス（INVISIBLE INDEX）の活用方法について書いていきたいと思います。

2018-07-03

MySQLでの文字列の日付から日付形式に変換する方法（STR_TO_DATE)

MYSQL 日付　文字列日付変換タイムゾーン

毎回忘れる、MYSQLの文字列->日付変換についてメモしました。例えば、rssのフィード内によくある、publishedとかとか。。これを日付/時刻型に変換するにはどうすればいいか？なんていうのを例につらずらと書いていきます。

<pubDate>Sun, 29 Jul 2018 21:00:00 +0900</pubDate>

2018-06-23

python3関連インストールもろもろメモ

python3 インストール pip centos6 install excel MySQL モジュールライブラリ amazon linux

あくまでも自分だけのメモですが、これだけは、いや、あくまでも私的な話ですが必須だろうと思うものしか書いてません。今後他にも色々出てきそうですが、その時はその時で随時追記していくつもりです。

OSは、CENTOS 6x をベースに記載しましたが、まあ、UNIX系だとみんなおんなじなんじゃないかな？って思います。

2018-06-20

MySQLの変数をSQLのLIKEで活用する！

MySQL 変数 LIKE パーセントワイルドカード

どうでも良い話ですが、設定した変数をLIKE検索で使う場合、%%ってどうすればいいの？というのがわからなかったのでメモしました。

少なくともこの書き方ではない模様

SET @ARTIST='Michael' ;
SELECT artist_name FROM artist_master
WHERE
  artist_name LIKE @ARTIST
;

さてさて正解は。。

2018-06-19

超便利！！ MySQL 8 window関数でグループ連番をふる

window関数 MySQL8 OVER句 PARTITION BY

MySQL 8で（やっと）実装された、window関数が超便利です！！ postgreSQLとほぼ同じことができます。

window関数とは

結果レコードを部分的に切り出した領域に集約関数をかけることができる、ものすごい便利な関数です。MySQL8.0で（ようやく）実装されました。単純なところでは、例えばWindow関数がないMySQLのバージョンでとある規則に乗っ取った連番を振りたいなんていう要求があった場合どうします？

その答えが、以前こちらに掲載したものになるのですが、これがwindow関数で行うとすっごく簡単にかけちゃいます。

hit.hateblo.jp

あ、これは、MySQL 8.0以前のバージョンでの連番手法ですね。

MySQL 8 での連番の振り方

では、MySQL8 + window関数で、どのようにグループ連番をつけるのか、やってみたいと思います今回試すテーブルは前回と同様です。

2018-05-24

MySQL mysqdumpで、Error 1412: Table definition has changed

MySQL mysqldump 1412 error コミットレベルトランザクション分離レベル

mysqldumpする際にこんなエラーを食らったことはありませんか？

現在、 MySQL5.7のデータベースをMySQL 8.0に絶賛リストア中なのですが、mysqldumpが終わりそうなところでこのエラーがコンソールに出てきて疲弊してきました（汗）

mysqldump: Error 1412: Table definition has changed, please retry transaction when dumping table table1 at row: 0

2018-05-23

MySQL8.0 td-agent mysqlが起動できない場合の対処方法 ibmysqlclient.so.20: cannot open

MYSQL 8.0 td-agent fluentd gem mysql2 libmysqlclient.so.20 Error

こんなエラーがでてtd-agentが起動できない現象が、MySQL8.0環境下のサーバで発生しました。

libmysqlclient.so.20: cannot open shared object file: No such file or directory

今回、MySQL5.7がインストールしているサーバをMySQL8.0に入れ替えたのですが、そのタイミングでtd-agentが起動しなくなった備忘録です

2018-05-22

MySQL 8.0にアップデート！注意すべき点

MySQL8 my.cnf mysqldump utf8mb4 column_statistics

MySQL 8.0　バージョンアップしたら、速度が2倍向上！便利な関数が使える！！等、色々なメリットがあります。・・が、通常のサービスでデータベースがメジャーバージョンアップしたからといってサービスを停止して、バージョンアップってしないかなー？って思ってます。自分がやるのであれば、別のサーバ立てて旧バージョンからレプリケーション！可能な限り、ダウンタイムを減らしたいのでこの手法一点で進めます

ただ、今回は、かなり苦戦しています

次回、同じ状態にならないように、備忘録に残しておきます。

[Amazonブランド]Presto! マスクふつうサイズ 200枚(50枚×4パック) PM2.5対応

出版社/メーカー: ヘルスタージャパン
メディア: ヘルスケア&ケア用品
この商品を含むブログを見る

2018-05-22

MySQL 異なるバージョン間でのmysqldumpおよびリストアについて

MySQL8 mysqldump 文字コードリストア utf8mb4

異なるバージョン、もしくは、異なるサーバ間で、データベースのdump (mysqldump) および restore リストアを実施した時に、リストア先にデータベースもテーブルもないはずなのに、キー重複（Duplicate entry)が起きたりしたことはありませんか？え？、なにもないはずなのに。。。って。オカルトですよね。

この原因って、dump時の文字コードが原因している場合が多いですって話です。。。