OSSなDWH InfiniDB の話 ③ ～データのロード

前回の投稿で、郵便番号テーブル（zip) を作成しました、今後はこのテーブルの中に、 郵便番号データをロードする方法を説明します。まあ、普通にやれば、mysql 同様、LOADでやれば良いのですが、InfiniDBならではのロード方法、バルクローダーについてここでは説明いたします。

バルクロードを行うステップとしては、

• 定義ファイルを作成する
• 作成した定義ファイルを元にロードする

という二段階の作業が必要です。正直なんでこんなめんどくさい作業をしているのか、よくわかりませんが ETLなどを利用した時に、あらかじめ定義ファイルを作っておけば、定義ファイルを修正するだけで、ロードしやすくする設置なのではないかと解釈しております。

以下、作業手順になります

ジョブファイルを生成する ファイルをロードするための定義ファイルをxml形式で、生成するためのユティリティです。オプションについてのヘルプは以下の通りです

/usr/local/Calpont/bin/colxml -h

Running colxml with the following parameters: Usage: colxml [options] schema Options: -d delimiter -e max error rows (numeric) -h Print this message -j Job id (numeric) -l load file name -n "name in quotes" -p path for XML job description file that is generated -s "description in quotes" -t table name -u user -r Number of read buffers (numeric) -c Read buffer size (numeric) -w Write buffer size (numeric)) -x Extention of file name -b debug level (1-3)

schema    Required field, all others are optional! Example: colxml -t lineitem -j 123 schema

今回は、/home/squad/app/sql にJob_01.xmlというxml定義ファイルを出力し、ken_all.csv というcsvファイルをロードします。

上記ヘルプを踏まえ以下のようなコマンドを実行しました。

/usr/local/Calpont/bin/colxml mydbidb -d , -t zip -j01 -p /home/squad/app/sql -l "ken_all.csv" -s "/home/squad/app/sql"

上記オプションについて補足いたします

-d 文字列のデリミタを指定します。ここでは、カンマ（,）を指定しております -t テーブル名を指定します。ここでは、zipを指定しております。 -j JobIDを指定しております。ここでは、01を指定しております。（-job と番号の間を空けないでください） -p xmlが出力されるパスを指定します。ここでは、/home/squad/app/sqlを指定しております。 -l ロードするファイル名を指定しております。ここでは、ken_all.csv を指定しております -s ロードするファイルが格納されているパスを指定します。ここでは、"/home/squad/app/sql"を指定しております。

実行証跡

/usr/local/Calpont/bin/colxml mydbidb -d , -n "\""  -t zip -j01 -p /home/squad/app/sql -l "ken_all.csv" -s "/home/squad/app/sql"

Running colxml with the following parameters: 2010-11-19 12:29:49 (10787) INFO : Schema: mydbidb Tables: zip Load Files: ken_all.csv  ken_all.csv -b      0 -c      1048576 -d      , -e      10 -f      CSV -j      01 -n -p      /home/squad/app/sql -r      5 -s      /home/squad/app/sql -u -w      10485760 -x      tbl

Creating job description file: /home/squad/app/sql/Job_01.xml File completed for tables: mydbidb.zip

Normal exit.

上記にて出力された、xmlをベースに郵便データをロードします

/usr/local/Calpont/bin/cpimport -h

Usage: cpimport -j jobID [-h][-r readers][-w parsers][-s c][-f path][-d debugLevel][-i] Options: -d Print different level (1-3) debug message -i Print extended info to console, else extended info only goes to log file -h Print this message -j Job id (Required) -n NullOption (0-treat the string NULL as data (default); 1-treat the string NULL as a NULL value) -p path for XML job description file -r number of readers -w number of parsers -s 'c' is the delimiter between values -f data file(s) directory path; specify 'STDIN' to redirect input from stdin (STDIN must be all caps) -j option is required! Examples: cpimport -j 1234

/usr/local/Calpont/bin/cpimport -p /home/squad/app/sql -j01 -f /home/squad/app/sql

以下オプションについて補足いたします

-p /home/squad/app/sql/Job_01.xmlのパスを指定しております。 -j JobIDを指定しております。ここでは、01を指定しております。（-job と番号の間を空けないでください） -f csvファイルが格納されているパスを指定しております。ここでは、/home/squad/app/sql

実行証跡

/usr/local/Calpont/bin/cpimport -p /home/squad/app/sql -j01 -f /home/squad/app/sql

Bulkload root directory : /usr/local/Calpont/data/bulk job description file : /home/squad/app/sql/Job_01.xml 2010-11-19 13:46:10 (11754) INFO : successfully load job file /home/squad/app/sql/Job_01.xml 2010-11-19 13:46:10 (11754) INFO : PreProcessing check starts 2010-11-19 13:46:11 (11754) INFO : PreProcessing check completed 2010-11-19 13:46:11 (11754) INFO : preProcess completed, total run time : 1 seconds 2010-11-19 13:46:11 (11754) INFO : No of Read Threads Spawned = 1 2010-11-19 13:46:12 (11754) INFO : No of Parse Threads Spawned = 3 2010-11-19 13:46:13 (11754) INFO : For table mydbidb.zip: 122964 rows processed and 122964 rows inserted. 2010-11-19 13:46:14 (11754) INFO : Bulk load completed, total run time : 4 seconds

以上でデータがロードできました。

。。が。。実は大きな問題があります。 それは、文字と文字をくくる、ダブルクォーテーションに対応していないようなのです、いろいろなサイトを 探しましたが、抜本的な解決案がでておりませんでした。（アメリカの人って、そういう文化はあまりないのかな？） そのような場合は、今のところMySQLローダーを使ってください。もしくは、csvファイルから、"を抜いてください・

将来的には、改善する可能性も高いので、直ったらどなたか教えてください。