PATHの通し方(起動時にコマンドを使えるようにする)

.bash_profileに以下を追加する。

export PATH=”$HOME/.embulk/bin:$PATH”

コマンド一覧と使い方

サンプルのコマンドと、ヘルプに書いてあった説明（訳）

コマンド 操作
embulk guess ./try1/example.yml -o config.yml 不明なパラメータを保管して完全なコンフィグファイルを作成する
embulk preview config.yml プレビューを表示する
embulk run config.yml ymlファイルに書かれた処理が実行される　


ymlファイルを作成して、 guessコマンドでファイルを整形して、 runコマンドでymlファイルの中身が実行される。

プラグイン導入

elasticsearchに対応させるプラグインを導入する。

embulk gem install embulk-output-command
embulk gem list

embulk to elasticsearch ツール

実際に使ってみる

実行手順

  • Elasticsearchのサーバー起動する。
  • exampleの通りにymlファイルを作成する。
  • guessコマンドを実行する。
  • Elasticsearch上に読み込んだcsvファイルが格納されていることを確認する。

実行結果

  • ymlファイルを作成する際、ポート番号を9300で指定した。(elasticsearchのポート番号は9200で異なっている？)
  • guessコマンドを実行すると、コマンドがElasticsearchに送られた。

  • 受信側のelasticsearchサーバーで、エラーが発生した。

    InvalidIndexNameException: [hogeTest] Invalid index name [hogeTest], must be lowercase

  • Elasticsearchでindexを作成し、ymlファイル内で、存在するindexを指定する必要があった。

indexを作成して再挑戦

Elasticsearchが立ち上がった状態で以下のコマンドを打つと “test” indexが作成される。

curl -X POST http://localhost:9200/test

実行結果

TODO

  • elasticsearch から　kibana へデータを送り、グラフ化させる