Elasticsearch catalog

StarRocks は v3.1 以降で Elasticsearch catalog をサポートしています。

StarRocks と Elasticsearch は、それぞれ異なる強みを持つ人気のある分析システムです。StarRocks は大規模な分散コンピューティングに優れ、外部テーブルを通じて Elasticsearch からデータをクエリすることができます。Elasticsearch は全文検索機能で知られています。StarRocks と Elasticsearch の組み合わせにより、より包括的な OLAP ソリューションを提供します。Elasticsearch catalog を使用すると、データ移行の必要なく、StarRocks 上で SQL ステートメントを使用して Elasticsearch クラスター内のすべてのインデックスデータを直接分析できます。

他のデータソースの catalog とは異なり、Elasticsearch catalog には作成時に default という名前のデータベースが 1 つだけ含まれています。各 Elasticsearch インデックスは自動的にデータテーブルにマッピングされ、default データベースにマウントされます。

Elasticsearch catalog の作成

構文

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES ("key"="value", ...)

パラメータ

`catalog_name`

Elasticsearch catalog の名前です。命名規則は以下の通りです。

名前には文字、数字 (0-9)、アンダースコア (_) を含めることができます。文字で始まる必要があります。
名前は大文字と小文字を区別し、1023 文字を超えてはなりません。

`comment`

Elasticsearch catalog の説明です。このパラメータはオプションです。

PROPERTIES

Elasticsearch catalog のプロパティです。以下の表は、Elasticsearch catalog に対してサポートされているプロパティを説明しています。

パラメータ	必須	デフォルト値	説明
hosts	Yes	None	Elasticsearch クラスターの接続アドレスです。1 つ以上のアドレスを指定できます。StarRocks はこのアドレスから Elasticsearch のバージョンとインデックスシャードの割り当てを解析できます。StarRocks は `GET /_nodes/http` API 操作によって返されるアドレスに基づいて Elasticsearch クラスターと通信します。したがって、`hosts` パラメータの値は `GET /_nodes/http` API 操作によって返されるアドレスと同じでなければなりません。そうでない場合、BEs または CNs は Elasticsearch クラスターと通信できない可能性があります。
type	Yes	None	データソースのタイプです。Elasticsearch catalog を作成する際にこのパラメータを `es` に設定します。
user	No	Empty	HTTP ベーシック認証が有効な Elasticsearch クラスターにログインするために使用されるユーザー名です。`/cluster/state/nodes/http` などのパスにアクセスする権限があり、インデックスを読み取る権限があることを確認してください。
password	No	Empty	Elasticsearch クラスターにログインするために使用されるパスワードです。
es.type	No	_doc	インデックスのタイプです。Elasticsearch 8 以降のバージョンでデータをクエリする場合、このパラメータを設定する必要はありません。Elasticsearch 8 以降のバージョンではマッピングタイプが削除されているためです。
es.nodes.wan.only	No	FALSE	StarRocks が Elasticsearch クラスターにアクセスしてデータを取得するために `hosts` で指定されたアドレスのみを使用するかどうかを指定します。 `true`: StarRocks は Elasticsearch クラスターにアクセスしてデータを取得するために `hosts` で指定されたアドレスのみを使用し、Elasticsearch インデックスのシャードが存在するデータノードをスニッフしません。StarRocks が Elasticsearch クラスター内のデータノードのアドレスにアクセスできない場合、このパラメータを `true` に設定する必要があります。 `false`: StarRocks は Elasticsearch クラスターのインデックスのシャードが存在するデータノードをスニッフするために `hosts` で指定されたアドレスを使用します。StarRocks が Elasticsearch クラスター内のデータノードのアドレスにアクセスできる場合、デフォルト値 `false` を保持することをお勧めします。
es.net.ssl	No	FALSE	Elasticsearch クラスターにアクセスするために HTTPS プロトコルを使用できるかどうかを指定します。StarRocks v2.4 以降のみこのパラメータの設定をサポートしています。 `true`: HTTPS および HTTP プロトコルの両方を使用して Elasticsearch クラスターにアクセスできます。 `false`: HTTP プロトコルのみを使用して Elasticsearch クラスターにアクセスできます。
enable_docvalue_scan	No	TRUE	Elasticsearch 列指向（カラムナ）ストレージからターゲットフィールドの値を取得するかどうかを指定します。ほとんどの場合、列指向（カラムナ）ストレージからデータを読み取る方が行指向（ロウ）ストレージから読み取るよりも優れています。
enable_keyword_sniff	No	TRUE	Elasticsearch で KEYWORD タイプのフィールドに基づいて TEXT タイプのフィールドをスニッフするかどうかを指定します。このパラメータが `false` に設定されている場合、StarRocks はトークン化後にマッチングを行います。

例

次の例は、es_test という名前の Elasticsearch catalog を作成します。

CREATE EXTERNAL CATALOG es_test
COMMENT 'test123'
PROPERTIES
(
    "type" = "es",
    "es.type" = "_doc",
    "hosts" = "https://xxx:9200",
    "es.net.ssl" = "true",
    "user" = "admin",
    "password" = "xxx",
    "es.nodes.wan.only" = "true"
);

Predicate pushdown

StarRocks は、Elasticsearch テーブルに対するクエリで指定された述語を Elasticsearch にプッシュダウンして実行することをサポートしています。これにより、クエリエンジンとストレージソースの間の距離が最小化され、クエリパフォーマンスが向上します。次の表は、Elasticsearch にプッシュダウンできる演算子を示しています。

SQL 構文	Elasticsearch 構文
`=`	term query
`in`	terms query
`>=, <=, >, <`	range
`and`	bool.filter
`or`	bool.should
`not`	bool.must_not
`not in`	bool.must_not + terms
`esquery`	ES Query DSL

クエリ例

esquery() 関数を使用して、SQL で表現できないマッチクエリやジオシェイプクエリなどの Elasticsearch クエリを Elasticsearch にプッシュダウンしてフィルタリングおよび処理を行うことができます。esquery() 関数では、カラム名を指定する最初のパラメータがインデックスと関連付けられ、2 番目のパラメータが Elasticsearch クエリの Elasticsearch Query DSL に基づく JSON 表現で、波括弧 ({}) で囲まれています。JSON 表現には、match、geo_shape、bool などのルートキーが 1 つだけ含まれている必要があります。

マッチクエリ

SELECT * FROM es_table WHERE esquery(k4, '{
   "match": {
      "k4": "StarRocks on elasticsearch"
   }
}');

ジオシェイプクエリ

SELECT * FROM es_table WHERE esquery(k4, '{
"geo_shape": {
   "location": {
      "shape": {
         "type": "envelope",
         "coordinates": [
            [
               13,
               53
            ],
            [
               14,
               52
            ]
         ]
      },
      "relation": "within"
   }
}
}');

ブールクエリ

SELECT * FROM es_table WHERE esquery(k4, ' {
   "bool": {
      "must": [
         {
            "terms": {
               "k1": [
                  11,
                  12
               ]
            }
         },
         {
            "terms": {
               "k2": [
                  100
               ]
            }
         }
      ]
   }
}');

使用上の注意

v5.x 以降、Elasticsearch は異なるデータスキャン方法を採用しています。StarRocks は Elasticsearch v5.x 以降からのデータクエリのみをサポートしています。
StarRocks は、HTTP ベーシック認証が有効な Elasticsearch クラスターからのデータクエリのみをサポートしています。
count() を含むクエリなど、一部のクエリは StarRocks 上で実行するよりも Elasticsearch 上で実行する方がはるかに高速です。これは、Elasticsearch がクエリ条件を満たす指定されたドキュメント数に関連するメタデータを直接読み取ることができ、要求されたデータをフィルタリングする必要がないためです。

Elasticsearch catalog の作成​

構文​

パラメータ​

catalog_name​

comment​

PROPERTIES​

例​

Predicate pushdown​

クエリ例​

使用上の注意​