メインコンテンツまでスキップ

ブルームフィルターインデックス

このトピックでは、ブルームフィルターインデックスの作成と変更方法、およびその動作について説明します。

ブルームフィルターインデックスは、テーブルのデータファイル内のフィルタリングされたデータの存在の可能性を検出するために使用される、空間効率の高いデータ構造です。ブルームフィルターインデックスがフィルタリングするデータが特定のデータファイルに存在しないことを検出した場合、CelerData はそのデータファイルのスキャンをスキップします。ブルームフィルターインデックスは、列（例えば ID）のカーディナリティが比較的高い場合に応答時間を短縮できます。

クエリがソートキー列にヒットした場合、CelerData はプレフィックスインデックスを使用して効率的にクエリ結果を返します。ただし、データブロックのプレフィックスインデックスエントリは36バイトを超えることはできません。ソートキーとして使用されておらず、カーディナリティが比較的高い列のクエリパフォーマンスを向上させたい場合、その列に対してブルームフィルターインデックスを作成できます。

動作の仕組み​

例えば、特定のテーブル table1 の column1 にブルームフィルターインデックスを作成し、Select xxx from table1 where column1 = something; のようなクエリを実行すると、CelerData が table1 のデータファイルをスキャンする際に次のような状況が発生します。

  • ブルームフィルターインデックスがフィルタリングするデータを含まないデータファイルを検出した場合、CelerData はクエリパフォーマンスを向上させるためにそのデータファイルをスキップします。
  • ブルームフィルターインデックスがフィルタリングするデータを含む可能性があるデータファイルを検出した場合、CelerData はデータが存在するかどうかを確認するためにそのデータファイルを読み込みます。ブルームフィルターは、値が存在しないことを確実に示すことができますが、値が存在することを確実に示すことはできず、存在する可能性があることしか示せません。ブルームフィルターインデックスを使用して値が存在するかどうかを判断すると、偽陽性が発生する可能性があります。つまり、ブルームフィルターインデックスがデータファイルにフィルタリングするデータが含まれていると検出しても、実際にはそのデータファイルにデータが含まれていない場合があります。

使用上の注意​

  • 重複キーテーブルまたは主キーテーブルを使用するテーブルのすべての列に対してブルームフィルターインデックスを作成できます。集計テーブルまたはユニークキーテーブルを使用するテーブルの場合、キー列に対してのみブルームフィルターインデックスを作成できます。
  • TINYINT、FLOAT、DOUBLE、および DECIMAL 型の列は、ブルームフィルターインデックスの作成をサポートしていません。
  • ブルームフィルターインデックスは、in および = 演算子を含むクエリのパフォーマンスを向上させることができます。例えば、Select xxx from table where x in {} や Select xxx from table where column = xxx などです。
  • クエリがビットマップインデックスを使用しているかどうかは、クエリのプロファイルの BloomFilterFilterRows フィールドを確認することで確認できます。

ブルームフィルターインデックスの作成​

テーブルを作成する際に PROPERTIES で bloom_filter_columns パラメータを指定することで、列に対してブルームフィルターインデックスを作成できます。例えば、table1 の k1 および k2 列に対してブルームフィルターインデックスを作成します。

CREATE TABLE table1
(
    k1 BIGINT,
    k2 LARGEINT,
    v1 VARCHAR(2048) REPLACE,
    v2 SMALLINT DEFAULT "10"
)
ENGINE = olap
PRIMARY KEY(k1, k2)
DISTRIBUTED BY HASH (k1, k2) BUCKETS 10
PROPERTIES("bloom_filter_columns" = "k1,k2");

複数の列に対してブルームフィルターインデックスを一度に作成することができ、これらの列名を指定します。これらの列名はカンマ（,）で区切る必要があります。CREATE TABLE 文の他のパラメータの説明については、CREATE TABLE を参照してください。

ブルームフィルターインデックスの表示​

例えば、次の文は table1 のブルームフィルターインデックスを表示します。出力の説明については、SHOW CREATE TABLE を参照してください。

SHOW CREATE TABLE table1;

ブルームフィルターインデックスの変更​

ALTER TABLE 文を使用して、ブルームフィルターインデックスを追加、削減、および削除できます。

  • 次の文は、v1 列にブルームフィルターインデックスを追加します。

    ALTER TABLE table1 SET ("bloom_filter_columns" = "k1,k2,v1");

  • 次の文は、k2 列のブルームフィルターインデックスを削減します。

    ALTER TABLE table1 SET ("bloom_filter_columns" = "k1");

  • 次の文は、table1 のすべてのブルームフィルターインデックスを削除します。

    ALTER TABLE table1 SET ("bloom_filter_columns" = "");