bitmap
ここでは、Bitmap におけるいくつかの集計関数の使用法を示す簡単な例を紹介します。関数の詳細な定義や他の Bitmap 関数については、bitmap-functions を参照してください。
テーブル作成
テーブルを作成する際には、集計モデルが必要です。データ型は bitmap で、集計関数は bitmap_union です。
CREATE TABLE `pv_bitmap` (
`dt` int(11) NULL COMMENT "",
`page` varchar(10) NULL COMMENT "",
`user_id` bitmap BITMAP_UNION NULL COMMENT ""
) ENGINE=OLAP
AGGREGATE KEY(`dt`, `page`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`dt`);
注意: データ量が多い場合は、高頻度の bitmap_union に対応するロールアップテーブルを作成することをお勧めします。
ALTER TABLE pv_bitmap ADD ROLLUP pv (page, user_id);
データロード
TO_BITMAP (expr)
: 0 ~ 18446744073709551615 の符号なし bigint を bitmap に変換します
BITMAP_EMPTY ()
: 空の bitmap 列を生成し、挿入または入力時に埋めるデフォルト値として使用します
BITMAP_HASH (expr)
: 任意の型の列をハッシュ化して bitmap に変換します
Stream Load
Stream Load を使用してデータを入力する際、データを Bitmap フィールドに変換することができます。以下のようにします。
cat data | curl --location-trusted -u user:passwd -T - \
-H "columns: dt,page,user_id, user_id=to_bitmap(user_id)" \
http://host:8410/api/test/testDb/_stream_load
cat data | curl --location-trusted -u user:passwd -T - \
-H "columns: dt,page,user_id, user_id=bitmap_hash(user_id)" \
http://host:8410/api/test/testDb/_stream_load
cat data | curl --location-trusted -u user:passwd -T - \
-H "columns: dt,page,user_id, user_id=bitmap_empty()" \
http://host:8410/api/test/testDb/_stream_load
Insert Into
Insert Into を使用してデータを入力する際、ソーステーブルの列の型に基づいて対応するモードを選択する必要があります。
- ソーステーブルの id2 の列型が bitmap の場合
insert into bitmap_table1
select id, id2 from bitmap_table2;
- ターゲットテーブルの id2 の列型が bitmap の場合
insert into bitmap_table1 (id, id2)
values (1001, to_bitmap(1000))
, (1001, to_bitmap(2000));
- ソーステーブルの id2 の列型が bitmap で、bit_map_union() を使用した集計の結果である場合
insert into bitmap_table1
select id, bitmap_union(id2) from bitmap_table2 group by id;
- ソーステーブルの id2 の列型が INT で、to_bitmap() によって bitmap 型が生成される場合
insert into bitmap_table1
select id, to_bitmap(id2) from table;
- ソーステーブルの id2 の列型が STRING で、bitmap_hash() によって bitmap 型が生成される場合
insert into bitmap_table1
select id, bitmap_hash(id2) from table;