メインコンテンツまでスキップ

TPC-DS ベンチマーク

TPC-DS は、トランザクション処理性能評議会 (TPC) によって開発された意思決定支援ベンチマークです。これは、TPC-H よりも包括的なテストデータセットと複雑な SQL クエリを使用します。

TPC-DS は、意思決定支援システムの一般的に適用可能な側面をいくつかモデル化しており、クエリやデータメンテナンスを含みます。TPC-DS は、小売環境におけるデータベースシステムの性能をテストおよび評価するための包括的で現実的なワークロードを提供することを目的としています。TPC-DS ベンチマークは、小売企業における 3 つの販売チャネル（店舗、インターネット、およびカタログ）の販売および返品データをシミュレートします。販売および返品データモデルのテーブルを作成するだけでなく、単純な在庫システムとプロモーションシステムも含まれています。

このベンチマークは、データサイズが 1 GB から 3 TB の 24 のテーブルに対して、合計 99 の複雑な SQL クエリをテストします。主な性能指標は各クエリの応答時間であり、クエリが送信されてから結果が返されるまでの時間です。

テスト結論​

テストは、CelerData と Trino 上で TPC-DS 1 TB データセットに対して実施されました。以下の結果の単位はミリ秒です。

TPC-DS-CD

CelerData では、テストクエリはその内部テーブル（クラシックアーキテクチャとエラスティックアーキテクチャの両方で）および Iceberg Catalog（エラスティックアーキテクチャで）で実行されます。Trino では、同じ Iceberg Catalog でテストクエリが実行されます。CelerData と Trino の Iceberg Catalog に対する両方のテストでは、AWS Glue をメタストアとして使用し、ZSTD 圧縮の Parquet 形式のデータを使用します。Databricks Photon では、Delta Lake テーブルでテストクエリが実行されます。これも AWS Glue をメタストアとして使用し、ZSTD 圧縮の Parquet 形式のデータを使用します。

テスト結果は以下の通りです：

  • CelerData クラシッククラスターの OLAP テーブルで実行されたクエリは 295 秒かかりました。
  • CelerData エラスティッククラスターの OLAP テーブルで実行されたクエリは 299 秒かかりました。
  • CelerData エラスティッククラスターの Iceberg Catalog で実行されたクエリは 311 秒かかりました。
  • Trino の Iceberg Catalog で実行されたクエリは 2552 秒かかりました。
  • Databricks Photon の Delta Lake で実行されたクエリは 415 秒かかりました。

結論は以下の通りです：

  • CelerData はクラシックとエラスティックアーキテクチャの両方で同等の性能を発揮します

    OLAP テーブルクエリシナリオでは、CelerData のクラシックモードはエラスティックモードの 1.01 倍の性能を達成し、ストレージとコンピュートの分離による性能オーバーヘッドが最小限であることを示しています。

  • CelerData は、Lakehouse クエリシナリオで Trino および Databricks Photon を大幅に上回り、OLAP テーブルクエリでさらに大きな利点を持っています

    • Iceberg Catalog クエリシナリオでは、CelerData は Trino の 8.2 倍、Databricks Photon の 1.3 倍の性能を発揮します。
    • OLAP テーブルクエリでは、性能差がさらに広がり、CelerData は Trino の 8.52 倍（クラシックモード）、8.54 倍（エラスティックモード）、Databricks Photon の 1.4 倍（クラシックおよびエラスティックモードの両方）を達成します。

テスト準備​

ハードウェア​

CelerData と Trino は、同じ構成のホストにデプロイされています - AWS m6id.4xlarge。

Spec
インスタンス数5
vCPU16
メモリ (GiB)64
インスタンスストレージ (GB)1x950 NVMe SSD
ネットワーク帯域幅 (Gbps)最大 12.5
EBS 帯域幅 (Gbps)最大 10

ソフトウェア​

CelerDataTrinoDatabricks Photon
クラスターサイズOne FE, four BEOne Coordinator, four WorkersOne Driver, four Workers
バージョン3.5.047516.4 LTS
リリース日2025.6.132025.6.52025.5.9
設定set query_mem_limit=66571993088; (62 GB)query.max-memory=224GB
query.max-memory-per-node=35GB		Default

テスト結果​

以下の表は、99 のクエリに対する性能テスト結果を示しています。クエリの遅延の単位はミリ秒です。すべてのクエリは 1 回ウォームアップされ、その後 3 回実行して平均値を結果として取ります。表のヘッダーにある Trino vs CelerData on Iceberg と Databricks vs CelerData は、Trino のクエリ応答時間を CelerData のクエリ応答時間で割った値を意味します。大きな値は CelerData の性能が優れていることを示します。Iceberg Catalog でのテストの前に、ANALYZE TABLE と EXPLAIN COST ステートメントが CelerData で実行され、統計情報が収集されます。

クエリCelerDataTrinoDatabricks PhotonTrino vs CelerData On IcebergDatabricks vs CelerData
OLAP テーブルIceberg CatalogIceberg CatalogDelta Lake
クラシックエラスティックエラスティック
SUM29489529921931068125520764158098.211.34
Q01748605709227618913.212.67
Q021136934173321289374512.282.16
Q03193146404176410024.372.48
Q041818215935159382002491489512.560.93
Q054655411748557417143.190.98
Q06209176336290911028.663.28
Q076669411597363820722.281.30
Q08201175331253412397.663.74
Q094549397055183612567206.551.22
Q10295308533247114154.642.65
Q1110888966999161332301130213.441.14
Q1212412420710676675.153.22
Q13418444180518297256710.141.42
Q14159681473515007143172151569.541.01
Q1553345655521589923.891.79
Q1653154495014035194114.772.04
Q1710129421638548728953.351.77
Q188619311678473623802.821.42
Q19234264502187023413.734.66
Q2015216623712578305.303.50
Q2186801999456184.753.11
Q22181018232185787124543.601.12
Q23831207942851596488653341939.470.66
Q24762090351150943436235533.772.05
Q258449191389434724793.131.78
Q26376502762296112773.891.68
Q274585331333421919253.171.44
Q2831703222461924678118185.342.56
Q291324209621491064071654.953.33
Q30294303501277013365.532.67
Q312193203024071026035604.261.48
Q3211121928110357003.682.49
Q33237241613274312794.472.09
Q34375416660245526433.724.00
Q35139214051600802323005.011.44
Q365435281076334217923.111.67
Q37253242208617896729.704.65
Q384706454652143840849787.370.95
Q39361348813569636817.014.53
Q40122131515155412633.022.45
Q414747752714273.615.69
Q42811011949965455.132.81
Q43488674653410816246.292.49
Q441450157450031646837703.290.75
Q4541840952922129084.181.72
Q46146217041502478025943.181.73
Q4727972759324242704543513.171.68
Q4849152313351246418069.341.35
Q494965141344382719272.851.43
Q503738496841872177148625.201.16
Q514725457434181224746033.581.35
Q529110622410075924.502.64
Q53457628894176812011.981.34
Q5420825777731864220541.012.84
Q558710521911875805.422.65
Q56175185500213312724.272.54
Q5717591728213226042396312.211.86
Q58239251522303210505.812.01
Q593745373633612081932896.190.98
Q60254295649274914324.242.21
Q61332338936205419262.192.06
Q62509528902510412505.661.39
Q63447629866171911621.981.34
Q6444458719829116990119672.051.44
Q652836277136392061668945.671.89
Q663983881094351120053.211.83
Q6729203283922168489430383994.121.77
Q68255331708288320184.072.85
Q69276281468218111904.662.54
Q702815291734542149941956.221.21
Q712781110639257885624.0313.40
Q72163618745077504573526599.381.04
Q7319523037719339425.132.50
Q749086898690827807178538.600.86
Q7562587410899226270100892.921.12
Q762466232948241126645502.340.94
Q77240237696278511674.001.68
Q7816750158601923151497167392.680.87
Q79214223581680557220053.321.19
Q805618502534476227741.881.09
Q81493500763404020425.292.68
Q8261160583911622126213.851.50
Q83160212400227413885.693.47
Q8421344332030868989.642.81
Q854736851241542417904.371.44
Q86733738856342210724.001.25
Q874651488951434130058428.031.14
Q88156515862821307381389210.904.92
Q89534738916222714202.431.55
Q90326336634389014426.142.27
Q911029823220358148.773.51
Q92851432509946533.982.61
Q933790460357762292637553.970.65
Q94599984995588415825.911.59
Q9517593003266629607205311.110.77
Q96151014092561490521031.920.82
Q974745501355172272658674.121.06
Q98285313350191136905.4610.54
Q991165119214961097023607.331.58