CelerData クラスターを開く

CelerData は、ウェブブラウザで CelerData クラスターにアクセスすることをサポートしています。ウェブブラウザで CelerData クラスターを開くことで、クエリを実行したり、データカタログを管理したり、クエリ履歴を表示したり、クラスターのステータスを監視したり、監査ログを確認したりすることができます。

注意

• クラスターを開くには、View Cluster 権限とクラスターに接続するためのユーザー名とパスワードが必要です。
• CelerData は、特定の IP アドレスセットからのアクセスを許可または拒否するために、クラスターに対して IP アクセスリスト を設定することをサポートしています。

クラスターを開く

1. CelerData Cloud BYOC コンソール にサインインします。

2. 左側のナビゲーションペインで Clusters を選択します。

3. Clusters ページで、開きたいクラスターをクリックします。

4. クラスターの詳細ページで、Open cluster をクリックします。

5. Connect to your Cluster ページで、クラスターにアクセスするための Username と Password を入力し、Sign in をクリックします。

   

   ブラウザはクラスター操作ページにリダイレクトされます。

クラスター操作ページは5つのタブで構成されています：

• SQL editor: CelerData クラスターでクエリを編集および実行できます。
• Data catalog: CelerData クラスター内のデータカタログを表示および管理できます。
• Query insight: CelerDataクラスター内のクエリを分析するために、クエリ履歴、監査ログ、およびアクティブなクエリを表示できます。
• System monitoring: CelerData クラスターとそれをホストするインスタンスのステータスを監視できます。
• Administrator: SQL ベースの分析のために、監査ログをCelerDataクラスターに読み込むことができます。

SQL エディターでクエリを実行する

SQL エディターは、CelerData プラットフォーム上で SQL クエリを編集および実行することを可能にします。使いやすく強力な UI を提供し、クエリ作成をより効率的にします。SQL エディターは構文のハイライトと自動補完を特徴としています。これらの機能は、データアナリスト、開発者、さらにはビジネスユーザーがデータを迅速に操作するための直感的で柔軟な環境を提供します。

SQL editor タブは3つのエリアで構成されています：

• Data explorer と Saved queries パネル
• クエリエディターエリア
• クエリ結果エリア

Data explorer と Saved queries パネル

Data explorer パネルでは、以下の操作が可能です：

• Select catalog ドロップダウンリストからデータをホストするカタログを選択します。

• Select database ドロップダウンリストから使用したいデータベースを選択します。親カタログが選択された後にのみデータベースを選択できます。

• 選択したデータベース内のテーブルを表示および検索します。

• 特定のテーブルにカーソルを合わせることで、その Details と Definition を表示します。

  

  

• 特定のテーブルと対話するには、テーブルの横にある More (...) ボタンをクリックします。

  

• 特定のテーブルの列を表示するには、テーブルをクリックします。

• 特定の列の詳細を表示するには、列にカーソルを合わせます。

  

• 特定の列と対話するには、列の横にある More (...) ボタンをクリックします。

  

Saved queries パネルでは、以下の操作が可能です：

• 保存されたクエリを表示および検索します。

• クエリをクリックして保存されたクエリスクリプトをロードします。

• Create a new query ボタンをクリックして新しいクエリスクリプトを作成します。

• Create a new folder ボタンをクリックしてクエリを管理するフォルダを作成します。

• クエリの横にある More (...) ボタンをクリックして保存されたクエリをリネームまたは削除します。

  

注意

• クエリスクリプトは編集時に自動的に保存されます。
• 保存されたクエリはすべてのデータベースユーザーに表示されます。

クエリエディターエリア

クエリエディターエリアでは、以下の操作が可能です：

• エディターでクエリスクリプトを編集します。
• + ボタンをクリックして新しいクエリスクリプトを作成します。
• Run ボタンをクリックしてクエリスクリプトを実行します。
• Clear ボタンをクリックし、表示されるメッセージで Confirm をクリックしてエディターをクリアします。
• Format your SQL ボタンをクリックしてエディター内の SQL をフォーマットします。
• Hot key ボタンをクリックして、エディターがサポートするキーボードショートカットを確認します。

クエリ結果エリア

クエリスクリプトを実行した後、クエリの詳細、結果、またはエラーメッセージをクエリ結果エリアで確認できます。

• クエリステータスセクションで、クエリの Query ID、Execution time、および Rows Total を確認できます。

  

• クエリが完了した後、Download ボタンをクリックしてクエリの結果を .xlsx ファイルとしてダウンロードできます。

• クエリ実行の異なるフェーズ中に、結果セクションには異なる情報が表示されます：

  • クエリが実行中の場合、結果セクションにはクエリにかかった時間が表示されます。

    

  • クエリが失敗した場合、結果セクションにはエラーメッセージが表示されます。

    

  • クエリが完了した場合、結果セクションにはクエリの結果が表示されます。

    

    結果セクションでは、以下の操作が可能です：

    • 列の境界線をドラッグして、列の幅を変更できます。
    • 列を右クリックし、Enable Wrap を選択して、改行を適用できます。
    • 列を右クリックし、Hide Column を選択して、列を非表示にできます。
    • 列ごとに結果を並べ替える。
    • 列ごとに結果をフィルタリングする。
    • Result 1 の横にある保存ボタンをクリックして、結果のレイアウトを保存するタブを作成する。複数の結果タブを作成でき、タブをダブルクリックして名前を変更することもできます。

    

データカタログを表示および管理する

Data catalog タブでは、CelerData クラスターのすべてのデータソースを表示および管理できます。これには、外部カタログや、CelerData クラスター内で作成された自己管理テーブルを含む内部カタログ default_catalog が含まれます。

外部データカタログを作成する

Data catalog タブで、Add catalog をクリックします。デプロイメントウィザードに従って外部データカタログを作成します。

1. ステップ1: 新しいデータソースを追加する

   データソースを選択し、Next Step をクリックします。

   

   注意

   現在、CelerData は外部データソースとして Amazon S3 のみをサポートしています。

2. ステップ2: データソースの設定を構成する

   Catalog name を入力し、必要に応じて Description を追加し、データストレージの S3 Region を選択し、Default table format を選択し、Metastore type を選択し、メタストアの AWS Region を選択し、Next Step をクリックします。

   

3. ステップ3: 認証情報を構成する

   データソースにアクセスするために Instance profile-based authentication または Assumed role-based authentication を選択できます。詳細な手順については、Authenticate to AWS resources を参照してください。

   

   認証情報を構成した後、Create Catalog をクリックします。

内部カタログのデータ統計を表示する

1. Data catalog タブで、内部カタログの Type と Comment を表示できます。
2. カタログ default_catalog をクリックして、内部カタログ内のデータベースの情報を表示します。これには、名前、サイズ、および備考が含まれます。
3. 特定のデータベースをクリックして、データベース内のテーブルの情報を表示します。これには、名前、サイズ、備考、および作成時間が含まれます。
4. 特定のテーブルをクリックして、テーブル内のパーティションの情報を表示します。これには、名前、可視データバージョン、状態、パーティションキー、パーティション範囲、バケット列、バケット数、重複、およびサイズが含まれます。
5. 特定のパーティションをクリックして、パーティション内のタブレットをホストする BE ノードの情報を表示します。これには、ID、タブレット数、行数、データグループ数、およびサイズが含まれます。
6. 特定のノードをクリックして、その中のタブレットの情報をさらに表示します。これには、ID、ホスティングノード、有効なデータバージョン、行数、データグループ数、サイズ、および状態が含まれます。

外部カタログのデータ統計を表示する

1. Data catalog タブで、外部カタログの Type と Comment を表示できます。
2. 特定の外部カタログをクリックして、外部カタログ内のデータベースを表示します。
3. 特定のデータベースをクリックして、データベース内のテーブルを表示します。

クエリ履歴とログを表示する

CelerData では、CelerData クラスタで実行済みおよび実行中の全クエリの記録を表示と検索できます。実行統計に基づいてクエリのパフォーマンスを分析と調整したり、過剰なクラスタリソースを消費している実行中のクエリを強制終了したりできます。

Query Insights タブは、History、Active queries、Query logs の 3 つのサブタブで構成されています。

History サブタブには、CelerData クラスターで実行された全クエリの統計情報が保存されます。表示される項目は、Start time、Query ID、Status、SQL、Warehouse、Duration、Memory、Client IP、Query user、Query Time、Cpu Cost、Scanned Bytes、Scanned Rows を表示します。特定の Coordinator Node のクエリ履歴を表示するには、ノードの IP アドレスを選択してください。対応するフィルターを使用して特定のクエリを検索できます。Filter ドロップダウンリストでさらにフィルターを有効化できます。

このサブタブでは、実行中のクエリを終了させることもできます：

1. History サブタブで、終了させたい実行中のクエリを検索します。
2. クエリの Query ID フィールドの横にある KILL ボタンをクリックします。
3. 表示される情報で、Confirm をクリックしてクエリを終了させます。

Active queries サブタブでは、クラスター内で実行中のクエリの統計情報を可視化します。このタブでは、Top Queries by Resource Consumed (RAM Consumed、CPU Util、Elapsed time)、上位クエリの Query Details & Metrics、実行中およびキュー内のクエリ数、Query Concurrency and Queues (MAX、AVG) を確認できます。

Query logs サブタブは、CelerData クラスター内の監査ログを保持します。各監査ログにはクエリの Start time、Query ID、Cost、User、Client Address、SQL が記録されます。ノードの IP アドレスを選択することで、特定のFEノード上の監査ログを表示できます。開始時刻と終了時刻を選択して特定の監査ログを検索できます。

クラスターとインスタンスを監視する

Monitor タブは、CelerData クラスターのリソース消費とクエリパフォーマンスに関するリアルタイムの洞察を提供します。監視統計を使用して、パフォーマンスの問題が重大になる前に迅速に特定して対応し、クラスターのスムーズな運用を保証します。

Monitor タブは、Cluster State と Instance State の2つのサブタブで構成されています。

• Cluster State サブタブでは、次の監視統計のチャートを表示できます：

  • Cluster Data Size (MAX および AVG)
  • Query QPS (MAX、MIN、および AVG)
  • Ingested Times (SUM)
  • Ingested Rows (SUM)
  • Ingested Bytes (SUM)

  Cluster State メトリクスは、CelerData クラスターの全体的なパフォーマンスに関する貴重な洞察を提供し、操作の傾向を特定し、最適化が必要なパフォーマンスボトルネックを特定するのに役立ちます。

  特定の時間範囲を選択するか、開始時間と終了時間を選択して特定の監視統計を検索できます。

• Instance State サブタブでは、次の情報のチャートを表示できます：

  • CPU Util (MAX、MIN、および AVG)
  • Memory Util (MAX、MIN、および AVG)
  • Memory Usage (MAX、MIN、および AVG)
  • Disk Util (MAX、MIN、および AVG)
  • Disk Usage (MAX、MIN、および AVG)
  • Network Recv (MAX、MIN、および AVG)
  • Network Send (MAX、MIN、および AVG)
  • Disk Read IOPS (MAX、MIN、および AVG)
  • Disk Write IOPS (MAX、MIN、および AVG)
  • Disk Read (MAX、MIN、および AVG)
  • Disk Write (MAX、MIN、および AVG)

  Instance State メトリクスを使用して、特定のインスタンスに影響を与える可能性のあるパフォーマンスボトルネックや問題を特定し、それに対してターゲットを絞ったアクションを実行して解決します。

  Node セクションでノードの IP アドレスを選択して、チャートに表示する統計を選択できます。また、特定の時間範囲を選択するか、開始時間と終了時間を選択して特定の監視統計を検索できます。

SQL ベースの分析のための監査ログを読み込む

CelerData クラスターは、監査ログにすべてのユーザーアクティビティを記録し、クラスター管理者が事後調査を行い、発生する可能性のある問題をトラブルシューティングできるようにします。

Administrator タブでは、監査ログをクラスターにロードするために Audit Loader プラグインを有効化できます。これにより、クラスター監査ログに対して SQL ベースの分析を実行できます。詳細については、AuditLoader による StarRocks 内での監査ログ管理を参照してください。