CelerData クラスターを開く
CelerData は、ウェブブラウザで CelerData クラスターにアクセスすることをサポートしています。 ウェブブラウザで CelerData クラスターを開くことで、クエリを実行したり、データカタログを管理したり、クエリ履歴を表示したり、クラスターのステータスを監視したり、監査ログを確認したりすることができます。
注意
- クラスターを開くには、View Cluster 権限とクラスターに接続するためのユーザー名とパスワードが必要です。
- CelerData は、特定の IP アドレスセットからのアクセスを許可または拒否するために、クラスターに対して IP アクセスリスト を設定することをサポートしています。
クラスターを開く
-
CelerData Cloud BYOC コンソール にサインインします。
-
左側のナビゲーションペインで Clusters を選択します。
-
Clusters ページで、開きたいクラスターをクリックします。
-
クラスターの詳細ページで、Open cluster をクリックします。
-
Connect to your Cluster ページで、クラスターにアクセスするための Username と Password を入力し、Sign in をクリックします。
ブラウザはクラスター操作ページにリダイレクトされます。
クラスター操作ページは5つのタブで構成されています:
- SQL editor: CelerData クラスターでクエリを編集および実行できます。
- Data catalog: CelerData クラスター内のデータカタログを表示および管理できます。
- Query history: CelerData クラスター内のすべてのクエリの履歴を表示し、遅いクエリを分析できます。
- Monitor: CelerData クラスターとそれをホストするインスタンスのステータスを監視できます。
- Audit log: CelerData クラスターの監査ログを表示および検索できます。
SQL エディターでクエリを実行する
SQL エディターは、CelerData プラットフォーム上で SQL クエリを編集および実行することを可能にします。使いやすく強力な UI を提供し、クエリ作成をより効率的にします。SQL エディターは構文のハイライトと自動補完を特徴としています。これらの機能は、データアナリスト、開発者、さらにはビジネスユーザーがデータを迅速に操作するための直感的で柔軟な環境を提供します。
SQL editor タブは3つのエリアで構成されています:
- Data explorer と Saved queries パネル
- クエリエディターエリア
- クエリ結果エリア
Data explorer と Saved queries パネル
Data explorer パネルでは、以下の操作が可能です:
-
Select catalog ドロップダウンリストからデータをホストするカタログを選択します。
-
Select database ドロップダウンリストから使用したいデータベースを選択します。親カタログが選択された後にのみデータベースを選択できます。
-
選択したデータベース内のテーブルを表示および検索します。
-
特定のテーブルにカーソルを合わせることで、その Details と Definition を表示します。
-
特定のテーブルと対話するには、テーブルの横にある More (...) ボタンをクリックします。
-
特定のテーブルの列を表示するには、テーブルをクリックします。
-
特定の列の詳細を表示するには、列にカーソルを合わせます。
-
特定の列と対話するには、列の横にある More (...) ボタンをクリックします。
Saved queries パネルでは、以下の操作が可能です:
-
保存されたクエリを表示および検索します。
-
クエリをクリックして保存されたクエリスクリプトをロードします。
-
Create a new query ボタンをクリックして新しいクエリスクリプトを作成します。
-
Create a new folder ボタンをクリックしてクエリを管理するフォルダを作成します。
-
クエリの横にある More (...) ボタンをクリックして保存されたクエリをリネームまたは削除します。
注意
- クエリスクリプトは編集時に自動的に保存されます。
- 保存されたクエリはすべてのデータベースユーザーに表示されます。
クエリエディターエリア
クエリエディターエリアでは、以下の操作が可能です:
- エディターでクエリスクリプトを編集します。
- + ボタンをクリックして新しいクエリスクリプトを作成します。
- Run ボタンをクリックしてクエリスクリプトを実行します。
- Clear ボタンをクリックし、表示されるメッセージで Confirm をクリックしてエディターをクリアします。
- Format your SQL ボタンをクリックしてエディター内の SQL をフォーマットします。
- Hot key ボタンをクリックして、エディターがサポートするキーボードショートカットを確認します。
クエリ結果エリア
クエリスクリプトを実行した後、クエリの詳細、結果、またはエラーメッセージをクエリ結果エリアで確認できます。
-
クエリステータスセクションで、クエリの Query ID、Execution time、State、Rows returned、および Rows Total を確認できます。
-
クエリが完了した後、Download ボタンをクリックしてクエリの結果を .xlsx ファイルとしてダウンロードできます。
-
クエリ実行の異なるフェーズ中に、結果セクションには異なる情報が表示されます:
-
クエリが実行中の場合、結果セクションにはクエリにかかった時間が表示されます。
-
クエリが完了した場合、結果セクションにはクエリの結果が表示されます。
-
クエリが失敗した場合、結果セクションにはエラーメッセージが表示されます。
-
データカタログを表示および管理する
Data catalog タブでは、CelerData クラスターのすべてのデータソースを表示および管理できます。これには、外部カタログや、CelerData クラスター内で作成された自己管理テーブルを含む内部カタログ default_catalog
が含まれます。
外部データカタログを作成する
Data catalog タブで、Add catalog をクリックします。デプロイメントウィザードに従って外部データカタログを作成します。
-
ステップ1: 新しいデータソースを追加する
データソースを選択し、Next Step をクリックします。
注意
現在、CelerData は外部データソースとして Amazon S3 のみをサポートしています。
-
ステップ2: データソースの設定を構成する
Catalog name を入力し、必要に応じて Description を追加し、データストレージの S3 Region を選択し、Default table format を選択し、Metastore type を選択し、メタストアの AWS Region を選択し、Next Step をクリックします。
-
ステップ3: 認証情報を構成する
データソースにアクセスするために Instance profile-based authentication または Assumed role-based authentication を選択できます。詳細な手順につい ては、Authenticate to AWS resources を参照してください。
認証情報を構成した後、Create Catalog をクリックします。
内部カタログのデータ統計を表示する
- Data catalog タブで、内部カタログの Type と Comment を表示できます。
- カタログ
default_catalog
をクリックして、内部カタログ内のデータベースの情報を表示します。これには、名前、サイズ、および備考が含まれます。 - 特定のデータベースをクリックして、データベース内のテーブルの情報を表示します。これには、名前、サイズ、備考、および作成時間が含まれます。
- 特定のテーブルをクリックして、テーブル内のパーティションの情報を表示します。これには、名前、可視データバージョン、状態、パーティションキー、パーティション範囲、バケット列、バケット数、重複、およびサイズが含まれます。
- 特定のパーティションをクリックして、パーティション内のタブレットをホストする BE ノードの情報を表示します。これには、ID、タブレット数、行数、データグループ数、およびサイズが含まれます 。
- 特定のノードをクリックして、その中のタブレットの情報をさらに表示します。これには、ID、ホスティングノード、有効なデータバージョン、行数、データグループ数、サイズ、および状態が含まれます。
外部カタログのデータ統計を表示する
- Data catalog タブで、外部カタログの Type と Comment を表示できます。
- 特定の外部カタログをクリックして、外部カタログ内のデータベースを表示します。
- 特定のデータベースをクリックして、データベース内のテーブルを表示します。
クエリ履歴を表示する
CelerData は、CelerData クラスターで実行されたすべてのクエリの記録を表示および検索することをサポートしています。クエリ履歴に記録された実行統計に基づいて、クエリパフォーマンスを分析および微調整することができます。
Query history タブは、All queries と Slow queries の2つのサブタブで構成されています。すべての実行済みクエリの統計を保存する All queries タブに加えて、CelerData は実行時間 が500ミリ秒を超えるクエリを Slow queries サブタブに記録し、CelerData クラスターのクエリパフォーマンスに影響を与える可能性のある問題やボトルネックを迅速に特定できるようにします。両方のサブタブは、クエリの Start time、Query ID、Status、Duration、Client IP, Query user、および SQL を記録します。
特定の FE ノードのクエリ履歴を表示するには、ノードの IP アドレスを選択します。
Query user、Status、および実行された時間範囲で特定のクエリをフィルタリングできます。クエリ記録をより正確に検索するには、Query ID または SQL に基づいてフィルタを入力し、Search をクリックします。
特定のクエリ記録をクリックすると、その Query overview ページでクエリの Query user、Client IP、Status、Duration、Start time、および SQL を表示できます。
クラスターとインスタンスを監視する
Monitor タブは、CelerData クラスターのリソース消費とクエリパフォーマンスに関するリアルタイムの洞察を提供します。監視統計を使用して、パフォーマンスの問題が重大になる前に迅速に特定して対応し、クラスターのスムーズな運用を保証します。
Monitor タブは、Cluster と Instance の2つのサブタブで構成されています。
-
Cluster サブタブでは、次の監視統計のチャートを表示できます:
- Cluster Data Size (MAX および AVG)
- Query QPS (MAX、MIN、および AVG)
- Ingested Times (SUM)
- Ingested Rows (SUM)
- Ingested Bytes (SUM)
- Query Latency (90 Quantile) (MAX、MIN、および AVG)
- Query Latency (95 Quantile) (MAX、MIN、および AVG)
- Query Latency (99 Quantile) (MAX、MIN、および AVG)
Cluster メトリクスは、CelerData クラスターの全体的なパフォーマンスに関する貴重な洞察を提供し、操作の傾向を特定し、最適化が必要なパフォーマンスボトルネックを特定するのに役立ちます。
特定の時間範囲を選択するか、開始時間と終了時間を選択して特定の監視統計を検索できます。
-
Instance サブタブでは、次の情報のチャートを表示できます:
- CPU Util (MAX、MIN、および AVG)
- Memory Util (MAX、MIN、および AVG)
- Memory Usage (MAX、MIN、および AVG)
- Disk Util (MAX、MIN、および AVG)
- Disk Usage (MAX、MIN、および AVG)
- Network Recv (MAX、MIN、および AVG)
- Network Send (MAX、MIN、および AVG)
- Disk Read IOPS (MAX、MIN、および AVG)
- Disk Write IOPS (MAX、MIN、および AVG)
- Disk Read (MAX、MIN、および AVG)
- Disk Write (MAX、MIN、および AVG)
Instance メトリクスを使用して、特定のインスタンスに影響を与える可能性のあるパフォーマンスボトルネックや問題を特定し、それに対してターゲットを絞ったアクションを実行して解決します。
Node セクションでノードの IP アドレスを選択して、チャートに表示する統計を選択できます。また、特定の時間範囲を選択するか、開始時間と終了時間を選択して特定の監視統計を検索できます。
監査ログを表示する
CelerData クラスターは、監査ログにすべてのユーザーアクティビティを記録し、クラスター管理者が事後調査を行い、発生する可能性のある問題をトラブルシューティングできるようにします。
Audit log タブでは、CelerData クラスター内の監査ログを表示できます。
各監査ログは、クエリの Start time、Query ID、Cost、User、Client Address、および SQL を記録します。
特定の FE ノードを選択して、そのノードの監査ログを表示できます。
開始時間と終了時間を選択して、特定の監査ログを検索できます。