GCP でのクイックデプロイ
このトピックでは、Google Cloud でのクイックデプロイの方法について説明します。プロダクション環境用のクラスターを作成したい場合は、代わりに 手動デプロイを設定して実行 する必要があります。
クイックデプロイは、Terraform テンプレートを起動して、必要な資格情報の作成、GCP リソースのプロビジョニングと設定を支援します。
クイックデプロイはプロダクション用途には適しておらず、非プロダクション用途のみを推奨します。
クイックデプロイは、手動デプロイで使用可能なすべての設定オプションをサポートしていません。以下のような場合は、手動デプロイ メソッドを使用してください。
- 既存のデータ資格情報を再利用する
- デプロイ資格情報を再利用する
- 新しいデータまたはデプロイ資格情報を作成する
- ネットワークアクセスを手動で設定する
前提条件
クイックデプロイを開始する前に、以下を行う必要があります。
- Google Cloud プロジェクトを作成し、必要な API を有効にする。プロジェクトダッシュボードの Project info セクションから Project ID をコピーし、後でアクセスできる場所に保存します。
- クイックデプロイ用の Cloud Storage バケットとサービスアカウントを作成する。
デプロイウィザードの開始
デプロイウィザードを開始するには、次の手順に従います。
- CelerData Cloud BYOC コンソール にサインインします。
- Clusters ページで、Create cluster をクリックします。
- 表示されるダイアログボックスで、Classic cluster または Elastic cluster を選択し、クラウドプロバイダーとして GCP を選択して、Next をクリックします。
クイックデプロイの設定と実行
デプロイウィザードを開始した後は、デプロイウィザードの STEP1 を完了し、必要な情報を提供するだけです。CelerData が残りのステップを完了します。
クラスターリソースの設定
STEP1: Configure the cluster resources では、ビジネス要件に基づいてクラスターを設定し、必要に応じて Add label をクリックしてクラスターに 1 つ以上のラベルを追加します。その後、Quick deployment をクリックして続行します。ここで追加したラベルは、クラスターに関連付けられた GCP クラウドリソースに添付されます。
- CelerData は Free Developer Tier を提供しています。これを使用するには、4 CPU コアと 16-GB RAM を提供する FE および BE インスタンスタイプを選択する必要があります。
- 4 CPU コアと 16-GB RAM は、FE および BE の最小構成パッケージでもあります。
-
クラシッククラスターの場合、以下の設定項目を設定します。
パラメータ 必須 説明 クラスター名 はい クラスターの名前を入力します。クラスターが作成された後、名前は変更できません。後でクラスターを簡単に識別できるような情報を含む名前を入力することをお勧めします。 GCP リージョン はい クラスターをホストする GCP リージョンを選択します。CelerData がサポートするリージョンについては、Supported cloud platforms and regions を参照してください。 FE HA モード いいえ FE HA モードを有効または無効にします。FE HA モードはデフォルトで無効になっています。 - FE HA モードが無効の場合、1 つの FE のみがデプロイされます。この設定は、CelerData がどのように役立つかを学ぶための概念実証クラスターを作成する場合や、テスト目的で小さなクラスターを作成する場合に推奨されます。
- FE HA モードが有効の場合、3 つの FE がデプロイされます。この設定は、プロダクション対応環境のクラスターを作成する場合に推奨されます。3 つの FE を使用すると、クラスターはより多くの高並列クエリを処理しながら、高可用性を確保できます。
FE インスタンスタイプ はい クラスター内の FE ノードのインスタンスタイプを選択します。CelerData がサポートするインスタンスタイプについては、Supported instance types を参照してください。 BE インスタンスタイプ はい クラスター内の BE ノードのインスタンスタイプを選択します。CelerData がサポートするインスタンスタイプについては、Supported instance types を参照してください。 BE ストレージサイズ はい クラスター内の各 BE ノードに提供したいストレージ容量を指定します。 BE ノード数 はい クラスター内にデプロイしたい BE ノードの数を指定 します。処理するデータ量に基づいて BE の数を決定できます。デフォルト値は 3 です。これは、CelerData が各テーブルを 3 つの異なる BE に 3 つのレプリカとして保存する必要があるためです。 -
エラスティッククラスターの場合、以下の設定項目を設定します。
パラメータ 必須 説明 クラスター名 はい クラスターの名前を入力します。クラスターが作成された後、名前は変更できません。後でクラスターを簡単に識別できるような情報を含む名前を入力することをお勧めします。 GCP リージョン はい クラスターをホストする GCP リージョンを選択します。CelerData がサポートするリージョンについては、Supported cloud platforms and regions を参照してください。 コーディネータ HA モード いいえ コーディネータ HA モードを有効または無効にします。コーディネータ HA モードはデフォルトで無効になっています。 - コーディネータ HA モードが無効の場合、1 つのコーディネータのみがデプロイされます。この設定は、CelerData がどのように役立つかを学ぶための概念実証クラスターを作成する場合や、テスト目的で小さなクラスターを作成する場合に推奨されます。
- コーディネータ HA モードが有効の場合、3 つのコーディネータがデプロイされます。この設定は、プロダクション対応環境のクラスターを作成する場合に推奨されます。3 つのコーディネータを使用すると、クラスターはより多くの高並列クエリを処理しながら、高可用性を確保できます。
コーディネータノードサイズ はい クラスター内のコーディネータノードのインスタンスタイプを選択します。CelerData がサポートするインスタンスタイプについては、Supported instance types を参照してください。 コンピュートノードサイズ はい クラスター内のデフォルトウェアハウスのコンピュートノードのインスタンスタイプを選択します。CelerData がサポートするインスタンスタイプについては、Supported instance types を参照してください。 コンピュートストレージサイズ いいえ デフォルトウェアハウスのコンピュートノードのストレージサイズを指定します。このフィールドの横にあるボックスにチェックを入れることで、ボリュームの数をカスタマイズすることもできます。このフィールドは Hyperdisk バックのインスタンスタイプにのみ利用可能です。 コンピュートノード数 はい クラスター内のデフォルトウェアハウスのコンピュートノードの数を指定します。処理するデータ量に基づいてコンピュートノードの数を決定できます。デフォルト値は 1 です。 Advance Settings では、クラシッククラスターの FE および BE ノード、またはエラスティッククラスターのコーディネータノードのストレージ自動スケーリングポリシーをさらに定義できます。ビジネスのワークロードが予測不可能で、クラスター作成時に固定数のストレージボリュームを割り当てることができない場合は、CelerData クラスターのノードに対してストレージ自動スケーリングを有効にできます。この機能を有効にすると、CelerData は、事前設定されたストレージスペースが不足していることを検出したときに、自動的にストレージサイズを拡張します。
次の手順に従います。
-
FE storage、BE storage、または Coordinator Storage の後にあるスイッチをオンにして、それぞれのストレージ自動スケーリングを有効にします。
-
自動スケーリング操作をトリガーするストレージ使用率のしきい値(パーセンテージ)を設定します。このしきい値は 80% から 90% の間で設定できます。ノードのストレージ使用率がこのしきい値に達し、5 分以上続いた場合、CelerData は以下の手順で定義したステップサイズでストレージを拡張します。
-
各自動スケーリング操作のステップサイズを設定します。ステップサイズを固定サイズ(GB)またはパーセンテージで設定することができます。例えば、50 GB または 15%(元のストレージサイズの)です。
-
各ノードの最大ストレージサイズを設定します。CelerData は、ストレージサイズがこのしきい値に達したときにストレージの拡張を停止します。
注記- 手動スケーリングと自動スケーリングを含む 2 つのスケーリング操作の間隔として、最低 6 時間が必須です。
- 各ストレージの最大サイズは 64 TB です。
- エラスティッククラスターのコンピュートノードは自動スケーリングをサポートしていません。
Google Cloud でリソースを起動
Quick deployment ダイアログボックスで、次の手順に従います。
-
以前にコピーした Google Cloud の Project ID を Your GCP Project ID フィールドに貼り付けます。
-
Download をクリックしてスクリプトパッケージファイルを直接ダウンロードするか、Generate URL をクリックして後でファイルをダウンロードするための署名付き URL を生成します。パッケージ内のスクリプトは、Google Could Infrastructure Manager がクラスターに必要なリソースを起動および管理するためのテンプレートです。
-
Google Cloud コンソール にサインインし、クイックデプロイ用に作成した Cloud Storage バケットにパッケージファイルをアップロードします。パッケージを解凍する必要はありません。Cloud Storage バケットにファイルをアップロードする詳細な手順については、Google Cloud Official Document - Upload an object to a bucket を参照してください。
-
パッケージファイルが正常にアップロードされた後、アップロードしたパッケージファイルの gsutil URI をコピーし、後でアクセスできる場所に保存します。
注記gsutil URI は
gs://<BUCKET_NAME>/<FOLDER_NAME>/<FILE_NAME>
の形式です。アップロードしたパッケージの gsutil URI がわからない場合は、次の手順で Google Cloud コンソールから URI を取得します。
- Google Cloud コンソール にサインインします。
- 左側のナビゲーションメニューを展開し、Cloud Storage > Buckets を選択します。
- パッケージファイルをアップロードしたバケットをクリックします。
- Bucket details ページで、パッケージファイルのレコードを見つけます。
- レコードの右側にあるその他のアクション (⋮) ボタンをクリックし、Copy gsutil URI を選択して URI をコピーします。
-
Create Cluster をクリックします。
その後、Google Cloud コンソールの Infrastructure Manager ページにリダイレクトされます。
リダイレクトされた後、CelerData Cloud BYOC コンソールを閉じないでください。後でデプロイを完了するためにコンソールに戻る必要があります。
Infrastructure Manager ページで、次の手順に従います。
-
Create new deployment をクリックして、Create new Terraform deployment ページに移動します。
-
Deployment details ステップで、次のように設定します。
a. Deployment ID フィールドにデプロイの ID を指定します。この ID は、Google Cloud プロジェクト内で一意である必要があります。
b. Region ドロップダウンリストからデプロイのリージョンを選択します。クラスターをデプロイしたいリージョンに設定することをお勧めします。
c. クイックデプロイ用に作成したサービスアカウント を Service account ドロップダウンリストから選択します。
d. Source of Terraform configuration として GCS を選択します。
e. 以前にコピーしたパッケージファイルの gsutil URI を Source フィールドに貼り付けます。
-
Create deployment をクリックします。
その後、作成したデプロイの詳細ページにリダイレクトされます。デプロイの作成には数分かかります。デプロイが正常に作成されると、デプロイの State が Creating から Active に変わります。その後、次のステップに進むことができます。
クラスターのデプロイ
デプロイを完了するには、次の手順に従います。
-
CelerData Cloud BYOC コンソールに戻ります。
-
表示されたメッセージで、Finish をクリックします。その後、コンソールの Cluster ページにリダイレクトされます。
-
作成したクラスターをクリックします。
前述の手順を完了すると、CelerData が自動的にクラスターをデプロイします。これには数分かかります。
デプロイが完了すると、次の図に示すメッセージが表示されます。
メッセージ内の Preview Cluster をクリックしてクラスターを表示できます。また、Clusters ページに戻ってクラスターを表示することもできます。クラスターは正常にデプロイされると Running 状態になります。
クラスターの資格情報とデプロイの詳細を取得する
将来使用するために必要なクラスターの資格情報とデプロイの詳細を収集するには、次の手順に従います。
-
クラスター用に作成したデプロイの詳細ページに戻ります。Output タブをクリックします。
-
Output タブで、次の情報を確認できます。
celerdata_cluster_preview_address
: CelerData Cloud BYOC コンソールのクラスター詳細ページへのリンク。celerdata_cluster_storage_bucket
: クラスタークエリプロファイルを保存するために使用されるバケットの URI。celerdata_cluster_vm_service_account
: クラスターにストレージバケットへのアクセス権を付与するために作成されたインスタンスサービスアカウントの名前。celerdata_cluster_network_tag
: クラスターノード間および CelerData の VPC とクラスターの VPC 間の接続を有効にするために使用されるファイアウォールルールのターゲットタグ。celerdata_cluster_network
: クラスターがデプロイされている VPC ネットワークの URI。celerdata_cluster_subnetwork
: クラスターがデプロイされているサブネットの URI。celerdata_cluster_initial_admin_password
: クラスター内の admin アカウントの初期パスワード。
デフォルトストレージボリュームの設定 - エラスティッククラスターのみ
クラシッククラスターをデプロイした場合、このステップはスキップしてください。
デフォルトでは、すべてのデータベースとテーブルはデフォルトストレージボリュームに作成されます。
GCP 上の CelerData BYOC のプライベートプレビュー中に、デフォルトストレージボリュームはクラスターを作成した後、データベースやテーブルを作成する前に手動で作成する必要があります。
XML API for interoperability は、GCS ストレージを S3 のように操作するために使用されます。一般的に、S3 設定と GCS 設定の間の唯一の変更は次のとおりです。
- エンドポイント
https://storage.googleapis.com
を使用する - 認証に HMAC キーとシークレットを使用する
interoperability XML API や HMAC キーに慣れていない場合は、このページの下部にリンクがあります。
GCS にストレージボリュームを作成する
必要なもの:
- クラスターが配置されている GCS リージョン(これは STEP1 で指定されました)
- STEP2 で指定された GCS バケット名
- バケット用の HMAC アクセスキーと HMAC シークレットキー
SQL クライアントを使用して管理者ユーザーとしてクラスターに接続し、STORAGE VOLUME
を作成します(バケットと認証の詳細を代入してください):
CREATE STORAGE VOLUME def_volume
TYPE = S3
LOCATIONS = ("s3://<GCS bucket name collected from the Outputs tab of the deployment details page in Google Cloud Console>")
PROPERTIES
(
"enabled" = "true",
"aws.s3.region" = "us-central1",
"aws.s3.endpoint" = "https://storage.googleapis.com",
"aws.s3.access_key" = "<HMAC access key>",
"aws.s3.secret_key" = "<HMAC secret key>"
);
新しいボリュームをデフォルトとして設定します:
SET def_volume AS DEFAULT STORAGE VOLUME;