AWS でのデプロイ
CelerData は、AWS 上にクラシックまたはエラスティッククラスタをデプロイするプロセスを 4 つの簡単なステップに簡略化する、ユーザーフレンドリーなデプロイウィザードを提供しています。
- ステップ1: クラスタリソースを構成する
- ステップ2: AWS の認証情報を設定する
- ステップ3: クラスタへのアクセスを構成する
- ステップ4: AWS クラウド上にクラスタをデプロイする
CelerData は、各 BE がそのストレージ上にデータの一部を持つクラシックな共有なしクラスタと、すべてのデータが共有オブジェクトストレージ上にあり、キャッシュのみがコンピュートノード (CN) にローカルであるエラスティックな共有データクラスタをサポートしています。エラスティッククラスタでは、CN が BE に置き換わります。
エラスティッククラスタの詳細は warehouse overview にあります。
制限事項
CelerData クラスタをデプロイするには、EC2 セキュリティグループ、S3 バケット、IAM ロール、VPC とサブネット、データ認証情報、デプロイ認証情報を含むさまざまな AWS リソースが必要です。これらのリソースは同じサブスクリプションと同じリソースグループに属し、CelerData クラスタデプロイメントのための AWS リージョンと同じリージョンに属している必要があります。
デプロイウィザードを開始する
デプロイウィザードを開始するには、次の手順に従ってください。
- CelerData Cloud BYOC コンソール にサインインします。
- Clusters ページで、Create cluster をクリックします。
- 表示されるダイアログボックスで、Classic cluster または Elastic cluster を選択し、クラウドプロバイダーとして AWS を選択してから、Next をクリックします。
デプロイウィザードを開始した後、以下に説明するように、クイックデプロイメントまたは手動デプロイメントを構成して実行できます。
CloudFormation を使用したクイックデプロイメントは、プロダクションでの使用には適しておらず、非プロダクションでの使用のみを推奨します。
CloudFormation テンプレートを使用したクイックデプロイメントは、手動デプロイメントで使用できるすべての構成オプションをサポートしていません。次の場合は manual deployment メソッドを使用してください。
- 既存のデータ認証情報を再利用する
- デプロイ認証情報を再利用する
- 新しいデータまたはデプロイ認証情報を作成する
- ネットワークアクセスを手動で構成する
クイックデプロイメントを構成して実行する
クイックデプロイメントは、CloudFormation テンプレートを起動して、必要な認証情報を作成し、CloudFormation スタックに含まれる以下の AWS リソースをプロビジョニングおよび構成するのに役立ちます。
- EC2 セキュリティグループ: セキュリティグループに関連付けられた AWS リソースへのトラフィックを制御する仮想ファイアウォールとして機能します。セキュリティグループは、CelerData からのトラフィックのみが、CelerData クラスタ用に割り当てられた AWS リソースに到達することを保証します。
- S3 バケット: CelerData クラスタの query profile 情報を保存します。
- IAM ロール: CelerData クラスタが関連する AWS リソースにアクセスするための権限を付与されます。
- VPC とサブネット: CelerData クラスタが存在する場所です。
AWS CloudFormation について詳しくは、What is AWS CloudFormation? を参照してください。
同様の手順で、新しい VPC または既存の VPC に CelerData クラスタをデプロイできます。
デプロイウィザードを開始した後(前の「Start the deployment wizard」セクションを参照)、STEP1 のみを完了する必要があります。CelerData が残りのステップを完了します。
-
STEP1: Configure the cluster resources で、ビジネス要件に基づいてクラスタを構成し、オプションで Add tag をクリックしてクラスタに 1 つ以上のタグを追加します。その後、Quick deployment by CloudFormation をクリックして続行します。ここで追加したタグは、クラスタに関連付けられた AWS クラウドリソースに添付されます。
NOTE
- CelerData は Free Developer Tier を提供しています。これを使用するには、4 CPU コアと 16-GB RAM を提供する FE および BE インスタンスタイプを選択する必要があります。
- 4 CPU コアと 16-GB RAM は、FE および BE の最小構成パッケージでもあります。
クラシッククラスタの場合、次の構成項目を構成します。
Parameter Required Description Cluster name Yes クラスタの名前を入力します。クラスタが作成された後、名前は変更できません。後でクラスタを簡単に識別できるように、情報を含む名前を入力することをお勧めします。 AWS region Yes クラスタをホストする AWS リージョンを選択します。CelerData がサポートするリージョンについては、Supported cloud platforms and regions を参照してください。 FE HA mode No FE HA モードを有効または無効にします。FE HA モードはデフォルトで無効です。 - FE HA モードが無効の場合、1 つの FE の みがデプロイされます。この設定は、CelerData が提供する機能を学ぶための概念実証クラスタを作成する場合や、テスト目的で小規模なクラスタを作成する場合に推奨されます。
- FE HA モードが有効の場合、3 つの FE がデプロイされます。この設定は、プロダクション環境向けのクラスタを作成する場合に推奨されます。3 つの FE があることで、クラスタはより多くの高並列クエリを処理しながら、高可用性を確保できます。
FE instance type Yes クラスタ内の FE ノードのインスタンスタイプを選択します。CelerData がサポートするインスタンスタイプについては、Supported instance types を参照してください。 BE instance type Yes クラスタ内の BE ノードのインスタンスタイプを選択します。CelerData がサポートするインスタンスタイプについては、Supported instance types を参照してください。 BE storage size Yes クラスタ内の各 BE ノードが提供するストレージ容量を指定します。Customize number of volumes の前のボックスにチェックを入れて、各 BE ノードに必要なボリュームの数とサイズを設定できます。 BE node count Yes クラスタ内にデプロイする BE ノードの数を指定します。処理するデータ量に基づいて BE の数を決定できます。デフォルト値は 3 です。これは、CelerData が各テーブルを 3 つの異なる BE 上に 3 つのレプリカとして保存する必要があるためです。 エラスティッククラスタの場合、次の構成項目を構成します。
Parameter Required Description Cluster name Yes クラスタの名前を入力します。クラスタが作成された後、名前は変更できません。後でクラスタを簡単に識別できるように、情報を含む名前を入力することをお勧めします。 AWS region Yes クラスタをホストする AWS リージョンを選択します。CelerData がサポートするリージョンについては、Supported cloud platforms and regions を参照してください。 Multiple availability zone No 複数のアベイラビリティゾーン (Multi-AZ) デプロイメントを有効または無効にします。この機能はデフォルトで無効です。CelerData の Multi-AZ デプロイメントについての詳細は、Multi-AZ Deployments を参照してください。現在、CloudFormation によるクイックデプロイメントは複数のアベイラビリティゾーンをサポートしていません。この機能は manual deployment を通じてのみ有効にできます。 Coordinator node count No アベイラビリティゾーン全体でデプロイするコーディネーターノードの数を選択します。このフィールドは、Multi-AZ デプロイメントが有効な場合にのみ利用可能です。3 (デフォルト)、5、または 7 のコーディネーターノードを選択できます。 Coordinator HA mode No コーディネータ HA モードを有効または無効にします。このフィールドは、Multi-AZ デプロイメントが無効な場合にのみ利用可能です。コーディネータ HA モードはデフォルトで無効です。 - コーディネータ HA モードが無効の場合、1 つのコーディネータのみがデプロイされます。この設定は、CelerData が提供する機能を学ぶための概念実証クラスタを作成する場合や、テスト目的で小規模なクラスタを作成する場合に推奨されます。
- コーディネータ HA モードが有効の場合、3 つのコーディネータがデプロイされます。この設定は、プロダクション環境向けのクラスタを作成する場合に推奨されます。3 つのコーディネータがあることで、クラスタはより多くの高並列クエリを処理しながら、高可用性を確保できます。
Coordinator node size Yes クラスタ内のコーディネーターノードのインスタンスタイプを選択します。CelerData がサポートするインスタンスタイプについては、Supported instance types を参照してください。 Node Distribution Policy Yes クラスタ内のデフォルトウェアハウスの Compute Node 分散ポリシーを選択します。このフィールドは、Multi-AZ デプロイメントが有効な場合にのみ利用可能です。Multi-AZ デプロイメントのノード分散ポリシーについての詳細は、Multi-AZ Deployments を参照し てください。 Compute node size Yes クラスタ内のデフォルトウェアハウスのコンピュートノードのインスタンスタイプを選択します。CelerData がサポートするインスタンスタイプについては、Supported instance types を参照してください。 Compute storage size No クラスタ内のデフォルトウェアハウスのコンピュートノードのストレージサイズを指定します。このフィールドの横にあるボックスにチェックを入れることで、ボリュームの数をカスタマイズできます。このフィールドは EBS バックアップのインスタンスタイプでのみ利用可能です。 Compute node count Yes クラスタ内のデフォルトウェアハウスのコンピュートノードの数を指定します。処理するデータ量に基づいてコンピュートノードの数を決定できます。デフォルト値は 1 です。 Advance Settings では、クラシッククラスタ内の FE および BE ノード、またはエラスティッククラスタ内のコーディネーターノードのストレージ自動スケーリングポリシーをさらに定義できます。ビジネスのワークロードが予測不可能で、クラスタ作成時に固定のストレージボリューム数を割り当てることができない場合は、CelerData クラスタ内のノードのストレージ自動スケーリングを有効にできます。この機能が有効になっていると、CelerData は、設定されたストレージスペースが不足していることを検出した場合に、ストレージサイズを自動的にスケールアップします。
次の手順に従います。
-
FE storage、BE storage、または Coordinator Storage の後にあるスイッチをオンにして、それぞれのストレージ自動スケーリングを有効にします。
-
自動スケーリング操作をトリガーするストレージ使用率のしきい値(パーセンテージ)を設定します。このしきい値は 80% から 90% の間で設定できます。ノードのストレージ使用率がこのしきい値に達し、5 分以上続いた場合、CelerData は次の手順で定義したステップサイズでストレージをスケールアップします。
-
各自動スケーリング操作のステップサイズを設定します。ステップサイズを固定サイズ(GB)またはパーセンテージで設定できます。たとえば、50 GB または 15%(元のストレージサイズの)です。
-
各ノードの最大ストレージサイズを設定します。CelerData は、ストレージサイズがこのしきい値に達したときにスケールアップを停止します。
NOTE
- 2 つのスケーリング操作(手動スケーリングと自動スケーリングを含む)の間隔として、最低 6 時間が必須です。
- 各ストレージの最大サイズは 16 TB です。
- エラスティッククラスタ内のコンピュートノードはストレージ自動スケーリングをサポートしていません。
-
Quick deployment ダイアログボックスで、Deploy in a new VPC または Deploy in an existing VPC を選択し、Start をクリックします。
NOTE
AWS CloudFormation の権限がない場合は、表示された URL の横にある Copy アイコンをクリックして、URL を権限のあるユーザーに提供します。そのユーザーは、URL を使用して AWS CloudFormation コンソールを開き、スタックを作成できます。
-
AWS ログインページで、アカウント情報を入力し、Sign in をクリックします。
AWS CloudFormation コンソールにリダイレクトされます。
-
Quick create stack ページで、次の操作を行います。
a. Stack name セクションで、スタック名を指定します。
b. Cluster Configuration セクションで、クラスタ名を指定します。CelerData で指定したクラスタ名を保持することをお勧めします。その後、パスワードを入力し、パスワードを確認します。
c. Storage Configuration セクションで、S3 バケット名を指定します。
d. Network Configuration セクションで、VPC 名を指定する(新しい VPC にクラスタをデプロイする場合)、または VPC を選択し、その VPC からサブネットを選択します(既存の VPC にクラスタをデプロイする場合)。
e. Capabilities セクションで、メッセージを読み、I acknowledge that AWS CloudFormation might create IAM resources with custom names. を選択します。
f. Create stack をクリックします。
-
CelerData Cloud BYOC コンソールに戻り、Finish the AWS CloudFormation creation メッセージで Finish をクリックします。
-
Clusters ページを更新し、作成したクラスタが表示されるまで待ちます。
-
クラスタが Deploying 状態の場合、クラスタのデプロイメントは完了していません。Deploying をクリックしてデプロイメントの進行状況を確認できます。
クラスタのデプロイメントが完了すると、CelerData は「CelerData Cluster has been successfully deployed in your AWS Cloud!」というメッセージを表示します。メッセージの下にある Preview cluster をクリックしてクラスタを表示できます。
-
クラスタが Running 状態の場合、クラスタのデプロイメントは完了しています。クラスタをクリックして表示できます。
-
手動デプロイメントを構成して実行する
デプロイメントを成功させるためには、データ認証情報、デプロイ認証情報、およびネットワーク構成を提供する必要があります。
-
データ認証情報
データ認証情報は、S3 バ ケットに対する読み取りおよび書き込み権限を宣言します。これは query profiles を保存するために使用されます。詳細は Manage data credentials for AWS を参照してください。
-
デプロイ認証情報
デプロイ認証情報は、AWS アカウント内で作成されたクロスアカウント IAM ロールを参照します。詳細は Manage deployment credentials for AWS を参照してください。データ認証情報の Instance profile ARN を含むポリシーが、デプロイ認証情報で参照されるクロスアカウント IAM ロールにアタッチされている必要があります。そうでない場合、デプロイメントは失敗します。
-
ネットワーク構成
ネットワーク構成は、独自の VPC 内のクラスタノード間、および CelerData の VPC と独自の VPC 間の接続を可能にします。詳細は Manage network configurations for AWS を参照してください。
デプロイウィザードを開始した後(前の「Start the deployment wizard」セクションを参照)、デプロイメントのために 4 つの必要なステップ(STEP1 から STEP4)を案内されます。