メインコンテンツまでスキップ

CelerData クラスターのスケーリング

CelerData は、クラスターの垂直および水平スケーリングをサポートしています。ワークロードが増加または減少する際に、クラスターの詳細を表示し、必要なパフォーマンスレベルを最低コストで維持するためにクラスターをスケーリングするかどうかを決定できます。

クラシッククラスターとエラスティッククラスターの両方が、垂直スケーリング、水平スケーリング、およびストレージスケーリングをサポートしています。

注記

CelerData は、クラシッククラスターを AWS、Azure、および GCP にデプロイすることをサポートしていますが、エラスティッククラスターは AWS と GCP のみでのデプロイをサポートしています。

スケーリング操作の概要​

垂直スケーリング​

クラスターのノードのインスタンスタイプをアップグレードまたはダウングレードすることで、コンピューティングパワーとストレージ容量を増減させてクラスターを垂直にスケーリングできます。以下のシナリオでスケールアップを検討してください。

  • ワークロードが CPU または I/O の制限に達し、クエリの遅延が増加し、同時実行性が低下していますが、ストレージ容量は十分です。

  • クラシックな最適化技術を使用しても解決できないパフォーマンス問題に迅速に対応する必要があります。

水平スケーリング​

クラスターのノードを追加または削除することで、コンピューティングパワーとストレージ容量を増減させてクラスターを水平にスケーリングできます。水平スケーリングはクラスターにダウンタイムを課しません。以下のシナリオでスケールアウトを検討してください。

  • ワークロードが CPU、I/O、およびストレージの制限に達し、クエリの遅延が増加し、同時実行性が低下していますが、ストレージ容量は十分です。

  • サービスの最高性能層でもパフォーマンス要件を最大限に満たしています。

  • データが現在のノード数に収まりません。

ストレージスケーリング​

データ量の変化に応じて、クラスターの活動のピークとディップに合わせてストレージをスケーリングできます。

CelerData は、クラシッククラスターの FE および BE ノードとエラスティッククラスターの Coordinator Nodes の自動ストレージスケールアップもサポートしています。ビジネスのワークロードが予測不可能で、クラスター作成時に固定のストレージボリューム数を割り当てることができない場合は、CelerData クラスターのノードに対してストレージの自動スケーリングを有効にできます。この機能を有効にすると、CelerData は、事前設定されたストレージスペースが不足していることを検出したときに、ストレージサイズを自動的にスケールアップします。

クラシッククラスターのスケーリング​

クラシッククラスターの場合、CelerData は垂直スケーリング、水平スケーリング、およびストレージスケーリングをサポートしています。

垂直スケーリング​

次の点に注意してください。

  • クラスターがストレージとして EBS ボリュームを使用している場合、スケールアップ中にクラスターのノードがローリングベースで再起動し、クエリまたはデータロードの失敗が発生する可能性があります。そのため、ピーク時以外の時間にスケールアップを行うことをお勧めします。
  • クラスターがストレージとしてインスタンスストアボリュームを使用している場合、スケールアップにかかる時間はクラスター内のデータ量によって異なります。

次の手順に従ってください。

  1. CelerData Cloud BYOC コンソールにサインインします。

  2. Clusters ページで、スケーリングしたいクラスターをクリックします。

  3. クラスターの詳細ページで、Manage をクリックし、Edit cluster を選択します。

    注記
    • Running 状態のクラスターのみをスケーリングできます。クラスターが Running 状態でない場合、Edit cluster メニュー項目は無効になります。
    • Free Developer Tier で作成されたクラスターをスケーリングする場合、続行する前にクラスターをロック解除するように促すダイアログボックスが表示されます。詳細については、Use Free Developer Tier を参照してください。

  4. 表示されるページで、Node type ドロップダウンリストからスケーリングしたいノードのタイプを選択し、Operation type ドロップダウンリストから Scale up/down を選択し、スケーリングしたいインスタンスタイプを選択して、Subscribe をクリックします。

  5. 表示されるメッセージで、スケーリング設定を確認し、Subscribe をクリックします。

    クラスターは Updating 状態に入ります。

    CelerData は、新しいインスタンスタイプのインスタンスを起動し、元のインスタンスから新しいインスタンスにデータとワークロードを移行するのに時間がかかります。その間、料金は元のインスタンスタイプに基づいて計算されます。

    スケーリング操作が完了すると、クラスターは Running 状態に戻ります。

水平スケーリング​

スケールアウトまたはスケールインの場合、FE ノードの数を 1、3、または 5 のみに設定できますが、BE ノードの数は本番環境では 3 以上であることをお勧めします。

次の手順に従ってください。

  1. CelerData Cloud BYOC コンソールにサインインします。

  2. Clusters ページで、スケーリングしたいクラスターをクリックします。

  3. クラスターの詳細ページで、Manage をクリックし、Edit cluster を選択します。

    注記
    • Running 状態のクラスターのみをスケーリングできます。クラスターが Running 状態でない場合、Edit cluster メニュー項目は無効になります。
    • Free Developer Tier で作成されたクラスターをスケーリングする場合、続行する前にクラスターをロック解除するように促すダイアログボックスが表示されます。詳細については、Use Free Developer Tier を参照してください。

  4. 表示されるページで、Node type ドロップダウンリストからスケーリングしたいノードのタイプを選択し、Operation type ドロップダウンリストから Scale in/out を選択し、希望するノード数を指定して、Subscribe をクリックします。

  5. 表示されるメッセージで、スケーリング設定を確認し、Subscribe をクリックします。

    クラスターは Updating 状態に入ります。

    CelerData は、現在のインスタンスタイプのインスタンスを解放または起動するのに時間がかかります。その間、料金は元のノード数に基づいて計算されます。

    スケーリング操作が完了すると、クラスターは Running 状態に戻ります。

ストレージスケーリング​

手動スケーリング​

BE ノードの場合、ディスクサイズのみをスケーリングできます。FE ノードの場合、ディスクサイズに加えてディスクの IOPS とスループットを編集できます。

次の手順に従ってください。

  1. CelerData Cloud BYOC コンソールにサインインします。

  2. Clusters ページで、スケーリングしたいクラスターをクリックします。

  3. クラスターの詳細ページで、Manage をクリックし、Edit cluster を選択します。

    注記
    • Running 状態のクラスターのみをスケーリングできます。クラスターが Running 状態でない場合、Edit cluster メニュー項目は無効になります。
    • Free Developer Tier で作成されたクラスターをスケーリングする場合、続行する前にクラスターをロック解除するように促すダイアログボックスが表示されます。詳細については、Use Free Developer Tier を参照してください。

  4. 表示されるページで、ストレージサイズを変更したいノードのタイプを Node type ドロップダウンリストから選択し、Operation type ドロップダウンリストから Edit storage を選択します。Node type に FE node を選択した場合は Disk IOPS と Disk throughput を指定し、スケーリングしたいストレージの Disk size を指定して、Subscribe をクリックします。

    注記
    • FE ノードごとの最小ディスク IOPS は 3000 です。
    • FE ノードごとの最小ディスクスループットは 150 MB/s です。
    • FE ノードごとの最小ディスクサイズは 30 GB です。
    • BE ノードごとの最小ストレージサイズは 500 GB です。

  5. 表示されるメッセージで、スケーリング設定を確認し、Subscribe をクリックします。

    クラスターは Updating 状態に入ります。

    CelerData は、ストレージリソースを解放または起動するのに時間がかかります。その間、料金は元のストレージサイズに基づいて計算されます。

    スケーリング操作が完了すると、クラスターは Running 状態に戻ります。

ストレージ自動スケーリング​

FE および BE ノードのストレージ自動スケーリングポリシーを定義できます。CelerData はノードのストレージ使用量を監視し、ストレージ使用量が事前に定義されたしきい値に達したときに自動的にストレージをスケールアップします。

次の手順に従ってください。

  1. CelerData Cloud BYOC コンソールにサインインします。

  2. Clusters ページで、ストレージ自動スケーリングポリシーを設定したいクラスターをクリックします。

  3. クラスターの詳細ページで、Resource Scheduling タブをクリックします。

  4. Storage autoscaling policy セクションで、Edit をクリックします。

  5. 表示されるダイアログボックスで、ストレージ自動スケーリングポリシーを次のように設定します。

    1. FE storage または BE storage に続くスイッチをオンにして、それぞれのストレージ自動スケーリングを有効にします。

    2. 自動スケーリング操作をトリガーするストレージ使用量のしきい値（パーセンテージ）を設定します。このしきい値は 80% から 90% の間で設定できます。ノードのストレージ使用量がこのしきい値に達し、5 分以上続いた場合、CelerData は次の手順で定義したステップサイズでストレージをスケールアップします。

    3. 各自動スケーリング操作のステップサイズを設定します。ステップサイズは固定サイズ（GB）またはパーセンテージで設定できます。たとえば、50 GB または 15%（元のストレージサイズの）。

    4. 各ノードの最大ストレージサイズを設定します。CelerData は、ストレージサイズがこのしきい値に達したときにスケールアップを停止します。

  6. Submit をクリックしてポリシーを保存します。

注記
  • 2 つのスケーリング操作（手動スケーリングと自動スケーリングを含む）の間隔として、最低 6 時間が必須です。
  • 現在、Azure ベースのクラスターはストレージ自動スケーリングをサポートしていません。
  • 各ストレージの最大サイズは 16 TB です。

エラスティッククラスターのスケーリング​

エラスティッククラスターの場合、CelerData は垂直スケーリング、水平スケーリング、および Coordinator Node のストレージスケーリングをサポートしています。また、各ウェアハウスの自動スケーリングを有効にして、ウェアハウスの CPU 使用率に基づいて Compute Nodes の数を自動的にスケールすることができます。

垂直スケーリング​

次の点に注意してください。

  • クラスターがストレージとして EBS ボリュームを使用している場合、スケールアップ中にクラスターのノードがローリングベースで再起動し、クエリまたはデータロードの失敗が発生する可能性があります。そのため、ピーク時以外の時間にスケールアップを行うことをお勧めします。
  • クラスターがストレージとしてインスタンスストアボリュームを使用している場合、スケールアップにかかる時間はクラスター内のデータ量によって異なります。

次の手順に従ってください。

  1. CelerData Cloud BYOC コンソールにサインインします。

  2. Clusters ページで、スケーリングしたいクラスターをクリックします。

  3. クラスターの詳細ページで、Manage をクリックし、Edit cluster を選択します。

    注記

    Running 状態のクラスターのみをスケーリングできます。クラスターが Running 状態でない場合、Edit cluster メニュー項目は無効になります。

  4. 表示されるページで、Node type ドロップダウンリストからスケーリングしたいノードのタイプを選択し、Operation type ドロップダウンリストから Scale up/down を選択し、Node type に Compute Node を選択した場合はウェアハウスの名前を選択します。次に、スケーリングしたいインスタンスタイプを選択して、Subscribe をクリックします。

  5. 表示されるメッセージで、スケーリング設定を確認し、Subscribe をクリックします。

    クラスターは Updating 状態に入ります。

    CelerData は、新しいインスタンスタイプのインスタンスを起動し、元のインスタンスから新しいインスタンスにデータとワークロードを移行するのに時間がかかります。その間、料金は元のインスタンスタイプに基づいて計算されます。

    スケーリング操作が完了すると、クラスターは Running 状態に戻ります。

水平スケーリング​

スケールアウトまたはスケールインの場合、Coordinator Nodes の数を 1、3、または 5 のみに設定できます。ウェアハウス内の Compute Nodes の数を編集できます。

次の手順に従ってください。

  1. CelerData Cloud BYOC コンソールにサインインします。

  2. Clusters ページで、スケーリングしたいクラスターをクリックします。

  3. クラスターの詳細ページで、Manage をクリックし、Edit cluster を選択します。

    注記

    Running 状態のクラスターのみをスケーリングできます。クラスターが Running 状態でない場合、Edit cluster メニュー項目は無効になります。

  4. 表示されるページで、Node type ドロップダウンリストからスケーリングしたいノードのタイプを選択し、Operation type ドロップダウンリストから Scale in/out を選択し、Node type に Compute Node を選択した場合はウェアハウスの名前を選択します。次に、希望するノード数を指定して、Subscribe をクリックします。

  5. 表示されるメッセージで、スケーリング設定を確認し、Subscribe をクリックします。

    クラスターは Updating 状態に入ります。

CelerData は、現在のインスタンスタイプのインスタンスを解放または起動するのに時間がかかります。その間、料金は元のノード数に基づいて計算されます。

スケーリング操作が完了すると、クラスターは Running 状態に戻ります。

注記

クラスターに Multi-AZ Deployment が有効になっている場合、Compute Nodes は可能な限り均等に 3 つのアベイラビリティゾーンに分散されます。CelerData の Multi-AZ Deployment についての詳細は、Multi-AZ Deployments を参照してください。

ストレージスケーリング​

手動スケーリング​

Coordinator Nodes のストレージのみをスケーリングできます。ディスクサイズに加えて、ディスクの IOPS とスループットを編集できます。

次の手順に従ってください。

  1. CelerData Cloud BYOC コンソールにサインインします。

  2. Clusters ページで、スケーリングしたいクラスターをクリックします。

  3. クラスターの詳細ページで、Manage をクリックし、Edit cluster を選択します。

    注記

    Running 状態のクラスターのみをスケーリングできます。クラスターが Running 状態でない場合、Edit cluster メニュー項目は無効になります。

  4. 表示されるページで、Node type ドロップダウンリストから Coordinator Node を選択し、Operation type ドロップダウンリストから Edit storage を選択します。スケーリングしたいストレージの Disk IOPS、Disk throughput、および Disk size を指定して、Subscribe をクリックします。

    注記
    • Coordinator Node ごとの最小ディスク IOPS は 3000 です。
    • Coordinator Node ごとの最小ディスクスループットは 150 MB/s です。
    • Coordinator Node ごとの最小ディスクサイズは 30 GB です。

  5. 表示されるメッセージで、スケーリング設定を確認し、Subscribe をクリックします。

    クラスターは Updating 状態に入ります。

    CelerData は、ストレージリソースを解放または起動するのに時間がかかります。その間、料金は元のストレージサイズに基づいて計算されます。

    スケーリング操作が完了すると、クラスターは Running 状態に戻ります。

ストレージ自動スケーリング​

Coordinator Nodes のストレージ自動スケーリングポリシーを定義できます。CelerData はノードのストレージ使用量を監視し、ストレージ使用量が事前に定義されたしきい値に達したときに自動的にストレージをスケールアップします。

次の手順に従ってください。

  1. CelerData Cloud BYOC コンソールにサインインします。

  2. Clusters ページで、ストレージ自動スケーリングポリシーを設定したいクラスターをクリックします。

  3. クラスターの詳細ページで、Resource Scheduling タブをクリックします。

  4. Storage autoscaling policy セクションで、Edit をクリックします。

  5. 表示されるダイアログボックスで、ストレージ自動スケーリングポリシーを次のように設定します。

    1. Coordinator Storage に続くスイッチをオンにして、ストレージ自動スケーリングを有効にします。

    2. 自動スケーリング操作をトリガーするストレージ使用量のしきい値（パーセンテージ）を設定します。このしきい値は 80% から 90% の間で設定できます。ノードのストレージ使用量がこのしきい値に達し、5 分以上続いた場合、CelerData は次の手順で定義したステップサイズでストレージをスケールアップします。

    3. 各自動スケーリング操作のステップサイズを設定します。ステップサイズは固定サイズ（GB）またはパーセンテージで設定できます。たとえば、50 GB または 15%（元のストレージサイズの）。

    4. 各ノードの最大ストレージサイズを設定します。CelerData は、ストレージサイズがこのしきい値に達したときにスケールアップを停止します。

  6. Submit をクリックしてポリシーを保存します。

注記
  • 2 つのスケーリング操作（手動スケーリングと自動スケーリングを含む）の間隔として、最低 6 時間が必須です。
  • 現在、Azure ベースのクラスターはストレージ自動スケーリングをサポートしていません。
  • 各ストレージの最大サイズは 16 TB です。
  • Compute Nodes は自動スケーリングをサポートしていません。

コンピュート自動スケーリング​

各ウェアハウスの自動スケーリング戦略を定義して、Compute Nodes または Compute Node Groups の数を適応的に調整できるようにします。CelerData はウェアハウスの CPU 使用率またはクエリキューの長さをリアルタイムで評価し、作成したポリシーに基づいて Compute Nodes または Groups をスケールし、最低限のコストで安定した予測可能なパフォーマンスを維持するのに役立ちます。

CelerData は 2 つのスケーリング戦略を提供します。

  • Node Scaling 戦略は、ノードの粒度でコンピュートリソースをスケールし、2 つのスケーリングポリシーを提供します - CPU utilization based ポリシーと Query queue based ポリシー。

    • CPU utilization based ポリシーが有効な場合、システムはウェアハウスの CPU 使用率を評価します。ウェアハウスの CPU 使用率が事前に指定された上限を超え、事前に指定された時間の間続いた場合、追加の Compute Nodes がウェアハウスに追加されます。逆に、CPU 使用率が下限を下回った場合、余分な Compute Nodes がウェアハウスから削除されます。
    • Query queue based ポリシーが有効な場合、システムはウェアハウスのクエリキューの長さを評価します。ウェアハウスのクエリキューの長さが事前に指定された上限を超えるか、キュー内の最初のクエリが事前に指定された時間以上待機している場合、追加の Compute Nodes がウェアハウスに追加されます。逆に、リソース使用率が下限を下回った場合、余分な Compute Nodes がウェアハウスから削除されます。

  • Group Scaling 戦略は、Compute Node グループの粒度でコンピュートリソースをスケールします。Compute Node グループは、ウェアハウス作成時に Compute Node count として定義された Compute Nodes のグループです。Group Scaling 戦略は Query queue based スケーリングポリシーのみを提供します。ウェアハウスのクエリキューの長さが事前に指定された上限を超えるか、キュー内の最初のクエリが事前に指定された時間以上待機している場合、追加の Compute Node グループがウェアハウスに追加されます。逆に、リソース使用率が下限を下回った場合、Compute Node グループがウェアハウスから削除されます。

次の手順に従ってください。

  1. CelerData Cloud BYOC コンソールにサインインします。

  2. Clusters ページで、自動スケーリングを有効にしたいウェアハウスがあるエラスティッククラスターをクリックします。

  3. クラスター詳細ページの Warehouses タブで、ウェアハウスのカードの右下隅にカーソルを移動して View more details ボタンを表示し、そのボタンをクリックします。

  4. Resource Scheduling タブをクリックします。次に、Autoscaling Policy セクションで Edit をクリックします。

  5. Edit autoscaling policy ダイアログボックスで、Autoscaling ドロップダウンリストから自動スケーリング戦略を選択します。Node Scaling または [Private Preview] Group Scaling を選択できます。

    • Node Scaling 戦略を選択した場合、Scaling range（ウェアハウス内の Compute Nodes の最小および最大数）を指定し、次に Scaling policy を選択します。CPU utilization based または [Private Preview] Query queue based を選択できます。

      • CPU utilization based スケーリングポリシーを選択した場合、スケールアウトおよびスケールインポリシーを次のように設定します。

        a. Scale out policy セクションで、CPU 使用率の上限、時間しきい値、および各ステップでスケールアウトする Compute Nodes の数を設定します。

        b. Scale in policy セクションで、CPU 使用率の下限、時間しきい値、および各ステップでスケールインする Compute Nodes の数を設定します。

      • [Private Preview] Query queue based スケーリングポリシーを選択した場合、スケールアウトおよびスケールインポリシーを次のように設定します。

        iPrivate Preview

        This feature must be enabled by CelerData Support, please open a support case if you would like to use it.

        Advice on use of Private Preview features

        a. Scale out policy セクションで、最大クエリキューの長さと、キュー内の最初のクエリの待機時間しきい値を設定します。

        b. Scale in policy セクションで、リソース使用率の下限、時間しきい値、および各ステップでスケールインする Compute Nodes の数を設定します。

    • [Private Preview] Group Scaling 戦略を選択した場合、Scaling range（ウェアハウス内の Compute Node グループの最小および最大数）を指定し、スケールアウトおよびスケールインポリシーを次のように設定します。

      iPrivate Preview

      This feature must be enabled by CelerData Support, please open a support case if you would like to use it.

      Advice on use of Private Preview features

      a. Scale out policy セクションで、最大クエリキューの長さと、キュー内の最初のクエリの待機時間しきい値を設定します。

      b. Scale in policy セクションで、リソース使用率の下限、時間しきい値、および各ステップでスケールインする Compute Node グループの数を設定します。

      注記
      • 自動スケーリングポリシーは、ウェアハウスが稼働中のときにのみ有効です。
      • Node Scaling の場合、Scaling range の下限は 1、上限は 100 です。
      • Group Scaling の場合、Scaling range の下限は 1、上限は Single-AZ Deployment では 10、Multi-AZ Deployment では 2 と 20 です。
      • スケールアウトポリシーは、現在の Compute Node または Compute Node Group の数が定義した Scaling range の上限未満の場合にのみ有効です。
      • スケールインポリシーは、現在の Compute Node または Compute Node Group の数が定義した Scaling range の下限を超える場合にのみ有効です。
      • スケールアウトポリシーの CPU 使用率の上限は、スケールインポリシーの下限を超えている必要があります。
      • クラスターのパフォーマンスの大きな変動を避けるため、各ステップで最大 2 つの Compute Nodes または Compute Node Groups をスケールインできます。
      • ウェアハウスのクエリキューおよび Compute Node Groups の監視メトリクスについては、Metrics for warehouse query queue および Metrics for warehouse CN Group を参照してください。

  6. Save changes をクリックしてポリシーを保存します。