Quick provisioning using k8sClusterDynamic

[sykim-etri]

Quick provisioning using k8sClusterDynamic

1) CB-TB의 K8sCluster 동적 생성 방법

​POST /ns​/{nsId}​/k8sClusterDynamic를 활용하면, 별도의 작업 없이 빠르게 클라우드 상에 쿠버네티스 클러스터 인프라의 생성이 가능하다.

• 요청값은 상세하게 지정도 가능하지만, 꼭 필요한 항목은 아래와 같다.

{
  "imageId": "default",
  "specId": "azure+koreacentral+standard_b4ms",
  "connectionName": "azure-koreacentral",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

• specId 는 provider+region+cspSpecName 형태로 구성되며 init.sh 를 통해서 이미 오브젝트로 등록된 스펙 및 이미지들 중 InfraType 값에 "k8s"가 포함된 경우 적용 가능하다. imageId 는 cspImageName 형태이다.

• 일부 CSP(Azure, IBM 등)의 경우 워커노드의 이미지 지정이 불가능하기 때문에 imageId 의 값을 "default" 또는 ""(blank)로 설정해야 한다.

• version은 값을 지정하지 않으면 k8sClusterinfo.yaml에 기재된 가장 최신 버전을 선정한다.

  • 개선 예정: major.minor만 지정하면 가장 유사한 버전을 자동으로 선정

• K8sCluster Dynamic 을 통해서 K8sCluster를 생성하면, 내부적으로 공용 Network, SG, SSHKey 등이 생성됨 (내부적으로는 POST
  /ns/{nsId}/sharedResource를 활용)

commonSpec ID 획득 방법

• 워커노드들의 Spec 지정을 위해 commonSpec ID를 조회가 필요하며, 이를 위해 POST /k8sClusterRecommendNode를 활용한다.

• k8sClusterRecommendNode를 통해서 워커노드의 Spec 을 조회하는 방법은 mciRecommendVM 가이드와 동일한 방식으로 사용 가능하며, 차이점은 결과값에 InfraType 값에 "k8s"가 포함된 항목만 포함되는 점이 다르다.

예를 들어,

{
  "filter": {
    "policy": [
      {
        "condition": [
          {
            "operand": "4",
            "operator": "<="
          }
        ],
        "metric": "vCPU"
      }
    ]
  },
  "limit": "5",
  "priority": {
    "policy": [
      {
        "metric": "location",
        "parameter": [
          {
            "key": "coordinateClose",
            "val": [
              "44.146838/-116.411403"
            ]
          }
        ],
        "weight": "0.3"
      }
    ]
  }
}

로 요청하는 경우, 아래와 같이, 필터링 및 우선순위 처리된 리스트를 확인할 수 있다.

[
  {
    "id": "tencent+na-siliconvalley+s5.medium4",
    "cspSpecName": "S5.MEDIUM4",
    "name": "tencent+na-siliconvalley+s5.medium4",
    "namespace": "system",
    "connectionName": "tencent-na-siliconvalley",
    "providerName": "tencent",
    "regionName": "na-siliconvalley",
    "infraType": "vm|k8s|kubernetes|container",
    "vCPU": 2,
    "memoryGiB": 4,
    "costPerHour": 0.03,
    "orderInFilteredResult": 9,
    "evaluationScore01": 59.98,
    "evaluationScore02": 0,
    "evaluationScore03": 0,
    "evaluationScore04": 0,
    "evaluationScore05": 0,
    "evaluationScore06": 0,
    "evaluationScore07": 0,
    "evaluationScore08": 0,
    "evaluationScore09": 0.96970785,
    "evaluationScore10": 888.86536,
    "rootDiskType": "default",
    "rootDiskSize": "default",
    "systemLabel": "from-assets"
  },
  {
    "id": "tencent+na-siliconvalley+s2.medium4",
    "cspSpecName": "S2.MEDIUM4",
    "name": "tencent+na-siliconvalley+s2.medium4",
    "namespace": "system",
    "connectionName": "tencent-na-siliconvalley",
    "providerName": "tencent",
    "regionName": "na-siliconvalley",
    "infraType": "vm|k8s|kubernetes|container",
    "vCPU": 2,
    "memoryGiB": 4,
    "costPerHour": 0.04,
    "orderInFilteredResult": 9,
    "evaluationScore01": 59.98,
    "evaluationScore02": 0,
    "evaluationScore03": 0,
    "evaluationScore04": 0,
    "evaluationScore05": 0,
    "evaluationScore06": 0,
    "evaluationScore07": 0,
    "evaluationScore08": 0,
    "evaluationScore09": 0.96970785,
    "evaluationScore10": 888.86536,
    "rootDiskType": "default",
    "rootDiskSize": "default",
    "systemLabel": "from-assets"
  },
  ...
]

여기서, 원하는 spec의 ID를 선정하여 k8sClusterDynamic 요청문에 활용하면 된다.

imageId ID 획득 방법

• v0.10.7 부터는 POST /ns/{nsId}/resources/searchImage API 활용을 추천한다.
• searchImage API 사용 방법: Image Search API Guide. How to use ​POST /ns/{nsId}/resources/searchImage #2021

예를 들어,

• 요청

      {
        "isKubernetesImage": true,
        "providerName": "alibaba",
        "regionName": "ap-northeast-2"
      }
  

를 입력하여 요청한 경우, 아래와 같은 응답을 받을 수 있으며,

• 응답

  details

       ```json
      {
        "imageCount": 11,
        "imageList": [
          {
            "namespace": "system",
            "providerName": "alibaba",
            "cspImageName": "aliyun_3_x64_20G_container_optimized_20250117.vhd",
            "regionList": [
              "ap-northeast-1",
              "ap-northeast-2",...
              "us-east-1",
              "us-west-1"
            ],
            "id": "alibaba+aliyun_3_x64_20g_container_optimized_20250117.vhd",
            "name": "alibaba+aliyun_3_x64_20g_container_optimized_20250117.vhd",
            "connectionName": "alibaba-ap-northeast-1",
            "infraType": "k8s|kubernetes|container",
            "fetchedTime": "2025.06.19 06:35:33 Thu",
            "isKubernetesImage": true,
            "osType": "Alibaba Cloud Linux 2",
            "osArchitecture": "x86_64",
            "osPlatform": "Linux/UNIX",
            "osDistribution": "Alibaba Cloud Linux  3.2104 LTS 64 bit Container-Optimized Edition",
            "osDiskType": "NA",
            "osDiskSizeGB": 20,
            "imageStatus": "Available",
            "details": [
              {
                "key": "BootMode",
                "value": "UEFI-Preferred"
              },...
              {
                "key": "Features",
                "value": "{MemoryOnlineUpgrade:unsupported,NvmeSupport:supported,CpuOnlineDowngrade:unsupported,ImdsSupport:v2,MemoryOnlineDowngrade:unsupported,CpuOnlineUpgrade:unsupported}"
              }
            ],
            "description": "Kernel version is 5.10.134-18.al8.x86_64, 2025.1.20"
          },
          {
            "namespace": "system",
            "providerName": "alibaba",
            "cspImageName": "fcos_33.20210217.3.0_3_x86_20G_alibase_20210331.vhd",
            "regionList": [
              "ap-northeast-1",
              "ap-northeast-2",
              "ap-southeast-1",
              "ap-southeast-3",...
              "us-west-1"
            ],
            "id": "alibaba+fcos_33.20210217.3.0_3_x86_20g_alibase_20210331.vhd",
            "name": "alibaba+fcos_33.20210217.3.0_3_x86_20g_alibase_20210331.vhd",
            "connectionName": "alibaba-ap-northeast-1",
            "infraType": "k8s|kubernetes|container",
            "fetchedTime": "2025.06.19 06:35:33 Thu",
            "isKubernetesImage": true,
            "osType": "Fedora 39",
            "osArchitecture": "x86_64",
            "osPlatform": "NA",
            "osDistribution": "Fedora CoreOS  33.20210217.3.0_3",
            "osDiskType": "NA",
            "osDiskSizeGB": 20,
            "imageStatus": "Available",
            "details": [
              {
                "key": "BootMode",
                "value": "BIOS"
              },
              {
                "key": "ImageId",
                "value": "fcos_33.20210217.3.0_3_x86_20G_alibase_20210331.vhd"
              },...
              {
                "key": "DiskDeviceMappings",
                "value": "{DiskDeviceMapping:[]}"
              }
            ]
          }
        ]
      }
      ```
  

• image 항목에 가용한 image 리스트가 리턴되므로, 이 중에서 선정하여 cspImageName 값을 commonImage 값으로 활용하면 된다.

  • 참고: 기존의 방식인 commonImage 는 provider+region+keyword 형태의 ID값 요청 및 Ubuntu22.04 와 같은 형태로 guestOS의 명칭으로 지정하는 것은 더 이상 지원하지 않는다. (지정되는 이미지의 명확성을 위해서)

K8sCluster dynamic 생성 결과 (예시)

• 요청

  {
    "commonImage": "tencent+ap-seoul+ubuntu20.04",
    "commonSpec": "tencent+ap-seoul+S2.MEDIUM4",
    "connectionName": "tencent-ap-seoul",
    "name": "k8scluster01"
  }
  

• 결과

  details

  {
    "resourceType": "k8s",
    "id": "k8scluster01",
    "uid": "csia4o63j7g62jr7cag0",
    "cspResourceName": "csia4o63j7g62jr7cag0",
    "cspResourceId": "cls-533dvynj",
    "name": "k8scluster01",
    "connectionName": "tencent-ap-seoul",
    "connectionConfig": {
      "configName": "tencent-ap-seoul",
      "providerName": "tencent",
      "driverName": "tencent-driver-v1.0.so",
      "credentialName": "tencent",
      "credentialHolder": "admin",
      "regionZoneInfoName": "tencent-ap-seoul",
      "regionZoneInfo": {
        "assignedRegion": "ap-seoul",
        "assignedZone": "ap-seoul-1"
      },
      "regionDetail": {
        "regionId": "ap-seoul",
        "regionName": "ap-seoul",
        "description": "Seoul",
        "location": {
          "display": "South Korea (Seoul)",
          "latitude": 37.566536,
          "longitude": 126.977966
        },
        "zones": [
          "ap-seoul-1",
          "ap-seoul-2"
        ]
      },
      "regionRepresentative": true,
      "verified": true
    },
    "description": "",
    "systemMessage": "",
    "label": null,
    "systemLabel": "",
    "CspViewK8sClusterDetail": {
      "IId": {
        "NameId": "csia4o63j7g62jr7cag0",
        "SystemId": "cls-533dvynj"
      },
      "Version": "1.28.3",
      "Network": {
        "VpcIID": {
          "NameId": "csia4m63j7g62jr7cad0",
          "SystemId": "vpc-3u0v7leq"
        },
        "SubnetIIDs": [
          {
            "NameId": "csia4m63j7g62jr7cadg",
            "SystemId": "subnet-31khel0b"
          }
        ],
        "SecurityGroupIIDs": [
          {
            "NameId": "csia4ne3j7g62jr7caf0",
            "SystemId": "sg-kzcicuvr"
          }
        ],
        "KeyValueList": null
      },
      "NodeGroupList": null,
      "AccessInfo": {
        "Endpoint": "Cluster is not ready yet!",
        "Kubeconfig": "Kubeconfig is not ready yet!"
      },
      "Addons": {
        "KeyValueList": null
      },
      "Status": "Creating",
      "CreatedTime": "2024-11-01T09:42:03Z",
      "KeyValueList": [
        {
          "key": "ClusterType",
          "value": "MANAGED_CLUSTER"
        },
        {
          "key": "ClusterNetworkSettings.Ipvs",
          "value": "false"
        },
        {
          "key": "CreatedTime",
          "value": "2024-11-01T09:42:03Z"
        },
        {
          "key": "ClusterNetworkSettings.MaxClusterServiceNum",
          "value": "256"
        },
        {
          "key": "ClusterNetworkSettings.ClusterCIDR",
          "value": "172.16.0.0/16"
        },
        {
          "key": "EnableExternalNode",
          "value": "false"
        },
        {
          "key": "ClusterOs",
          "value": "ubuntu16.04.1 LTSx86_64"
        },
        {
          "key": "ClusterNetworkSettings.IsDualStack",
          "value": "false"
        },
        {
          "key": "ClusterNetworkSettings.KubeProxyMode",
          "value": ""
        },
        {
          "key": "Property",
          "value": "{\"NodeNameType\":\"lan-ip\",\"NetworkType\":\"GR\",\"IsNetworkWithApp\":true}"
        },
        {
          "key": "OsCustomizeType",
          "value": ""
        },
        {
          "key": "ClusterLevel",
          "value": "L5"
        },
        {
          "key": "ClusterStatus",
          "value": "Creating"
        },
        {
          "key": "ClusterVersion",
          "value": "1.28.3"
        },
        {
          "key": "ClusterNetworkSettings.ServiceCIDR",
          "value": "172.16.255.0/24"
        },
        {
          "key": "ClusterNetworkSettings.MaxNodePodNum",
          "value": "256"
        },
        {
          "key": "QGPUShareEnable",
          "value": "false"
        },
        {
          "key": "ClusterId",
          "value": "cls-533dvynj"
        },
        {
          "key": "ProjectId",
          "value": "0"
        },
        {
          "key": "ClusterNetworkSettings.Ipv6ServiceCIDR",
          "value": ""
        },
        {
          "key": "ClusterNodeNum",
          "value": "0"
        },
        {
          "key": "DeletionProtection",
          "value": "false"
        },
        {
          "key": "ClusterDescription",
          "value": "#CB-SPIDER:PMKS:SECURITYGROUP:ID:sg-kzcicuvr #CB-SPIDER:PMKS:SUBNET:ID:subnet-31khel0b"
        },
        {
          "key": "ClusterNetworkSettings.IgnoreServiceCIDRConflict",
          "value": "false"
        },
        {
          "key": "ClusterNetworkSettings.IgnoreClusterCIDRConflict",
          "value": "false"
        },
        {
          "key": "ClusterMaterNodeNum",
          "value": "0"
        },
        {
          "key": "ContainerRuntime",
          "value": "containerd"
        },
        {
          "key": "ClusterName",
          "value": "csia4o63j7g62jr7cag0_csia4o63j7g84ecd5hrg"
        },
        {
          "key": "ClusterNetworkSettings.Cni",
          "value": "true"
        },
        {
          "key": "ClusterNetworkSettings.VpcId",
          "value": "vpc-3u0v7leq"
        },
        {
          "key": "AutoUpgradeClusterLevel",
          "value": "true"
        },
        {
          "key": "ImageId",
          "value": ""
        }
      ]
    }
  }
  

2) K8sNodeGroup 동적 생성 방법

​POST /ns​/{nsId}​/k8sNodeGroupDynamic를 활용하면, 상기 생성한 K8sCluster를 대상으로 손쉽게 노드그룹을 생성/추가할 수 있다.

• 요청값은 상세하게 지정도 가능하지만, 꼭 필요한 항목은 아래와 같다.

{
  "commonImage": "default",
  "commonSpec": "azure+koreacentral+standard_b4ms",
  "name": "k8snodegroup02"
}

3) K8sCluster 생성시 노드그룹 동시 생성 유무에 따른 주의사항

• K8sCluster 생성시 CSP에 따라 노드그룹을 함께 생성하기도 하고 그렇지 않기도 하다. 자세한 사항을 PMKS 개발 현황의 NodeGroup 추가 방법 탭을 참고하면 된다.

  • 노드그룹을 함께 생성하는 CSP: Azure, GCP, IBM, NHN
  • 노드그룹을 함께 생성하지 않는 CSP: AWS, Alibaba, Tencent

• 노드그룹을 함께 생성하지 않는 CSP의 경우 POST /ns​/{nsId}​/k8sCluster​/{k8sClusterId}/k8sNodeGroup를 통해 노드그룹을 생성해야 정상적으로 K8sCluster를 활용할 수 있다.

  • 자동 생성된 shared resource 정보는 다음과 같이 확인할 수 있다. (TBD)

4) K8sCluster 상태 조회, 노드그룹(K8sNodeGroup) 추가/삭제, K8sCluster 삭제

• K8sCluster 상태 조회, 노드그룹(K8sNodeGroup) 추가/삭제, K8sCluster 삭제에 관련한 자세한 사항은 How to create and manage a K8sCluster (kubernetes cluster)을 참고하면 된다.

5) K8sCluster Dynamic에 의해서 자동 생성된 자원 정리

• K8sCluster Dynamic을 통해서 K8sCluster를 생성하면, 내부적으로 공용 Network, SG, SSHKey 등이 생성된다.
• 공용 자원을 더 이상 사용하지 않으면,
  ​DELETE /ns​/{nsId}​/sharedResources 를 사용하여, 해당 자원들을 정리하는 것이 필요하다.

[seokho-son]

☸️ Kubernetes 프로비저닝 테스트 및 예시 (CB-Tumblebug v0.11.1)

k8sClusterDynamic 및 k8sNodeGroupDynamic API 요청을 통해 CSP별 Kubernetes 클러스터 및 노드 그룹 생성 테스트를 수행한 예시입니다.

주의: CB-Tumblebug v0.11.8+ 에서는 필드명에 변경이 있으므로, 하기 예시를 그대로 실행하면 안됨.

• commonImage -> imageId
• commonSpec -> specId

---

🟫 AWS

awscli 및 aws configure 선행 필요

k8sClusterDynamic

{
  "commonImage": "default",
  "commonSpec": "aws+ap-northeast-2+t3a.xlarge",
  "connectionName": "aws-ap-northeast-2",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

k8sNodeGroupDynamic

{
  "commonImage": "default",
  "commonSpec": "aws+ap-northeast-2+t3a.xlarge",
  "name": "k8sng01"
}

참고:

• 클러스터 삭제 시 NodeGroup 삭제만으로는 CSP 리소스가 삭제되지 않음.
• 클러스터 상태가 k8sNodeGroupList: null이 되어야 클러스터 삭제 가능.

---

🟨 Alibaba Cloud

/searchImage (Alibaba Kubernetes 이미지 검색)

{
  "isKubernetesImage": true,
  "osType": "Alibaba Cloud Linux",
  "osArchitecture": "x86_64",
  "providerName": "alibaba",
  "regionName": "ap-northeast-2"
}

k8sClusterDynamic

{
  "commonImage": "aliyun_3_x64_20G_container_optimized_20250117.vhd",
  "commonSpec": "alibaba+ap-northeast-2+ecs.g6e.xlarge",
  "connectionName": "alibaba-ap-northeast-2",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

k8sNodeGroupDynamic

{
  "commonImage": "aliyun_3_x64_20G_container_optimized_20250117.vhd",
  "commonSpec": "alibaba+ap-northeast-2+ecs.g6e.xlarge",
  "RootDiskType": "cloud_efficiency",
  "RootDiskSize": "40",
  "name": "k8sng02"
}

---

🟦 Azure

nodeGroupName은 ^[a-z][a-z0-9]*$ 정규식 준수 필요

k8sClusterDynamic

{
  "commonImage": "default",
  "commonSpec": "azure+koreacentral+standard_b4ms",
  "connectionName": "azure-koreacentral",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

k8sNodeGroupDynamic

{
  "commonImage": "default",
  "commonSpec": "azure+koreacentral+standard_b4ms",
  "name": "k8sng02"
}

---

🟩 GCP

gcloud CLI 및 google-cloud-sdk-gke-gcloud-auth-plugin 설치, gcloud auth login 필수

k8sClusterDynamic

{
  "commonImage": "default",
  "commonSpec": "gcp+asia-east1+e2-standard-4",
  "connectionName": "gcp-asia-east1",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

k8sNodeGroupDynamic

{
  "commonImage": "default",
  "commonSpec": "gcp+asia-east1+e2-standard-4",
  "name": "k8sng02"
}

---

🟧 NHN Cloud

NHN Cloud는 VPC 환경에서 Internet Gateway 설정이 필요합니다.

/searchImage 예시 (컨테이너 최적화 이미지 검색)

{
  "isKubernetesImage": true,
  "osType": "ubuntu 22.04",
  "osArchitecture": "x86_64",
  "providerName": "nhncloud",
  "regionName": "kr1",
  "detailSearchKeys": [ "Container (2025.02.25)" ]
}

k8sClusterDynamic

{
  "commonImage": "efe7f58f-5a32-4905-aa3b-e7839bd191d7",
  "commonSpec": "nhncloud+kr1+m2.c4m8",
  "connectionName": "nhncloud-kr1",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

k8sNodeGroupDynamic

{
  "commonImage": "efe7f58f-5a32-4905-aa3b-e7839bd191d7",
  "commonSpec": "nhncloud+kr1+m2.c4m8",
  "name": "k8sng02"
}

⚠️ NHNCloud는 클러스터 생성 시 Internet Gateway가 연결되지 않으면 에러 발생
콘솔에서 IGW 생성 후, 라우팅 테이블과 연결 필요
kubeconfig 사용 시 \n 개행 및 \" 문자열 제거 처리 필요
클러스터가 중복 생성되는 이슈 발생 사례 있음 → 확인 필요

---

🟥 Tencent Cloud

ap-hongkong 리전에서 클러스터 생성은 되지만, kubeconfig를 통한 접근이 제한됨

/searchImage 예시

{
  "osType": "ubuntu 20.04",
  "osArchitecture": "x86_64",
  "providerName": "tencent",
  "regionName": "ap-seoul"
}

k8sClusterDynamic

{
  "commonImage": "img-22trbn9x",
  "commonSpec": "tencent+ap-seoul+s5.medium4",
  "connectionName": "tencent-ap-seoul",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

k8sNodeGroupDynamic

{
  "commonImage": "img-22trbn9x",
  "commonSpec": "tencent+ap-seoul+s5.medium4",
  "name": "k8sng01"
}

✅ NodeGroup 생성 후에는 kubeconfig 사용 가능
⚠️ Tencent 콘솔에서 직접 다운로드한 kubeconfig만 정상 동작하는 사례 있음

🟪 NCP (VPC)

현재 CB-Spider 드라이버 차원에서 Kubernetes 기능 개발이 완료되지 않았으며,
CB-Tumblebug에는 아직 통합되지 않은 상태입니다.

• CB-Tumblebug에 통합하기 전, CB-Spider에서 기능의 안정성 검토가 필요할 것으로 보입니다.
• 따라서 v0.11.0 릴리스에는 포함되지 않습니다.
• 향후 지원 여부는 CB-Spider 드라이버 업데이트 상황에 따라 결정될 예정입니다.

테스트 예시는 현재 제공되지 않습니다.

---

💬 공통 참고사항:

• /ns/{nsId}/k8sCluster/{clusterId} 로 상태 확인 (Creating, Active, Deleting)
• 클러스터 준비 상태 확인 없이 바로 k8sNodeGroupDynamic 반복 시도 가능
• 일부 CSP는 리소스 삭제 지연 또는 이중 생성 등 문제 있음 → 개선 필요

[seokho-son]

☸️ (WIP) Kubernetes 프로비저닝 테스트 및 예시 (CB-Tumblebug v0.11.9+)

k8sClusterDynamic 및 k8sNodeGroupDynamic API 요청을 통해 CSP별 Kubernetes 클러스터 및 노드 그룹 생성 테스트를 수행한 예시입니다.

Provider에 따라서, K8s 클러스터 생성시 노드그룹이 함께 생성되거나, 노드그룹을 별도로 추가해야 하는 경우가 나뉜다.

• 클러스터 생성시, 노드그룹을 지정해야 하는 Provider: Azure, GCP, IBM, NHN
• 클러스터 생성 후, 상태 확인 후, 노드그룹을 추가해야 하는 Provider: AWS, Alibaba, Tencent

주의: CB-Tumblebug v0.11.8+ 에서는 필드명에 변경이 있으므로 주의

• commonImage -> imageId
• commonSpec -> specId

주의: CB-Tumblebug v0.11.8+ 에서는 CSP 명칭 변경, ConnectionName 명칭 변경 등이 있으니 주의

---

🟫 AWS

awscli 및 aws configure 선행 필요

k8sClusterDynamic

{
  "imageId": "default",
  "specId": "aws+ap-northeast-2+t3a.xlarge",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

실제로는 클러스터만 생성되고, 노드그룹은 자동 생성되지 않으며,

클러스터의 status가 Active 된 것을 확인한 후, 별도로 노드그룹을 추가해줘야 한다.

k8sNodeGroupDynamic

{
  "imageId": "default",
  "specId": "aws+ap-northeast-2+t3a.xlarge",
  "name": "k8sng01"
}

참고:

• 클러스터 삭제 시 NodeGroup 삭제만으로는 CSP 리소스가 삭제되지 않음.
• 클러스터 상태가 k8sNodeGroupList: null이 되어야 클러스터 삭제 가능.

---

🟨 Alibaba Cloud

/searchImage (Alibaba Kubernetes 이미지 검색)

{
  "isKubernetesImage": true,
  "osType": "Alibaba Cloud Linux",
  "osArchitecture": "x86_64",
  "providerName": "alibaba",
  "regionName": "ap-northeast-2"
}

k8sClusterDynamic

{
  "imageId": "aliyun_3_x64_20G_container_optimized_20250117.vhd",
  "specId": "alibaba+ap-northeast-2+ecs.g6e.xlarge",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

실제로는 클러스터만 생성되고, 노드그룹은 자동 생성되지 않으며,

클러스터의 status가 Active 된 것을 확인한 후, 별도로 노드그룹을 추가해줘야 한다.

k8sNodeGroupDynamic

{
  "imageId": "aliyun_3_x64_20G_container_optimized_20250117.vhd",
  "specId": "alibaba+ap-northeast-2+ecs.g6e.xlarge",
  "RootDiskType": "cloud_efficiency",
  "RootDiskSize": "40",
  "name": "k8sng02"
}

---

🟦 Azure

nodeGroupName은 ^[a-z][a-z0-9]*$ 정규식 준수 필요

k8sClusterDynamic

{
  "imageId": "default",
  "specId": "azure+koreacentral+standard_b4ms",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

k8sNodeGroupDynamic

{
  "imageId": "default",
  "specId": "azure+koreacentral+standard_b4ms",
  "name": "k8sng02"
}

---

🟩 GCP

gcloud CLI 및 google-cloud-sdk-gke-gcloud-auth-plugin 설치, gcloud auth login 필수

k8sClusterDynamic

{
  "imageId": "default",
  "specId": "gcp+asia-east1+e2-standard-4",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

k8sNodeGroupDynamic

{
  "imageId": "default",
  "specId": "gcp+asia-east1+e2-standard-4",
  "name": "k8sng02"
}

---

🟧 NHN Cloud

NHN Cloud는 VPC 환경에서 Internet Gateway 설정이 필요합니다.

/searchImage 예시 (컨테이너 최적화 이미지 검색)

{
  "isKubernetesImage": true,
  "osType": "ubuntu 22.04",
  "osArchitecture": "x86_64",
  "providerName": "nhn",
  "regionName": "kr1",
  "detailSearchKeys": [ "Container (2025.02.25)" ]
}

k8sClusterDynamic

{
  "imageId": "efe7f58f-5a32-4905-aa3b-e7839bd191d7",
  "specId": "nhn+kr1+m2.c4m8",
  "connectionName": "nhn-kr1",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

k8sNodeGroupDynamic

{
  "imageId": "efe7f58f-5a32-4905-aa3b-e7839bd191d7",
  "specId": "nhn+kr1+m2.c4m8",
  "name": "k8sng02"
}

kubeconfig 사용 시 \n 개행 및 \" 문자열 제거 처리 필요
클러스터가 중복 생성되는 이슈 발생 사례 있음 → 확인 필요

---

🟥 Tencent Cloud

ap-hongkong 리전에서 클러스터 생성은 되지만, kubeconfig를 통한 접근이 제한됨

/searchImage 예시

{
  "osType": "ubuntu 20.04",
  "osArchitecture": "x86_64",
  "providerName": "tencent",
  "regionName": "ap-seoul"
}

k8sClusterDynamic

{
  "imageId": "img-22trbn9x",
  "specId": "tencent+ap-seoul+s5.medium4",
  "name": "k8scluster01",
  "nodeGroupName": "k8sng01"
}

실제로는 클러스터만 생성되고, 노드그룹은 자동 생성되지 않으며,

클러스터의 status가 Active 된 것을 확인한 후, 별도로 노드그룹을 추가해줘야 한다.

k8sNodeGroupDynamic

{
  "imageId": "img-22trbn9x",
  "specId": "tencent+ap-seoul+s5.medium4",
  "name": "k8sng01"
}

✅ NodeGroup 생성 후에는 kubeconfig 사용 가능
⚠️ Tencent 콘솔에서 직접 다운로드한 kubeconfig만 정상 동작하는 사례 있음

🟪 NCP (VPC)

현재 CB-Spider 드라이버 차원에서 Kubernetes 기능 개발이 완료되지 않았으며,
CB-Tumblebug에는 아직 통합되지 않은 상태입니다.

• CB-Tumblebug에 통합하기 전, CB-Spider에서 기능의 안정성 검토가 필요할 것으로 보입니다.
• 따라서 v0.11.0 릴리스에는 포함되지 않습니다.
• 향후 지원 여부는 CB-Spider 드라이버 업데이트 상황에 따라 결정될 예정입니다.

테스트 예시는 현재 제공되지 않습니다.

---

💬 공통 참고사항:

• /ns/{nsId}/k8sCluster/{clusterId} 로 상태 확인 (Creating, Active, Deleting)
• 클러스터 준비 상태 확인 없이 바로 k8sNodeGroupDynamic 반복 시도 가능
• 일부 CSP는 리소스 삭제 지연 또는 이중 생성 등 문제 있음 → 개선 필요