// 시작하기 · 01
소개
openKcloud Platform — 국산 AI반도체 기반 오픈소스 클라우드 서비스 플랫폼
openKcloud는 고성능·저전력의 초거대 AI 모델 서비스를 안정적으로 제공하기 위하여, AI반도체(NPU, PIM, GPU 등)를 활용한 최적화된 클라우드 서비스 플랫폼 기술을 제공하는 것을 목표로 합니다. 특히, 최적 성능 확보와 운용비용 최소화를 동시에 달성할 수 있는 AI반도체 기반 클라우드 인프라 및 플랫폼 기술 개발이 핵심 범위입니다.
프로젝트 개요
openKcloud는 국내 AI반도체(NPU/GPU/PIM) 생태계를 위한 오픈소스 클라우드 플랫폼입니다. 퍼블릭·프라이빗 클라우드를 통합한 하이브리드 구조 위에 다계층 프레임워크로 설계되어 있으며, 이종 AI반도체 자원 기반의 VM·컨테이너 서비스를 통합 제공하는 AI반도체 중심 클라우드 플랫폼을 구현합니다.
K-클라우드 사업을 통해 확보된 이종 AI반도체 가상화 기술, 자원 분해·풀링 기술, AI반도체 라이브러리 등을 통합 적용하며, 대중적인 초거대 AI 모델을 실제 운영 환경에서 구동함으로써 플랫폼 기능과 성능을 종합적으로 검증합니다.
🔷
AI반도체 클라우드 서비스 제공
이기종 AI반도체(GPU, NPU, PIM 등)자원 가상화·공유·할당 기반 이종 최적 클라우드 서비스 제공
💡
클라우드 서비스 최적화 운용
플랫폼 운영 효율성, 전력·비용 최적화 기능기반 고성능·저전력 초거대 AI 서비스 지원
🧠
초거대 AI 모델 서비스 지원
초거대 AI 모델의 학습 및 추론 실행 지원, LLM 320B+ AI 모델 실행 환경 지원
📊
클라우드 서비스 통합 관리
플랫폼 전반의 관리 및 인터페이스 계층으로 외부 솔루션의 연계성과 통합 운영 기능 제공
시스템 특징
- 이기종 AI반도체 자원 최적 관리 — NPU, PIM 등 VM·컨테이너·K8s 서비스, 논리적·시간 분할, 이기종 장치 결합
- 이종 클라우드 서비스 오케스트레이션 — 인스턴스 스케줄링, AI모델 특화 클러스터링, 워크로드 격리
- 클라우드 서비스 옵저버빌리티 — AI반도체 특화 모니터링·로깅·트레이싱, 이상징후 감시·알람
- 클라우드 서비스 개방형 인터페이스 — AI SW 개발환경, 멀티테넌시, IAM, 포털, 3rd Party 개방형 API
- 클라우드 플랫폼 운용 비용 최적화 — 자원 할당·스케줄링 결정, 전력 최적화, 컴퓨팅 인프라 재구성
- 초거대 AI 모델 실행환경 구축/실증 — 플랫폼 기능·호환성·성능 최적화 검증
// 시작하기 · 02
릴리스 노트
openKcloud Platform 버전별 변경 사항 및 업그레이드 가이드
📌 최신 릴리스는 v0.1.0 (2025-11-27)입니다. 아래 릴리스 노트에서 전체 변경 사항을 확인하세요. 업그레이드 전 Breaking Changes 항목을 반드시 검토하시기 바랍니다.
v0.1.5
UPCOMING · 2026 Q2
예정 릴리스 — 2026-07 (예정)
v0.1.5에서는 각 모듈별 기능 추가가 진행될 예정이며 다수 NPU 연동 제공이 주요 변경으로 포함될 예정입니다
v0.1.0
LATEST
INITIAL RELEASE
2025-11-27 · openKcloud Community
openKcloud v0.1.0은 AI반도체 클라우드 플랫폼의 첫 번째 공식 오픈소스 릴리스입니다. 4개의 핵심 프레임워크(kcloud-svc, kcloud-opt, kcloud-llm, kcloud-mnt)들을 구성하는 일부 모듈들이 공개되었으며, 국산 AI반도체(NPU/GPU/PIM) 기반 이종 클라우드 서비스 환경의 기반을 제공합니다.
신규 기능 (New Features)
🔷 kcloud-svc — AI반도체 클라우드 서비스 제공 프레임워크
- 이종 AI반도체(GPU, NPU) 디스커버리 및 자원 관리 기능 최초 제공
- VM기반 AI반도체 서비스 실행 환경 제공 (kcloud-nova 초기 릴리스)
- AI반도체 I/F 플러그인 구조 지원 — NPU 드라이버 플러그인 연동 기능 포함
- kcloud-operator 초기 릴리스: Kubernetes 기반 AI반도체 자원 오케스트레이션
- kcloud-cyborg 초기 릴리스: Openstack 기반 AI반도체 자원 오케스트레이션
- AI반도체 클러스터링 및 자원 결합 활용 기능 (실험적 지원)
- 워크로드 기반 자원 최적 할당 스케줄러
⚡ kcloud-opt — AI반도체 클라우드 서비스 최적화 프레임워크
- kcloud-monitor 초기 릴리스: AI반도체 특화 메트릭 수집 및 Prometheus 연동
- Grafana 대시보드 템플릿 제공 — GPU/NPU/PIM 사용률, 온도, 전력 시각화
- 이상 징후 감지 및 알람 기능 (Alertmanager 연동)
- kcloud-cost-optimizer 초기 릴리스: 비용 예측 모델 기반 분석 및 보고
- 서비스 전력 사용 최적화 정책 엔진 (DVFS 기반 프리셋 제공)
- 통합 로그 및 분산 트레이싱 지원 (OpenTelemetry 호환)
🧠 kcloud-llm — 초거대 AI 서비스 지원 프레임워크
- LLM 320B 이상 규모 모델 학습·추론 실행 환경 최초 지원
- 초거대 AI 서비스 관리 및 서빙 기능 — vLLM 호환 추론 엔드포인트 제공
- 추론 성능 증강 기능: KV Cache 관리, 배치 스케줄링 최적화
- 초거대 AI 모델 튜닝 파이프라인 (LoRA/QLoRA 파인튜닝 워크플로우)
- 입출력 데이터 관리 모듈 — 스트리밍 응답 및 비동기 처리 지원
- MLPerf Inference 벤치마크 기반 성능 검증 파이프라인 (실험적)
📊 kcloud-mnt — AI반도체 클라우드 서비스 통합 관리 프레임워크
- 플랫폼 통합 관리 대시보드 UI 신규 제공 (React 기반 웹 포털)
- 멀티테넌시 지원 — 테넌트별 자원 격리 및 쿼터 관리
- IAM(Identity and Access Management) 기본 정책 엔진 제공
- 3rd Party 개방형 REST API 게이트웨이 (OpenAPI 3.0 스펙 제공)
- AI SW 개발환경 연계 인터페이스 — JupyterHub, MLflow 통합
개선 사항 (Improvements)
버그 수정 (Bug Fixes)
[kcloud-svc] NPU 플러그인 연동 시 kcloud-cyborg에서 발생하는 OOMKilled 오류 수정 (#42)
알려진 이슈 (Known Issues)
- kcloud-llm 성능 측정 파이프라인은 현재 실험적 기능으로, 프로덕션 환경 적용 비권장
- kcloud-cost-optimizer 비용 예측 모델은 GPU 환경만 지원 (NPU 지원 예정 — v0.1.5)
Breaking Changes
⚠️ 초기 릴리스(v0.1.0)로 이전 버전과의 호환성 고려 사항이 없습니다.
향후 v0.1.5 업그레이드 시 기능 추가로 인한 사용자 인터페이스가 변경될 수 있습니다. 변경 사항은 다음 릴리스 노트에서 사전 공지됩니다.
시스템 요구 사항
| 항목 | 권장 요구 사항 |
|---|
| OS | Ubuntu 22.04 LTS |
| Kubernetes | v1.28 이상 |
| GPU 드라이버 | Driver 550+ |
기여자 (Contributors)
v0.1.0 릴리스에 기여해주신 모든 분들께 감사드립니다.
openKcloud 멤버
// 아키텍처 · 01
전체 구조
openKcloud 4계층 프레임워크 아키텍처
시스템 구성
openKcloud는 AI반도체를 클라우드 서비스로 제공함으로써 초거대 AI모델의 학습·추론에 요구되는 AI반도체 자원의 활용 장벽을 낮추고, 최적 성능과 클라우드 플랫폼 운용 비용 최적화를 제공하기 위하여 4개의 프레임워크로 구성됩니다.
| 프레임워크 | 약칭 | 역할 |
|---|
| AI반도체 클라우드 서비스 제공 | kcloud-svc | 이기종 AI반도체 가상화·공유·배치·실행 핵심 인프라 |
| AI반도체 클라우드 서비스 최적화 | kcloud-opt | 전력·kcloud-cost-optimizer, 옵저버빌리티, 운영 제어 |
| 초거대 AI 서비스 지원 | kcloud-llm | LLM 학습·추론 직접 지원 서비스 계층 |
| AI반도체 클라우드 서비스 통합 관리 | kcloud-mnt | 플랫폼 전반 관리·인터페이스, 외부 연계 |
서브시스템 관계
4개의 프레임워크는 독립적인 기능을 수행하면서 상호 연계되어 동작합니다. 상위 계층의 정책과 제어가 하위 계층의 자원 운용에 반영되는 구조를 가집니다.
- kcloud-mnt는 서비스 지원·최적화 프레임워크에 정책·요구사항 전달하고, 하위 계층의 실행 결과 수집후 사용자에게 전달
- kcloud-opt는 실행 중 발생하는 로그·성능 지표·전력 사용량 데이터를 수집하고, kcloud-svc의 스케줄링 정책 조절
- kcloud-llm은 AI 모델 실행을 위한 서비스 실행 계층으로 실제 자원 할당·실행은 kcloud-svc에 요청 전달
- kcloud-svc는 실제 자원 제어를 수행하는 핵심 실행 계층으로 인프라 하드웨어 자원 직접 제어
Subsystem Architecture Diagram
▲ AI반도체 클라우드 서비스 플랫폼 — 프레임워크 간 서브시스템 관계도
// 아키텍처 · 02
플랫폼 레이어
openKcloud 플랫폼의 수직 계층 구조 — 하드웨어 인프라부터 LLM 서비스까지
openKcloud 플랫폼 레이어는 하드웨어 인프라(CPU/GPU/NPU/PIM), 클라우드 서비스 플랫폼, 오케스트레이션, LLM 서비스 계층까지 수직으로 통합된 구조로 구성됩니다. 각 계층은 독립적으로 동작하면서 상위 계층의 요청에 따라 하위 계층의 자원을 제어합니다.
Platform Layer Architecture Diagram
▲ openKcloud 플랫폼 레이어 전체 구성도 — LLM 서비스 계층부터 하드웨어 인프라까지
Layer 1 — LLM 서비스 계층
최상위 서비스 계층으로, 초거대 AI 모델의 추론(Inference) 및 학습 워크로드를 직접 수행합니다. 안정성·고속 확장·확장성의 서비스 목표를 기준으로 4가지 배포 시나리오를 지원합니다.
SCENARIO 01 · 안정성
Kubernetes 기반 VM 클러스터
Kubernetes Controller + VM 구성으로 안정적인 LLM 서비스 제공. Cluster API 또는 Magnum (Heat)을 통해 K8s 클러스터를 자동 프로비저닝.
SCENARIO 02 · 안정성 (멀티)
다중 VM 분산 클러스터
복수의 VM 노드에 Kubernetes Worker를 분산 배치. Magnum (Heat) 오케스트레이션으로 멀티노드 LLM 추론 환경 구성.
SCENARIO 03 · 고속 확장
Inference 컨테이너 + VM 혼합
Inference 컨테이너와 VM을 혼합 운용하여 추론 처리량 확장. Nova 기반 VM 인스턴스 관리와 컨테이너 스케줄링을 병행.
SCENARIO 04 · 안정성 + 확장성
K8s + 컨테이너 혼합 고밀도 배포
Kubernetes 클러스터와 다수의 컨테이너 워커를 결합한 고밀도 배포. Iron 베어메탈 프로비저닝으로 외부 클라우드(AWS, Azure 등) 연계 확장 지원.
Layer 2 — 오케스트레이션 계층
LLM 서비스 계층에서 요청한 VM·컨테이너 인스턴스를 실제로 생성·관리하는 계층입니다. 4가지 오케스트레이터가 워크로드 특성에 따라 선택적으로 사용됩니다.
| 컴포넌트 | 유형 | 역할 |
|---|
| Cluster API |
실험적 |
Kubernetes 클러스터 수명주기 선언적 관리. 멀티클라우드 환경에서 K8s 자동 프로비저닝 |
| Magnum (Heat) |
안정 |
OpenStack Magnum 기반 컨테이너 인프라 관리. Heat 오케스트레이션으로 K8s 클러스터 템플릿 배포 |
| Nova |
안정 |
OpenStack 핵심 컴퓨팅 서비스. VM 인스턴스 생성·스케줄링·AI반도체 자원 배치 담당 |
| Iron |
베어메탈 |
베어메탈 서버 프로비저닝. 외부 클라우드(AWS·Azure·VMware·Google Cloud) 연계를 위한 확장 게이트웨이 |
Layer 3 — 클라우드 서비스 플랫폼 계층
Kubernetes와 OpenStack이 통합된 하이브리드 플랫폼 계층입니다. 서비스 큐, 분산 스토리지, 네트워크, K8s 프로비저닝 기능을 제공하며 상위 오케스트레이션 계층의 요청을 처리합니다.
Kubernetes 영역
- Kubernetes Controller — 클러스터 상태 감시·제어, API 서버 관리
- Kubernetes Workers — 워크로드 실행 노드. Pod 스케줄링 및 AI반도체 자원 직접 활용
- Service Queue (RabbitMQ) — 서비스 간 비동기 메시지 처리. 스케줄링 이벤트·알림 전달
OpenStack Service 영역
- Distributed Storage (Ceph/Rook Ceph) — 분산 스토리지 제공. AI 모델 가중치·데이터셋 대용량 저장 및 고속 접근 지원
- Network Plugins (OVN) — Open Virtual Network 기반 소프트웨어 정의 네트워킹. 테넌트 간 네트워크 격리 및 오버레이 네트워크 구성
- K8S Provision (Cluster API) — OpenStack 내부에서 K8s 클러스터 동적 프로비저닝. 멀티클라우드 연계 확장점
Layer 4 — 하드웨어 인프라 계층
물리 자원 계층으로, AI 모델 연산을 직접 수행하는 프로세서·메모리·스토리지·네트워크 인프라로 구성됩니다. openKcloud의 차별점인 국산 AI반도체(Korean NPU)를 포함합니다.
// PROCESSOR
프로세서
CPU
GPU
(Korean) NPU ★
기타 AI반도체
국산 NPU를 포함한 이기종 AI반도체를 통합 지원. AI반도체 I/F 플러그인 구조로 신규 벤더 추가 확장 가능.
// MEMORY
메모리
DDR
PIM ★
PNM ★
Processing-In-Memory(PIM)·PNM 지원으로 메모리 내 연산 가능. 대용량 LLM 모델의 메모리 병목 완화.
// STORAGE
스토리지
Smart SSD ★
SSD
HDD
Smart SSD 기반 연산 가속 지원. Ceph/Rook Ceph 분산 스토리지와 연계하여 AI 모델·데이터셋 관리.
// NETWORK
네트워크 인프라
고속 이더넷·InfiniBand 기반 서버 간 상호연결 네트워크. 분산 AI 모델 학습 시 노드 간 고대역폭 통신을 지원하며, OVN 소프트웨어 정의 네트워킹으로 테넌트 격리 및 오버레이 구성.
외부 클라우드 연계 (하이브리드 확장)
Iron 베어메탈 계층과 K8S Provision을 통해 퍼블릭 클라우드로의 워크로드 버스팅 및 멀티클라우드 확장이 가능합니다.
🏢 VMware
☁️ AWS
🔷 Azure
🌐 Google Cloud
- Cluster API 연계 — 멀티클라우드 환경에서 K8s 클러스터 통합 프로비저닝
- 하이브리드 네트워크 — OVN 기반 오버레이로 온프레미스-퍼블릭 클라우드 간 네트워크 통합
// 클라우드 서비스 제공 · 01
kcloud-svc
AI반도체 클라우드 서비스 제공 프레임워크
AI반도체 자원의 가상화, 공유, 배치 및 실행을 담당하는 핵심 인프라 계층. 물리 계층의 이기종 AI반도체(GPU, NPU, PIM 등) 자원을 추상화하여 상위 계층에 제공합니다.
이종 클라우드 서비스 오케스트레이션 모듈
- VM 및 컨테이너 기반 서비스 실행 환경 통합 제공
- 이종 클라우드 서비스의 스케줄링, 배포, 관리(격리·확장)
- 융합 네트워크, 통합 이미지 관리 및 저장소 운영 관리
- AI반도체 디스크립터 및 자원관리 기능
- AI반도체 클러스터링 및 자원 결합 활용 기능
이기종 AI반도체 자원 최적 관리 모듈
- AI반도체 디스커버리 및 자원 인벤토리 관리
- 이기종 자원 공유(분리/시간분할) 기능
- AI반도체 I/F 플러그인 구조 지원 기능
- 워크로드 기반 자원 최적 할당 기능
// 서비스 최적화 운용 · 01
kcloud-opt
AI반도체 클라우드 서비스 최적화 프레임워크
플랫폼 운영 효율성과 전력·kcloud-cost-optimizer 기능을 제공하며, 초거대 AI 모델 실행 시 성능과 전성비를 동시에 고려하는 운영 제어 기능을 수행합니다.
클라우드 서비스 옵저버빌리티 지원 모듈
- 이상 징후 감지 및 알람 기능 / 장애 탐지 및 복구 지원
- 통합 모니터링 및 로그/트레이싱 제공
- 비용 예측 모델 기반 분석
클라우드 서비스 최적 운영비용 모듈
- 클라우드 서비스 재구성·재배치 정책
- 플랫폼 운영kcloud-cost-optimizer 기능
- 서비스 전력 사용 최적화 기능
// AI 모델 실행환경 · 01
kcloud-llm
초거대 AI 서비스 지원 프레임워크
초거대 AI 모델의 학습 및 추론을 직접 지원하는 서비스 계층. LLM 320B 이상 규모의 모델이 실제 운용 가능하도록 학습 및 추론 환경을 지원합니다.
초거대 AI 모델 서비스 관리 모듈
- 초거대 AI 서비스 관리 및 서빙 기능
- 추론 성능 증강 기능 / 입출력 데이터 관리
- 초거대 AI 모델 튜닝 및 오케스트레이션
// 서비스 통합 관리 · 01
kcloud-mnt
AI반도체 클라우드 서비스 통합 관리 프레임워크
플랫폼 전반의 관리·인터페이스 계층으로 외부 솔루션 연계성과 통합 운영 기능 제공. 정책·요구사항 전달 및 실행 결과 수집·전달 역할 기능을 제공합니다.
클라우드 서비스 개방형 인터페이스 모듈
- 개방형 API 제공 / AI SW 개발 환경 제공
- 사용자/관리자 포털 / 멀티테넌시 및 접근 제어/인증
- 비용 예측 모델 연동 및 리포팅
// 아키텍처 · 02배포 모델
단일 노드 / 클러스터 배포
