Kubernetes ๋ค์ดํฐ๋ธ ๋คํธ์ํฌ ์๋ํ ์์ด์ ํธ
OpenStack ํ๊ฒฝ์์ Kubernetes ๋ ธ๋์ ๋ค์ค ๋คํธ์ํฌ ์ธํฐํ์ด์ค๋ฅผ ์์ ์๋์ผ๋ก ๊ด๋ฆฌํ๋ Controller + Job ๊ธฐ๋ฐ ์์คํ ์ ๋๋ค.
- ๋จ์ผ ์ด๋ฏธ์ง, ์ด์ค ์คํ: ํ๋์ ์ปจํ ์ด๋ ์ด๋ฏธ์ง์์ Controller/Agent ๋ชจ๋๋ก ๋์
- ์๋ํ ์ํฌํ๋ก์ฐ: CR ์์ฑ/์์ ์ ์ฆ์ ํด๋น ๋ ธ๋์ Agent Job ์ค์ผ์ค๋ง
- ๋ ธ๋๋ณ ๋ง์ถค ์คํ: ๊ฐ ๋ ธ๋์ SystemUUID ๊ฒ์ฆ ํ ๋คํธ์ํฌ ์ธํฐํ์ด์ค ์๋ ์ค์
- ์ค์๊ฐ ์ํ ๋๊ธฐํ: Job ์๋ฃ ํ Controller๊ฐ ์๋์ผ๋ก CR status ์ ๋ฐ์ดํธ
- ๋ผ์ฐํ ์ถฉ๋ ๋ฐฉ์ง: ์ ์ญ ๋ผ์ฐํ ์ง๋ ฌํ๋ก ๋คํธ์ํฌ ํ ์ด๋ธ ์์ ์ฑ ๋ณด์ฅ
- ์ฑ๋ฅ ์ต์ ํ: ์์ ์ฑ ์ฐ์ ๋์์ฑ ์ ์ด (๊ธฐ๋ณธ 1๊ฐ ์์ , ์ค์ ๊ฐ๋ฅ)
- Controller (Deployment): CR ๋ณ๊ฒฝ์ฌํญ์ ์ค์๊ฐ ๊ฐ์
- Agent (Job): ํน์ ๋ ธ๋์์๋ง ์คํ๋์ด ๋คํธ์ํฌ ์ธํฐํ์ด์ค ์ค์
- ์๋ ์ค์ผ์ค๋ง: CR ์ ๋ฐ์ดํธ โ ํด๋น ๋ ธ๋์ฉ Agent Job ์์ฑ โ ๋คํธ์ํฌ ๊ตฌ์ฑ โ ์ํ ์ ๋ฐ์ดํธ
- ๋ฐํ์ ์ ์ฉ์
ip๊ธฐ๋ฐ์ผ๋ก ์ฆ์ ๋ฐ์(์ด๋ฆ/MTU/IPv4/๋ผ์ฐํธ) - ์์์ฑ์ OS๋ณ ํ์ผ โ์์ฑ๋งโ ์ํ(์ฆ์
netplan apply/nmcli reloadํธ์ถ ์์) - Ubuntu: netplan YAML์
match.macaddress + set-nameํฌํจ์ผ๋ก ์ด๋ฆ ์์ - RHEL:
.link(systemd-udev, ์ด๋ฆ ์์) +.nmconnection(NetworkManager, ๊ถํ 600) ์์ฑ, Helm์ด/etc/systemd/network๋ ๋ง์ดํธ - Preflight: UP NIC์ด๋ผ๋ IPv4/๋ผ์ฐํธ/๋ง์คํฐ ์์์ด ์์ผ๋ฉด ํ์ฉ; ์ฐํ ํ๋๊ทธ
PREFLIGHT_ALLOW_UP์ ๊ณต - ๋ผ์ฐํ /๊ธฐ๋ณธ๊ฒฝ๋ก ๋ณ๊ฒฝ์ ์ ์ญ ์ง๋ ฌํ
graph TB
%% ์๋จ: MGMT Cluster
subgraph "MGMT Cluster"
Operator[Operator]
ViolaAPI[Viola API]
end
%% Biz Cluster
subgraph "Kubernetes Cluster (Biz)"
subgraph "CR ์ฒ๋ฆฌ"
MultiNICController[MultiNIC Controller\nCR Watch]
NodeCR[MultiNicNodeConfig CR\n๋
ธ๋๋ณ Interface ๋ฐ์ดํฐ]
end
subgraph "Job ์คํ"
Job1[Agent Job\nNode1 ๋์]
Job2[Agent Job\nNode2 ๋์]
Job3[Agent Job\nNode3 ๋์]
end
subgraph "Worker Nodes"
Node1[Node1\nSystemUUID: b4975c5f-50bb]
Node2[Node2\nSystemUUID: d4defd76-faa9]
Node3[Node3\nSystemUUID: a1b2c3d4-e5f6]
end
end
%% Network Interfaces
subgraph "Network Interfaces"
NIC1[Node1: multinic0, multinic1]
NIC2[Node2: multinic0]
NIC3[Node3: multinic0, multinic1, multinic2]
end
%% ๋ฐ์ดํฐ ํ๋ฆ
Operator -->|์ธํฐํ์ด์ค ์ ๋ณด POST| ViolaAPI
ViolaAPI -->|CR ์์ฑ| NodeCR
NodeCR -.->|Watch Event| MultiNICController
MultiNICController -->|Node๋ณ Job ์ค์ผ์ค๋ง| Job1
MultiNICController -->|Node๋ณ Job ์ค์ผ์ค๋ง| Job2
MultiNICController -->|Node๋ณ Job ์ค์ผ์ค๋ง| Job3
Job1 -->|ip ์ ์ฉ + ์์ ํ์ผ ์์ฑ| Node1
Job2 -->|ip ์ ์ฉ + ์์ ํ์ผ ์์ฑ| Node2
Job3 -->|ip ์ ์ฉ + ์์ ํ์ผ ์์ฑ| Node3
Node1 -->|์ธํฐํ์ด์ค ์์ฑ| NIC1
Node2 -->|์ธํฐํ์ด์ค ์์ฑ| NIC2
Node3 -->|์ธํฐํ์ด์ค ์์ฑ| NIC3
%% ์คํ์ผ(๋ ๋๋ฌ ๋ฏธ์ง์ ์ ์ ๊ฑฐ ๊ฐ๋ฅ)
classDef mgmt fill:#e8f5e8
classDef controller fill:#f3e5f5
classDef cr fill:#fff3e0
classDef job fill:#ffecb3
classDef node fill:#fafafa
classDef nic fill:#ffcdd2
class Operator,ViolaAPI mgmt
class MultiNICController controller
class NodeCR cr
class Job1,Job2,Job3 job
class Node1,Node2,Node3 node
class NIC1,NIC2,NIC3 nic
sequenceDiagram
participant ์ด์ as Config Source
participant API as Kubernetes API
participant ์ปจํธ๋กค๋ฌ as Controller
participant ์ก as Agent Job
participant ๋
ธ๋ as Target Node
์ด์->>API: CR ์์ฑ/์์ (MAC, IP, CIDR, MTU)
note over ์ด์,API: ์ธ๋ถ API๋ CR์ ์ง์ ์์ฑ/๊ฐฑ์ ํ ์ ์์
API-->>์ปจํธ๋กค๋ฌ: Watch ์ด๋ฒคํธ ์ ๋ฌ
์ปจํธ๋กค๋ฌ->>API: ๋
ธ๋ ์ ๋ณด ์กฐํ(osImage/SystemUUID)
์ปจํธ๋กค๋ฌ->>API: Agent Job ์์ฑ(nodeSelector)
API->>์ก: ๋์ ๋
ธ๋์์ ์คํ
์ก->>๋
ธ๋: Preflight (MAC ํ์ธ, ๋ฏธ์ฌ์ฉ NIC ํ์ฉ)
์ก->>๋
ธ๋: ip ๊ธฐ๋ฐ ์ ์ฉ(์ด๋ฆ, MTU, IPv4, ๋ผ์ฐํธ)
์ก->>๋
ธ๋: ์์ ํ์ผ๋ง ์์ฑ(Ubuntu: netplan, RHEL: .link + .nmconnection)
์ก->>๋
ธ๋: ๊ฒ์ฆ ๋ฐ termination log ๊ธฐ๋ก
์ก-->>์ปจํธ๋กค๋ฌ: ์์ฝ ์ ๋ฌ
์ปจํธ๋กค๋ฌ->>API: CR ์ํ ์
๋ฐ์ดํธ(Configured/Failed)
์ปจํธ๋กค๋ฌ->>API: Job ์ ๋ฆฌ(TTL)
-
์์ ์ ์ ๋ฆฌ ์ํ(RUN_MODE=job):
- Ubuntu:
/etc/netplan/9*-multinic*.yaml๊ณ ์ ํ์ผ๋ง ์ญ์ (์ฆ์netplan apply๋ ํธ์ถํ์ง ์์) - RHEL: RHEL9+์์๋
/etc/sysconfig/network-scripts๊ฐ ์์ ์ ์์ผ๋ฏ๋ก.nmconnection๊ณ ์ ํ์ผ๋ง ์ ๋ฆฌํ๊ณ ๋๋ ํฐ๋ฆฌ ๋ถ์ฌ๋ ๋ฌด์ - ์์คํ
๊ธฐ๋ณธ ํ์ผ(
50-cloud-init.yaml๋ฑ)์ ๊ฑด๋๋ฆฌ์ง ์์ - ๋จ์์๋
multinic0~9์ธํฐํ์ด์ค๋ DOWN ์ํ์ผ ๋๋ง altname(ens*/enp*)์ผ๋ก rename ์๋(์์ผ๋ฉด ์คํต)
- Ubuntu:
-
์ด๋ฆ ์ถฉ๋ ๋ฐฉ์ง(์ฌ์ ๋ฐฐ์ ): ์คํ ์์ ์ MACโ
multinicX์ด๋ฆ์ ๋ฏธ๋ฆฌ ๋ฐฐ์ ํด ์ค๋ณต ์ด๋ฆ ์ถฉ๋์ ์ ๊ฑฐ -
๊ฒ์ฆ ๋ฐฉ์ ์ ํ(์ด๋ฆโMAC):
- ์ ์ฉ ํ ๊ฒ์ฆ์
ip -o link show์ ์ฒด์์ CR์ MAC ์กด์ฌ ์ฌ๋ถ๋ก ํ๋จ(ํน์ ์ด๋ฆ์ ์์กดํ์ง ์์)
- ์ ์ฉ ํ ๊ฒ์ฆ์
-
์ฒ๋ฆฌ ์์: "์ ๋ฆฌ โ ์ค์ (์ ์ฉ) โ ๊ฒ์ฆ"์ผ๋ก ์คํ
-
๋ผ์ฐํ ์ถฉ๋ ๋ฐฉ์ง:
- ์ ์ญ mutex๋ฅผ ํตํ ๋ผ์ฐํ ํ ์ด๋ธ ์ง๋ ฌํ
- ๋์ ๋คํธ์ํฌ ์ค์ ์ผ๋ก ์ธํ ๋ผ์ฐํ ํ ์ด๋ธ ๊ฒฝ์ ์ํ ๋ฐฉ์ง
- ๋ผ์ฐํ ์์ ๋ฉํธ๋ฆญ ์์ง (์คํ ์๊ฐ, ์ฑ๊ณต/์คํจ์จ)
-
๋์์ฑ ์ ์ด ์ต์ ํ:
- ๊ธฐ๋ณธ ์ต๋ ๋์ ์์ ์: 1๊ฐ (์์ ์ฑ ์ฐ์ )
-
Helm values๋ฅผ ํตํ ์ค์ ๊ฐ๋ฅ (
agent.maxConcurrentTasks)- ๋๊ท๋ชจ ํ๊ฒฝ์์ ๋ผ์ฐํ ์ถฉ๋ ์ต์ํ
# ๊ธฐ๋ณธ ์ค์ (์์ ์ฑ ์ต์ฐ์ )
helm upgrade --install multinic-agent ./deployments/helm \
-n multinic-system \
--set image.tag=1.0.2 \
--set agent.maxConcurrentTasks=1
# ๋๊ท๋ชจ ํ๊ฒฝ (์ฑ๋ฅ ์ฐ์ ์)
helm upgrade --install multinic-agent ./deployments/helm \
-n multinic-system \
--set image.tag=1.0.2 \
--set agent.maxConcurrentTasks=3
์๋ ์ ์ฒด ์ ๋ฆฌ(์ต์ ):
# ์ปจํธ๋กค๋ฌ๊ฐ ์์ฑํ๋ Job์ ํ๊ฒฝ๋ณ์๋ก ์ ๋ฌ๋๋ฉด ๋ชจ๋ multinic ํ์ผ๋ง ์ ๋ฆฌ
AGENT_ACTION=cleanup- ๊ธฐ๋ณธ: ์์ค ๊ธฐ๋ฐ ์ ์ฑ
๋ผ์ฐํ
+
noprefixroute์ ์ฉ โ main ํ ์ด๋ธ/ens3 ๊ธฐ๋ณธ ๋ผ์ฐํธ ์ ์ง - ARP ํ๋ญ์ค/RPF ์ํ:
arp_ignore=1,arp_announce=2,rp_filter=2๋ฅผ ์ธํฐํ์ด์ค ๋จ์๋ก ์ ์ฉ - ์ค์ ๊ฐ(ํ๊ฒฝ๋ณ์/Helm
agent.network.*):NETWORK_POLICY_ROUTING_ENABLED(default: true)NETWORK_ROUTING_TABLE_BASE(default: 100),NETWORK_ROUTE_METRIC(default: 100)NETWORK_NOPREFIXROUTE(default: true)NETWORK_SET_ARP_SYSCTLS(default: true),NETWORK_SET_RP_FILTER_LOOSE(default: true)
multinic-agent/
โโโ cmd/
โ โโโ agent/ # Agent Job ๋ฐ์ด๋๋ฆฌ
โ โโโ controller/ # Controller ๋ฐ์ด๋๋ฆฌ
โโโ internal/ # Clean Architecture
โ โโโ domain/ # ๋๋ฉ์ธ ๊ณ์ธต
โ โ โโโ entities/ # NetworkInterface, InterfaceName
โ โ โโโ interfaces/ # Repository, Network ์ธํฐํ์ด์ค
โ โ โโโ services/ # InterfaceNamingService, RoutingCoordinator
โ โโโ application/ # ์ ํ๋ฆฌ์ผ์ด์
๊ณ์ธต
โ โ โโโ usecases/ # ConfigureNetwork, DeleteNetwork
โ โโโ infrastructure/ # ์ธํ๋ผ์คํธ๋ญ์ฒ ๊ณ์ธต
โ โ โโโ persistence/ # NodeCR Repository (K8s CR ๊ธฐ๋ฐ)
โ โ โโโ network/ # Netplan, RHEL Adapter
โ โ โโโ metrics/ # Prometheus ๋ฉํธ๋ฆญ ์์ง
โ โ โโโ config/ # ์ค์ ๊ด๋ฆฌ
โ โโโ controller/ # Controller ๊ตฌํ
โ โโโ reconciler.go # CR ์ฒ๋ฆฌ ๋ก์ง
โ โโโ watcher.go # Watch ์ด๋ฒคํธ ์ฒ๋ฆฌ
โ โโโ service.go # Controller ์๋น์ค
โโโ deployments/
โ โโโ crds/ # CRD ์ ์ ๋ฐ ์ํ
โ โโโ helm/ # Helm ์ฐจํธ
โโโ scripts/ # ๋ฐฐํฌ ์๋ํ
apiVersion: apiextensions.k8s.io/v1
kind: CustomResourceDefinition
metadata:
name: multinicnodeconfigs.multinic.io
spec:
group: multinic.io
versions:
- name: v1alpha1
served: true
storage: true
schema:
openAPIV3Schema:
type: object
properties:
spec:
type: object
properties:
nodeName:
type: string
description: "Target Kubernetes node name"
instanceId:
type: string
description: "OpenStack Instance UUID"
interfaces:
type: array
items:
type: object
properties:
id:
type: integer
name:
type: string
macAddress:
type: string
address:
type: string
cidr:
type: string
mtu:
type: integer
status:
type: object
properties:
state:
type: string
enum: ["Pending", "InProgress", "Configured", "Failed"]
lastProcessed:
type: string
interfaceStatuses:
type: array
items:
type: object
properties:
name:
type: stringapiVersion: multinic.io/v1alpha1
kind: MultiNicNodeConfig
metadata:
name: viola2-biz-worker01
namespace: multinic-system
labels:
multinic.io/node-name: viola2-biz-worker01
multinic.io/instance-id: b4975c5f-50bb-479f-9e7b-a430815ae852
spec:
nodeName: viola2-biz-worker01
instanceId: b4975c5f-50bb-479f-9e7b-a430815ae852
interfaces:
- id: 0
name: multinic0
macAddress: fa:16:3e:1c:1a:6e
address: 11.11.11.37
cidr: 11.11.11.0/24
mtu: 1450
- id: 1
name: multinic1
macAddress: fa:16:3e:0a:17:3b
address: 11.11.11.148
cidr: 11.11.11.0/24
mtu: 1450name์ ์ ํ์ฌํญ์ด์ง๋ง, ์ค์ ์ id๋ name์ ์ธ๋ฑ์ค๋ก ํด์๋ฉ๋๋ค.
id๋ 09 ๋ฒ์์ด๋ฉฐ name(multinic09)๊ณผ ๋์ผํ ์ธ๋ฑ์ค๋ก ๋ง์ถ๋ ๊ฒ์ ๊ถ์ฅํฉ๋๋ค.
# deploy.sh ์คํฌ๋ฆฝํธ์์ SSH_PASSWORD ์์
vi scripts/deploy.sh
# SSH_PASSWORD=${SSH_PASSWORD:-"YOUR_SSH_PASSWORD"} โ ์ค์ ํจ์ค์๋๋ก ๋ณ๊ฒฝ- Kubernetes 1.24+
- Helm 3.0+
- kubectl
- nerdctl (์ปจํ ์ด๋ ๋ฐํ์)
๋ฐฉ๋ฒ A: ๋ก์ปฌ ์ด๋ฏธ์ง ์๋ ๋ฐฐํฌ (Air-gap ํ๊ฒฝ)
# ์ฌ์ ๋น๋๋ ์ด๋ฏธ์ง ์ฌ์ฉ (๊ถ์ฅ)
# deployments/images/ ๋๋ ํ ๋ฆฌ์ ์๋ tar ํ์ผ์ ๋ชจ๋ ๋
ธ๋์ ๋ฐฐํฌ
# A-1: ์คํฌ๋ฆฝํธ๋ก ๋ชจ๋ ๋
ธ๋์ ๋ฐฐํฌ (๊ถ์ฅ) - SSH ํจ์ค์๋ ์ฌ์ฉ
NODES=(192.168.1.10 192.168.1.11 192.168.1.12) # ์ค์ ๋
ธ๋ IP๋ก ๋ณ๊ฒฝ
for node in "${NODES[@]}"; do
echo "Deploying to $node..."
scp deployments/images/multinic-agent-1.0.2.tar root@$node:/tmp/
ssh root@$node "nerdctl load -i /tmp/multinic-agent-1.0.2.tar && rm /tmp/multinic-agent-1.0.2.tar"
done
# A-2: SSH Key๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ
NODES=(192.168.1.10 192.168.1.11 192.168.1.12) # ์ค์ ๋
ธ๋ IP๋ก ๋ณ๊ฒฝ
SSH_KEY_PATH="~/.ssh/id_rsa" # SSH private key ๊ฒฝ๋ก
for node in "${NODES[@]}"; do
echo "Deploying to $node..."
scp -i $SSH_KEY_PATH -o StrictHostKeyChecking=no deployments/images/multinic-agent-1.0.2.tar root@$node:/tmp/
ssh -i $SSH_KEY_PATH -o StrictHostKeyChecking=no root@$node "nerdctl load -i /tmp/multinic-agent-1.0.2.tar && rm /tmp/multinic-agent-1.0.2.tar"
done
# A-3: ๊ฐ๋ณ ๋
ธ๋์ ์๋ ๋ฐฐํฌ
scp deployments/images/multinic-agent-1.0.2.tar root@192.168.1.10:/tmp/
ssh root@192.168.1.10 "nerdctl load -i /tmp/multinic-agent-1.0.2.tar"
# A-4: ์ง์ ๋น๋ (๊ฐ๋ฐ์ฉ)
nerdctl build -t multinic-agent:1.0.2 .๋ฐฉ๋ฒ B: Nexus Registry ์ฌ์ฉ (Registry ํ๊ฒฝ)
# B-1: Nexus์ ์ด๋ฏธ์ง ํธ์ (๊ด๋ฆฌ์ ์์
)
nerdctl build -t multinic-agent:1.0.2 .
nerdctl tag multinic-agent:1.0.2 nexus.your-domain.com:5000/multinic-agent:1.0.2
nerdctl push nexus.your-domain.com:5000/multinic-agent:1.0.2
# B-2: ์ธ์ฆ์ด ํ์ํ ๊ฒฝ์ฐ ๋ก๊ทธ์ธ
nerdctl login nexus.your-domain.com:5000
# B-3: ๊ฐ ๋
ธ๋์์ ์๋์ผ๋ก ์ด๋ฏธ์ง Pull (Kubernetes๊ฐ ์๋ ์ฒ๋ฆฌ)
# helm install ์ --set image.repository=nexus.your-domain.com:5000/multinic-agent ์ฌ์ฉkubectl create namespace multinic-system# MultiNicNodeConfig CRD ์ค์น
kubectl apply -f deployments/crds/multinicnodeconfig-crd.yaml
# CRD ์ค์น ํ์ธ
kubectl get crd multinicnodeconfigs.multinic.io๋ก์ปฌ ์ด๋ฏธ์ง ์ฌ์ฉ ์:
# Controller Deployment + RBAC + ServiceAccount ์์ฑ
helm upgrade --install multinic-agent ./deployments/helm \
--namespace multinic-system \
--set image.tag=1.0.2 \
--set agent.metricsPort=18080 \
--set agent.preflightAllowUp=false \
--wait --timeout=300sNexus Registry ์ฌ์ฉ ์:
# Nexus Registry์์ ์ด๋ฏธ์ง ๊ฐ์ ธ์์ ๋ฐฐํฌ
helm upgrade --install multinic-agent ./deployments/helm \
--namespace multinic-system \
--set image.repository=nexus.your-domain.com:5000/multinic-agent \
--set image.tag=1.0.2 \
--wait --timeout=300s
# ๋ค๋ฅธ Registry ์์๋ค:
# --set image.repository=192.168.1.50:5000/multinic-agent
# --set image.repository=nexus.company.com:8082/docker/multinic-agent๋ฐฐํฌ ํ์ธ:
# Controller ์ํ ํ์ธ
kubectl get pods -n multinic-system -l app.kubernetes.io/name=multinic-agent-controller์ด ๋จ๊ณ์์ ์์ฑ๋๋ ๋ฆฌ์์ค:
- Controller Deployment: CR ๊ฐ์ ๋ฐ Agent Job ์ค์ผ์ค๋ง
- ServiceAccount + RBAC: Job ์์ฑ ๊ถํ ์ค์
- ์๋ํ ์์: ์ด์ CR ์์ฑ ์ ์๋์ผ๋ก Agent Job ์คํ
# ์ฐจํธ ์
๊ทธ๋ ์ด๋
helm upgrade multinic-agent ./deployments/helm \
--namespace multinic-system \
--set image.tag=1.0.3 \
--wait --timeout=300s# ์ฐจํธ ์ ๊ฑฐ
helm uninstall multinic-agent -n multinic-system
# CRD ์ ๊ฑฐ (์ ํ์ฌํญ)
kubectl delete crd multinicnodeconfigs.multinic.io
# ๋ค์์คํ์ด์ค ์ ๊ฑฐ (์ ํ์ฌํญ)
kubectl delete namespace multinic-system์ด Helm ์ฐจํธ๋ MultiNic Agent์ ๋ชจ๋ ์ปดํฌ๋ํธ๋ฅผ Kubernetes ํด๋ฌ์คํฐ์ ๋ฐฐํฌํ๊ณ ๊ด๋ฆฌํฉ๋๋ค.
vi ./scripts/deploy.sh
SSH_PASSWORD=${SSH_PASSWORD:-"๋ฐฐํฌ ๋์ ssh password ์
๋ ฅ"}
์ ์ฅ ํ deploy.sh ์คํ# ์๋ ๋ฐฐํฌ ์คํ
./scripts/deploy.sh๋ฐฐํฌ ์คํฌ๋ฆฝํธ ๊ธฐ๋ฅ:
- ํ์ ๋๊ตฌ ํ์ธ (
nerdctl,helm,kubectl,sshpass) - ์ด๋ฏธ์ง ๋น๋ (
nerdctl build) - ๋ชจ๋ ๋
ธ๋์ ์ด๋ฏธ์ง ๋ฐฐํฌ (
scp+nerdctl load) - CRD ์ค์น (
kubectl apply) - Helm ์ฐจํธ ๋ฐฐํฌ (
helm upgrade --install) - ๋ฐฐํฌ ์ํ ํ์ธ
- ๋ผ์ฐํ ์ง๋ ฌํ ์ค์ ์ ์ง, ๋ฉํธ๋ฆญ ์์ง ํ์ฑํ
# Controller Pod ์คํ ํ์ธ
kubectl get pods -n multinic-system -l app.kubernetes.io/name=multinic-agent-controller
# Controller ๋ก๊ทธ ํ์ธ
kubectl logs -n multinic-system -l app.kubernetes.io/name=multinic-agent-controller# ์ํ CR ์ ์ฉ
kubectl apply -n multinic-system -f deployments/crds/samples/
# CR ์ํ ํ์ธ
kubectl get multinicnodeconfigs -n multinic-system
# ์์ฑ๋ Job ํ์ธ
kubectl get jobs -n multinic-system -l app.kubernetes.io/name=multinic-agent# CR ์ํ๊ฐ "Configured"์ธ์ง ํ์ธ
kubectl get multinicnodeconfigs -n multinic-system -o custom-columns=NAME:.metadata.name,STATE:.status.state์์ ์ฑ๊ณต ๊ฒฐ๊ณผ
root@bastion:~/multinic-agent# kubectl get multinicnodeconfigs -n multinic-system -o custom-columns=NAME:.metadata.name,STATE:.status.state
NAME STATE
viola2-biz-master03 Configured
# ๋์์ฑ ์ ์ด (์์ ์ฑ vs ์ฑ๋ฅ ๊ท ํ)
agent:
maxConcurrentTasks: 1 # ๊ธฐ๋ณธ๊ฐ: ์์ ์ฑ ์ฐ์ (1-10 ๊ถ์ฅ)
# ์ด๋ฏธ์ง ์ค์
image:
repository: multinic-agent
tag: "1.0.2"
pullPolicy: IfNotPresent
# ์ปจํธ๋กค๋ฌ Job ๋ณด์กด ์ค์
controller:
jobTTLSeconds: "3600"
jobDeleteDelaySeconds: "1800"
metricsPort: "9090"SELinux enforcing ํ๊ฒฝ์์๋ ์์ฑ๋ ํ์ผ์ ๋ํด restorecon์ ๊ถ์ฅํฉ๋๋ค.
restorecon -Rv /etc/NetworkManager/system-connections
restorecon -Rv /etc/systemd/network# Pod ๋ฆฌ์์ค ์ ํ
resources:
limits:
cpu: 500m
memory: 512Mi
requests:
cpu: 100m
memory: 128Mi
# ๋ณด์ ์ปจํ
์คํธ
securityContext:
runAsNonRoot: false # ๋คํธ์ํฌ ์ค์ ์ ์ํด root ๊ถํ ํ์
privileged: true # ํธ์คํธ ๋คํธ์ํฌ ์ ๊ทผ ํ์helm upgrade --install multinic-agent ./deployments/helm \
--namespace multinic-system \
--set agent.maxConcurrentTasks=3 \
--set image.pullPolicy=Always \
--set resources.limits.cpu=1000m \
--set resources.limits.memory=1Gihelm upgrade --install multinic-agent ./deployments/helm \
--namespace multinic-system \
--set agent.maxConcurrentTasks=1 \
--set resources.limits.cpu=500m \
--set resources.limits.memory=512Mi# ๋ผ์ฐํ
์์
๋ฉํธ๋ฆญ ํ์ธ
curl http://localhost:8080/metrics | grep routing
# ์์ ๋ฉํธ๋ฆญ:
# routing_operation_duration_seconds_sum
# routing_operation_duration_seconds_count
# routing_operation_total{operation="configure",result="success"}# Controller ๋ก๊ทธ (CR ์ฒ๋ฆฌ ๊ณผ์ )
kubectl logs -n multinic-system -l app.kubernetes.io/name=multinic-agent-controller -f
# Agent Job ๋ก๊ทธ (์ค์ ๋คํธ์ํฌ ์ค์ )
kubectl logs -n multinic-system -l app.kubernetes.io/name=multinic-agent-job -f