본문 바로가기
Hardware/Server

2024년 1월 Bell Soft Network Home Lab 인프라 구성

by [방울] 2024. 1. 22.

2024-01-22 기준 현 셋업 정리

(사진은 작년 10월 기준)

 

 

# 장비

[방화벽]

CPU: Intel G4560

RAM: DDR4 32GB (16GB * 2)

OS: pfSense

 

[스토리지/서버]

Dell PowerEdge R930

CPU: Intel E7-8880v4 * 4 (88core)

RAM: DDR4 ECC Reg 32G * 48 (1.5 TB)

RAID Controller:

- Dell PERC H730P (HBA 모드)

- Dell P810 (IT Crossflasing 펌웨어, HBA 모드, DAS 전용)

 

Disk:

- (SATA) WD Blue 250GB * 2

- (SATA) WD Blue 500GB * 5

- (SATA) WD Blue 1TB * 1

- (M.2 NVMe) 삼성 970 EVO Plus 500GB * 1

- (U.2 NVMe) Kioxia CD6-R 7.68TB (KCD61LUL7T68) * 5

 

OS: TrueNAS Scale

 

[DAS]

Dell PowerVault MD1200

Disk: (SATA) HGST 4TB * 4, (SAS) HGST 4TB * 8

R930과 연결

 

[컴퓨팅 서버]

CPU: I7-8700

RAM: DDR4 32GB * 4 (128GB)

Disk: WD Green 120GB * 2 (OS Mirror), WD Blue 1TB * 1 (/var 파티션 전용)

 

[네트워크]

NEXT-3029GL2-10G (SFP+ 10Gbps 광케이블을 통해 서버간 연결)

Dell S6000 (QSFP+ 40Gbps, 팬 소음으로 예비 장비로 대기중)

[전원]

UPS: APC EasyUPS SRV3KRI (3000VA, 온라인 방식, 정전 시 백업타임 약 30분)

 

[예비 장비]

- Dell PowerEdge R720xd

- Dell PowerEdge R620

- Dell PowerEdge R610

- I7-2600

 

 

# 인프라 구성

[네트워크]

WAN -> pfSense (방화벽) -> NEXT-3029GL2-10G (스위치) -> 개별 서버

 

[스토리지]

R930 내 TrueNAS Scale 의 zfs Pool 이용

- NVMe Pool

- - Data: U.2 NVMe 7.68TB SSD * 5 RAIDZ

 

- HDD Pool

- - Data: SATA/SAS 4TB HDD * 12 RAIDZ2

- - 읽기 캐시: 1TB SSD

- - LOG (동기 쓰기 캐시): 500GB SSD Mirror

- - Metadata: M.2 NVMe 500GB SSD + SATA 500GB SSD * 2 (Mirror)

 

[VM]

- Zabbix Server (서버 및 네트워크 모니터링 도구)

- 레거시 웹 서버 (기존 VM 기반에서 운영하던 XE 등의 레거시 웹 서버)

- Rancher Cluster (K8s 클러스터를 편리하게 관리하기 위한 K8s 클러스터)

- -> Etcd, Control Plane, Worker Role이 통합된 VM으로 3개 가동

 

- Main RKE2 K8s Cluster (RKE2 기반 K8s 클러스터)

- -> 대부분의 워크로드를 해당 클러스터에서 실행, Etcd, Control Plane 이 통합된 VM 3개 및 Worker Role 을 가진 VM 3개 가동 (R930 내 CPU 소켓별로 NUMA Node 를 분리하여 VM 실행함)

 

[서버]

I7-8700 서버는 별도의 하이퍼바이저 OS를 띄우지 않고 바로 우분투 서버를 올린 뒤 RKE2 K8s 워커 에이전트를 실행 함

 

 

# 내부 서비스 구성

[설계]

디자인 시스템: Penpot

[개발]
형상관리: GitLab

이슈 트래킹: GitLab
CI/CD: GitLab CI
GitOps: Argo CD

[운영]
모니터링: Zabbix
로깅 시스템: EFK Stack
에러 트래킹: Sentry

[커뮤니케이션]
메신저: Mattermost
문서 관리: wiki.js
파일 공유: Nextcloud

[보안]
방화벽: pfSense
IPS/IDS: Suricata
내부 VPN: OpenVPN, WireGuard

[클라우드 서비스 지원]
객체 스토리지: MinIO
RDB: Percona MySQL Operator, PostgreSQL Operator
캐시: Redis Operator (Failover Cluster, Standalone)
로드 밸런서: MetalLB (BGP 라우팅 구성)
영구 스토리지 (K8s PVC): Democratic CSI
인증서 관리: Cert Manager
웹서비스 리버스 프록시: Nginx Ingress
K8s 관리: Rancher
가상머신: TrueNAS Scale, Proxmox VE

 

 

세부 구성을 전부 나열하기엔 너무 많아 전반적인 구조만 정리함

 

 

전기 요금: 한 달에 50만 원..

홈 랩 구성하실 분들은 참고 하시길..

 

 

2월에 추가로 변경된 구성 보러가기: https://tech.softbell.net/?p=376

댓글