Installation Proxmox KVM Host

Für Proxmox KVM werden 2670 Server verwendet. Das OS (Proxmox) befindet sich auf 2x240GB SSDs im HW RAID-1. Die beiden 3840GB SSDs für CEPH werden über den RC als Single Disk durchgereicht.

Der Server verfügt über 2x 10 Intel NICs, 1x Kupfer dediziert IPMI und 1x Kupfer an einen 10G Switch für Proxmox Cluster/corosync.

! Vor der Installation sollten unbedingt BIOS und IPMI aktualisiert werden

Proxmox Installationsmedium

  • Neuste Version von Proxmox auf share.noez.de runterladen.

    wget http://download.proxmox.com/iso/proxmox-ve_6.3-1.iso -P /home/samba/public/

  • Über interne IP auf IPMI zugreifen (10.0.10.X)

  • Virtual Media→CD-ROM Image

Share Host: 5.230.28.89
Path to image: \public\proxmox-ve_6.3-1.iso
User (optional): samba
Password (optional): bjUXTcMctcUV3s63

  • Save
  • Mount

CDROM&ISO Status - There is a disk mounted.

  • Zu „Remote Control → Console Redirection“ navigieren

  • Launch Console

  • Java Datei / iKVM Viewer öffnen

  • In iKVM Viewer „Power Control → Power Reset“

  • Beim Boot mehrmals F11 drücken bis Boot Menu erscheint

  • Virtual CD-ROM Drive auswählen

Proxmox Installation

  • „Install Proxmox VE“ auswählen, mit Enter bestätigen
  • EULA bestätigen → Next
  • Target: Filesystem ext4, Harddisk /dev/sda (240G) → Ok → Next
  • Country: Germany, Time zone: Europe/Berlin, Keyboard Layout: German → Next
  • Password: ********, Confirm: ********, E-Mail care@noez.de → Next
    (Tipp: Um das „@“ drumherum schreiben, falls Tastatur kein „@“ zulässt)
  • Management Interface: enpXsX (o.ä. 10G NIC) auswählen, Hostname (FQDN): kvm2670-0XX.noez.de, IP Address: 5.230.24.XX, Netmask: 255.255.255.0, Gateway: 5.230.24.1, DNS Server: 1.1.1.1 → Next
  • Summary Angaben prüfen und bestätigen mit → Install
  • Nach erfolgreicher Installation in IPMI: Virtual Media → CD-ROM Image → Unmount
  • Reboot

Webinterface

  • Über Webinterface (https://5.230.24.XXX:8006) zugreifen
  • Datacenter → kvm2670-0XX rechtsklick → Shell
  • nano /etc/apt/sources.list.d/pve-enterprise.list
  • Eintrag auskommentieren

#deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise

  • nano /etc/apt/sources.list
  • Letzte Zeile für no-supcription repo hinzufügen

deb http://ftp.de.debian.org/debian buster main contrib

deb http://ftp.de.debian.org/debian buster-updates main contrib

# security updates
deb http://security.debian.org buster/updates main contrib

deb http://download.proxmox.com/debian/pve buster pve-no-subscription

  • apt-get update && apt-get -y upgrade

  • apt-get install ifupdown2 openvswitch-switch

  • nano /root/.ssh/authorized_keys

  • Public Keys aus Datei auf anderem Server einfügen

  • nano /etc/ssh/sshd_config

[…]
#To disable tunneled clear text passwords, change to no here!
PasswordAuthentication no
[…]

  • service sshd restart
  • Shell schließen

Netzwerk Config

  • Datacenter → kvm2670-0XX (auswählen) → System → Network

  • vmbr0 (auswählen) → Port notieren → Remove (!!! NICHT auf „Apply Configuration“ klicken)

  • Create → OVS Bridge [Name: vmbr0, Bridge Ports: enpXsX (notierter Port), Comment: „Proxmox Public Bridge“] → OK

  • Create → OVS IntPort [Name: public, IPv4/CIDR: 5.230.24.XXX/24, Gateway (IPv4): 5.230.24.1, OVS Bridge: vmbr0, Comment: „Proxmox Public“] → Create

  • Create → OVS Bridge [Name: vmbr1, Bridge Ports: enoX (Kupfer Port), Comment: „Proxmox Cluster Bridge“] → OK

  • Create → OVS IntPort [Name: cluster, IPv4/CIDR: 10.253.200.XXX/24, OVS Bridge: vmbr1, Comment: „Proxmox Cluster/Corosync“] → Create

  • Create → OVS Bridge [Name: vmbr2, Bridge Ports: enpXsX (10G Port), Comment: „CEPH Bridge“] → OK

  • Create → OVS IntPort [Name: ceph, IPv4/CIDR: 10.252.200.XXX/24, OVS Bridge: vmbr2, Comment: „CEPH Public & Cluster“] → Create

  • „Apply Configuration“

  • Reboot (ggf. via IPMI iKVM)

Zertifikat beantragen

  • Datacenter->kvm2670-0XX (auswählen) → System → Certificates
  • Add Account [E-Mail, Accept TOS]
  • Add → Challenge Type: „HTTP“, Domain: „kvm2670-0XX.noez.de“ → Create
  • Order Certificates Now
  • Nach erfolgreicher Cert Request auf FQDN-Domain wechseln

CheckMK

siehe https://community.noez.de/t/host-zu-checkmk-hinzufuegen/1083

Cluster Join

WIRD BEI EINRICHTUNG VOM NEUEN NODE NACHGEPFLEGT

CEPH

WIRD BEI EINRICHTUNG VOM NEUEN NODE NACHGEPFLEGT