GRE in der opnSense unter PVE bei Hetzner

[Tom]

Hallo Zusammen,

ich habe bei Hetzner eine Maschine (PVE) auf welcher wiederum eine opnSense-VM mit eigener Public-IP läuft, diese ist auch bei noez hinterlegt.

Dort habe ich ein gre-Interface:

sowie einige IPs konfiguriert welche wir zum testing bestellt haben:

ebenso den GRE-Tunnel selbst (welcher auch aufgebaut wurde):

Leider klappt die Verbindung nicht so ganz und auch hier im Community-Forum bzw. allgemein im Netz finde ich nicht so viel dazu.
Hat jemand oder vielleicht das noez-Team einen heissen Tipp, ich wäre sehr dankbar, ist sicherlich auch für die Allgemeinheit interessant.

Dazu sei noch gesagt dass mit dem GRE-Tunnel das erste mal die ganze opnSense offline gegangen ist, ich hab diese dann erstmal mit „pfctl -d“ wieder online gebracht.

Vielen Dank!

PS: Support wird leider nicht helfen wie er gesagt hat

[Tom]

for our English audience:

We have some servers over at hetzner using PVE and installed a opnSense-VM
which uses an own IPv4, this IP is in the Noez.de Panel so this is a fine basic setup.

We added a GRE Interface within opnSense (Image 1)

we added the IP-addresses too (Image 2)

and also the GRE tunnel itself, which is fully established (Image3)

Unfortunately its not working, the tunnel itself is up but we are unsure as we cannot find anything on noez.de nor the internet itself
Does anyone has a big tip?
We and also the internet-community would be super grateful.

A side note: as we established the gre our opnsense firewall made us unable to connect until we issued the command „pfctl -d“ to disable the firewall checking, its back online now.

Thanks!

PS: unfortunately the support doesn’t know what to do

[patrick1]

Hallo Tom,

hast du die Sache mittlerweile zum laufen gebracht? Ich plane nämlich ein ähnliches Setting.

LG
Patrick

[moe]

Moin zusammen,
ich bin meiner Lösung noch nicht ganz zu frieden aber sie funktioniert soweit gut.
Ich habe bei noez 3 einzelne IP Adressen gebucht:

• XXX.XXX.XXX.77
• XXX.XXX.XXX.78
• XXX.XXX.XXX.98

In Proxmox habe ich die Netzwerkschnittstelle vmbr0, welche auf die physische Netzwerkkarte gebrückt ist, und vmbr1, ohne Brücke auf ein andere Netzwerkschnittstelle. In opnsense ist die vmbr0 als WAN- und vmbr1 als LAN-Schnitstelle angebunden. In Opnsense hat die WAN-Schnittstelle eine öffentliche IPv6 aus dem zugewiesene Subnetz des Hosters, diese wird verwendet um den GRE-Tunnel auf zubauen.

Als erstes habe ich in Opnsense unter Schnittstellen → Andere Typen → GRE einen GRE Tunnel angelegt.

Anschließend unter Schnittstellen Zuweisung ein neue Schnittstelle anlegen und dieser die den GRE-Tunnel als Gerät auswählen. Bei mir heißt die Schnittstelle OPT1 und hat die folgenden Konfigurationen:

Anschließend muss noch eine Firewall Regel angelegt werden damit der Tunnel aufgebaut werden kann. Dazu unter Firewall → Regeln → WAN die folgende Regel anlegen:

Anschließend habe ich die ausgehenden NAT Regeln auf den Manuellen Modus gesetzte die beiden NAT Regeln angelegt, damit die automatisch zugewiesene IPs auf dem LAN Interface weiter ins Internet kommen:

Damit ich die per GRE gerouteten IP-Adressen einfacher verwalten kann habe ich eine Firewall Aliase von Typ Host mit dem Namen noez_gre_addr angelegt und die folgende Firewall Regel für die Schnittstelle OPT1 angelegt:

Damit kommen die Packete schon mal der Opnsene an, da ich die IP Addressen VMs zuweisen möchte musste ich noch zwei Firewallregeln füs LAN Interface anlegen:

Bei mir stehen die beiden Regeln ganz oben in der Liste.

Zu dem Teil der mir noch nicht gefällt. Der Traffic kommt nun am LAN Interface an und muss nur noch auf darauf geroutet werden. Das habe ich bisher nicht geschafft. Behelfsweise habe ich eine Virtuelle IP auf dem LAN Interface angelegt:

Ich habe probiert hier ein möglichst kleines Subnetz zu nehmen. Das kleinste Subnetz in dem die IP-Addressen XXX.XXX.XXX.77, XXX.XXX.XXX.78 und XXX.XXX.XXX.98 liegen ist XXX.XXX.XXX.65/26. Das Problem ist, dass alle anderen IP-Addressen die in dem Subnetz liegen nicht mehr vom Server aus erreichbar sind. Ich weiß noch nicht wie ich den Linux Befehl ip route add XXX.XXX.XXX.77/32 dev LAN in Opnsense umgesetzt bekomme.
Jetzt kann eine VM oder ein LXC Container anleget werden und diesem eine der IP-Addressen zugewiesen werden, wichtig ist nur das als Netzwerkschnittstelle die vmbr1 ausgewählt wird.

Vieleicht hilft euch das ja weiter.

Viele Grüße
Moe

[info3]

@moe

ip route add XXX.XXX.XXX.77/32 dev LAN

Hey,

ich habe alles genauso gemacht wie du. Die GRE-Verbindung wurde in OPNsense erfolgreich aufgebaut.

Jetzt möchte ich jedoch Endgeräte an einem zusätzlichen Interface (dritten LAN-Port) mit statischen IP-Adressen konfigurieren. Wie gehe ich dabei am besten vor?

Das zusätzliche Interface habe ich eingerichtet, weil über das bestehende LAN-Interface bereits der normale Internetzugang für mein Heimnetzwerk läuft.

Ich hoffe, du kannst mir folgen.

Grüße,
Benedikt

[moe]

Das kommt ein wenig auf dein genaues Setup drauf an und wie du das gerne umsetzten möchtest über Layer2 oder Layer3.

Du kannst der Opnsense auf deinem neuen Interface die geliehene IP-Adresse setzten anstatt diese als VirtuelleIP anzulegen, dann kannst du an den Geräten die Noez-Adresse statisch setzten mit der entsprechenden Subnetzmaske und dem Gateway.

Ich setzte persönlich gerne auf Routing, da ich mit switching von IP-Adressen bzw. Subnetzten in der Vergangenheit schlechte Erfahrungen gemacht habe.

Ich nutze die Noez Adressen für den LB in meinem Kubernetes Clusters. Bei mir hat das LAN Interface lokale IP-Adressen auf die ich die Noez Adressen Statisch route. Du könntest deinem LAN3 Interface an der Opnsense z.B. das Netzwerk 172.16.0.1/24 zuweisen ohne Gateway. Auf deinem Gerät setzte du dann z.B. die 172.16.0.2/24 mit den Gateway auf 172.16.0.1. Zusätzlich setztet du die Noez Adresse z.B. XXX.XXX.XXX.77/32 auf das Interface. Für Linux wäre das:

ip addr add 172.16.0.2/24 dev eth0
ip route add default via 172.16.0.1
ip addr add XXX.XXX.XXX.77/32 dev eth0

Dann erstellt du unter System → Gasteways → Konfiguration einen neue Gateway für die Opnsense:

Anschließend musst du unter System → Routen → Konfiguration noch die Statische Route einrichten. Bei Netzwerk kommt die Noez Adresse rein also z.B. XXX.XXX.XXX.77/32 und unter Gateway wählst du das zuvor erstelle Gateway aus.