Redundantes Internet

Vorgeschichte

Fällt bei mir das Internet aus, bin ich im Grunde genommen von jetzt auf gleich so gut wie nicht mehr arbeitsfähig. Aufgeschmissen an so mancher Stelle: Videokonferenzen, Tools, Mail, Collaboration. Nüscht geht mehr. Die ohne Internet beendbaren Aufgaben sind in der Regel dann schnell abgearbeitet. Ich kann natürlich mein Notebook an ein Telephon koppeln und damit erst mal weiterarbeiten, aber dann kann ich auf keine weiteren Ressourcen zugreifen, die in meinem Netzwerk noch so rumstehen. Und da geht es um so simple Dinge wie meinen Drucker. Ich habe gemerkt, dass nichts die Usability von Papier und Bleistift entscheidend verbessert, wenn es um den Abgleich von Listen geht.¹ Die ganzen VMs mit Testbeds und Spielwiesen. Mein Fileserver mit 20 Jahren gesammelten Papern und dem gesammelten Flotsam und Jetsam² des professionellen Lebens, der nicht den Regeln der Dokumente meines Arbeitgebers unterliegt. Es gibt so viele Kleinigkeiten, die ich den Tag über nutze, die darauf angewiesen sind, dass ich meine Arbeitsgeräte nicht aus dem Heimnetz herauslöse und beispielsweise an den “Personal Hotspot” meines Telephons hänge.

Und eigentlich möchte ich auch nichts tun. Ich will, dass ich einfach weiter ins Netz komme. Ich will, dass auf eine andere Leitung umgeschaltet wird, sobald mir meine Hauptanbindung abknickt, aber auch automatisch wieder zurückgeschaltet wird, wenn der Knick in der Leitung wieder raus ist. Ich will eigentlich das haben, was viele meiner Kunden auch haben. Redundanz. Mir geht es nicht darum, dass das Ganze unterbrechungsfrei funktioniert, es ist schon okay, wenn ich dafür eine Session neu starten muss. Aber das sollte es dann auch gewesen sein.

Meine Anforderung ist es ebenfalls nicht, dass ich von aussen auf mein Netzwerk zugreifen können muss. Wenn ich unterwegs bin, reise ich mit kleinem Gepäck. Den Zugriff sicherzustellen, wäre bei Backupverbindungen über Mobilfunk schwer, da dem oft Carrier Grade NAT im Weg steht.

Bisherige Lösung

Meine Lösung war bisher, dass es schlicht zwei unabhängige Festnetz-Internetprovider im Haus gab. Ich hatte einen Anschluss via VDSL und einen zweiten über TV-Kabel, die tatsächlich sogar von den Vorbesitzern meines Hauses an unterschiedlichen Seiten des Hauses in dieses geführt wurden.

Und genau das hat mir auch schon mal den Allerwertesten gerettet. Ich benutze in Vorträgen gerne das Beispiel des Baggers, der eine wichtige Leitung durchtrennt. Ich hielt das immer für einen Mythos. Ich hatte Geschichten von diesem sagenumwobenen Bagger gehört. Aber Opfer eines solchen war ich nie. Das ist dem Kantholz auf der Autobahn nicht unähnlich, vor dem ich schon so oft im Radio gewarnt wurde, es aber nie gesehen habe.³

Aber: Ich hatte ihn hier tatsächlich, jenen das Internet kappenden Bagger, als hier der Fahrradweg vor meiner Tür erneuert wurde. An einem Tag, an dem ich einen Vortrag via Zoom halten musste. Es hat doch einige Zeit gedauert, bis das repariert war. Ein paar Tage später fand ich beim Vorbeilaufen mit dem Hund eine Stelle am offenliegenden Kabel, die verdächtig nach Reparatur aussah. Durch die zweite Leitung wurde das zu einem relativ folgenlosen Ereignis.

Zukünftig

Jetzt ändert sich an meiner Internetanbindung demnächst einiges. Ich werde verglast. Ich bekomme Glasfaser von der Telekom. Dabei habe ich 1 GBit/s gewählt. Ich habe mich gleichzeitig aus oben beschriebenen Anforderungen auch für einen Anschluss mit erhöhtem Servicelevel entschieden. Aber 8 Stunden Ausfall sind halt eben 8 Stunden. Das ist ein kompletter Arbeitstag, wenn irgendjemand, voll Freude und durch Kaffee und Frühstücksmettbrötchen gestärkt, um 8 Uhr morgens den Spaten nimmt und das Glasfaserkabel killt. Denn was ich bisher gesehen habe, als man mir das Kabel vor die Tür gebaut hat: Tief liegt es nicht.

Weil der neue Glasfaser-Anschluss an sich schon teuer genug ist, wollte ich nun nicht mehr gleichzeitig einen zweiten festen Internet-Anschluss zusätzlich im Haus haben. Also entschied ich mich für eine Backupleitung über 5G – eine “EhDa”-Vertragssituation nutzend.

Ubiquiti Unifi 5G Max

Wie sieht das nun technisch bei mir aus? Ich habe mit den Ubiquiti Unifi 5G Max gekauft. Sozusagen ein durch Unifi managebarer Router mit einem 5G Modem.

Wie ihr vielleicht schon in meinen Blogartikeln gelesen habt, habe ich mittlerweile enorme Freude an Dingen, die einfach funktionieren. Ohne dass ich viel dafür tun muss. Mein Netzwerk ist daher komplett auf Basis von Ubiquiti-Komponenten aufgebaut. Deshalb habe ich mich auch beim 5G für ein Gerät der Unifi-Reihe entschieden. Denn mittlerweile hält sich meine Lust, stundenlang an etwas herumzutinkern⁴, was es schon fertig gibt, halt arg in Grenzen.⁵

In der momentanen Umgebung läuft das Ganze über ein Unifi Cloud Gateway. Im Rahmen der Umstellung auf Glasfaser wird das allerdings durch ein Unifi Cloud Gateway Fiber ersetzt. Ich habe dieses primär gewählt, weil es 10 GBit/s unterstützt. Damit ist dann der ganze Backbone in meinem Hause auf 10 GBit/s. Darüber werde ich aber noch in einem eigenen Artikel berichten.

Erkenntnisse

Vielleicht an dieser Stelle einige meiner Erkenntnisse aus der Inbetriebsetzung:

• Ich verwende die Indoor-Variante. Es gibt eine aussen verbaubare Version, die kein Display hat und deren Antennen wohl eine deutlich höhere Richtwirkung haben. Mir erschien das auf Basis der sehr nahegelegenen Basisstation nicht notwendig.
• Das Gerät braucht Strom. So weit, so offensichtlich. Es ist aber kein Netzteil dabei. Es hat auch keinen Netzteilanschluss. Eine USB-C-Schnittstelle habe ich auch nicht gesehen. Es erhält seinen Strom via Power-over-Ethernet. Entweder man hat einen entsprechenden Switch (habe ich) oder man braucht noch zusätzlich einen PoE-Injektor. Wer beides nicht hat, guckt erst mal blöd aus der Wäsche, bis der Lieferant des geringsten Misstrauens eins von beiden herangeschafft hat.⁶
• Die Inbetriebnahme ging sehr schnell. Das Gerät wurde rasch zur Adoption angeboten und war danach Teil des zentralen Managements. Das Update auf die aktuellste Version dauert dann etwas. Sobald man die eSIM aktiviert hat, passiert dann das Meiste automatisch. Es funktioniert einfach. So wollte ich das haben. Es bindet sich von selbst als zusätzlicher Internet-Zugang ein. Auch die gesamte Konfiguration, damit später eine automatische Umschaltung stattfindet, passiert automatisch. Das Verfahren schaltet hier ja nicht von einem Port des Routers auf einen anderen um. Der Unifi 5G Max ist eine eigenständige Box irgendwo im Netzwerk. Die ganze Inbetriebnahme kam daher schon sehr meinem Ziel entgegen, nicht frickeln zu wollen. Dass ich dennoch debuggen musste, lag an einigen Altlasten in meiner Konfiguration.
• Apropos eSIM: Will man eine eSIM via QR-Code benutzen, braucht man die Unifi Mobile App. Damit kann man die eSIM dann recht einfach freischalten. Das Gerät unterstützt zwei physikalische SIMs (eine physikalische SIM, wenn man die eSIM-Funktionalität verwendet). Diese Funktionalität werde ich auf Dauer auch wohl nutzen. Wenn der Glasfaseranschluss fertig ist, läuft mein Internet über Telekom. Im Unifi 5G Max steckt momentan eine Telekom-SIM als eSIM. Ich werde wohl für den absoluten Notfall da eine Vodafone-Prepaid-Karte reinstecken, damit ein grossflächiger Telekom-Ausfall mich nicht so betrifft. Das Ganze würde dann als dritte WAN-Anbindung eingebunden werden.
• Man kann ebenfalls pro Netzwerk angeben, ob es die HA-Funktionalität fürs Internet nutzen soll. Ich habe beispielsweise das Appliances-Netzwerk davon ausgenommen. Es soll Notebooks und Telephone weiterhin mit Internet versorgen, nicht als kompletter Internetanschluss für alles. Es interessiert mich in diesem Fall nicht, ob die Fernseher und das ganze Kleingerätegeraffel ins Netz kommen.
• Bei dem gemessenen Durchsatz (dazu später mehr) wäre es tatsächlich möglich, alles über das Backup laufen zu lassen. Aber das ist nicht das Ziel der Lösung.
• Ich habe da jetzt eine Art Modell “Rote Steckdosen/Weisse Steckdosen” in Benutzung, das ich schon öfters in Unternehmen gesehen habe. Rote Steckdosen waren USV-abgesichert, weisse nicht. Ich lasse momentan nur bestimmte Netzwerke automatisch umschalten. Der Rest steht dann halt für mehrere Stunden im Dunklen, bis die Entstörung erfolgt ist. Momentan gibt es eh keine neuen Folgen von The Pitt. Ich komm schon einen Tag ohne HBO Max aus.
• Für diese Aufteilung in rote und weisse Steckdosen gibt es einen kommerziellen und einen technischen Grund. Der kommerzielle Grund: Mein momentaner Mobilfunktarif bei der Telekom ist hinsichtlich der genutzten Datenmenge unlimitiert. Ich könnte also auch fortgesetzt sämtlichen Traffic über diese Leitung führen. Ich schrieb aber davon, dass ich mir vermutlich zur Umgehung des kompletten Telekomnetzes noch eine Vodafone-SIM besorgen werde, auf die ich dann im Ausfall noch zusätzliches Datenvolumen buchen muss. Da habe ich dann nicht den Luxus, kein Limit zu haben. Der technische Grund ist auch relativ einfach: Wenn ich bandbreitenbeschränkt bin (und das bin ich beim Umschalten auf 5G im Vergleich zu meiner Leitung), möchte ich diese Bandbreite nur durch notwendige Systeme belegt sehen. Alle Appliances nicht umzuschalten wirft da schon mal einiges an Last ab.
• Kommen wir zum Restdebuggen: Wenn ihr Policy-Routing aktiviert habt, dann schaltet “Kill Switch” aus, wenn ihr aus Sicherheitsgründen diesen nicht braucht. Via Policy Routing kann man Traffic in eine vom Default abweichende Richtung zwingen. Beispielsweise das ganze Netz “blahfasel_us” durch einen VPN-Provider leiten, den man so konfiguriert hat, dass der Endpunkt in den USA steht. Die Option “Kill Switch” sorgt jetzt dafür, dass für den Fall, dass das VPN nicht verfügbar ist, nicht alles unverschlüsselt den normalen Weg raus geht, weil automatisch umgeschaltet worden ist. Ich habe die Policies inzwischen komplett gelöscht, da sie ein Überbleibsel dessen waren, wie ich die zwei Internetanschlüsse bisher integriert hatte.

In der Praxis

Butter bei die Fische. Ich messe 150 MBit/s im Downlink. Im Uplink sind es 105 MBit/s. Die 105 MBit/s finde ich erstaunlich hoch, ich bin hier eine deutliche Asymmetrie gewohnt. Messpunkt ist hier der 5G Max selbst. Die Ping-Zeit ist etwa 30 ms. Für meinen Anwendungsfall ist das mehr als ausreichend.

Die Geschwindigkeit ist hier eindeutig durch das Mobilfunknetz limitiert. Wenn ich die Daten der nächstgelegenen Basisstation richtig interpretiere, ist das schon so etwa das, was man von der Verbindung erwarten kann.

Wie lange dauert das Umschalten? Ich möchte das anhand eines Pings zeigen. Testcase war hier die Abschaltung des Kabelmodems.

64 bytes from 159.195.145.249: icmp_seq=24 ttl=55 time=24.725 ms
Request timeout for icmp_seq 25
64 bytes from 159.195.145.249: icmp_seq=26 ttl=51 time=27.036 ms

Anhand der veränderten TTL sieht man übrigens auch sehr einfach, dass die Datenpakete jetzt einen anderen Weg gehen. Nach Wiederherstellung des Links über das Kabelmodem steht dort wieder der alte Wert:

64 bytes from 159.195.145.249: icmp_seq=0 ttl=55 time=30.953 ms

Die Antwort ist also: Recht schnell. Man wird das sicherlich in den Applikationen merken, da jetzt natürlich sämtlicher Traffic von einer anderen IP kommt. Wie die Applikationen damit zurechtkommen, ist von deren Design abhängig.

Fazit

Die Verfügbarkeitssicherung mit dem 5G Max in der Unifi-Welt funktionierte schnell und problemlos. Die Geschwindigkeit liegt am oberen Ende dessen, was mir das Mobilfunknetz zur Verfügung stellt. Man hat natürlich die Einstandskosten, um eine Komponente in dieser Welt zu erwerben. Ich habe für meinen 5G Max etwa 420 Euro bezahlt.⁷ Die Kosten für die Zusatzleitung sind stark von eurer Mobilfunkvertragssituation abhängig. Ich habe sie recht preisgünstig als Zusatzkarte bekommen, die sich die Eigenschaft “unlimitiert” mit der Hauptkarte teilt. Bei euch mag das anders aussehen. Aber es bleibt ja immer die Möglichkeit, eine Prepaid-Karte zu verwenden und dann ggf. eine Dayflat draufzubuchen, sodass erst mal dort keine Bereitstellungskosten entstehen.

Verbesserungsvorschlag

Bei all dem habe ich natürlich auch einen Verbesserungsvorschlag für das Produkt. Der 5G Max läuft ständig für einen Anwendungsfall, der möglicherweise in der gesamten Lebenszeit des Produktes nie auftreten wird. Trotzdem nuckelt das Gerät dauerhaft an meinem Strom. 5,09 W wird vom Management für den Port angezeigt. Das sind etwa 45 kWh im Jahr, also je nach Tarif 15 bis 18 Euro. Für sich genommen nicht viel. Es ist eher die grundsätzliche Frage, ob ein Gerät durchlaufen muss, das man vielleicht nie braucht.

Nun wird das Gerät über einen Switch mit Strom versorgt. Im zentralen Management kann ich auf diesem Port den Strom ein- und ausschalten. Ich fände eine Option grossartig, die es mir erlauben würde, auf Kosten einer geringeren Reaktionsgeschwindigkeit Strom zu sparen. Nämlich dadurch, dass erst dann, wenn die primäre Internetanbindung ausfällt, der Strom auf dem Port eingeschaltet wird, an dem der 5G Max hängt. Dieser muss dann zwar auch erst booten, verbraucht aber auch nur für diese Zeit Strom. Ist das primäre Internet wieder eine Stunde stabil, kann man dann den Strom auf dem Port auch wieder ausschalten.

Natürlich geht dadurch eine wichtige Information verloren: Schalte ich das Gerät aus, weiss ich nicht, ob es funktionieren wird, wenn ich es wieder einschalte – gegebenenfalls erst nach vielen Monaten, Jahren gar. Dafür muss nur die SIM wegen Untätigkeit vom Provider abgeschaltet worden sein. Auch will man, dass das Gerät regelmässig auf die neuste Softwareversion gebracht wird. Zu diesem Zweck wäre es nützlich, das Gerät einmal in der Woche hochzufahren, nach Updates zu schauen und zu testen, ob die Verbindung noch funktioniert.

Ich überlege gerade, ob sich sowas auch selbst über eine API implementieren liesse. Da könnte man sich dann auch wildere Features einfallen lassen: Beispielsweise tagsüber sofort verfügbares Backup, in der Nacht muss erst der Strom eingeschaltet werden. Oder das Hochfahren des Ports, sobald bestimmte Clients im Netz aktiv werden. Ich werde über den Fortgang der Idee berichten. Und ja, ich weiss: Da ist wieder das Frickeln an einem Problem. Aber die Arbeit mit der Unifi-API ist wahrscheinlich ein rechtfertigender Erkenntnisgewinn.