QuicksearchEvents13.10 - 15.10 - Horizons EMEA
![]() Trusted AdBlower Door Test
Luftdichtigkeitsmessung für Gebäude Raum Hamburg ab 160 € excl. MwSt www.m-tectum.de Kategorien
|
Das Rechenzentrum von morgenTuesday, March 18. 2008Comments
Display comments as
(Linear | Threaded)
Zunächstmal: der Link zum Linuxmagazin ist b0rken.
Leider war ich nicht auf dem FFG der GUUG - ich habe aber die Proceedings gelesen und dabei ist mir auch dieser Vortrag aufgefallen. Am meisten hat mich an dem vorgestellten Szenario die Netzwerkinfrastruktur überrascht. Es sah so aus, als würden in jedem Rack 32 oder 36 Blades bzw. VMs zum Einsatz kommen (es waren IMHO vier Racks eingezeichnet). Diese sollten über (je einen?) 24-Port Gigabit Switch pro Rack auf zwei 10 Gigabit Switche aggregiert werden (wobei die auch nicht allzuviele Ports hatten). An den 10 G Switchen hingen auch noch die Storage-Boxen, die das Storage für die Blades per iSCSI bereitstellen sollten. Sah mir ein wenig schwachbrüstig und fehleranfällig aus. "The Practice of System and Network Administration" predigt da etwas anderes (zentrale Switches und Patchpanels in den Racks).
Ich habe mir mal die Proceedings angeguckt, um zu wissen was Mathias schon erzaehlt hat, weil ich nicht mehr erzaehlen moechte.
Also per Rack liegen 40 GBit/s pro Richtung. Zwei Switches, jeder Switch ist mit 2*10 GBit/s angebunden. Mit per VLAN-Spanning-Trees und gutem Traffic Engineering kann man auch dafuer sorgen, das nicht einmal die kompletten 10 GBit/s dem STP blocking anheimfallen. So wirklich schwachbruestig erscheint mir das nicht. Der innere Core besteht dann aus den 10 Gbit/s switches. Ich mag den Ansatz "ein zentraler Switch" nicht. Der Ansatz erscheint mir wenig dynamisch und ich mag die Kabelbaeume, die sich dadurch ergeben und die Luftfuehrung im Rack noch weiter erschweren.
Hm. Eigentlich ist das ja keine Frage von mögen oder nicht mögen.
Im Rack liegen immer gleichviele Kabel (egal ob oben/unten ein Patchpanel oder ein Switch eingebaut ist). Vom Panel zur zentralen Switchinfrastruktur geht natürlich ein Kabelbaum. So ist der Netzwerkkram an einer Stelle konzentriert. Die "Dynamik" wird durch die VLANs erreicht.
Ich dachte da eher an die Dynamik mal schnell ein Rack daneben zu stellen. Vier Glassfaserkabel sind sehr viel schneller durch den Doppelboden gezogen als potentiel hunderte Ethernetverbindungen.
Das Dogma "zentraler Switch" mag gut sein, wenn ich nur 10 4-HE Server im Rack habe oder Switches in den Bladeshelves nutze , aber wenn man das jetzt mal auf meinetwegen 40 Blades habe, die alle redundant angebunden werden sollen, dann bin ich bei 80 Kabeln, die ich zu einem Rack fuehren muss. Will man potentiell jeder Blade noch die moeglichkeit geben, sich mit vier netzwerkkarten anzuschliessen, bin ich ploetzlich bei 160 kabeln pro rack. Ich denke Loesungen mit sehr hoher Dichte rufen nach anderen Loesungen. Das haben wir ja auch beim TACC gemerkt, so das wir irgendwan eigene Infiniband-Kabel entwickelt haben, um den Wust zu reduzieren.
Also es gibt so Sachen wie HP's "Virtual Connect", wo man die Netzwerkkarten "konsolidiert" (und nebenher auch die FC-HBAs virtualisiert).
Gibt's da eigentlich auch ein SUN-Produkt in der Ecke? Wie Joerg sagt, ergeben sich sonst absurde Kabel-Orgien, wenn man via Pass-Through arbeitet. Der Nachteil ist ganz klar, das man nochmal einen zusätzlichen, wie soll ich sagen, "Abstraktionslevel" hat. Wenn man SAN oder iSCSI-Boot (wann geht das eigentlich mit Solaris?) hat, kann man ja prinzipiell von jedem Schacht aus jedes Blade booten, die klassische "Server-Beschriftung" ist dann obsolet. Das macht die Zonen-Verwaltung extrem stressig, man muss aufpassen wie ein Schiesshund, das man nichts falsch "presented". Habe ich aber via VirtualConnect auch noch die HBAs virtualisiert, muss ich nochmal einen zusätzlichen Fehlerfaktor ausschliessen...
Mir geht der Ansatz von Virtual Connect nicht weit genug und hat ausserdem auch noch den Nachteil herstellerspezifisch zu sein.
Wie ich schon schrieb, liegt einiges der Secret Sauce in der Art und Weise der Orchestrierung dieser Systeme. Warum mir VC nicht weit genug geht? Man will nicht Systeme provisionieren, sondern Services. Ein System macht ja an erstmal garnichts, es braucht die Konfiguration des Services. Baue ich das Netz so auf, das ich den Hypervisor dazu verwenden kann, eine VM durch Konfiguration am Hypervisor und nicht am Netz in ein beliebiges Netz zu stellen, habe ich viele Vorteile von VC auch ohne herstellerspezifische Komponenten. Die Provisinierung der Applikationen erfolgt dann mit einem entsprechenden Tooling, bei Sun also N1SPS. Services ergeben sich durch die Kombination standardisierter, reproduzierbarer Komponenten. Eine Komponente ist dann die am Hypervisor ausgefuehrte Integration in ein bestimmtes Netzwerk. Mithin soll sich der Mensch garnicht mehr um die Zonenkonfiguration kuemmen, sondern sie ist ein Produkt der Servicekonfiguration und wird nur daraus abgeleitet. Betriebsysteme werden dann nur noch wegwerfbare Applikationsausfuehrungsinstanzen, die durch Snapshoting auf Storageebene sehr schnell hergestellt werde koennen und genauso schnell auch wieder entfernt werden koennen. Automatisierte Provisionierung mit der Blickrichtung des zu erstellenden Services erlaubt es mir dann, herstellerunabhaengig ein generisches Rechenzentrum in mein Rechenzentrum umzuwandeln, ohne irgendwann noch umaendern zu muessen. Wobei: Rocket Science ist das alles nicht. Bei Canbox habe ich 2000 ein Cluster aufgebaut aus 4 Schraenken x86 Server. Aus diesem "TheHive" genannten cluster konnte man damals ueber einen LDAP-Server services deployen. Nur mittlerweile ist sowas aus der Bastelecke raus und die Netzwerkbandbreiten reichen heute aus, ein Problem zu loesen, das ich damals hatte: Man kann jetzt auch vernuenftig Dienste die haeufig auf Speicher zugreifen damit implementieren.
Wir benutzen 2 zentrale Switches und 2 redundant verkabelte kleine Switches pro Rack. Das funktioniert sehr gut so. Aber wir haben auch kein Bandbreitenproblem, teilweise haben wir Hosts, die noch mit 100MBit angebunden sind. Von Patchpanels halte ich nicht so viel, viel zu statisch und teuer beim Aufbau. Und inflexibel, wenn man statt Kupfer doch mal eine Glasverbindung braucht.
grins die Frage ist ja auch ob die Lehrmeinung "zentraler Switch" nicht eher von der Kupfer und den Herstellern der Modularswitch-Fraktion gesteuert wird.
Mal ernsthaft: Das Problem der dicken Kabelstraenge geht ja weiter bei hochdichten Systemen. Man stelle sich die Auswirkungen auf den Luftstrom vor, wenn man von jedem Rack ein solches Buendel Kabel legt. 80 bzw 160 Kabel ergeben schon einen ziemlich Umfang, wenn man nicht irgendendwie spindelduerre Kabel nimmt. Dann kann man das noch zur Bodenlast hinzurechnen. Alles kein Problem bei wenigen Servern pro Rack. Aber es summiert sich eben ...
Ich frage mich trotzdem, warum SUN keine Switche fuer die Blades hat. Statt dieser NEM-Teile (12 Netzwerkkarten auf einer Platine, fuer jede Blade eine) waere doch ein Switch mit 2 10GigE-Ports hier genau das Richtige. Egal, ob nun Ethernet, Infiniband oder was auch immer. Die Verkabelung koennte so viel, viel schicker werden.
Meine Erfahrung zu ESX und Uhrzeit ist, das man nichts was auch nur grob auf eine korrekte Systemuhr angewiesen ist auf einen ESX-Server tun sollte. Sobald die VM oder der ESX-Server selbst unter Last kommt verlieren die Systeme Sekunden das man dabei fast zugucken kann.
Das ist so nicht ganz korrekt, ich habe bei mehreren Kunden damit keine Probleme. VMware selber gibt einem dazu auch genug Material an die Hand um das Problem zu verstehen und zu umgehen / zu lösen. Dazu kann ich nur immer auf folgendes Dokument verweisen: http://www.vmware.com/pdf/vmware_timekeeping.pdf
Ist bekannt, trotzdem gibt es auf den per NTPD syncronisierten Servern ständig Ärger.
Der NTPD geht von einer diskret verlaufenden Hardwarezeit aus und kommt deshalb mit den VMWare-Uhren nicht klar. Ich setze stumpf die
Uhr per cronjob mit ntpdate
Was wiederum zu einem nichtstetigen Verlauf der Zeit fuehrt. Fuer Anwendungen die genaue Zeit brauchen ist das wiederum auch unschoen.
Das Uhrproblem kann man, unter Linux, mit dem Bootparameter "clock=pit" umgehen.
Wie das bei Solaris aussieht.... naja das haben wir noch nicht unter VMware laufen.
Ich habe ja bei den ganzen Unix-Lösungen für HA usw. immer den Verdacht, daß OpenVMS-Cluster das seit Jahrzehnten können...
Nein ... die OpenVMS-Loesungen koennen teilweise immer noch mehr ... deswegen ist es so schade, das HP das nicht mehr weiterentwickelt ...
Das würde ich so nicht sagen. OpenVMS wird schon weiter gepflegt und support gibt es auch noch ein paar Jährchen. Ist schon ein geiles Systems.... ich muss immer wieder an die Geschichte eines VMS Clusters in Amsterdam denken, bei dem das Cluster länger oben war, als die Komponenten alt waren.
Es ist irgendwie schade um dieses Betriebsystem. Man kann eigentlich jeden Fragen, und aus irgendeinem Grund schwaermen alle ueber irgendein Features aus diesem Operating Environment ...
Wirklich erschreckend ist, wie sehr VMS verschwiegen wird.
Ich kenne einige Informatik-Studiengänge, und in keinem erfahren die Studierenden (auch in den Betriebssystem-Kursen), daß es VMS gibt und was es kann.
Fuer viele Studenten scheint es heute sowieso nichts anderes mehr als Linux und Windows zu geben, manchmal noch MacOS ...
|
The LKSF bookThe book with the consolidated Less known Solaris Tutorials is available for download here
Web 2.0Contact
Networking open.bc My photos SyndicationComments about Hoerempfehlung: Peter Heppner - solo Tue, 07.10.2008 13:35 Heute morgen auf dem Weg zur A rbeit lief im Radio das Lied A lleinesein. Die Stimme klingt nach Wolfsheim aber der [...] about ZFS in der c´t Tue, 07.10.2008 13:03 Jo ... das ist enterprise-grad e ... es soll verhindern, das die Daten auf keinen Fall und unter keinen Umstaenden [...] about ZFS in der c´t Tue, 07.10.2008 11:49 ob die Datenhalde eines typisc hen ct-Lesers schneller werden wuerde, wenn man sZIL und L2A RC auf nen USB-Stick leg [...] about ZFS in der c´t Tue, 07.10.2008 11:48 da steht auch das ZFS nicht si nnhaft erkennt wenn man zwei P latten aus dem Raid-Verbund zi eht (hang forever+reboot [...] Getaggte ArtikelAMD Apple avs Bahn Blogging Blogosphere braindump Business Travel CeBIT cec cec2006 CMT del.icio.us deutsch dtrace fliegen Fundsache General Hamburg IBM i hate sundays Intel iscsi jumpstart Links Linux lksf Mindfuck Movies Music Musik Niagara Opensolaris Opteron Photographie policy of ... Politik Security Solaris storage Sun suncec2007 sunw t1 The IT Business Ultrasparc ultrasparc t1 Wirtschaft Work ZFS
Blog Administration |
(this is a translation of this article: Das Rechenzentrum von Morgen) There was an article in about an presentation of two colleagues: GUUG-Fachgespräch: Wie Sun die RZ-Architektur von morgen sieht ("GUUG Fachgespraech: How Sun views the datacenter of
Tracked: Mar 22, 16:47