Hardware für NAS (16HDD / 3U) gesucht

[rakso]

aber nur für die 1ZD101, nicht für die 2GS11L ?

 

[Bummibaer]

Hoi,
nach meinen Infos war die für das Model ST10000VN0004 mit bisheriger Firmware SC60 (also NICHT für die SAS und NICHT für die SED Varianten. Von irgendwelchen Abweichungen davon ist mir nichts bekannt. Danke erstmal für die Info. Ich schau nachher mal nach in der Datenbank wenn ich im Büro bin ob se die Partnumer nachträglich evtl. geändert haben und geb Bescheid.
Gruß Bummibär

 

[Bummibaer]

Hoi,
ich hab nachgesehen nochmals: In der DB vom Hersteller am 17.07.2019 20:07:15 gerändert auf "Models ST10000VN0004 und Part number 1ZD101-500 only". Der Filename wurde in diesem Zusammenhang auf "TatsuIronwolfSATA-STD-512E-SC61.LOD" gesetzt.
Gruß Bummibär

 

[rakso]

also gibts das update nur für die 3 HDDs, welche keine probleme machen. Dann ist das doch auch kein Ansatz.

10TB 1: ST10000VN0004-1ZD101
10TB 2: ST10000VN0004-2GS11L
10TB 3: ST10000VN0004-1ZD101
10TB 4: ST10000VN0004-1ZD101
10TB 5: ST10000VN0004-2GS11L macht die Probleme

 

[Bummibaer]

Hoi Rakso,

ich han Dir ne Mail mit zwei Tools zukommen lassen zur weiteren Auswertung aller Telemetriedaten.
Bitte nach Möglichkeit heute noch durchführen.

Gruß Bummibär

 

[rakso]

Dank!
Die Platte scheint allerdings so am a... zu sei, dass nichtmal mehr das geht, es kommt

Failed to pull UDS log
WARNING: Unable to read SMART Thresholds!!!
Failed to pull SM2 log

Die neue im 5er verbund im NetApp läuft nun schon seit einiger Zeit im resilvering, ohne Fehler.
Im SC836 haben auch mehrere gesponnen, daher bereue ich den Umstieg nicht.

 

[Bummibaer]

Hoi,
joar büddefein. Die SC836er Serie isch halt noch aus der Zeit von 1 und 2 TB Platten - das darf man natürlich auch nicht vergessen.
Gruß Bummibär

 

[mr44er]

Die Reihe NetApps ist auch aus der Zeit, aber anscheinend limitieren nur IOM3/6 ab 3TB pro Platte. Ist Hörensagen, selber geprüft habe ich das nicht.

Aber gut, dass man den Fehler auf eine Platte eingrenzen konnte. Montagsmodell oder könnte es sogar sein, dass dieses eine Mainboard mit den kaputten/buggy SATA-Ports die Platte gekillt hat?

 

[rakso]

hab die Noctua Lüfter eingebaut... diese brüllen aber nach einiger Zeit richtig krass.. lauter als die originalen... irgendwas passt da nicht... nur was?

https://forums.sudo.fail/t/guide-replacing-the-netapp-ds4243-ds4246-psu-fans/91

 

[rakso]

Hi zusammen, ich möchte jetzt den Speicher etwas aufrüsten.
Welche HDDs könnt ihr empfehlen? SAS soll ja besser sein. Kann man SATA und SAS im NetApp mischen?

ca 60 TB im Z2 Verbund nutzbar wäre mal eine Richtung, in die es gehen soll.

Danke euch und viele Grüße!

 

[mr44er]

Welche HDDs könnt ihr empfehlen?

NAS Drives und SMR - welche Platten kauft ihr für NAS/zpools

Hallo liebe Forenkollegen, musste letztens mit halb Erstaunen/halb Entsetzen feststellen, dass eigentlich alle Hersteller im Desktop- und sogar NAS-Plattensegment dazu übergegangen sind, einem Shingled-Magnetic-Recording (SMR) Platten unterzujubeln, was einem ja u.U. gleich nen zpool kosten...

www.bsdforen.de

SAS soll ja besser sein.

Kommt auf den Einsatzzweck an. Besser heißt nicht langlebiger. Besser für den Einsatz am Expander (HB-SBB2-E601-COMP) - ja!

Kann man SATA und SAS im NetApp mischen?

Man kann. Sollte man aber wirklich nicht.
Eine kaputte SATA-Platte kann bei Totalausfall oder bei nem rereading ausreichen, um den Pool zu blockieren oder gar gänzlich zu grillen.
Mischung=allerschlechteste Lösung, BACKUP BACKUP BACKUP
nur SATA=manche Platten werden nicht mit voller Geschwindigkeit angesteuert, generell Glückssache ob und wie lange das gut geht
nur SAS=beste Lösung

Die Frage SAS oder SATA sollte sich gar nicht erst stellen, wenn du in solchen Speicherregionen einen Kauf samt Einsatz am Expander planst. Die paar €s wären absolut am falschen Ende gespart (va. mit Blick aufs Risiko).

 

[rakso]

danke für deine ausführlichte antwort! sas und sata in einem zpool mischen möchte ich nicht.
da ich ja jetzt schon einen großen pool habe, der ja auch migriert oder gesichert werden soll auf vorhandene platten, würde ich am gleichn expander sata und sas mischen - aber ich fürchte, dass du genau das gemeint hast, was man nicht machen sollte, oder?

 

[mr44er]

Prinzipiell meinte ich beides. Man könnte sich überlegen, ob man das temporär zwecks einmaligem Umkopieren machen will, zeitgleich muss man auch mit den unvorhergesehehen Konsequenzen leben können, wenn es schiefgeht.

Die saubere Lösung wäre eine zweite Netapp, um den Pool rüberzuschaufeln oder eben temporär auf einzelnen sehr großen Platten.

 

[rakso]

Hallo! ich würde dann den zweiten pool bestehend aus neuen SAS Platten in ein anderes Gehäuse packen und dann über LAN rüberziehen, (oder andersrum).

hier hab ich n paar SAS Platten gefunden,... welche von den 12, 14 oder 16TB ist da am besten? von SMR und CMR steht da auch nichts dabei,.

SAS 3.5 Zoll HDDs

Hier finden Sie 59x SAS 3.5 Zoll HDDs diverser namhafter Hersteller in unserer Festplatten (HDD)-Kategorie

www.mindfactory.de

Lieber weniger Platten mit 16TB oder eine mehr, dafür 12 oder 14TB je HDD?
Für RAID-Z2 sollen ja 6 drives ne gute Anzahl sein..

Grüße!

 

[Azazyel]

hier hab ich n paar SAS Platten gefunden,... welche von den 12, 14 oder 16TB ist da am besten? von SMR und CMR steht da auch nichts dabei,.

SAS 3.5 Zoll HDDs

Hier finden Sie 59x SAS 3.5 Zoll HDDs diverser namhafter Hersteller in unserer Festplatten (HDD)-Kategorie

www.mindfactory.de

SMR hat in der Kapazitäts- und Preisklasse auch noch keinen Einzug gefunden, das ist mehr ein Thema für kleinere Consumerplatten - noch.

Im Highend-Bereich geht der Zug auch mehr Richtung Host-Managed SMR, die kann man aber meines Wissens noch nicht im freien Handel kaufen.

Lieber weniger Platten mit 16TB oder eine mehr, dafür 12 oder 14TB je HDD?

Geschmacksfrage. Bei der gleichen Kapazität brauchen weniger Platten weniger Platz und weniger Strom, dafür sinkt der Durchsatz und es steigen die Resilvering-Zeiten. Auf jeden Fall sollte man die Hersteller durchmischen, um vor Seriendefekten bestmöglicht gefeit zu sein.

Ich persönlich würde eher zu größeren Platten greifen, allein um mehr Raum für Erweiterungen zu haben.

Für RAID-Z2 sollen ja 6 drives ne gute Anzahl sein.

Geschmacksfrage. Die Faustformel sind 6-10 Platten pro RAID-Z2 je nach persönlicher Gewichtung. Pi mal Daumen wird darunter der Overhead, darüber die Ausfallwahrscheinlichkeit zu hoch. Das hängt aber enorm vom Anwendungsfall ab.

 

[mr44er]

von SMR und CMR steht da auch nichts dabei,.

Das ist ja der Gag, es steht nicht offensichtlich dabei und manche Hersteller haben das gern verschwiegen. Manche berichten auch, dass man SMR und CMR problemlos mischen kann. Da du neu kaufst, würde ich auf einen Mischkauf verzichten.
Lies den Thread bis Ende durch, da ist alles erklärt und dass man genauer gucken muss:

NAS Drives und SMR - welche Platten kauft ihr für NAS/zpools

Hallo liebe Forenkollegen, musste letztens mit halb Erstaunen/halb Entsetzen feststellen, dass eigentlich alle Hersteller im Desktop- und sogar NAS-Plattensegment dazu übergegangen sind, einem Shingled-Magnetic-Recording (SMR) Platten unterzujubeln, was einem ja u.U. gleich nen zpool kosten...

www.bsdforen.de

welche von den 12, 14 oder 16TB ist da am besten?

Das kann ich dir nicht beantworten. Wenn du Kapazität haben willst und Geld egal ist, dann eben 16T und für das Modell (Modellnummer) dann recherchieren, ob es CMR oder SMR ist.

https://www.reichelt.de/magazin/ratgeber/smr-cmr-welche-festplatte-eignet-sich-am-besten-fuer-welchen-zweck/

Grob: Wenn du eher vom Pool liest als schreibst, kannst du SMR nehmen.

 

[rakso]

okay, nun muss ich nochmal in mich gehe, was ich da an speicher brauch/möchte.

Kannst du mir noch eine Konbination aus Board/CPU (mit 8-12 SAS Anschlüssen) + PSU für das SilverStone SST-CS380 V2 geben? kann auch gern so ein SoC atom board sein.

Wegen dem Rüberkopieren: mit 10GigE gehts auch nicht schneller, weil die Platten/Raid auch nicht viel schneller als 100Mbyte/Sec sind, richtig?

 

[mr44er]

SMR hat in der Kapazitäts- und Preisklasse auch noch keinen Einzug gefunden, das ist mehr ein Thema für kleinere Consumerplatten - noch.

Gut zu wissen.

Auf jeden Fall sollte man die Hersteller durchmischen, um vor Seriendefekten bestmöglicht gefeit zu sein.

+1

Ich persönlich würde eher zu größeren Platten greifen, allein um mehr Raum für Erweiterungen zu haben.

+1

Zum Board kann ich nichts empfehlen, da bin ich nicht uptodate.

mit 10GigE gehts auch nicht schneller, weil die Platten/Raid auch nicht viel schneller als 100Mbyte/Sec sind

Doch. Du wirst vllt. die vollen 10G nicht auslasten, aber schneller als 1G geht das dann schon.

Eine Spalte 16TB raidz2 in der Netapp wären 6 x 16TB = 96TB brutto/64TB netto
Zwei Spalten 12TB raidz2 -> 12 x 12 TB = 144Tb brutto/96TB netto

Alles am Ende eine Frage des Anschaffungspreises und des Stromverbrauchs.

 

[rakso]

tendiere zu 6x 16TB...
möchte im SilverStone 380 dann die backup-maschine bauen.

SM-Boards: https://geizhals.de/?cat=mbson&xf=1...2~3745_16~3745_8~4400_Mini-ITX~544_Supermicro

das güntigste (440€) , hat 12 SATA3 Ports. Kann man da auch SAS Platten anschließen, oder?

A2SDi-8C-HLN4F | Motherboards | Products | Supermicro

www.supermicro.com

Und an dem 1 PCI-E 3.0 x4 Steckplatz dann eine 10GigE Karte? Welche ist da zu empfehlen?
Intel X550 mit 2x RJ45 ? https://forums.freebsd.org/threads/10gb-ethernet-nic-pcie-recommendation.76442/#post-472169

 

[Azazyel]

Die Frage SAS oder SATA sollte sich gar nicht erst stellen, wenn du in solchen Speicherregionen einen Kauf samt Einsatz am Expander planst. Die paar €s wären absolut am falschen Ende gespart (va. mit Blick aufs Risiko).

Kommt auf den Einsatzzweck an. Wenn man Festplatten kauft, will man ja bewusst ein günstiges Speichermedium, sonst würde man einfach alles mit SSDs ausstatten.

Wenn der Anwendungsfall es hergibt, würde ich direkt Richtung Objektspeicher gehen und mir die gesamte Komplexität von RAID-Z, NFS und Konsorten sparen. Dann wird auch die einzelne Platte und die Wahl SAS vs. SATA praktisch bedeutungslos. Aus gutem Grund gibt es auch im professionellen Bereich hierfür Installationen im Exabyte-Bereich mit SATA-Platten.

Doch. Du wirst vllt. die vollen 10G nicht auslasten, aber schneller als 1G geht das dann schon.

Ich würde es auch so sehen: welchen Grund gibt es, bei einer Neuanschaffung in 2021 nicht gleich auf 10G zu setzen.

möchte im SilverStone 380 dann die backup-maschine bauen.

Hast du das Gehäuse schon? Mit Mini-ITX schränkst du die Auswahl guter Mainboards erheblich ein.

Kann man da auch SAS Platten anschließen, oder?

SATA-Platten an SAS-Controller geht (meistens).
SAS-Platten an SATA-Controller geht niemals.

 

[mr44er]

Backblaze ist eine andere Hausnummer, die Pods sind direkt mit der Anforderung SATA zu verwenden gebaut.

Hier geht es ja speziell um die zur DS4246 aufgepimpte Netapp und da kann ich aus eigener Erfahrung berichten, dass SATA zwar funktioniert, aber nicht optimal und ja, auch ich habe mit den Interposern und verschiedenen Revisionen davon herumexperimentiert. Ja, die Netapps konnte man auch von der Stange SATA-bestückt bestellen, aber das war eher die Ausnahme, weil die Interposer hier weniger für dual path dranflanschen gedacht waren, sondern eher für Stabilität sorgen sollten. Es gab dennoch seltsame Probleme, die ich auch hatte.
Ich persönlich mag meine Daten nicht auf etwas Wackeliges betten, somit rate ich auch anderen Usern davon ab. Da hat nämlich keiner was von, wenn man pro Platte ein paar €s spart, aber der Spaß dann nicht lange währt oder man am Ende vor nem kaputten Pool steht. Vor allem, wenn man insgesamt trotzdem nicht wenig Geld ausgegeben hat oder das plant.

Das letzte Zitat ist falsch, das hat rakso gefragt.

 

[rakso]

Hast du das Gehäuse schon? Mit Mini-ITX schränkst du die Auswahl guter Mainboards erheblich ein.

SATA-Platten an SAS-Controller geht (meistens).
SAS-Platten an SATA-Controller geht niemals.

Ja, das Gehäuse habe ich schon einmal, drin steckt derzeit dieses Board:
https://www.supermicro.com/en/products/motherboard/A2SDi-2C-HLN4F

Also kann ich an dieses Board keine SAS Platten betreiben?

Ich suche halt noch eine (zwei das dann auch doppelt) backup-lösung des NetApp Systems dann. Aber nicht nochmal so ein riesen Ding, das DS380 Gehäuse mit der hohen Plattendichte gefällt mir ... nur mit externem PCI SAS Controller, wenn der nötig wäre, wirds wohl eng... der ja auch wieder Kühlung braucht

Ich dachte mir halt, dass ich die neuen SAS Platten an das zweite System anstöpsle, dann vom NetApp-SATA Pools rüberkopiere, dann die SAS Platten ins NetApp einbaue. Aber ich könnte es ja auch andersrum machen, die SATA Platten vom NetApp ins DS380 Gehäuse und die SAS Platten ins NetApp..

 

[mr44er]

Also kann ich an dieses Board keine SAS Platten betreiben?

Nope, das kann nur SATA.

Aber ich könnte es ja auch andersrum machen, die SATA Platten vom NetApp ins DS380 Gehäuse und die SAS Platten ins NetApp

Ja. Der absolut saubere Weg wäre SAS-Platten (und nur diese) in die NetApp, Pool darauf sauber einrichten und erst dann mit Daten befüllen.

Ich habe die für mich beste "keep it simple"-Konfiguration überlegt. Daumenregel: Eine NetApp - ein ganzer Pool und voll bestückt - va. auch wegen des Luftstroms.

Jede Spalte habe ich als raidz2-vdev definiert und sauber nach Schema gelabelt: Nummer NetApp-Nummer Slot-Letzte vier Ziffern HDD-SN
Der Hauptvorteil ist, dass ich pro Spalte mit unterschiedlichen Plattengrößen arbeite und damit den Pool im Bedarfsfall günstig mit 'nur' 6 größeren Platten wachsen lassen kann.

Wie gesagt, für mich die beste Konfiguration. Sähe dann so aus:

  pool: netapp00
state: ONLINE
  scan: resilvered 392G in 0 days 01:10:14 with 0 errors on Thu Feb  4 15:33:40 2021
config:

    NAME                    STATE     READ WRITE CKSUM
    netapp00                ONLINE       0     0     0
      raidz2-0              ONLINE       0     0     0
        label/na00s00-XXXX  ONLINE       0     0     0
        label/na00s04-XXXX  ONLINE       0     0     0
        label/na00s08-XXXX  ONLINE       0     0     0
        label/na00s12-XXXX  ONLINE       0     0     0
        label/na00s16-XXXX  ONLINE       0     0     0
        label/na00s20-XXXX  ONLINE       0     0     0
      raidz2-1              ONLINE       0     0     0
        label/na00s01-XXXX  ONLINE       0     0     0
        label/na00s05-XXXX  ONLINE       0     0     0
        label/na00s09-XXXX  ONLINE       0     0     0
        label/na00s13-XXXX  ONLINE       0     0     0
        label/na00s17-XXXX  ONLINE       0     0     0
        label/na00s21-XXXX  ONLINE       0     0     0
      raidz2-2              ONLINE       0     0     0
        label/na00s02-XXXX  ONLINE       0     0     0
        label/na00s06-XXXX  ONLINE       0     0     0
        label/na00s10-XXXX  ONLINE       0     0     0
        label/na00s14-XXXX  ONLINE       0     0     0
        label/na00s18-XXXX  ONLINE       0     0     0
        label/na00s22-XXXX  ONLINE       0     0     0
      raidz2-3              ONLINE       0     0     0
        label/na00s03-XXXX  ONLINE       0     0     0
        label/na00s07-XXXX  ONLINE       0     0     0
        label/na00s11-XXXX  ONLINE       0     0     0
        label/na00s15-XXXX  ONLINE       0     0     0
        label/na00s19-XXXX  ONLINE       0     0     0
        label/na00s23-XXXX  ONLINE       0     0     0

Edit:
Ich habe noch gutes Infomaterial dazu bei servethehome gefunden. Da kann man sich nochmal im Detail einlesen, Anregungen finden und sich so die Optionen ausloten.

SAS Expanders, Build Your Own JBOD DAS Enclosure and Save – Iteration 1

Guide to building your own low cost 4U JBOD DAS Enclosure using a HP SAS Expander to save money

www.servethehome.com

External SAS/SATA Disk Chassis Wiring - Part 1

We outline your options for wiring a server to connect to an external JBOD SAS/ SATA disk chassis.

www.servethehome.com

External SAS/ SATA Disk Chassis Wiring - Part 2

We outline your options for wiring an external SAS/ SATA disk chassis. This includes all of the components you need for a JBOD DAS or SAS Expander chassis

www.servethehome.com

BYO SAS Expander Deal: Intel RES2SV240 SAS 2 Expander

A great SAS expander deal was recently spotted. The Intel RES2SV240 SAS 2 expander is being sold at a 75% discount

www.servethehome.com

 

[rakso]

So, nun habe ich 6x ST18000NM000J (SATA) im SilverStone SST-DS380 drin. Allerdings werden immer nur 5 HDDs +1 (SSD) erkannt. Alle 6 nicht. Habe schon verschiedene Kabel und direkt-Anschluss durchprobiert und das BIOS des A2SDi-4C-HLN4F auf 1.4 vom Jan 2021 geupdated.
I-SATA 2 und I-SATA 3 geht nicht.
Im BIOS natürlich aktiv.

Wozu ist dieser Stecker (s. foto). Er würde auf JGP1 ( General Purpose I/O Header ) passen. Kommt mit dem Kabel aus dem SATA/SAS Portmultiplikator JSAS1 I-SATA 4-7 raus.

Ich wollte nun keine Wissenschaft draus machen, das scheint es aber immer noch zu sein

Liegts am Board? vllt doch nochmal ein Asrock Rack C2750D4I? aber hat das nicht bugs.. geht das mit den 18TB HDDs?
Will in dem DS380 eine kleine Backup-Maschine machen. Hätte da gerne SAS genommen, aber da hab ich ja kein Controller drin.

Was wäre denn euer/Dein Setup-Vorschlag für SAS mit 2 Gehäusen, also Rechner+Discs, oder halt (sowas wie) ein SuperMicro SC836, wo man gleich das Mainboard mit reinpacken kann...

Mein NetApp ist an ein C2750D4I angeschlossen. Dort ist ja der HBA drin. Mir wäre da ein Board mit mehreren PCI-Plätzen, so dass ich noch ne 10GigE Karte anschließen kann, auch lieber. Also das C2750D4I ins DS380 Gehäuse, und dann ein neues Board+Gehäuse für den NetApp-Rechner - nur welches? Also mind 2x große PCI-Steckplätze.

Viele Grüße

 

[mr44er]

Ich wollte nun keine Wissenschaft draus machen, das scheint es aber immer noch zu sein

Total combined PCI-E lanes and SATA ports is up to 8.

Das ist entweder oder je nach Belegung der lanes.
https://www.supermicro.com/manuals/motherboard/Atom_on-chip/MNL-1951.pdf
Seite 45

Kommt mit dem Kabel aus dem SATA/SAS Portmultiplikator JSAS1

Das wird als 8x activity LED gedacht sein für die Platten.
https://www.supermicro.com/manuals/motherboard/Atom_on-chip/MNL-1951.pdf
Seite 40 -> kann man wohl dann so einrichten.

Hätte da gerne SAS genommen, aber da hab ich ja kein Controller drin.

Was wäre denn euer/Dein Setup-Vorschlag für SAS mit 2 Gehäusen, also Rechner+Discs, oder halt (sowas wie) ein SuperMicro SC836, wo man gleich das Mainboard mit reinpacken kann...

Du kannst dir ja noch einen Controller kaufen oder eine 10G-NIC?
Oder du kaufst ein Board, was beides direkt drauf hat.
Die üblichen Verdächtigen: Supermicro, Tyan, Asus, Asrock
Gehäuse: SuperMicro, Chenbro, HP, Dell

Das Board mit den bugs würde ich mir tunlichst verkneifen. Ansonsten sollte auch eine 18TB-Platte an jedem SATA3-Port gehen.