Ämne: Kyla till serverrum

[Nisken]

högre än 30 grader, vilket är acceptabelt för i stor sett all datautrustning idag.

Generellt rekommenderas att en server ska ha tillgång till kylluft som håller mellan 18-21 ºC för att få rätt kylning och ge full livslängd. De flesta servrar fungerar upp till runt 30 ºC men inte så länge.

Om du varaktigt kör dina servrar med en rumstemperatur på 30 ºC (eller högre) kan du inte räkna med att disksystemet kommer att hålla i mer än max ett år eller två. Även CPU,VRM, minne och P/S kommer att slitas ut i förtid. En annan effekt är att du med stor sannolikhet kommer att få oplanerade driftavbrott då servrarna kommer att skydda sig själva genom att stänga av sig pga övertemperatur.

Sen har många servrar (iaf från de större tillverkarna) funktioner som gör att dom "växlar ner" processorhastigheten om det blir för varmt. Svårt att hitta felet då allt ser ut att fungera men dom går på halvfart.

Sen kan ju fråga sig varför man kyler ett helt rum när det egentligen bara är utrustningen som behöver kylas. Ta en titt på HP Modular Cooling System (MCS). Bara kyla där det behövs. Men det är nog inte helt gratis i investering men lönar sig på sikt då man kan sänka kylkostnaden med över 50%.

/Johan

Tja läser jag manualerna till några av alla dom servrar jag installerat i mina dar, så brukar dom ange 0-40 ºC....

Det är stordatorutrustning och en del "minidatoror" som kan speca kyla, PC-baserade servrar (är inte 90% x86 idag??) klarar sig finfint upp till sådär 40 ºC och internt i datorn upp till lite till. Att en interntemp i höljet på 30-35 ºC skulle vara problem - har jag aldrig hört talas om.

"kan du inte räkna med att disksystemet kommer att hålla i mer än max ett år eller två" skriver du - jag har åtminstone 10 gamla PC häckar som står där ute HELT okylda där sommarmånaderna nog kan bli 30-35 ºC på kontoret i de utrymmen de står i, INGEN av dom har någonsin behövt bytas diskar i, INGEN av dom är yngre än 3 år flera både 5 och 6 år....Självklart skulle dom hålla ännu längre om man sänker tempen, frågan är om det behövs??

Fläkt för att köra ut överskottsvärme duger bra i dom allra flesta fall - fast om man kan lura "chefen" att få budget för kyla kanske man kan avleda lite till det egna skrivbordet....även på små kontor.

[Mr.Panasonic]

Ett bra alternativ kanske är att bara sätta 2st rena luftkonditioneringar på vinden du pratade om
och att investera i en vattenkyld anläggning som du kan starta i nödfall.

PS. Erfarenheten säger att behöver du 7 kw kyla i dag så behöver du snart mer se till att ÖVERDIMISIONERA Datorerna blir bara kompaktare med åren men satidigt avger de mer värme i förhållande till den plats dom tar.

mvh

[luckyman]

Mina servrar stängs av automatiskt om det blir varmare än 32 grader i omgivningstemperatur.
Därför larm vid 28

[jockefors]

hej ..
kyl med ouppvärmd inne luft...
det måste ju gå att slå av värmen i nått närliggande rum å fläkta in luft i golvnivå i server rummet
sen fläktar ni ut varmluft uppe vid taket till nått utrymme som ni vill ha varmt i
eller led in luften till rummet ni tog den kalla luften i från...

[utopiazz]

Nisken:
Egentligen kanske vi ska ta den diskussionen vid sidan om.

Jag har jobbat både som servicetekniker (10år) och som konsult (12år) med inriktning på servermiljöer och byggen av datahallar.

Jag skulle knappast säga till mina kunder att det är OK att ha 30-35 ºC varmt i deras serverhallar. Du får gärna ha hur varmt du vill runt dina maskiner men jag tycker inte du ska slänga ur dig "högre än 30 grader, vilket är acceptabelt för i stor sett all datautrustning idag" för det är inte hela sanningen. Utrustningen klarar 30-35 ºC om du har tillräckligt med luftflöde genom utrustningen. Problemet är bara att väldigt få klarar av att bygga en miljö där servrarna får just tillräckligt med luft.
Hur många gånger har jag inte kommit ut till olika kunder (även riktigt stora med utbildad personal) där servrarna siter i ett rack med stängd glasdörr eller där hela luftutblåset är täckt av kablar. Det finns ett typexempel där vi gjorde en besiktning efter en "proffsinstallation" av en stor svensk hallbyggare. Där stod alla racken vända åt samma håll vilket gjorde att rack 1 blåste sin begagnade luft in i rack 2 som blåste den dubbelt begagnade luften in i rack 3 osv. Trots att man låg på 20 ºC i rumstemperatur landade inblåset i den sista raden (rad på 35-40 ºC vid full drift. Lösningen på problemet är att vända varannan rackrad. Det är enkelt om man bara gör rätt från början.

I större sammanhang när det gäller datahallar pratar man ofta om "punktkylning" i racken eller om "varma/kalla korridorer" men det är nog överkurs.


Saxat från HP gällande Proliant
Min Operating Temperature: 10 °C
Max Operating Temperature: 35 °C

Saxat från IBM gällande xSeries
Min Operating Temperature: 10 °C.
Max Operating Temperature: 35 °C

Saxat från Dell gällande PowerEdge
Operating Temperature: 10º C to 35º C

Både HP Proliant, IBM xSeries och Dell PowerEdge stänger av sig själva om temperaturen internt uppnår ett tröskel värde. Värdet är lite olika beroende på vilken komponent det är som blivit för varm. Sen finns det ytterligare ett värde som ligger med lite marginal under tröskelvärdet, uppnås detta men inte det övre värdet så skickas en "Shutdown" signal till operativet att stänga ner systemet snyggt.

För moderna hårddiskar brukar värden ligga mellan 10 °C och 50 °C. Det är den temperatur som hårddisken i sig får uppnå. Tittar man på de nya diskarna som sitter i en riktig server så har dom oftast ett varvtal på 10 eller 15000rpm. Den värme som genereras är rätt stor när dessa diskar packas ihop i fronten på en server.

Problemet kommer inte att minska i framtiden med mindre men kraftfullare servrar. Det gör ju bara att det får plats mer järn i skåpen

Om vi vänder på det hela och ser den information som lagras och bearbetas i sin servermiljö som viktig för företagets överlevnad. Då kan inte jag se att man som "ansvarig"  är seriös om man låter servrarna stå okylda i 30-35 ºC värme.

/Johan

[utopiazz]

Och som svar till MartinL:

Det du borde titta på är antingen ett system med kompressor inne och med luftkyld kondensor ute eller kompressor och vätskekyld kondensor inne och luftkyld värmeväxlare ute.

Ringa och prata med Enaco 08-51484600. Dom brukar vi anlita för lite andra grejer när det gäller datahallar men dom kan även kyla.

Glöm inte bort att om du har 6kw i tillförd effekt till dina system så behöver du ha minst 1,5ggr (helst 2ggr) det i kyla för att ha lite marginal när det är vamt på sommaren.

/Johan

[Nisken]

Nisken:
Egentligen kanske vi ska ta den diskussionen vid sidan om.

Jag har jobbat både som servicetekniker (10år) och som konsult (12år) med inriktning på servermiljöer och byggen av datahallar.

Om det känns meningsfullt för dig att jämföra p**t...har jag installerat PC-servrar sedan 1984....

Jag skulle knappast säga till mina kunder att det är OK att ha 30-35 ºC varmt i deras serverhallar. Du får gärna ha hur varmt du vill runt dina maskiner men jag tycker inte du ska slänga ur dig "högre än 30 grader, vilket är acceptabelt för i stor sett all datautrustning idag" för det är inte hela sanningen. Utrustningen klarar 30-35 ºC om du har tillräckligt med luftflöde genom utrustningen. Problemet är bara att väldigt få klarar av att bygga en miljö där servrarna får just tillräckligt med luft.

Självklart är det tempen på komponenterna som är viktig, tempen i rummet är ointressant

Hur många gånger har jag inte kommit ut till olika kunder (även riktigt stora med utbildad personal) där servrarna siter i ett rack med stängd glasdörr eller där hela luftutblåset är täckt av kablar. Det finns ett typexempel där vi gjorde en besiktning efter en "proffsinstallation" av en stor svensk hallbyggare. Där stod alla racken vända åt samma håll vilket gjorde att rack 1 blåste sin begagnade luft in i rack 2 som blåste den dubbelt begagnade luften in i rack 3 osv. Trots att man låg på 20 ºC i rumstemperatur landade inblåset i den sista raden (rad på 35-40 ºC vid full drift. Lösningen på problemet är att vända varannan rackrad. Det är enkelt om man bara gör rätt från början.

I större sammanhang när det gäller datahallar pratar man ofta om "punktkylning" i racken eller om "varma/kalla korridorer" men det är nog överkurs.


Saxat från HP gällande Proliant
Min Operating Temperature: 10 °C
Max Operating Temperature: 35 °C

Saxat från IBM gällande xSeries
Min Operating Temperature: 10 °C.
Max Operating Temperature: 35 °C

Saxat från Dell gällande PowerEdge
Operating Temperature: 10º C to 35º C

Väldigt olika beroende på utrustning....

Både HP Proliant, IBM xSeries och Dell PowerEdge stänger av sig själva om temperaturen internt uppnår ett tröskel värde. Värdet är lite olika beroende på vilken komponent det är som blivit för varm. Sen finns det ytterligare ett värde som ligger med lite marginal under tröskelvärdet, uppnås detta men inte det övre värdet så skickas en "Shutdown" signal till operativet att stänga ner systemet snyggt.

För moderna hårddiskar brukar värden ligga mellan 10 °C och 50 °C. Det är den temperatur som hårddisken i sig får uppnå. Tittar man på de nya diskarna som sitter i en riktig server

Vad är en "oriktig server" i så fall??

så har dom oftast ett varvtal på 10 eller 15000rpm. Den värme som genereras är rätt stor när dessa diskar packas ihop i fronten på en server.
Snabba SCSI diskar blir varma....men det är bara muppar som envisas med sådana, en RAID-stripning av billiga SATA diskar och skapligt med RAM-minne blir både billigare och snabbare i de flesta fall än O-stripade SCSI lösningar, där pengarna lagts på disk istf minne.

Problemet kommer inte att minska i framtiden med mindre men kraftfullare servrar. Det gör ju bara att det får plats mer järn i skåpen
Men diskarna blir effektivare och processorerna likaså.

Om vi vänder på det hela och ser den information som lagras och bearbetas i sin servermiljö som viktig för företagets överlevnad. Då kan inte jag se att man som "ansvarig"  är seriös om man låter servrarna stå okylda i 30-35 ºC värme.

Hur pass "seriös" man uppfattas som bestäms nog snarare av om man levererar nåt som är billigt och bra än dyrt och bra. Tillräckligt bra kvalitet räcker, mina grejor har inte packat ihop på mycket länge. Så småningom efter 5-6 år kontinuerlig drift kan man byta ett nätagg för 300:- i förebyggande syfte (fläkten skramlar) eller en disk för 6-800:- där övervakningsprogrammet börjar rapportera avvikelser.


/Johan

[utopiazz]

Självklart är det tempen på komponenterna som är viktig, tempen i rummet är ointressant
Inte riktigt. Om dina komponenter inte får bli varmare än 35 ºC och du har en rumstemperatur på 30 ºC krävs ett enormt luftflöde för få bort värmen.

Väldigt olika beroende på utrustning....
Klart det skiljer på olika typer av utrustning. Det jag återgav var vad några av de större tillverkarna anser vara undre/övre temperaturgräns för att maskinerna ska "må bra"

Vad är en "oriktig server" i så fall??
En riktig server är byggd för att vara in kontinuerlig drift dygnet runt året om. Det ska finnas tillräckligt med redundans för att klara de vanligaste felen utan att servern går ner. Det bör även finnas möjlighet till ASR i hårdvaran.

Sen finns det andra saker som skiljer server och workstation åt såsom maximering av bandbredd och i/o hantering.

Snabba SCSI diskar blir varma....men det är bara muppar som envisas med sådana, en RAID-stripning av billiga SATA diskar och skapligt med RAM-minne blir både billigare och snabbare i de flesta fall än O-stripade SCSI lösningar, där pengarna lagts på disk istf minne.

Det är först med SATA-II (300) som vi "muppar" kan använda billigare diskar för kontinuerlig access.
Om vi jämför SCSI och FC med IDE/ATA/SATA så är det först med SATA-II (300) som den billigare typen av disk tillverkas för kontinuerlig drift. Med tidigare Radilösningar baserade på IDE/ATA/SATA-I (150) så har förhållandet mellan läs/skrivtid och vilotid legat på 20/80 medans SCSI och FC diskar redan från dess första lansering alltid har designats för 100% aktivitet.

Sen kan vi ta med andra faktorer som varvtal vid valet av diskar där SCSI och FC snurrar med 10-15000rpm medans IDE/ATA snurrade med max 7200rpm. De nya SATA-I (150) och SATA-II (300) diskarna kommer upp till 10000rpm.

Men diskarna blir effektivare och processorerna likaså.
Det som driver utvecklingen mot "svalare" diskar är att dom blir fysiskt mindre. Problemet är att vi kommer att vara tillbaks på samma nivå när det gäller värmeutveckling inom två år iom lanseringen av 20000rpms diskar.

Visst blir processorerna effektivare, men hur blir dom effektivare? Vi sänker klockfrekvensen på kärnan och ökar antalet kärnor i kapseln från en till två eller fler. Men blir dom verkligen svalare för det?

Hur pass "seriös" man uppfattas som bestäms nog snarare av om man levererar nåt som är billigt och bra än dyrt och bra. Tillräckligt bra kvalitet räcker, mina grejor har inte packat ihop på mycket länge. Så småningom efter 5-6 år kontinuerlig drift kan man byta ett nätagg för 300:- i förebyggande syfte (fläkten skramlar) eller en disk för 6-800:- där övervakningsprogrammet börjar rapportera avvikelser.


I vissa fall räcker det med "good enough"

/Johan

[irover]

Hej

Har jobbat många år runt om i världen med Hårddisksystem från bla EMC  SUN och HDS.

Hårdiskar genererar massor av värme, för att inte tala om var SUNs 25K servrar gör 

Man kan inte ha 30 grader i hallen, det är för mycket. Vid 18 grader kan man ha 40 grader inne disksystemen. Hårddiskarna håller inte vid så höga temperaturer, och du kommer få massor av diskar som smäller till höger och vänster.

De bästa datorhallarna jag varit inne i (och det är stora hallar jag talar om flera 1000 kvadrat men kan naturligtvis appliceras på mindre) har ca 18 grader varmt. Luften blåser under golvet och upp i racken genom hål i plattorna. Det är högt till tak, ca 4-5 meter plus en halvmeter under plattorna med taksänkt akustikplattor till en 2.5 meter alltså en bit ovanför racken. Luften ovanför taksänkningen är viktig för att ta hand om all värme som stiger och när strömmen går innan generatorerna drar igång kyleriet igen. Sen ska klimatanlägningarna vara tredubbla och där endast ett system ska kunna kyla hela hallen vid sommarvärme ute om ett system pajar. Belastningen på de andra två ökar och du måste ha marginal i hett väder.  Du ska ochså ha klimatkontroll och tillsätta fukt då kylaggregaten torkar ut eftersom det höjer verkningsgraden vid kylning och hindrar statisk elekrticitet. Det är ett måste i rum med bandbackupsystem.

Annat att tänka på: Dieselgeneratorer, 2 st autostart för servrar och klimatanl och UPS för 30 minuters drift full belastning.

Men oj vad dyrt det blev !   
Det hela ska ställas i relation till: vad kostar det företagets verksamhet per minut vid ett driftstopp?

[Peter H]

Hej

Ett relativt billigt sätt att kyla är med kranvatten som man spolar ut.
En m3 innehåller masor med kyla och kostar inte mer än ca 20 spänn.
Karnvatten håller ca 12-16 C på sommaren och att kyla ner till till tex 25 max 30 C är då relativt enkelt.
Det är en tyst och driftsäker intallation.

mvh

Peter

[utopiazz]

Hej

Ett relativt billigt sätt att kyla är med kranvatten som man spolar ut.
En m3 innehåller masor med kyla och kostar inte mer än ca 20 spänn.
Karnvatten håller ca 12-16 C på sommaren och att kyla ner till till tex 25 max 30 C är då relativt enkelt.
Det är en tyst och driftsäker intallation.

mvh

Peter

Rätt använt är Stadsvattenkylning riktigt bra som reservsystem. Men det blir inte billigt i längden att ha det som primär kyla.

Om du behöver kyla bort 3kW går det åt drygt 500l/h om inkommande vatten håller 7 ºC och returen är på 12 ºC. Räknat på årsbasis blir det en ganska dryg nota från vattenverket. Om sen vattnet är lite varmare så går det åt ännu mer vatten.

Jag har inte orkat räkna i detalj så det kan vara liiite fel men dyrt blir det.

Vi körde det som ett reservsystem i ett litet serverrum. Som tur var satt det ingen räknare på systemet. Ingen upptäckte att det primära systemet var nere. Efter några månader vandrade fastighetsskötaren runt bland hyresgästerna och letade läckage i kontorsfastigheten eftersom räkningen hade rusat i höjden . Det hade under ett par månader runnit iväg flera års förbrukning.
Som tur var hittade dom inte reservsystemet 

/Johan

[dragan]

Problemet med en L/L pump är att fläkten ute går konternuerligt vilket inte är så bra när de blir kalt
ute. En vinter utrustad kyl split har en fäktstyrning för att hålla kondensortempen uppe även när de
blir riktigt kalt.
Att ventilera ut 6 kw värme är oxå relatift svårt då de krävs ganska stora luftmängder och skapar
mer problem bara.
Så de enklaste alternativet är ju en vinterutrustad kyl slpit med vägg eller takhängd innedel beroende
på vad man får plats med.

[Peter H]

Hej Johan

Visst kan vatten bli dyrt men om jag förstått rätt så kostar det 6 KW el att kyla bort 3 KW värme.
Elen kostar drygt kronan idag.
Om du drar 500 L i timman och jag har för mig att 1 m3 kostar 14 spänn.
Dvs det blir ungufär samma kostnad.
Man lär dessutom kunna få rabbat på vatnet (vattenverket behöver mera spillvatten i lednngarna på sommaren för att hålla rent).
Du får antagligen en billigare och säkrare, tystare installation på köpet.

Personligen så tror jag att prishöjningen på vatten är lägre än på el på längre sikt.

Fråga, kan du inte klara dig med en något högre temp under sommaren?
Det är ju mycket att spara oavsett kylmetod.

Mvh

Peter
 

[dragan]

6 kw kyla drar ungefär 2 kw el.

[utopiazz]

Hej Johan

Visst kan vatten bli dyrt men om jag förstått rätt så kostar det 6 KW el att kyla bort 3 KW värme.
Elen kostar drygt kronan idag.
Om du drar 500 L i timman och jag har för mig att 1 m3 kostar 14 spänn.
Dvs det blir ungufär samma kostnad.
Man lär dessutom kunna få rabbat på vatnet (vattenverket behöver mera spillvatten i lednngarna på sommaren för att hålla rent).
Du får antagligen en billigare och säkrare, tystare installation på köpet.

Personligen så tror jag att prishöjningen på vatten är lägre än på el på längre sikt.

Fråga, kan du inte klara dig med en något högre temp under sommaren?
Det är ju mycket att spara oavsett kylmetod.

Mvh

Peter
 

Jag har inga problem med någon datahall Jag jobbar i ganska stora hallar med bra kyla. Jag tror den minsta hallen som vi har hos våra kunder är på ca 100m2. Sen finns det iofs dom som har små skrubbar med nätverksutrustning men där räcker det (oftast) med bra ventilation.

Det jag skrev var mer en reflektion över hur kostnaderna kan skjuta i höjden med stadsvatten som kyla. I våra egna hallar har vi minst tre aggregat vara ett går på fjärrkyla men det är ju inte samma sak som att kyla med stadsvatten.

Precis som Dragan skriver så kostar det inte 6kW el att skapa 6kW kyla.

/Johan