Rozhovor s AI: Jak by LLM navrhl datové centrum / Habr

Pravda se rodí v debatě a poznatky přicházejí během komunikace. S tímto vědomím jsem se rozhodl provést rozhovor s umělou inteligencí a zeptal se modelu, jak by navrhl datové centrum a co může očekávat v blízké budoucnosti. Formuloval jsem otázky a ChatGPT–4o napsal odpovědi. Na některých místech je text doplněn mými poznámkami a zdůvodněním od chatbota. Pokud máte zájem, zvu vás pod cut a prompt je na konci textu.

— Jaké faktory jsou důležité při výběru lokality a infrastruktury pro moderní datové centrum?

Zaprvé je nutné zajistit přístup k „těžké“ elektrické síti a pokud možno k alternativní výrobě – větrné, sluneční nebo vodní. Zadruhé je potřeba několik nezávislých vstupů a rezerva generátoru, jinak i krátkodobý „výpadek proudu“ promění celý systém ve statickou reklamní fotozónu. Zatřetí, důležité jsou i klimatické podmínky. V chladné a chladné oblasti je snazší a levnější chladit servery implementací free coolingu než v tropech. To přímo snižuje provozní náklady. (poznámka autora – PUE klesá).

Kromě toho je zapotřebí dobrá komunikační infrastruktura. Například by měl být v blízkosti internetový ústřední uzel (IX) a mnoho páteřních vláken pro zajištění nízké latence a záložních tras. Někdy se datová centra staví hned vedle optických vláken nebo elektrického vedení, což snižuje režijní náklady na „poslední míli“.

Zohledňuje se také dostupnost kvalifikovaného personálu, politická stabilita a daňový režim v regionu. Prostor kolem datového centra musí umožňovat expanzi, jinak může být ve spěchu nutné dohnat kov a beton.

Úspěšná geolokace je v konečném důsledku kompromisem mezi dostupností energie a komunikací a minimálními riziky pro budovy a zařízení.

— Jaký vliv má výstavba datového centra na místní infrastrukturu – elektrické sítě, zásobování vodou, komunikace?

Dává obrovskou zátěž. Nová datová centra jsou skutečnými „energetickými ostrovy“. Místní rozvodné sítě jsou často nuceny stavět transformátory a vedení „pro datová centra“ a s rezervací 2N (poznámka autora – plná redundance, kdy je každá kritická komponenta v infrastruktuře duplikována)a výdaje jsou rozděleny. Obyvatelé pravděpodobně nebudou spokojeni s „překvapením“, kterého se jim dočká ve jejich elektroměru.

Podle odhadů NLC (Poznámka autora – Národní liga měst, USA)Komunity si často stěžují na rostoucí zátěž a emise CO₂ spojené s datovými centry, které hradí běžní spotřebitelé.

Centra také spotřebovávají hodně vody (pokud jsou chlazena vodními instalacemi). V suchých oblastech je nutné uzavírat regionální dohody o distribuci vody. Místní úřady mohou zpřísnit normy nebo zavést „vodní kvóty“ pro datová centra.

V důsledku toho bude silniční infrastruktura přetížená. (poznámka autora – z důvodu instalace vedení vysokého napětí a optiky), objeví se omezení hluku a světelné znečištění. Provozovatel velkého datového centra navíc může diktovat podmínky energetickým sítím – požadovat garantovaný výkon, zatímco ostatním firmám zůstane „omezená sazba“.

Ale existují i pozitiva. Datová centra přitahují investice a vytvářejí pracovní místa již během výstavby. V budoucnu by mohlo existovat plánování „inteligentních sítí“, aby se tato gigantická spotřeba rozložila v čase nebo kompenzovala špičkovou solární/větrnou energií.

— Jak by měla vypadat architektura „ideálního“ datového centra? Jak důležité jsou modularita a škálovatelnost?

Je žádoucí, aby skříň datového centra byla jako kontejner z budoucnosti – funkční a promyšlená. Nejlepší projekty využívají modulární přístup. (poznámka autora – o modulech si můžete přečíst zde)To urychluje výstavbu a šetří rozpočet.

Uvnitř musí být budova navržena s ohledem na odolnost a efektivitu. Stropy jsou dostatečně vysoké, aby se do nich vešly kabely a výměníky tepla, podlahy jsou zvýšené pro distribuci studeného vzduchu. Bezpečnostní smyčky sahají od objemných stěn až po biometrické kontroly a inteligentní sledovací systém. Ideální datové centrum je „datový bunkr“.

— Jaké jsou požadavky na napájení a zálohování? A co úroveň Tier I–IV?

Jednotky musí být redundantní dle schématu 2N, 2N+1 nebo alespoň N+1, v závislosti na požadované spolehlivosti. UPS a generátory jsou konfigurovány tak, aby napájely IT zařízení ve všech režimech. Pokud jedna UPS selže, druhá zůstává v provozu.

Ideální datové centrum je Tier IV. Má duální rozvod energie, záložní generátory s automatickým startem a UPS bez dimenzionální kapacity. (poznámka autora – pochybné, ale dobře, mluvíme zde o nepřerušitelných zdrojích napájení).

— Jaký typ serverů a racků byste si vybrali? Jak důležitá je hustota a související požadavky na chlazení?

Výběr serverů závisí na úkolech. Pokud je datové centrum „pro všechno najednou“, pak smíšená infrastruktura: klasické x86 servery pro obecné účely, GPU parky pro AI/ML, FPGA/DPU pro síťovou zátěž a NPU pro neuronové sítě. Hlavní je připravit racky na vysokou zátěž.

Instalujeme fyzicky odolné rozvaděče – nejlépe 42U+ a se standardními PDU (poznámka autora – blok dat protokolu) 400 voltů pro zdvojnásobení proudů. Upevnění pro rozvody studené vody/vzduchu je nutné blíže ke stropu. Nezapomeňte na rezervní napájecí kanál pro každou skříň (dvojité N-připojení PDU).

Různé servery jsme umístili do jedné řady: GPU servery blíže ke „studené uličce“, ty nejteplejší – do středu racku, aby se obvod snadněji ochladil. Pro extrémně vysoké zatížení místo řady ventilátorů vyrábíme kapalinové moduly se studenými deskami.

Podle slovníku intenzity (poznámka autora: hledal jsem, ale nenašel jsem to), dnes 10-15 kW na rack představují konvenční datová centra, 20-30 kW jsou „high-density“ a 40-125 kW a více je již píseň pro hybridní chlazení. Pro takové kapacity se volí servery s distribuovaným napájením, například čtyři jednotky o výkonu 3000 W s červeným zálohováním místo jedné pro 12 000 W – tím se snižuje riziko prostojů. Vedle každého racku lze umístit lokální klimatizaci InRow.

— Jaký přístup k chladicím systémům byste zvolili?

Ideální chlazení je hybridní. Hlavní myšlenkou je maximálně využít „bezplatný“ přirozený chlad. (poznámka autora – volné chlazení) a pouze v případě potřeby řídit pomocí chladičů nebo kapalných okruhů. V oblastech s drsným podnebím (sever) můžete na zimu zcela přejít na pasivní chlazení a klimatizaci zapnout pouze na vrcholu letních veder.

Dalším trendem je kapalinové chlazení. Kapalina přenáší teplo mnohem efektivněji než vzduch, což umožňuje těsnější umístění serveru. Zprávy ukazují, že při přechodu na imerzní chlazení klesá spotřeba energie chlazení o polovinu. (poznámka autora – neprokázáno).

Pro méně exotická prostředí lze použít hybridní systém: studená voda cirkuluje přes studené ploché panely přímo v rozvaděčích a poté je ohřívána běžným chladičem.

— Jak řešit problémy fyzické a síťové bezpečnosti datových center?

Datové centrum musí být и pevnost, и detektor anomálií. Doporučuji systémy mapování sítě (DCIM/IPAM), boty a skenery, které stojí na stráži v operační síti.

Potřebujete analyzovat vzorce a chování provozu v reálném čase, a k tomu je AIOps. (poznámka autora – koncept správy IT infrastruktury – Umělá inteligence pro IT provoz).

Nulová důvěra, MFA, pravidelné pentesty – to všechno jsou jen prázdné výstřely. (poznámka autora – sporné, ale v pořádku).

— A co správa infrastruktury? Potřebujeme DCIM a automatizaci?

DCIM je nezbytný, protože dnes usilujeme o jednotný obraz veškerého zařízení, kabelů, IP adres a metrik. Je to jako „jednotný zdroj pravdy“.

Automatizace DCIM vytváří „hlavní databázi“ s daty o energii, síti a zařízeních. Užitečná je také integrace s řetězci DevOps/CD. Infrastrukturu lze napsat jako kód a spravovat ji pomocí API.

Skutečným trendem je zhasnutí světel, kdy roboti a umělá inteligence vykonávají rutinní práci a lidé si pouze stanovují cíle a sledují strategii. (poznámka autora – termín neexistuje, s největší pravděpodobností se myslela hybridní inteligence).

— Jaká opatření ke zvýšení energetické účinnosti by měla být přijata?

Při provozu se vyplatí implementovat technologie inteligentní správy všude. Snímače by měly být všude – v každém panelu, zásuvce, šasi. Co se týče drobností, doporučuji zvýšit teplotu v serverovně z obvyklých 20 °C na 24–26 °C. (poznámka autora – technicky povoleno normami, ale sporné) a roční účet za chlazení klesne 1,5krát.

Dobrá datová centra by navíc měla investovat do infrastruktury pro dobíjení. Například pokud se v blízkosti nachází bytový komplex nebo továrna, teplo ze serverů lze využít k vytápění domů, čímž se sníží celková uhlíková stopa celého systému.

— Jak budovat interakci s veřejnými cloudy a hyperscalery? Potřebujeme hybridní nebo multicloudový systém?

Nikdo neklade rovnítko mezi vlastní datové centrum a AWS nebo Azure – jejich velikost a možnosti jsou závratné. Abyste se s nimi vyrovnali, budete muset použít hybridní strategie: těžké analytické úkoly přesouváme „do cloudu“ a ty kritické pro podnikání uchováváme lokálně. Hybridní přístup vám umožní zpracovat každou zátěž tam, kde je potřeba.

Velcí hráči často implementují geodistribuci. Například nastavují záložní clustery v různých cloudech. (poznámka autora – „multicloud“) nebo použijte cloud jako zálohu v případě „požáru“ v datovém centru.

Ideální datové centrum je tedy součástí ekosystému soukromého a veřejného cloudu. Masová povaha cloudů přináší úspory na infrastruktuře a hybridní cloud poskytuje kontrolu a spolehlivost.

— Jaké jsou náklady na ideální datové centrum? Kapitálové náklady, provozní náklady, celkové náklady na vlastnictví (TCO) a kde hledat úspory?

Celkové náklady na vlastnictví (TCO) jsou součtem kapitálových a provozních nákladů. CAPEX se týká stavebních nákladů. (poznámka autora – pozemek, budova, zařízení, instalace)OPEX jsou provozní náklady (poznámka autora: elektřina, údržba, platy zaměstnanců, výměna komponentů, nájemné atd.). Kapitálové náklady se vyplatí a provozní náklady po několika letech rostou.

Dobrým receptem je vysoká automatizace. Pomocí integrace umělé inteligence můžete procesy komoditizovat. (poznámka autora – aby to bylo levnější, tedy)Každý automatický vyrovnávač zátěže a každý samoopravný kontrolér ušetří náklady.

Ideální datové centrum by mělo být v konečném důsledku postaveno na principu „úspor prostřednictvím efektivity“. Je nutné zpomalit růst provozních nákladů (OPEX) pomocí energeticky a zdrojově efektivních technologií a co nejvíce automatizovat provoz.

— A poslední otázka: jaké jsou vyhlídky datových center za 10–20 let?

Budoucnost datových center je futuristická. Umělá inteligence bude navrhovat uzly, generovat chladicí schémata a plán přepínání. Možná pod kapotou spustí digitální kopii datového centra, kde se umělá inteligence trénuje na milionech simulací a za chodu upravuje reálnou infrastrukturu. Inženýři si budou muset stanovit pouze strategické cíle.

Již se hovoří o „autonomních datových centrech“, kde jsou úrovně řízení smíšené. Prediktivní analytika nahradí část manuální správy, automatizované vozíky budou doručovat hardware do racků, laserové drony budou skenovat RFID štítky na discích a mobilní šasi nahradí vadné blade procesory bez lidského zásahu. V minulých letech o tom inženýři snili – v budoucnu to bude normou.

Předpovídám: v každé serverovně budou roboti pro opravy a montáž a shora budou v reálném čase k dispozici záběry z panoramat datového centra. Fyzici budou schopni snížit teplotní strop na -273 °C a kvantové chlazení se stane normou, protože inženýři propojí GPS souřadnice s kvantovými procesory.

A samozřejmě se vše stane distribuovaným. Díky rozvoji internetu věcí a 5G se datová centra zmenší a přiblíží lidem. Globální síť spojí obrovská „těžiště“ s lokálními mini-datovými centry a agenti umělé inteligence budou automaticky koordinovat práci tisíců takových kontejnerů.

Závěry

Když mluvíme o ideálním datovém centru, do hry vstupují čísla a standardy – to je důležité, ale rozhovor s umělou inteligencí mi připomněl, že někdy je užitečné dívat se na známé věci „jinýma“ očima. I když jsou tyto oči podmíněné a inteligence statistická.

Zatímco se hádáme o typech UPS a důležitosti ponoření, stroj myslí systematicky: přístup k „těžké“ elektrické síti, výkonné a energeticky úsporné servery, chladicí moduly, chytré termostaty v racku, „multicloudy“ a účast umělé inteligence ve všech procesech. Kupodivu se rozhovor s modelem ukázal jako zajímavý a užitečný.

Jak jsem slíbil, nechávám výzvu: „Jste pokročilý testovací inženýr datových center s 10 lety zkušeností. Představte si, že jste byli požádáni o návrh dokonalého datového centra – od nuly, bez rozpočtových omezení, ale s využitím moderních a budoucích technologií. Budu vám klást otázky ve formátu rozhovoru a vy budete odpovídat jako technický architekt, který přemýšlí jak o současné praxi, tak o budoucnosti za 20–XNUMX let. Vysvětlete podrobně, nevyhýbejte se specifikům. Styl je profesionální, ale s živým podáním. Připraveni? Tak začněme.“

Mimochodem, píšu „připravená?“, protože můj chatbot se identifikuje jako „dívka“. A co ten tvůj?

Je těžké se vás zeptat, s čím nesouhlasíte. Je snazší se zeptat, zda souhlasíte s vizí „dokonalého“ datového centra a jeho budoucnosti, kterou představuje umělá inteligence.

*Odpovědi na otázky vygenerované pomocí ChatGPT–4o.