Що можна використовувати як імерсійну рідину?

Не маючи досвіду у складанні та експлуатації системи імерсійного охолодження завжди складно зробити вибір. тут ми намагатимемося дати максимум інформації для вас.

Багато людей зацікавилися зануренням електроніки: комп'ютерів, майнерів, асиків тощо. Але далеко не всі оцінюють ризики та обґрунтованість цих дій. У цій статті наше завдання допомогти вам вибрати імерсійну рідину для ваших пристроїв.

По-перше варто відзначити, що використовувати як імерсійний теплоносій можна багато різних рідин. Але для тривалого використання підходять буквально 2-3 види. І не варто ставити діелектричні характеристики на перше місце т.к. напруга в імерсійній ванні рідко може бути вищою за 400 вольт.

А що ж важливо? Для нас ми визначили низку важливих властивостей: теплоємність, токсичність, вплив на електроніку та інші складові майнерів, гігроскопічність, випаровуваність, пожежна безпека, ціна.

Що ж пропонують нам зараз як імерсійну рідину для асиків, майнінг ферм, та інші електроніки: Blumead (Блюмід) від Beeminer, 2MC Oil, BitCool, Coolant від Bixbit, Uminer IM 1801, ПАОМ, ПАОМ-2, HVI, STE OIL , трансформаторна олія.

ВИБІР ТЕПЛОНОСІЯ ДЛЯ ВАШОЇ СИСТЕМИ ІМЕРСІЙНОГО ОХОЛОДЖЕННЯ БУДЕ ОДНИМ ІЗ НАЙВАЖЛИВІШИХ РІШЕНЬ. НЕ ВЕРЬТЕ ВСІМ ПРОДАВЦЯМ НА СЛОВО А НАЙКРАЩЕ СПІРАЙТЕСЯ НА ДОСВІД ІНШИХ. Інакше все може закінчитися сумно.

Власне про самі рідини. Не важливо, як вони марковані і під якою назвою продаються. По суті ми маємо всього кілька видів: синтетичні олії, білі мінеральні олії, трансформаторна олія поліметилсилоксан він же блюмід (bluemead).Якщо говорити про олії, то практично будь-яка олія це діелектрик, у тому числі рослинна. Але є безліч інших властивостей які зовсім не підходять для використання в імерсійному охолодженні.

По суті це базові олії для виготовлення різних мастильних матеріалів, моторних гідравлічних та інших масел. Продаються в Росії під марками 2MC Oil, Suvoil, samminer, можливо, що upminer або uminer IM1801 теж продає його ж, a jabbamarket раніше писали що продають hvi після прибрали це з тексту але ситуацію не змінило, продають те ж саме. Ціна рідини відрізняється залежно від апетиту продавця. Реальна вартість близько 50-100 за літр. Головна проблема цих рідин у тому, що немає достовірного досвіду тривалого використання. Немає розуміння як він ставляться до електроніки, плат, проводів, герметиків. І на практиці лише продавці цих рідин дають позитивні відгуки. Також є доведена проблема в теплофізиці. Наприклад, при температурі рідини у верхній точці близько 60 градусів, температура плат antminer S9 може досягати 80, а чіпи можуть переступити 100 градусів. І це перекреслює будь-яку можливість використання системи, наприклад, в опаленні. Використання такої рідини рівносильне спробі обдурити фізику. Проте продавці радіють хом'ячкам тим, хто шукає дешевше. А покупці своєї "економності"

Компанія Beeminer зі своєю імерсійною рідиною Блюмід підривала інтернет у 2018 році. Говорячи про чудодійні властивості своєї розробки. Але крім їх гучних слів є ще багато прихованої інформації. Наприклад "не горючість рідини" це міф, але температура займання дійсно вища, але тут виникає питання "а навіщо?", адже жодну рідину не можливо нагріти електронікою вище 100 градусів цельсія, т.к.вже на 80-90 градусах більшість пристроїв перестане працювати і вимкнутись або ж отримає незворотні руйнування і вимкнутись через поломку. Об'єктивно ж ця рідина просто забарвлений в синій колір поліметилсилоксан або ПМС-50. Але дійсно, рідина отримала сертифікат і чітко тримає нішу дорогих іммерсійних рідин. Застосування в охолодженні дорогої електроніки виправдано. Але застосування в майнінг виправдано рідко. Хороші властивості та висока ціна близько 500р за літр.

Про трансформаторну олію багато говорити не варто. Ті, хто хоче за копійки зробити систему, можуть робити. Але разом із системою можуть отримати алергію, отруєння та інші проблеми зі здоров'ям. Так само воно досить агресивне до електроніки та гігроскопічно. Тобто. смерть обладнання лише справа часу. Але дешево можна купити і по 50р/л

Білі мінеральні олії також популярні в імерсійному охолодженні. Ці олії по суті нафтовий дистилят. Але не варто думати, що будь-яка біла мінеральна олія підійде для імерсійного охолодження. Тут головне питання це ступінь його очищення, яку визначити візуально неможливо. Візуально всі ці олії прозорі як вода. Ще багато хто називає їх вазеліновими маслами. Хоча вони й близькі за складом, не у всіх країнах є обладнання для отримання високоочищених фракцій. Крім того в'язкість цих масел сильно відрізняється, а від в'язкості дуже залежить те який вам буде потрібен насос. Білі мінеральні олії застосовуються в косметології, харчовій промисловості, будівництві та машинобудуванні. Майже всі вони безпечні для здоров'я, не гігроскопічні, не токсичні і не випаровуються. Деякі навіть безпечні при ковтанні.Ці масла поширюють серйозні компанії як рідина для імерсійного охолодження, наприклад Coolant Bixbit, Ste oil crystal 70t, Upminer (теж заявляє, що продає мінеральну олію хоча ціна викликає сумніви) Power oil. І тут важлива ціна, наприклад, STE oil зі США коштує 560р/л, що часто не виправдано для охолодження майнінгів пристроїв. Bixbit coolant коштує близько 200р/л, що допустимо для сертифікованої рідини. Poweroil який активно просувають люди з Самари, може і непоганий та безпечний, але яким насосом качати рідину з в'язкістю 20? і на скільки виправдане застосування цієї рідини при тому, що насос буде коштувати в 2-3 рази вище щодо в'язкості 6 або 10. Вирішувати вам. А так само є багато компаній які хочуть підзаробити але модні тенденції, але при цьому продають під виглядом імерсійної рідини продають або олії, які не мають потрібного ступеня очищення але коштують від 50р за літр. Звичайно, якщо ви вірите в казки все welcome. Якщо ж вам потрібно те, що працюватиме довго і не загубить обладнання і вас, купуйте перевірені рідини. Або як відомо "будь-яке кроїлове веде до попадалову".

Займаючись імерсійним охолодженням з 2018р. цікаво спостерігати за "новими продуктами". На жаль, всі ці "нові" продукти це добре упаковані старі.

Наприклад нещодавно з'явилася якась ENTER вартістю від 260 до 300р/л.

– кінематична в'язкість при температурі 40 С, не більше – 5,7 Сст;

– Щільність при 20 С, в межах – 795-805 кг/м3;

– температура застигання, не вища – мінус 60 С

– температура спалаху в закритому тиглі, не нижче – 215;

– кислотне число, не більше – відсутнє;

– Колір на колориметрі, не більше – 0,5 ЦНТ

– вміст механічних домішок – відсутній;

– Зміст води – відсутній.

Рідина для охолодження асиків

– Робоча температура від -60 до +200°С.

І так за всіма показниками це ПАОМ 2 вартість якого 100р/л якщо добре пошукати та 150р/л якщо погано пошукати.
Про ПАОМ ми вже давно писали тут: https://minecool.ru/news/tpost/2k7kr4hgot-immersionnaya-zhidkost-pao-paom-2
Те ж саме продається під маркою 3Boil і ще багатьма місцевими "виробниками". системах. А за фактом і систем немає, т.к. ніякої відповідальності, ніж будувати системи та відповідати повністю за якість перед замовником.

Тепер про саму компанію, яка продає ENTER. Таким компаніям іммерсійна рідина незрозуміло. що твердження продавця у тому, що він надає достовірну інформацію, дуже спірне.

Далі про компанію Lexgold, що просувала раніше свою рідину під маркою EDM ULtra Заяви про термін служби звучать дуже дивно при тому, що просувати продукт почали рік тому. для металообробки.Жодного відношення до імерсійної рідини для електроніки не має, а найменування "EDM ULTRA fluid micro electronic" і т.п. ніде більше не згадуються, раніше ще можна було побачити підроблений сертифікат, який ніде не відображався в базах. Також продавець не соромиться продати і ПАОМ 2 і т.п. Загалом цілі заробити вище етики. А ось готовими установками імерсійного охолодження з гарантією роботи поки що ніхто з продавців диво рідин за дешево не блищить.

3Boil чомусь нещодавно перейменувався з компанії IT's. Навіщо зроблено незрозуміло. Але впевнено продає ПАМ для любителів пошукати подешевше. Знову ж таки торгівля олією і не більше.

Резюмуючи тему. Якщо ви хочете купити нормальний продукт для імерсійного охолодження, купуйте його у тих компаній, які виробляють і постачають комплектні установки охолодження з гарантією. А краще купуйте готові вироби. Вивчайте матеріал і не вимірюйте все лише ціною. Бо всім відомо, до чого веде кроїлово.

Резюмуючи цю тему, ми робимо простий висновок. Для імерсійного охолодження допустимі зараз і сертифіковані лише біле мінеральне масло або поліметилсилоксан. І навіть при покупці одного з цих варіантів ви не застраховані від купівлі невідповідної рідини. Згодом ситуація зміниться і на ринку залишаться тільки перевірені компанії, а поки що багато не чисті на руку підприємці прагнуть конкуруючи тільки ціною (не якістю) заробити якнайбільше, щоб потім успішно втекти.

Центр обробки даних – досить енерговитратна система. Багато енергії вимагають як ІТ-інфраструктура, і системи її охолодження.

Вважається, що у світовому масштабі центри обробки даних споживають близько 3% від загального рівня споживання електроенергії у світі, і, швидше за все, ця частка зростатиме. Крім того, з розвитком високопродуктивних процесорів збільшуватиметься кількість тепла, що виділяється серверами. Вже зараз системи охолодження ЦОДу можуть споживати 30-50% від загального споживання енергії.

Також є думка, що через якийсь час традиційні повітряні системи охолодження серверів перестануть справлятися з тепловідведенням обладнання, тобто повітря забиратиме тепло від елементів, що нагріваються, повільніше, ніж ці елементи будуть його генерувати. Якщо не впроваджувати способи вирішення проблем охолодження, то зростання температури призведе до зниження продуктивності та систематичних відмов.

Питання економії також відіграє роль – у деяких випадках використання альтернативних джерел охолодження може допомогти на порядок скоротити капітальні та операційні витрати. Все це спричиняє інтерес операторів центрів обробки даних до альтернативних способів охолодження обладнання. Як наслідок, все це призводить до зростання нових розробок та досліджень. Попереду тут, звичайно ж, великі компанії, наприклад, Майкрософт, теж ведучий дослідження у цій галузі.

Сьогодні я хотів би поговорити про імерсійне охолодження – цікаву концепцію, відому давно, але так і не вийшла в галузі охолодження комп'ютерних систем в будь-який масовий продакшен.

Що це таке?

Переклад слова "immersion" російською мовою відразу дає уявлення про суть цієї технології – занурення.Іммерсійне охолодження полягає в зануренні робочої машини (сервера) або окремих його компонентів: материнської плати з процесором, відеокарти, дисків, блока живлення і так далі – теплопровідної діелектричної рідини, яка забезпечує відбір тепла від пристрою, не торкаючись при цьому (через непровідність) ) роботи електроніки.

Взагалі, останніми роками системи рідинного охолодження серверів та ПК набирають популярності. Наприклад, у нас у FirstVDS на частину серверів встановлені CPU-водоблоки, і, гадаю, у кожного знайдеться хоча б пара товаришів-геймерів, які використовують такий тип охолодження на своїх ігрових станціях.

Приклад охолоджуючого водоблоку на процесор та радіатор до нього ПК з рідинною системою охолодження

Звичайним користувачам така система без потреби, але якщо йдеться про високопродуктивні машини, вода, володіючи більшою в порівнянні з повітрям теплоємністю, дозволяє ефективніше відводити тепло від елементів системи, що нагріваються, зберігаючи їх працездатність. Однак рідинна система охолодження не обов'язково повинна бути реалізована через установку водоблоків, трубок, помпи та, власне, рідини, що циркулює через таку систему.

У імерсійного охолодження інший підхід, менш традиційний. Безперечно, його можна назвати різновидом рідинного охолодження, але воно не вимагає наявності герметичного контуру для холодоагенту, що, очевидно, вигідніше з точки зору спрощення конструкції, також при такому підході охолоджується весь сервер, а не лише вузли під водоблоками.

Треба сказати, що імерсійне охолодження обладнання почалося, звичайно, не з серверів. Ще XIX столітті практикувалося охолодження трансформаторів шляхом занурення в масляну ванну.Це досі є загальноприйнятою практикою, а трансформаторна олія в сучасній класифікації – це окремий вид мінеральних олій. своїм ГОСТ і таке інше. До речі, трансформаторні олії також застосовуються як охолодні рідини для імерсійних ванн.

Розберемося докладніше

Сервер занурюється в ванну, заповнену діелектричною рідиною. Попередньо із сервером не відбувається ніяких спеціальних маніпуляцій, винятком може бути хіба що демонтаж корпусу (частковий або повний), радіаторів та кулерів повітряного охолодження. Рідина, що знаходиться в прямому контакті з частинами сервера, що нагріваються, відводить тепло, а потім охолоджується в чилері або за допомогою іншого теплообмінника.

Діелектричні рідини, що використовуються в імерсійних системах, за видом речовини можна розділити на дві категорії:

• Олії. Мінеральні, синтетичні, силіконові – тисячі їх! Як приклад можна навести, наприклад, STE Oil Crystal Plus 70T або Блюмід.
• Фторвуглеці. Такі, як 3M Novec і Fluorinert.

І також діелектричні рідини діляться на двофазні та однофазні:

• Двофазні рідини – Під час циклу охолодження обладнання рідина перетворюється на газ, т.е. е. випаровується. Пар, що вийшов, охолоджується за допомогою конденсатора, зазвичай це змійовики з проточною водою, які розташовуються у верхній частині імерсійної ванни (увага на картинку). В результаті пара конденсується і у рідкому вигляді капає назад. Такі рідини характеризуються низькою точкою кипіння, зазвичай близько 60 градусів Цельсія. Для такого типу охолодження використовуються лише герметичні резервуари.

• Однофазні рідини – Рідина весь час знаходиться в одному агрегатному стані.Такий підхід вимагає циркуляції діелектричної рідини в резервуарі за допомогою насосів чи природної конвекції, вони ніколи не доводяться до кипіння. Для охолодження рідина прокачується через теплообмінник. Рідина для однофазного імерсійного охолодження характеризується високою точкою кипіння. Резервуар для однофазної рідини може бути відкритим.

Плюси імерсійного охолодження

• Рідина, володіючи більшою, ніж повітря, теплоємністю, дозволяє відводити від пристрою більшу кількість тепла. Це дає можливість використовувати більш високопродуктивні CPU/GPU, що виробляють велику кількість тепла, не боячись їх перегріву та виходу з ладу, а також дозволить розміщувати обладнання щільніше, заощаджуючи простір.

• Іммерсійне охолодження виключає явище локального нагріву, тому що охолоджує всю поверхню пристрою рівномірніше, ніж при повітряному охолодженні або, тим більше, непрямому охолодженні рідини, тобто через водоблоки. Такий підхід підвищує, зокрема, термін служби пристроїв.
• Зниження витрат на електроенергію за рахунок відмови від інфраструктури повітряного охолодження на користь імерсійної, наприклад, відпадає потреба фальшполу та закритих холодних коридорів. Завдяки ефективнішому охолодженню коефіцієнт PUE наближається до одиниці.

• Підвищення обчислювальної потужності. Ефективна система охолодження дозволяє розганяти пристрої до максимуму без ризику перегріву.
• Виключення попадання пилу та бруду. Вентилятори повітряної системи охолодження переносять частинки, які можуть стати причиною збою в устаткуванні. Іммерсійний підхід вирішує цю проблему, підвищуючи надійність пристроїв.
• У разі застосування негорючих діелектричних рідин відсутня потреба у складних системах пожежогасіння.
• Відсутність шуму.

Що ж, перелік переваг виглядає солідно. Зазвичай прихильники імерсійного охолодження ЦОД у своїх матеріалах після перерахування вищеописаних переваг починають розмірковувати про “принципово новий підхід” та “технологічний прорив”. Однак, якщо ігнорувати маркетингову складову, важко не помітити, що імерсійні рішення практично не використовуються у ЦОДах. Переважна більшість операторів ЦОД в Росії та світі будує та використовує інфраструктуру під повітряне охолодження, а імерсійний підхід використовується в основному в майнінгу та в невеликій кількості експериментальних програм. Чому так відбувається?

Щоб відповісти на це питання, необхідно проаналізувати перераховані вище плюси.

Недоліки імерсійного охолодження

Список переваг, наведений вище, з незначними варіаціями можна зустріти на будь-якому сайті компанії-виробника імерсійних рідин, обладнання або інших подібних рішень для майнінгу та ЦОД. На мій погляд, він правдивий і об'єктивний, проте кількість питань, що виникають при переході на імерсійне охолодження, переважує плюси, особливо якщо розглядати їх "у верстата" – перебуваючи в працюючому дата-центрі, умоглядно прикидати вузькі місця того чи іншого аспекту.

• Утилізація тепла. Іммерсійна рідина, відводячи тепло більш ефективно і в більших кількостях, дійсно дозволяє розміщувати надвисоконавантажені стійки (до 100 кВт на стійку проти 12-15 кВт при повітряному охолодженні).Але відвести тепло від серверів – це лише половина завдання, головне питання – це утилізація тепла, ця проблема нікуди не пропадає. У будь-якому випадку доведеться використовувати теплообмінники набагато більш продуктивні та дорогі, ніж у системах з повітряним охолодженням. Це, своєю чергою, знижує економію на електроенергії.
• Гарантія обладнання. Оскільки всі сервери архітектурно пристосовані не під імерсійне охолодження, а під повітряне, виробник буде розглядати як негарантійні всі випадки поломок і дефектів обладнання, що використовується з імерсійними системами. Єдиний виняток, який я знайшов, згадується в цієї новини на Хабрі. Такий сервер, мабуть, під гарантію потрапить 🙂

Крім того, деякі види жорстких дисків неможливо використовувати в рідинному середовищі в принципі – перестає крутитися шпиндель через щільніше середовище. Використовувати в імерсійних ваннах можна лише герметичні гелієві HDD або твердотільні накопичувачі.

• Гаряча заміна та обслуговування. Викликає питання можливість заміни дисків без зупинки сервера, а також його включення-вимикання-ребут по кнопці. Щоб зробити кожну з цих операцій у звичайному ЦОДі, інженеру треба просто відкрити стійку, а у разі імерсійної ванни сервер необхідно дістати, дочекатися стікання імерсійної рідини. Загалом, якщо гаряча заміна і буде реалізована в принципі, її швидкість знижена в рази в порівнянні з класичною стійкою.

Загалом, весь процес обслуговування фізичного сервера займатиме більше часу, ніж зазвичай – дістати сервер із імерсійної ванни та підготувати до сервісу довше, ніж зі звичайної стійки. Це впливає на статистику простою.

Також сумнівною є фактична корисність деяких часто озвучуваних постачальниками імерсійних послуг переваг:

• Відсутність шуму. Ніхто не робитиме імерсійний проект лише через бажання позбутися звукового забруднення. Безшумність обладнання може бути важлива для домашнього майнінгу, але в ЦОДі зовні не буде чути, а всередині співробітникам дадуть протишумні навушники. До речі, прочитати про те, як наша чергова зміна підбирає засоби шумозахисту, можна у цій статті.
• Економія простору. Надщільне розміщення серверів, яке стає можливим з використанням імерсійного охолодження, повинно мати під собою об'єктивне обґрунтування. А не просто тому, що так можна чи захотілося.

Наприклад, таким обґрунтуванням може стати висока вартість землі – якщо ціна квадратного метра $10000, то, напевно, гра в економію площі коштує свічок.

Друга причина – обмежений простір. Якщо ви майнер і у вашому розпорядженні тільки площу своєї квартири або гаража, але при цьому ви хочете знімати з ферми не 10 кВт, а 80, то впровадження імерсійних ванн з хеш-платами замість традиційного повітряного охолодження в них буде доцільно.

Якщо розглядати не майнінг, а дата-центри, то серйозне обмеження простору може виникнути через необхідність розмістити великі потужності на невеликій площі офісу, наприклад, політик безпеки, але я не бачив таких кейсів на практиці.

Ще один момент.При будівництві дата-центру складність не пошук місця під будівництво потрібної площі, а пошук електрики. Іншими словами, для традиційного ЦОД складно знайти 10 МВт, а площа під будівництво ЦОД такого розміру значно легше. Особливо ця проблема є актуальною в умовах міста.

• Підвищення терміну служби пристроїв. Так, за рахунок ефективного тепловідведення знижується нагрівання приладів і сервери служать довше. Однак навіть у традиційних, “повітряних” ЦОДах давно діє правило “Застаріє швидше, ніж зламається”. Наразі потреби вічних серверів немає, а термін придатності стандартного сервера – 5 років, після чого його місце займає більш продуктивний сорат. Таким чином, сильна потреба у підвищенні терміну служби сервера відсутня.
• Виключення попадання пилу та бруду. Серйозна проблема потенційно, проте досить легко розв'язувана клінінгом. В Ixcellerate вологе чищення підлоги проходить щодня, вхід у машзал здійснюється лише в бахилах, прибирання стійок і чищення серверів ми проводимо регулярно.

Іноді ще, на додаток до слів про вилучення попадання пилу, починають писати про користь демонтажу серверних кулерів у процесі “підготовки до занурення” платформ у ванни, нібито вони часто ламаються, що тягне за собою перегрів та простий сервер. Звучить сумнівно – за всі роки роботи в дата-центрі в жодного з наших серверів я не бачив вентилятора, що відмовив.

Висновок

Моя думка — системи імерсійного охолодження, з огляду на вищеописані причини, не зможуть зайняти місце традиційних систем у центрах обробки даних в найближчій перспективі.Найближчим часом доцільним є лише їх точкове застосування під певні завдання: у сфері високопродуктивних обчислень, при надщільному розміщенні потужностей через обмежений простір або для лабораторних досліджень.

Можливо, подальший розвиток потужних процесорів дасть імпульс до більш широкого застосування імерсійного охолодження, якщо виявиться, що інші системи не здатні відводити тепло від потужних систем.

P.S. Цей матеріал я написав, готуючись до створення своєї іммерсійної ферми з кількох серверів з освітньою метою, щоб трохи структурувати свої думки на папері. Все вищеописане – моя особиста думка, і я із задоволенням прочитаю вашу в коментарях під постом. Дякую.