Затишье в спекулятивном росте стоимости криптовалют, как и писал PULSE в апрельском номере, дало возможность развиться новым технологиям, востребованным на крипторынке. И, конечно, в первую очередь, это обусловило появление новых аппаратных разработок.
Одна из таких разработок – проект Комбокс (ComBox) петербургской компании ООО “ЭВЕРЕСТ” (Combox Technology), в рамках которого создана материнская плата с системой жидкостного охлаждения. Она уникальна, так как имеет несколько принципиальных преимуществ перед другими суперкомпьютерами благодаря использованию нового способа охлаждения процессоров. ComBox – яркий пример превращения теоретической модели в работающий промышленный объект, востребованный рынком. И пока такие вопросы как стоимость энергии, физические объемы, пожаробезопасность и охрана окружающей среды будут актуальны, разработка компании ООО “ЭВЕРЕСТ” останется востребованной не только в криптоэкономике, но и во всех крупных вычислительных центрах.
PULSE попросил подробнее рассказать о ComBox создателей проекта – генерального директора ООО «ЭВЕРЕСТ» Дмитрия Рытвинского (Dmitriy Rytvinskiy) и технического директора Александра Панкратова (Aleksandr Pankratov).
– Расскажите о концепции и отличиях вашего изобретения.
– В основе концепции нашего устройства для двухфазного жидкостного охлаждения лежит идея приблизиться к минимальным габаритам. Созданная нами материнская плата позволяет крепить видеокарту вплотную, с минимальными зазорами, поэтому их можно установить в очень большом количестве.
При других решениях, не используя такую плату, этого сделать не получится.
Плата спроектирована нами с нуля, целиком нашего дизайна, и это уже не просто прототип, а серийно произведенное устройство. Мы снабдили ее функциями контроля напряжений, которые идут с блоков питания. Это дает возможность блокировать видеокарты удаленно с интерфейса и мониторить все системы, собирая телеметрию в объеме, который мы считаем нужным: например, температуру, количество кипящей жидкости и влажность. Это что касается электронной части.
А теперь то, что касается системы охлаждения. Мы используем специальную жидкость, которую производит компания «3М». Это экологически безопасная фторорганика, прозрачный диэлектрик, который кипит при температуре 60 градусов. Следовательно, любая точка электроники в нашей системе будет иметь максимальную температуру 60 градусов.
Таким образом, мы получаем охлаждение всех элементов: от памяти и процессоров до мельчайших деталей. Плюс именно эта жидкость используется для пожаротушения, поэтому с позиции пожара и огня она полностью безопасна. В отличие, например, от минерального масла, которое применяется в других системах, используемая нами жидкость не может загореться. Тепло в нашей системе отводится за счет кипения, и коэффициент такого отвода, по сравнению с воздушными системами охлаждения, крайне высокий. Поэтому наша технология позволяет устанавливать оборудование в несколько раз плотнее, чем классическая воздушная технология. По нашим прикидкам, где-то в 10-15 раз. Благодаря наличию жидкостного охлаждения, мы имеем пониженные затраты на кондиционеры, на кулеры – движущие части не надо менять, они не ломаются. Здесь ничего не двигается, а просто работает физика: жидкость кипит и, конденсируясь, стекает обратно в систему. Это качественное преимущество нашей системы.
Жидкость является достаточно дорогой – порядка 5000 рублей за литр, но не дороже стоимости воздушной системы охлаждения. При этом нет затрат на электроэнергию воздушной системы охлаждения, и практически не требуется никакого технического обслуживания, так как система замкнутая и с внешней средой не контактирует. Плюс пожаробезопасность. Получаем идеальное решение для вычислительных систем (как у нас их называют, систем параллельных вычислений) на видеокартах.
– Каким образом происходит теплообмен внутри такой системы?
– Жидкость в системе кипит, поднимается, превращаясь в насыщенный пар, а затем осаждается, остывая в жидкое состояние. Физика! Далее все это по змеевику стекает обратно внутрь. В полном объеме. Контакта с внешней средой нет. Основная часть энергии затрачивается на переход из жидкой фазы в газообразную, а обратный процесс 
конденсации требует забрать тепло для перехода из газообразной фазы в жидкую. То есть именно сами переходы фаз – все тепло там.
– Расскажите про ваш промышленный прототип.
– Есть промышленный прототип в виде двадцати футового контейнера с воздушным охлаждением, где мы обкатывали тепловыделения, математику, автоматизацию, софт и т. д. Он стоит и работает в режиме 24/7 прямо сейчас. Мы все посчитали, смоделировали объект, собрали его и убедились, что он работает именно так, как мы планировали. То есть в теплообмене мы все правильно посчитали. Еще у нас есть бойлер, в разных исполнениях на один объект, – он работает, и мы знаем, что с ним все в порядке. И есть тестовый бойлер на 96 видеокарт. Мы сейчас проверяем его, и там тоже все теплообменные процессы у нас сходятся с расчетными показателями. 96 карт собираются в брикет-кубик, он ставится в бойлер с двумя специальными радиаторами.
– Промышленное использование подразумевает использование в ферме. Сколько в ферме может быть таких плат?
– Если мы берем минимальный бойлер, где технология становится экономически эффективной и целесообразной, то это 96 таких видеокарт. Это минимальная единица. Если карт меньше, то проще использовать воздушное охлаждение. С точки зрения промышленного использования, это контейнер, в котором стоит 10 таких, как мы их называем, бойлеров. Итого 960 видеокарт на один контейнер.
– Помимо пожаробезопасности и компактности размещения, какие еще есть выгоды от вашей системы, если сравнивать с традиционным способом охлаждения?
– Во-первых, сама традиционная система охлаждения съедает в разы больше энергии, чем наша система. В нашей системе достаточно иметь на крыше охладитель и 4 больших кулера, а там нужен кулер на каждой видеокарте, продув между видеокартами, приточная вентиляция, кондиционеры – а только установка системы кондиционирования и ее энергопотребление стоит больших денег, и т. д.
Во-вторых, это обслуживание. Любые вращающиеся элементы – кулеры и т. д. не выносят пыли, и их надо постоянно чистить. К тому же сами кулеры, в том числе на видеокартах, ломаются и требуют периодической замены. Это простои оборудования. Пыль все равно будет лететь, а если она еще и влажная, то совсем беда. А наша система замкнутая, и у нее нет контакта с внешней средой. Пыль внутрь не залетает, никаких движущихся частей внутри бойлера нет – только снаружи четыре кулера в охладителе на крыше.
И, кстати, нашу систему не обязательно охлаждать воздухом – мы можем протянуть теплообменник в речку. Для реки 150 кВт будет незаметно. И в этом случае мы полностью снимаем затраты на электроэнергию для обдува видеокарт и полностью лишаемся всех подвижных механических частей вообще.
– Помимо уникальной плотности размещения плат, есть ли еще какая-то особенность вашей разработки?
– Целью проекта было изготовление вычислительной системы высокой эффективности и безопасности для промышленного применения. Обычно для установки видеокарт все используют удлинители. У нас сделана своя материнская плата, управляемая процессором, который анализирует напряжения с блоков питания, смотрит за влажностью, температурой и другими важными параметрами. Здесь нет отказов, связанных с жесткими дисками, так как жестких дисков нет. В системе они не предусмотрены, загрузка идет с сервера по сети. При этом параметры работы всех элементов системы постоянно анализируются высокоскоростным контроллером собственной разработки.
– А если в цифрах сравнить стандартную систему обдува и вашу?
– Коэффициент традиционной (воздушной) системы – 1,47, а у нас – 1,05. По затратам электроэнергии.
– А физический объем в сравнении с воздушным?
– В 15 раз меньше. В нашей системе 96 видеокарт занимают столько же места, сколько 6 обычных PCI видеокарт.
– И самая красивая цифра сравнений – в деньгах?
– Если смотреть по стоимости оборудования, то на стадии производства и покупки что воздушное, что жидкостное имеют сопоставимые цифры. Основные выгоды: экономия на энергопотреблении и обслуживании, широкий диапазон рабочих температур, высокая плотность и пожаробезопасность. Если говорить о пожаробезопасности в целом, то у нас сделан свой контроллер с программой предотвращения пожара, который в случае некорректной работы любого майнера в течение секунды выключает его. Мировая практика эксплуатации подобного оборудования показывает, что пожары – это не миф, а реальный риск уничтожения всей системы. У нас такие риски сведены к минимуму.
– Где еще, помимо майнинга криптовалют, возможно применение вашей системы? Может, математическое моделирование 3D в Автокаде?
– Сама идея, – что есть системы, с одной стороны, загруженные майнингом, а с другой стороны, их можно переключить на что-то иное… Наша система действительно дает возможность конечному пользователю одним кликом за секунды получить то, что в другом случае он бы ждал днями. С нашей стороны, вся загрузка происходит без жестких дисков: система Linux лежит целиком на сервере. Поэтому конечный пользователь может дать нам любой образ Linux, мы его выкладываем на сервер, даем команду, и у нас все стойки перезагружаются и загружаются с нового образа. Можно все что угодно делать: моделирование, нейросети, искусственный интеллект. У системы большая гибкость.
– А если, например, в системе аппаратный сбой. Сколько уходит в среднем на замену элемента?
– У нас сейчас есть система на воздушном охлаждении, с которой мы как раз отрабатываем сбои и действия в случае их возникновения. Происходит сбой – нам тут же приходит сообщение: «отключился элемент № 5 по такой-то причине». Мы понимаем, что произошел сбой в пятой видеокарте, блокируем эту карту и продолжаем работать дальше. Если из 960 карт одна выключилась, это не страшно. Но как только мы достигаем определенного порога, мы понимаем, что мощности начинают простаивать. Тогда туда едет специально подготовленная команда, которая адресно начинает разбираться с этими видеокартами.
– Были ли какие-то уже разговоры с кем-то из ЦОДов с предложением приобрести вашу систему?
– Нет. Разработка велась в режиме строжайшей секретности. Сейчас мы технологию уже полностью обкатали и понимаем, как она работает. Находимся на этапе строительства нового двадцатифутового контейнера на 960 видеокарт, который планируем запустить через несколько месяцев. Поэтому мы понимаем, что даже если мы ее сейчас анонсируем, то, скорее всего, нас уже никто не догонит.
– А есть ли какая-то патентная защита?
– Заявка на патент уже есть.
– Нерешаемый элемент при промышленной реализации может появиться?
– Нет, мы решили все элементы. Сейчас мы от этапа первых собранных и протестированных моделей перешли к масштабированию. Нам нужно собрать и запустить все 960 карт в полном объеме. Может быть, увидим там что-то для нас новое, но это вряд ли. Есть опыт запуска системы на 480 видеокарт с воздушным охлаждением – там мы увидели некоторые моменты, которые уже учли в этом проекте.
– А российского аналога используемой жидкости нет?
– Чтобы запустить производство такой жидкости в России, во-первых, нужно будет производить ее цистернами – а это уже достаточно дорого, во-вторых, нужно будет поднять всю технологию целиком, а в-третьих, здесь нужно будет обеспечить химическую чистоту. Компания «3M», у которой мы эту жидкость берем, гарантирует, что жидкость не будет повреждать печатные платы, корпуса микросхем, провода и т. д. А если создавать жидкость здесь, с учетом патентной защиты, то химических соединений не так много: которые бы кипели при 60 градусах и были бы диэлектриком. Поэтому такую жидкость просто так не сделать. Вопрос в экономической целесообразности.
– Вы сказали, что в мире используются другие системы жидкостного охлаждения…
– Сейчас многие говорят, что у них есть системы жидкостного охлаждения, но по факту, они на основе минерального масла, а не двухфазного охлаждения. Выглядят примерно так же, но это – прошлый век. Там компактного размещения плат никогда не будет, потому эффективность охлаждения у минерального масла ниже. В случае же с двухфазной системой охлаждения таких проблем нет, отвод тепла крайне эффективный. А масло еще и горит, к тому же при больших температурах…
