Франкенштейн из цифрового ада. Часть 1.
Пролог
Был поздний вечер, пиво подходило к концу.
В такие моменты обычно звонят бывшим или покупают что-то ненужное на маркетплейсах. Я сидел на интернет-помойке. Листал объявления с ненавистью человека, который ищет нечто особенное, но готов согласиться на что угодно.
И тут я увидел ЕЁ.
Серверная плата лежала на мешке цемента. Фотография была снята на кнопочный телефон где-то в подсобке, в кадр влез угол лопаты. Продавец написал лаконично: «Плата серверная, б/у, рабочая. Торг у капота».
Крупные компании сдают стойки оптом. Стартапы, которые брали кредиты под 25% годовых в 2021-м, закрываются, оставляя после себя долги и три серверных шкафа, которые надо вывезти до пятницы. Дата-центры чистят склады перед продлением аренды. Майнеры сливают оборудование по цене металлолома, потому что электричество снова подорожало.
И всё это течёт на интернет-помойку.
С названиями вроде «Серверный хлам. Недорого», «Платы, блоки, распродажа».
Эта история — не инструкция. Не гайд. Не советы бывалого админа по сборке сервера.
Я не буду учить вас выбирать комплектующие или прокладывать кабель-менеджмент.
Я просто расскажу, как покупал процессоры в конвертах без пупырки. Как материнская плата не влезала в корпус. Как пришлось колхозить крепления из подручных материалов, потому что стойки не совпадали с отверстиями. Как сервер не заводился, а когда завёлся — запахло горелой пылью. Той самой, что годами оседает на кулерах, втягивается в радиаторы и становится частью оборудования, пока кто-то не включит питание после долгой спячки.
Часть 1. Эксгумация
…«Мёртвые не кусаются»…
Глава 1. Мать всех плат
Supermicro X9DRi-LN4F+ — женщина с характером
Это не материнская плата. Это матриарх.
Бабушка, которая пережила войну, трёх мужей, дефолт 1998-го и до сих пор топит печь дровами, потому что ей плевать на наши «умные технологии». Она сама технология.
X9DRi-LN4F+
Звучит как название звезды в галактике Андромеда. На самом деле — кладбище слонов. На этом чипсете крутились биржи, считались ядерные реакции и, подозреваю, системы наведения «Бук».
Технические характеристики для бедных.
Сокетов — два. Потому что один — для ноутбуков. Два — для взрослых.
Слотов памяти — 24.
Да, двадцать четыре, Карл! — Восемь — для слабаков. Шестнадцать — для людей с амбициями. Двадцать четыре — для тех, кто брал кредит на оперативку в 2012 году, когда один гигабайт DDR3 стоил как килограмм выдержанного пармезана.
Четыре гигабитных порта Intel i350
Чтобы вы могли подключить роутер, NAS, принтер, умную розетку, вторую умную розетку и себя — одновременно. Один порт запасной. На случай, если остальные четыре захлебнутся трафиком вашего торрент-клиента.
Четыре PCIe 3.0 x16
Сюда можно воткнуть видеокарту. Не спрашивайте зачем. Просто можно. И она даже заработает. Медленно, с бубном, через костыли из драйверов. Но заработает. Потому что эта плата работала и не с таким.
IPMI с отдельным процессором
У этой платы есть свой маленький компьютер. У него свой процессор, своя память, своя сетевая карта. Он живёт внутри и думает на частоте 200 мегагерц, пока вы грузите ядро Linux. Ему плевать на ваш UEFI. Ему плевать на Secure Boot. Он видел, как Secure Boot придумали.
Внешний вид
Текстолит — зелёный. Цвет скорби венчурных инвесторов. Цвет надёжности, как синяя изолента.
Разъёмы — все на месте.
Никто не отломал угол SATA-порта. Никто не выдрал батарейку с мясом. Никто не пролил на неё кофе. На ней даже есть защитные крышки на сокете — те самые, которые нормальные люди теряют в первую минуту после распаковки.
Эту плату явно любили.
Потом разлюбили. Потом банкротство.
Теперь она лежит на моём столе.
Зелёный текстолит, 24 пустых слота, два сокета под процессоры.
Я включаю блок питания. Замыкаю контакты отвёрткой.
На плате загорается зелёный светодиод.
Она жива.
И она смотрит на меня.
Женщина с характером!!!
Глава 2. Пенсионеры специального назначения
Intel Xeon E5-2680 v2
Архитектура Ivy Bridge EP. 22 нанометра.
Для молодёжи: сейчас 5 нанометров — норма, а в 2013-м переход с 32 на 22 был ядерным прорывом. Инженеры Intel ходили по офису с раздутыми щеками гордости. Они даже не подозревали, что через десять лет эти процессоры будут продавать на интернет-помойке пачками.
Характеристики для бедных
Ядер — десять на каждый. Потоков — двадцать.
В сумме — двадцать ядер, сорок потоков. Это мощнее, чем весь вычислительный центр NASA в 1995-м. NASA тогда на Луну летало с восемью мегагерцами, а у нас тут сорок потоков.
Тактовая частота — 2.8 ГГц база, 3.6 в турбобусте
Турбобуст — это когда процессор чувствует, что вы открыли тяжелый сайт, и говорит: «Ну ладно, ща поднажму». И поднажимает. На пятнадцать секунд. Потому что дальше — перегрев, троттлинг и маты буззера.
TDP — 115 ватт на каждый
Два таких процессора под одной крышей — это уже не сервер. Это отопительный прибор, который случайно умеет считать. Если у вас холодная комната, вы отобьёте стоимость сервера за одну зиму. Если жаркая — купите ещё и кондиционер.
Внешний осмотр
На крышке первого процессора — остатки термопасты. Не благородной Arctic MX-4, нет. Какая-то серая субстанция, похожая на застывший цемент. Второй — чище. Видимо, лежал снизу в стопке.
Надписи на маркировке — всё совпадает. SR1A6. E5-2680 v2. Не инженерники, не QS, не подделка с Алиэкспресса.
На контактных площадках — ни царапины. Кто-то явно умел ставить процессоры. Или просто повезло.
Момент истины
Берём процессор в руки.
Там 2011 контактов. Не ножек — у Xeon контакты на материнской плате, а на процессоре — площадки.
Смотрю на процессор.
Процессор смотрит на меня.
Руки потеют. Дышу через раз. Вспоминаю, что в детстве не слушался маму, и сейчас карма решит, достоин ли я причастия.
Аккуратно, как сапёр при разминировании, опускаю камень в сокет. Пальцы дрожат. В ушах стучит кровь.
Пластина ложится в гнездо с едва слышным «чвак».
Идеально.
Накидываю рычаги, прижимаю крышку.
Контакты не погнуты.
Я — бог.
Ставлю второй. Те же дрожащие руки, то же «чвак», те же рычаги.
Два камня лежат в сокетах.
Они ещё холодные. Но скоро — 230 ватт тепла на двоих. Скоро здесь будет жарко, как в подсобке «Цифрового рассвета», где эти процессоры, наверное, провели последние пять лет своей трудовой вахты.
E5-2680 v2 — это вершина линейки Ivy Bridge EP
Поддерживают четырехканальную память.
PCIe 3.0 — 40 линий на процессор.
Это много. Это столько, что современные десктопные Core i7 иногда завидуют.
И главное — они до сих пор работают.
Не быстро. Не эффективно. Не холодно.
Но работают.
А что ещё надо от пенсионеров специального назначения?
Глава 3. Память девичья, ECC
Ты вставляешь. Ты давишь. Ты слышишь щелчок. Ты чувствуешь гордость.
Потом нажимаешь POWER — и сервер молчит. Как рыба. Как твоя бывшая. Как бывшая рыба.
А потом ты узнаёшь, что серверной памяти нужно ECC Registered. Или чтобы слоты заполнялись строго через один, с чередованием по цвету радуги, в фазе луны, под аккомпанемент гуслей.
Краткий экскурс в сортамент
Это не просто память. Это реликвия. Когда-то она хранила базы данных Газпрома. Или расчёты траектории баллистических ракет. Или каталог порно 2007 года с одноклассников.ру. Мы никогда не узнаем.
Registered — не Unbuffered.
Unbuffered в серверную плату воткнётся. Даже запустится. И даже покажет 128 гигабайт. А потом начнутся ошибки коррекции. Потом падение системы. Потом битые данные. Потом ты идёшь на форум и пишешь: «Помогите, Proxmox умирает рандомно». А тебе отвечают: «Купи нормальную память, нищеброд».
8 модулей
Если ты ставишь 8 модулей на двухпроцессорную плату — ставь по 4 на каждый процессор. Если поставишь все 8 в CPU1 — CPU2 обидится. И не запустится. Потому что он гордый. Потому что он Xeon. Потому что он старший в этом доме.
Внешний осмотр
Посылка приходит в коробке из-под вьетнамских кроссовок. Внутри — пупырка. Поверх пупырки — скотч. Поверх скотча — ещё пупырка. Продавец явно работал на складе.
Распаковываю
Восемь планок. Маркировка, от которой у коллекционеров серверного хлама подкашиваются ноги.
PC3-10600R. 1333 мегагерц. 1.5 вольта.
Registered. ECC. Всё как я люблю.
Пахнет серверной. Тем самым запахом — смесь озона, горячего металла и кондиционера, который десять лет гонял воздух над стойками. Пахнет тысячами бессонных ночей. Пахнет надёжностью.
Диаграмма в мануале
У платы 24 слота. У меня — 8 планок.
Казалось бы, вставь куда угодно. Но Supermicro — женщина капризная. Она требует ритуала.
Диаграмма в мануале напоминает карту метро Токио. Синие — главные. Черные — второстепенные.
Четыре канала. Два процессора. Восемь планок.
Если ты всё сделаешь правильно — они будут работать в связке, как оркестр в аду. Если ошибёшься — сервер включится, но покажет только половину. Или не включится. Или включится, но будет падать при нагрузке. Или не будет падать, но ты будешь знать, что где-то там, в глубине текстолита, зреет ошибка. И она придёт. В 3 часа ночи. В воскресенье.
Момент истины
Беру первую планку.
Совмещаю вырез на планке с перемычкой в слоте.
Нажимаю сверху.
Щёлк.
Звук, от которого у дата-центровщиков случается оргазм. Планка села. Защёлки защёлкнулись. Контакты ушли в слот.
Повторяю семь раз.
Щёлк. Щёлк. Щёлк. Щёлк. Щёлк. Щёлк. Щёлк.
Проверяю по схеме. Вроде правильно. Вроде те слоты. Вроде те каналы. Вроде…
Включаю питание.
Сервер пищит один раз. Коротко. По-деловому.
Заходит в POST.
Загрузка памяти: 128 GB detected.
Я выдыхаю.
Техническое отступление про ECC
Error-Correcting Code.
Это когда память умеет находить и исправлять свои ошибки. Сама. Без вопросов. Без паники.
В обычном компьютере, если космический луч попадает в бит оперативки — у тебя просто упадёт Photoshop. Или сохранится кривой файл. Или откроется синий экран. Или ничего не случится.
В сервере такое прощать нельзя.
Поэтому ECC. Поэтому Registered. Поэтому буферы, которые согласуют сигналы.
Итог
Восемь планок стоят в слотах.
128 гигабайт. Четыре канала. Два процессора.
Вся эта мощь когда-то считала что-то важное. Может быть, запуски ракет. Может быть, баланс Сбера. Может быть, просто крутила 1С в подсобке «Цифрового рассвета».
Теперь она будет считать мои докер-контейнеры и торренты.
Пенсионеры, блин
Глава 4. Второе пришествие адской печи
Вскрываю посылку
Внутри — два радиатора. Лежат в пупырке, как два кирпича в упаковке. Тяжёлые. Увесистые. Такими можно не только процессоры охлаждать, но и защищаться в зомби-апокалипсис.
Внешний осмотр
Supermicro SNK-P0048P — это не радиатор. Это насмешка инженеров над пользователями.
Теплотрубки, которые гонят тепло от процессора в рёбра. Если теплотрубки сдохли — вы узнаете об этом, когда сервер выключится сам. Без предупреждения.
Поверхность основания — зеркальная. Настолько гладкая, что в неё можно бриться.
Рёбра — частые, тонкие, злые.
Подготовка
Достаю Arctic MX-4.
Термопаста среднего класса, но честная. Не высыхает за месяц. Не течёт при 80 градусах. Не вступает в химическую реакцию с медью. Просто лежит и проводит тепло. Как хорошая жена.
В интернете спорят: крестиком, горошиной, тонким слоем ракелем, ёлочкой, спиралью, методом тибетского монаха.
Я просто выдавливаю полоску.
На процессор.
Размазываю пластиковой картой.
Слой получается тонкий, но не просвечивает. Идеально.
Момент истины
Радиатор тяжёлый. Руки дрожат.
Нужно попасть четырьмя винтами в четыре отверстия вокруг сокета. Одновременно. Не сдвинуть термопасту. Не уронить радиатор на материнку. Не задеть конденсаторы.
Я нависаю над сервером, как нейрохирург над открытым черепом.
Медленно опускаю.
Винты касаются отверстий.
Не совпадают.
Чёрт.
Приподнимаю. Смотрю. Опускаю снова.
Один винт зашёл. Три висят в воздухе.
Шевелю радиатор миллиметрами. Слышу, как паста под основанием едет по крышке процессора. Это неприятный звук. Звук ваших ошибок.
Наконец все четыре винта встали на места.
Затягиваю по диагонали. Как колёса на машине. Крест-накрест. Чтобы давление равномерное.
Второй процессор
С ним проще.
Я уже знаю, куда смотреть. Уже чувствую, как ловить баланс. Винты встают сразу.
Затягиваю.
Два радиатора стоят на процессорах. Тяжёлые, холодные, красивые. Как памятники самим себе.
Продувка корпуса
Здесь есть нюанс: радиаторы — пассивные.
На них нет вентиляторов. Вообще. Только алюминий, медь и надежда.
Всё охлаждение — за счёт продува корпуса. Воздух должен влетать спереди, проходить сквозь радиаторы и вылетать сзади. Если в корпусе стоит один вентилятор на выдув — процессоры умрут через 15 минут. В кипятке. Без наркоза.
Решение:
Четыре вентилятора на вдув спереди.
Всё это должно работать, создавать избыточное давление и не шуметь как взлетающий Boeing.
Первое включение с радиаторами
Замыкаю контакты отвёрткой.
Вентиляторы загудели. Сначала тихо, потом громче, потом вышли на режим. Сервер звучит как сервер. Не как пылесос, но близко.
Захожу в IPMI.
Смотрю температуры.
CPU1: 52°C.
CPU2: 55°C.
Без нагрузки. В простое.
Это нормально? Для десктопа — нет. Для сервера в 2U — да.
Я нажимаю «Start Stress Test».
Цифры поползли вверх.
60… 65… 70… 75…
Остановились на 82°C.
Вентиляторы завыли на полную. Сервер теперь звучит как пылесос. Как очень злой пылесос.
Я сижу и слушаю этот вой. Где-то на грани слышимости, на частоте 10000 RPM, умирают мои барабанные перепонки.
Техническое отступление про температуры
Ivy Bridge EP греется.
Это факт. 22 нанометра, старые транзисторы, высокое напряжение. Они не умеют быть холодными. Они умеют только считать и греть комнату.
82°C под нагрузкой — это не смертельно. Это рабочая температура. Datasheet от Intel говорит: максимум — 90°C. Дальше — троттлинг. Дальше — аварийное отключение.
Я в запасе.
Пока.
Итог
Два радиатора стоят.
Паста намазана.
Температуры в норме.
Костяшки пальцев — в кровь. Потому что внутри корпуса острые края. Потому что серверное железо не прощает расслабленности.
Я заклеиваю палец пластырем.
Смотрю на сервер.
Он гудит. Он греется. Он живой.
Радиаторы, термопаста, кровь на текстолите — адская печь приняла жертву.
Глава 5. Ну, чемодан, погоди!
Корпус, БП и великая депрессия
Коробка приехала.
Большая. Тяжёлая. Сверху наклейка: Корпус серверный 2U ExeGate, БП 2U-1000ADS.
Не с интернет-помойке. Не с помойки «Цифрового рассвета».
Новое. В плёнке.
Внешний осмотр
ExeGate 2U — это честный китайский корпус.
Металл — 1 миллиметр. Не фольга, не жесть от консервной банки, а нормальный конструкционный материал.
Вес — под 20 килограмм пустым. Потому что 1 мм стали — это 1 мм стали. Тут без вариантов. Когда вы будете тащить эту бандуру на десятый этаж без лифта, вы вспомните этот пункт. И проклянёте.
Дизайн — суровый индустриальный минимализм. Никаких глянцевых вставок.
Ручки есть. Две. Металлические. Литые. Держаться можно. И не только держаться — таскать этот гроб с чувством собственного достоинства, а не обнимать его как родного.
Техническое отступление про юниты
2U — это 8.9 сантиметров высоты.
В эти 8.9 сантиметров нужно запихнуть:
— материнскую плату с радиаторами
— два процессора
— восемь планок памяти
— блок питания
— четыре вентилятора на вдув
— кабели, которые толще, чем рука младенца
— и надежду, что оно всё не перегреется
Блок питания
В корпусе уже стоит блок питания. ExeGate 1000W.
Внутри — великая китайская тайна, покрытая мраком. Вскрывать нельзя — гарантия кончится быстрее, чем вы найдёте отвёртку. Доверяем, но проверяем.
Странно. Подозрительно. Обычно стоковые блоки выдают 12 вольт только если дунуть на них правильно, перекреститься и плюнуть через левое плечо. А тут — идеал.
Либо там живёт гном с динамометрической отвёрткой и красным дипломом, либо нам просто повезло. Я ставлю на гнома. У него там кондиционер, ионизатор, кофе-машина и даже кровать поролоновая.
Форм-фактор — не стандартный ATX. Не обольщайтесь.
Разъёмы и провода
Главное, что нужно знать про блок питания для двухпроцессорной материнки:
Там ДВА 8-pin EPS разъёма.
Один питает первый процессор. Второй — второй процессор.
В моём блоке два разъёма есть. Родные. С завода. Не надо колхозить, паять, вырезать, скручивать.
Посадочные места под вентиляторы
Внутри панель — четыре отверстия под 80-миллиметровые вентиляторы.
Почему так много?
Потому что 230 ватт тепла от процессоров нужно куда-то девать. Если вы думаете, что они растворятся в воздухе сами — вы никогда не трогали радиатор под нагрузкой. На нём можно яичницу жарить. Без сковородки. Прямо на рёбрах.
В комплекте обычные вентиляторы и решётки.
Видимо, производитель считает, что охлаждение — это опция. Как совесть. Есть не у всех.
Жёсткие диски
Отсеки под HDD — на 9 горячей замены.
«Горячая замена» — это когда вы можете выдернуть диск на работающем сервере, и он не убьёт систему. Теоретически. Практически — зависит от того, насколько злые духи живут в вашем контроллере и как сильно вы задобрили богов RAID-массивов.
Салазки — металлические. Не пластик, который треснет при первом взгляде. Не хлипкие китайские подстаканники. Нормальные, увесистые.
Встают плотно. С усилием.
Подключение — через SFF-8087. Это такие разъёмы. Один такой кабель заменяет 4 SATA. И добавляет 10 минут мата при укладке. Но кабель-менеджмент — это уже ваши проблемы. Корпус свою работу сделал.
Крышка
Крышка — съёмная. На винтах.
Не на защёлках, которые отвалятся через полгода. Не на липучке. На винтах.
Снимается легко. Одевается — с лёгким хрустом. Этот хруст — звук вашей решимости. Или звук победы. Или просто воздух выходит. Мы никогда не узнаем.
Главное — держит.
Итог технический
Корпус ExeGate 2U:
— Материал: сталь 1 мм (не гнётся, не дышит)
— Высота: 2U (8.9 см) — стандарт, не подкопаешься
— Глубина: 650 мм — влезет любая плата, даже если она размером с крыло Boeing(но это не точно)
— БП: 1000 Вт, с двумя EPS.
— Отсеки: 9 x 3.5″ горячая замена — бери диски и ставь
— Вентиляторы: 4 посадочных мест — продувка на уровне
— Вес: 20 кг пустым — тренирует спину
— Цвет: чёрный, траурный, строгий
— Состояние: новое, в плёнке, с запахом китайской пластмассы
— В комплекте: корпус, БП, гробовое настроение и чувство собственного достоинства
Итог философский
Корпус стоит на столе. Чёрный, тяжёлый, основательный. Новый. Пахнет заводом. Пахнет надеждой. Пахнет Китаем.
Внутри пока пусто. Но скоро там поселятся пенсионеры. Двадцать ядер, сорок потоков, 128 гигабайт памяти. Им будет тесно. Им будет жарко.
Корпус сделан из металла толщиной 1 мм. Он не согнётся. Не треснет. Не предаст. Он простоит дольше, чем некоторые браки. Дольше, чем некоторая любовь.
В нём есть что-то от советского сейфа. Или от гроба. Или от танка. Смотря как относиться к железу.
Добро пожаловать в ад
Так же читайте наши статьи.
