Тем временем, домашней RAID-группе стукнуло больше 7 лет.

[dzz]

8 терабайт, софтверный RAID5 на трёх 4-терабайтных Seagate IronWolf.



Сбоев за время эксплуатации не было, статус ошибок по smartctl девственно чист. Восстановление после выключения-включения питания отрабатывает также без ошибок. Выбор недешёвых NAS-дисков себя полностью оправдал.

Comments

[earlyhawk.livejournal.com]

Как живые!)

[parakhod.livejournal.com]

Хм, а чего софтовый и чего всего на три (прелести 5-го райда начинают проявляться от четырех дисков и далее)?
Хочу кстати на досуге собрать себе тоже могильник для данных — благо когда-то по дешевке купил чудный джуниперовский рэковый девайс куда это можно засунуть — там дисков пять точно влезет, два даже красиво в корзинках. Надо там только мамку поменять на что-нибудь не совсем уж антикварное, там четвертый пень — я уже не готов. Ну и диски взять на 24 ибо почему нет. Ну и сетевой адаптер с sfp+. Там есть свой интел с кучей портов, но все гигабитные.

[mike-mihalych.livejournal.com]

Я в Синолоджах менял диски раз в 5-6 лет пока не добрался до красных WD. Лет по 8-10 работают, продолжаю наблюдение.

Хм-ммм...

[de_nada]

Интересный комментарий (без сарказма и подъелдыкивания :))...

Вставлю и свои "5 эре"(с). :)

Во-первых, интригует вот это место:
>(прелести 5-го райда начинают проявляться от четырех дисков и далее)

- хочется узнать, что за "прелести" и как они связаны с кол-вом "от четырёх", по-Вашему (опять же, без подвоха спрашиваю).

Во-вторых замечу, что с ростом объёма дисков зависать на десятки часов в статусе "degraded" на рейд-группе RAID5 лично мне как-то стрёмно (поэтому я давно перешёл на R6/60 или R10 как в проде, так и "в личной жизни").

В-третьих, разделяю Вашу вопросительно-недоумённую интонацию насчёт "софтового рейда" — не то что бы я сам таковыми не пользовался, но чисто в качестве "затычки" (в проде реже, дома чаще), а на больших объёмах и/или кол-ве дисков предпочитаю хардварные решения (причём "навесные" полноценные контроллеры, а не "бортовые" fake-RAID`ы материнок).

В-четвёртых, "диски на 24" — это Вы в терабайтах? Если да, то я несколько обескуражен — больше чем на 8TB сейчас все диски (что энтерпрайзные, что "полупрофи", что бытовые) идут или с гелиевой "набивкой", или SMR`ные.
Второе ещё можно как-то пережить (если не совать их куда попало и не ждать от них чудес), а вот с гелием мне реально стрёмно связываться, особенно "здесь и сейчас".

Или Вы про "корзины"/кузова на 24 диска?
В этом случае нареканий нет (у самого такие кузова в проде с SAS 2,5"), просто это не хомяк чихнул так-то — там и ценник небожеский на сам конструктив, и условия требуются (стойка, продув, шумоизоляция).

В-пятых, сетка с sfp+ на 10Gb — это мастхэв, конечно: "накоротке" (в пределах стойки-двух) цепляем твинаксиальный пассивный кабель между серверами — и па-ни-слась! :)
Притом что свитчи 10G с sfp+ сильно дешевле аналогичных с RJ45, я ещё практикую практически сплошь "двухголовые" адаптеры — часто выручает, когда надо повязать, скажем, пару серверов между собой и их обоих к хранилке/быкапке: делаешь "треугольник" и всё пучком, даже свитч не нужен.
Если ещё и дисковая успевает читать-писАть за "десяткой", то ваащще агонь.

Вот вкратце так как-то...
Извините, если излишне занудно :) обстоятельно подошёл к теме — профдеформация-с... :))))

С уважением.

[dzz.livejournal.com]

Основная прелесть 5 рейда — сохранение данных при отказе одного диска из трёх. С этим текущий сетап справляется хорошо. Без hot spare — это да. Софтовый — потому что нагрузка на запись небольшая, это, скорее, хранилище и торрент. Ну и независимость от железки. Мой предыдущий NAS дважды пережил замену материнской платы без переконфигурирования.

Хех! :)

[de_nada]

Повезло. Без иронии.
Я про последнюю фразу комментария.

Теоретически — да и практически — софт-рейды действительно должны бы переживать смену железки "на ура".
Но и "на старуху бывает порнуха" — буквально в этом месяце перекинул диски с мамки AM4 на мамку AM4... и разделы на них стали RAW: ФС (NTFS) фсьо... кончилась... :((
Я, конечно, файлики-то повытаскиваю, для того в "библиотечке" не один десяток соответствующих прог класса rescue/recovery имеется, просто, как говорится, "ничто не предвещало".

Ну да, там было "зеркало" софтовое на динамических виндовых дисках, но, во-первых, и такие "зеркала" я десятками перетаскивал с компа на комп... даже система от этого не переставала грузиться. Больше скажу — перекидывал и "зеркала" псевдоаппаратные", "чипсетные" или "чиповые", знай драйверы подпихивай себе вовремя.
А во-вторых, ровно так же не пережила переноса и ФС на разделе одиночного диска, причём basic, причём MBR, между стандартными AHCI-контроллерами.
И это винда, изученная и — что более важно! — в базовых вопросах вылизанная ""от" и "до"" ("десятка", есичо).

А коль скоро мы имеем дело с другими ОС, а тем паче с проприетарщинкой (помню-помню, ряд NASов вообще размечает разделы и форматит их потом "стандартной ФС" с какими-то своими "сигнатурами" хитрожопыми), то тут уже начинается "лотерея" некоторая.

Отсюда моя любовь к "навесным" рейд-контроллерам — у них и с переносимостью всё гораздо лучше (в пределах этого вендора, конечно, но с ооочень широким "люфтом" по линейке моделей), и проги типа RAID Reconstructor спокойно составят нам рейд-группу из таких дисков даже без самого контроллера.

С уважением.

RE: Хм-ммм...

[dzz.livejournal.com]

Я писал про ДОМАШНЮЮ RAID-группу в домашнем же NAS-e. Она решает домашние задачи по хранению и шифрованию-дешифрованию налету (там поверх RAID-a партиции LUKS).

[parakhod.livejournal.com]

Ну да, собсна за тем пятый райд всегда и делали (я уже получается больше 25 лет исключительно этой конфигурации придерживаюсь в райдах).
Хот — да нафиг хот, дома 99.9999 аптайма не упёрлось особо, да и на работе тоже ежели это не какой особо важный публичный сервис. Да и диски по счастью дохнут не часто (но по несчастью всё-таки дохнут иногда, суки).
А вот хардовый всё-таки вещь хорошая. Нагружать центральный кирпич тупыми ксорами как-то нелепо, да и каждый диск отдельным девайсом иметь и на него отдельно писать с него отдельно читать — тоже (кстати ещё и на южный мост ненужная лишняя нагрузка и ненужный его нагрев). Учитывая что специализированные платки райдов и четверть века назад вполне дешёвые были, а сейчас вероятно и того подавнее, не вижу смысла экономить ни малейшего. Ну а чуть менее дешёвые есть с кэшем и батарейкой — вообще прелесть.

:)

[de_nada]

Товарищ Dzz, а чо на меня орать-то КАПСЛОКОМ??? :)))))
Я читать умею, в своём комментарии — "третьему лицу" — про Вас и Ваш "домашний NAS" ничего (плохого) вообще не было сказано.

"Нитивонипанимаю!"(с) Х.М. :))

С удивлением.

RE: Хм-ммм...

[parakhod.livejournal.com]

От четырёх — чисто субъективно экономическое, потому что я всегда их собирал именно от четырёх. На четырёх всего 25% объёма теряется, на трёх уже 33%, что жаба не одобряет. Плюс скорость растёт. На больше уже контроллеры дороже, так что имеет смысл сразу дисков на восемь замахиваться.

Ну у меня райды пятые были на двенадцать и шестнадцать дисков в ходу (для видео/аудио приходилось много дисков иметь), изредка один диск вылетал. Очень изредко по счастью. Сразу же меняли, контроллер шурша всё восстанавливал, ужасных проблем ни разу не было. Конечно всё критичное было забэкаплено, но райды они для работы, не для бэкапов. Так что чисто по опыту такая конфигурация была оптимальной. Из бэкапов за много-много лет ничего восстанавливать не приходилось.

На 24Тb харды имею в виду. На амазоне их имеется некоторый выбор даже, да и цена вполне терпимая. Глубоко в параметры не копал ещё если честно, рассуждаю пока чисто теоретически. Но чисто теоретически пять штук в пятом райде дают 100 терабайтов. Что приятно греет душу (подозреваю и дом будет дополнительно тоже греть в плане отопления, стойки играют в этом уже кое-какую роль тоже))

Корзины не будет — будет жуниперский рековый кузов, куда будет запихнута новая мать или 4-5 дисков.

Ну а на десятку сейчас потихоньку домашнюю сеть перевожу (у нас слегка профдеформированный домашний офис с парой рековых стоек). Тырнет на 2.5 основная линия приходит (говорят что можно агрегировать несколько каналов, что потенциально любопытно), между девайсами в основной стойке десятка, между стойками — десятка оптикой, рабочие компы мои на 2.5 оба (воркстейшену предвидится десятка), так что файлохранидло безусловно имеет смысл на десятку подключать.

RE: Хм-ммм...

[parakhod.livejournal.com]

Амазон по хардам предлагает некоторый выбор, refurbished разумеется брать не буду, хоть и дёшево, а вот такое выглядит вроде ок. А уж сдохнет — не сдохнет, кто его знает...

А вот коробчонка для лягушонков:



Досталась нераспакованная за копейки, заодно там пара 500-гиговых барракуд в корзинках, на бекапы надо пустить.

-

[de_nada]

Угу — ЧТД: эта 24-ка хоть и CMR (что хорошо), но всё же, как и говорил, гелиевый (что стрёмно).

Ровно потому я и в прод, и домой не беру больше чем на 8TB (ИМХО последний размер без гелия).
Один фиг мне или не надо много места/IO (дома), или надо (прод), но компенсирую это числом шпинделей (опять же меньше размер диска — быстрее случится ребилд: на рейд-группе любой(!) размерности).

Про Juniper-хранилку (кузов) ничегоне скажу, бо вижу на этом фото первый раз в жизни.
Но вспоминая матюки деда Сергеича на эту марку сетевого, как-то поёживаюсь, чисто автоматически. :)))

С уважением.

Re: :)

[dzz.livejournal.com]

Капслоком можно не только орать, но и обращать внимание. Что и было в данном случае, звиняйте, если обидел :)

Собирать дисковую стойку по-взрослому дома негде и незачем, так-то умею (и SAN строить тоже приходилось), но это совсем другие вложения.

RE: Хех! :)

[dzz.livejournal.com]

У меня линуксовый софтрэйд, и с ним имеется большой и положительный опыт работы. "Мамочной" реализации я, как раз, не особенно доверяю (тоже пробовал, были прецеденты с непереносимостью), а навесные контроллеры — да, неплохо, но в данном случае необязательно.

[dzz.livejournal.com]

> Нагружать центральный кирпич тупыми ксорами

Он больше нагружен шифрованием, LUKS же поверх. Но под моей нагрузкой (торренты + трансляция видео по домашней сети) камень (i5-3470) практически всегда простаивает.

[dzz.livejournal.com]

Красные WD — тоже рулез, у меня такой лет 5 пашет без нареканий в качестве основного десктопе.
В прошлой реализации NAS-а стояли "зелёные" WD-шки, два диска из 5 за пять лет отправились в страну вечной охоты.

Хех! :)

[de_nada]

Да не за что извиняться (просто я уже привык для привлечения внимания пользоваться разметкой ЖЖ, вот и "сагрился" на капс :)))))

Да фиг с ней со стойкой (её и на доме-то не всяком впихнёшь, не говоря уже о квартире, так что мои серверы на шкафу в прихожей шуршат тихохонько (те, которые не косплеят своими кулерами ураган "Катрин" :))). Было бы железо, а куда деть — найдём! :)))

С пониманием.

Хм-ммм...

[de_nada]

Ничего против mdadm/LVM не имею, у самого прям щщас в проде пара таких вот рейд-групп шуршит.

Но я так скажу — на двух абсолютно одинаковых серверах (ну да, без "чемпионских" CPU, рабочая скотинка прежних лет :)) рейд-группа R10 (то есть без КС) на четырёх одинаковых хардах в софтовом варианте (линукс) уступает такой же хардовой (старый добрый LSI 9260) ровно вдвое (по времени быкапа одинакового объёма данных одинаковым методом).

Притом что в белокаменной нынче рекомый LSI "с пробегом" тянет где-то на пятёрку рублей (конечно, без BBU/CV и/или CC, но даже так это уже весьма по-божески).
Так что я стараюсь иметь у себя запас их под проекты.

С уважением.

RE: -

[parakhod.livejournal.com]

От коробки только бп (дублированные что гуд, кстати) да корзинки для хардов в дело пойдут. Ну и может экранчик с кномпочками подключу, он вроде ком-портовый и смешной. Остальное в коробку с антикварными запчастями, ессно.

Ну а про диски и вообще про всякие железки я давно понял что не угадаешь. Бывает что-то как супернадёжное всё хвалят, а оно сыпаться у всех через год начинает. А бывает бюджетная фитюлина работает десятилетиями и хлеба не просит. Не угадаешь никак.

[parakhod.livejournal.com]

Охх, я торренты последний раз качал года четыре назад.
А видео всё либо с тырнетов стримится, либо с блюреев играется….

[dzz.livejournal.com]

В тырнетах есть актуальное, а вот что-то старое или редкое временами не найдёшь на стриминговых сервисах. А у меня пополняемый запас :)

[parakhod.livejournal.com]

Ну не скажи — актуального шлака конечно тоже навалом, но и всякого хорошего старого, причём в хорошем качестве, сейчас довольно много стало, ну по крайней мере в наших краях. На нетфликсе много, на прайме даже базовом много, а уж на студийных каналах типа paramount+ или mgm вообще чего только нет.
Ну а все то что хочется иметь в личной копии мы на блюреях покупаем. Ну и качество кстати сильно лучше.
Если что завел даже и писалку блюреев и пачка болванок лежит, но пока так и не пригождалось — всё и так при желании можно купить.

[mike-mihalych.livejournal.com]

Зеленые тоже жили. Тоже все переехали в дачный комп разлагаться далее или поставлены в очередь на такой переезд. 8о)

Есть еще 1 Hitachi, который живет уже во второй хранилке и лет ему около 15-и. 8о)

[gunslinger2.livejournal.com]

(https://ic.pics.livejournal.com/gunslinger2/8611386/2954/2954_original.png)

У меня новый совсем. Но это потому, что предыдущий (тоже R6, из 7x2 Тб) благополучно отработал с 13 года и был разобран исключительно потому, что 10 Тб перестало хватать.

RE: Хех! :)

[gunslinger2.livejournal.com]

и разделы на них стали RAW: ФС (NTFS) фсьо... кончилась... :((
И это винда, изученная и — что более важно! — в базовых вопросах вылизанная ""от" и "до"" ("десятка", есичо).

Софтрейд бывает только mdadm. Многим хороша винда, но ее работа с дисками — это говно говна. Хуже, пожалуй, разве что "набортные" рейды десктопных мамок. И ровно это же высказывание можно отнести к любым проприетарным коробочкам: не слышал еще ни об одной, которая не начинала бы делать голову через пару-тройку лет использования.
Железные рейды лучше, но с ними есть прелестный нюанс с восстановлением в случае аппаратного отказа.

[jno2004.livejournal.com]

После того, как буквально в руках рассыпалось несколько хардварных рейдов с потерей данных (озу, батарейки, сам контроллер) - нафиг такое щазье. И в проде тоже.

[dzz.livejournal.com]

Если честно, я не помню, когда в последний раз запускал железный блюрей/двд-плеер. А домашним сервером c DLNA пользуемся постоянно. Ну и торренты — они ещё и для софта.

[parakhod.livejournal.com]

Хм, а я вот уже не припомню когда последний раз варез ставил ))

[dzz.livejournal.com]

Варез варезу люпус эст :)

[dzz.livejournal.com]

У меня предыдущая RAID-группа работала с 2006 по 2017, но с двумя заменами дисков (WD Caviar Green)

[gunslinger2.livejournal.com]

С десктопными винтами я наигрался давным-давно, а уж серия green была... Кхм... Хорошего о них можно было сказать разве что "они не дятлы".
Не, я использую только и исключительно серверные серии. Нервы еще дороже. :)

[vitus_wagner]

Интересно, и какая же тут модель угроз, ради которой нужно применять full-disk-encryption?

Имеем домашний NAS, с аптаймом, вероятно не меньше трех девяток 99.9% времени.

Когда он up, ключи шифрования в системе есть, и доступ к данным на дисках есть.

Если что сломается, то сочетание RAID5 с LUKS существенно затруднит процесс восстановления, тут уж только на бэкапы надежда. Кстати, а бэкапы шифрованные? И далеко ли от NAS они хранятся?

Большая часть данных, которые хранятся на этих дисках, вероятно представляет собой фильмы, аудиозаписи и прочий контент, который очевидно не секретен.

А стоит LUKS довольно дорого — это затраты на более мощный процессор, на электроэнергию которую он потребляет, и небольшой, но оверхед на администрирование.

Что-то при таких вводных я не могу себе представить тех угроз, ради которых на эти затарты стоит пойти.

[dzz.livejournal.com]

Во-первых, это интересно :)

Первые эксперименты с full encryption я начал году в 2010-м, наверное. Основной идеей была защита ноута с реально конфиденциальными данными при краже/потере. Оказалось, что даже на мобильных камнях того времени торможение в режиме "пишем код/документы" не заметно, а при компиляции больше зависит от объёма оперативки, на которой не нужно экономить.

Ну а потом как-то пришёл к практике тотального шифрования дисков. За 15 лет не было ни одного инцидента в невозможностью восстановить LUKS-партицию, созданную хоть поверх RAID-а, хоть просто на голом железе. При этом из предыдущей RAID-группы было выброшено два диска. Производительность шифрованной записи-чтения на современных процессорах с аппаратной криптографией совершенно не проседает, если не собирать домашний NAS по принципу "из того, что не жалко". Затраты на администрирование реально крошечные.

Во-вторых, у меня есть данные, которые я бы действительно не хотел отдавать посторонним. Затраты на их отдельное шифрование-дешифрование и управление ключами были бы уже достаточно велики, а полное шифрование дисков позволяет не беспокоиться о доступе к ним в случае выбрасывания сбойного диска/флэшки, кражи или изъятия. Чужие на мой NAS не ходят :) Бэкапы важной информации делаются периодически тоже на криптованные диски, но в другой локации. В целом, "жизнь с тотальным шифрованием" происходит практически так же, как и без него, с околонулевыми накладными расходами.

В продакшене на работе, безусловно, я такое не использую, хотя в своё время прорабатывал схему с "невидимым криптосервером", делающим открытие LUKS-партиций в офисе прозрачным для пользователей, а вынос компьютеров из сети бесполезным.

[vitus_wagner]

Я бы в этом случае использовал encfs, только дла каталогов с конфиденциальными данными.

Еще и монтирование on-demand бы сделал какое-нибудь. Причем не факт что через pam. Возможно, что имеет смысл немножко поступиться удобством и монтировать эти системы только если собираешься поработать с этими данными.