NAS – сетевая система хранения данных. Обсуждение. Выбор.

TheVITALI, потому что есть такое понятие как error rate (количество ошибок) и вероятность возникновения такой ошибки растет по мере увеличения размера. Фишка с RAID5 в том, что для его ребилда нужно прочитать каждый байт с каждого из дисков. И вот тогда чем больше их количество и объем, тем выше вероятность что один из блоков не будет прочитан и диск будет посчитан как failed, а сам массив из degraded превратится в тыкву. С 6 Тб дисками вероятность выпадения второго диска после проблем с первым близка к 100%.

На аппаратных контроллерах это почти катастрофа, на программных (как на тех же Synology) можно принудительно добавить диск назад (наплевав на потерянный блок), и кое-как довести (если получится) ребилд до конца. Хотя чаще всего приходится в спешном порядке искать куда слить данные т.к. читать можно, но записать уже нет.

Я не теорию рассказываю - это практика. Интересный калькулятор: https://www.memset.com/tools/raid-calculator/

В целом я хоть и имею личный RAID5 на 750 Гб дисках, но на больших объемах ставлю только RAID6 или RAID10. Для очень больших идут вариации RAID60 и т.п. Но в этой ветке вряд ли есть пользователи NAS'ов на 48-64 дисков

P.S. Да, винты на 1 Тб пластинах самые лучшие. С 3 Тб дисками есть модели на 1 Тб блинах, а есть на 750 Гб (!). Я писал как их легко отличать - на правильных всего четыре гермокомпенсатора (черные кружки), а на четырехблинных - шесть. С 4 Тб дисками рулетки ПОКА нет - там 750 Гб пластины никак не поставить и 4 Тб диски всегда будут на 1 Тб пластинах (и теоретически могут быть на 1.2 Тб из отбраковки от 5-6 Тб дисков - но это только в теории, думаю что сейчас все 1.2 Тб идут на 6 Тб, а отбраковка на 5 Тб )

ASM, вы ничего не перепутали? Ребята, тут речь о домашнем NAS
Местные пользователи не хранят историю взаиморасчетов корпораций типа Газпрома. Хоум видео, домашний фотоархив и еще помелочи всякой ерунды, которую жалко выкинуть. Какой бекап рейда? Откуда такие ресурсы? Тут винты выбирают выгадывая 20$, а вы про анализ метаданных контроллера и посекторное восстановление.
Тут пару-тройку страниц назад какой-то чудик доказывал всем с пеной у рта, что рейд для домашнего NAS это буржуазное излишество. А вы про матрицу использования дисков.

Маркон,

вы ничего не перепутали?

многие пользователи потеряв коллекцию семейных фото, набор mp3 файлов уже готовы к немаленьким расходам, только бы получить свои ценности обратно и уже речь не идет про выгадывание 20$.

Какой бекап рейда? Откуда такие ресурсы?

во многих случаях пользователям критично менее 10% данных от общего объема и это как правило не потребует каких-то серьезных ресурсов.

Тут пару-тройку страниц назад какой-то чудик доказывал всем с пеной у рта, что рейд для домашнего NAS это буржуазное излишество.

у каждого пользователя свои взгляды на ценность информации. Посему и такое мнение имеет право на жизнь, как минимум в понимании того пользователя.

А вы про матрицу использования дисков.

я описал ход работ по восстановлению данных, чтобы пользователи не делали раньше времени вывод на предмет невозможности восстановления данных. А также указал на одну из основных ошибок пользователей во время аварийной ситуации.

Когда ставил NAS (HP ProLiant MicroServer+XPEnology)так же хотел замутить RAID . Потом прикинул все свои потребности и не стал с ним связываться. Выделил один диск под бэкап (который настроил по расписанию) + самое важное копируется в облако. Один диск под торренты. Два диска под инфу. Воткнул другую сетевую INTEL 1000 Мбит/с. Диски стоят WD GREEN по 3ТБ с которыми проделаны рекомендованные манипуляции. Спасибо за совет alex_poehali,
NAS справляется и возможностей его хватает за глаза.
Совет для тех, кто только собирается покупать NAS . Не покупайте самое простое устройство. Это в начале кажется, что возможностей его хватит за глаза. Потом по любому захочется большего.

alex_poehali,

Но смысла делать RAID5 из трех дисков нет. Как и RAID6 из четырех.

нужен массив со скоростью работы страйпа из двух дисков, но с избыточностью данных вариант RAID 5, 6. Когда массив полноценно работает - обеспечивается скорость работы при чтении сравнимую с RAID 0 из двух дисков. На запись естественно существенно медленнее. Так что пользователь, который хочет элементарной страховки выберет RAID 5, 6 из минимального количества дисков и естественно обеспечит бэкап данных за пределы массива.

чем лепить RAID5 из трех-четырех дисков, лучше сделать надежный RAID1

когда речь идет о маленьком офисе и использовании небольших NAS'ов то скорость работы RAID 1 будет проблемой. Тут и появляется целесообразность массивов другого уровня. В случае зеркального RAID 1 как сами видите самые высокие накладные расходы, но зато это самая простая ситуация в случае аварии.

третий диск использовать для резервных копий особо важных данных. При наличии четвертого - он может быть съемным и подключаться только для синхронизаций.

если говорить о бэкапах, то оно конечно можно и в пределах NAS делать, но лучше все же за пределы оного. Банальное внешнее воздействие на NAS и все винтам независимо от уровней массива стало плохо. Лучше сразу пользователям приучить себя к тому, что резервные копии не должны быть в границах одного устройства, чтобы потом не кусать локти.

Ничего личного, просто в рамках обсуждения по теме NAS'ов оппонирую исходя из опыта по установке и настройке как мелких, так и очень крупных NAS/серверов

У Вас опыт в настройке, установке. У меня опыт в аудите безопасности и восстановлении данных с различных потерпевших аварии NAS/серверов. И не касаюсь лично Вас, но на этапе установки и настройки далеко не всегда учитываются различные виды аварий, атак в связи с чем в итоге страдает владелец информации.

Кстати еще раз обращу Ваше внимание на то, что ранее приведенный пример с WD Blue со всякими pinnacle, pinclite, tahoe, tahoe lt, tahoe xl, tressels - все они с одной пластиной 1 или 2 головками. И они одинаково ненадежны, посему зря вы выделили tressels как нечто более надежное. WD Blue с двумя пластинами это Atlantis, Tahoe 2D. Есть весьма хорошая статистика из одного не публичного источника (где в рассуждения о количестве накопителей речь идет о пятизначных цифрах)

AndreyCh,

все можно скачать/посмотреть из Инета.

скачайте из интернета личные фото пользователя, документы, различные проекты и т.п. Как Вам уже сказали, не все есть в интернете.

Не используйте аппаратный контролер или держите еще один в шкафу.

глупо отказываться от аппаратных решений. Держать второй не нужно. Нужно обеспечивать регулярный бэкап важных данных за пределы массива. Добиваясь от массива RAID 5,6 скорости и дополнительной отказоустойчивости мы не ищем панацею от всех возможных проблем. Мы лишь сокращаем вероятность потери данных и необходимости прибегать к резервным копиям.

alex_poehali,

Disaster Recovery Plan я тоже разрабатываю Другое дело что мало кто готов к дополнительным затратам...

Вы разрабатываете, большинство продавцов работающими с конечным потребителем к сожалению в должной мере не информирует конечного клиента

Насчет аппаратных контроллеров. У меня дома такой, но второй раз я бы не купил. Тогда еще не было столько опыта, процессоры слабее были, был смысл... Не для дома это, не для дома. Любой вылет контроллера и все - обращайся (я не про себя) к спецам вроде вас и плати-плати-плати

Кстати контроллеры вылетают намного реже самих дисков.

жа руку на сердце, много вы знаете таких людей, кто дома держит запасной контроллер на полочке?

Ну не нужен никому второй запасной контроллер, разве что, если есть желание обеспечить очень быстрое восстановление работоспособности массива в случае выхода из строя контроллера, но такого уровня задача как правило в корпоративном сегменте, а не домашнего пользователя. Ну и при наличии любого рейда никто не отменял бэкапы за пределы массива (по крайней мере критичных данных, которые представляют ценность. В случае домашнего пользователя критичны как правило не очень большие объемы). Странно почему многие чуть подумав о безопасности и сохранности данных думаю только об одном шаге.

Софт-решения уже много лет как могут обеспечить полную загрузку всей полосы пропускания шины. И в восстановлении проще (конечно, кто зарабатывает на восстановлении данных, те вряд ли будут в восторге )

Как раз таки не проще они в восстановлении. Либо аналогичны, либо сложнее с учетом большей гибкости

Лучше поделитесь полезной информацией о физических вылетах дисков. Когда не просто часть данных теряется, а все (и нужны (полу)аппаратные методы восстановления)?

А что вы имеете в виду, когда говорите о программных и аппаратных методах? Всякого рода хирургия в виде вскрытия накопителей осмотра БМГ под микроскопом, мойка БМГ изопропанолом, удаление головок, пересадки пакетов дисков в другие гермоблоки? Все это скучная рутина, требующая опыта и оснащения. (ламинарный бокс, разного рода съемники БМГ, захваты пакетов дисков) Куда интереснее работы с микропрограммой накопителя, чтобы заставить его работать с неполным пакетом головок, вывести в готовность с инициализацией транслятора для работы по АТА с модификацией кода для отключения процедур оффлайн-сканирования, отключение процедур обслуживания дефектов, дальнейший анализ повреждений поверхностей и оценка дефектов и разработка различных методов чтения тех или иных накопителей с разного рода повреждениями. Ну и последние виды работы - анализ разрушений файловых системы и методы компенсации тех или иных разрушений, методы поиска фрагментов некоторых видов фрагментированных файлов при отсутствии информации о них в останках файловой системы.
В общем поясните, чтобы вы хотели услышать про физические вылеты, сделайте более точный вопрос. Попробую дать ответ.

RAID5 ужасен при записи

, так это очевидно, что 5,6, 50, 60 будут существенно более медленным на запись в отличие от 0, 1, 1Е, 10. Но в большинстве задач куда важнее скорость чтения, так как количество операций чтения в эксплуатации многократно превосходит количество операций записи.

TheVITALI, покупайте двухдиковый NAS, делайте RAID1, докупИте аналогичный объём в облаке, и настройте репликацию. Не дёшево, но надёжно.

TheVITALI, во-первых, упростите. Никаких "Windows сервер" и т.п. Либо готовый NAS, либо самосбор и наверх FreeNAS/XPEnology и т.п.
Получите программный рейд, который не разваливается от каждого чиха, как на винде.

Во-вторых, разделите данные. Вот насколько много у меня видео, но я даже и не думаю резервировать его! Вылетит один из дисков - и дешевле, и проще и быстрее скачать/переписать и т.п. А самые важные данные вроде фоток, данных, бекапов и т.п. - это порядок нескольких Тб. Т.е. обычный RAID1 из двух дисков подходящего объема. На сегодня 3-4 Тб. И по деньгам относительно немного и защита для дома серьезная. В случае вылета или вообще выгорания компа/NAS - каждая из RAID1 половинок сможет работать и даже данные не придется "вытаскивать". Они остаются доступными!

В-третьих, если есть важные, но большие данные, которые в облако долго/дорого/нельзя, то купите отдельный внешний диск и периодически делайте на него копии (самое сложное, это заставить себя не забыть ).

Для эстетов можно иметь отдельный NAS/моноблок (дешевый!), который физически находится в другом месте/городе/стране, и таким вот персональным "облаком" получить достойный уровень домашней (!) надежности. Тут и инкрементальные бекапы проще и т.п.

P.S. Для ~12-20 Тб в массиве нужно не менее четырех 5-6 Тб дисков... Получите грубо 14-16.7 Тб чистого места в RAID5. Т.е. это довольно дорого. Еще раз прочитайте совет №2.

ASM, все, что связано с влезанием внутрь винчестера и/или его прошивки - это аппаратные вещи. Я спрашивал про невозможность сделать дамп данных для последующего анализа. Т.е. насколько часты по вашей статистике такие вот случаи. Когда без оборудования невозможно что-либо предпринять в домашних условиях.

ASM, тогда мы немного о разных вещах говорим. Я про ситуацию когда стало понятно что диск испортился (но еще определяется системой и позволяет считывать данные). В этом случае обычное создание образа спасет - умрет ли диск после уже не имеет значения. А если диск отказывается читаться сразу после поломки - вот тогда можно говорить что он полностью полетел и я про такие случаи спрашивал.

нужно купить винчестер обьёмом побольше и понадёжней для хранения важных данных (по сути файлопомойка, но потерять данные будет очень неприятно).
думаю, что оптимальный обьём - 4тб.
(3тб как-то маловато, 6тб дороговато и непонятно как с надёжностью).
думаю купить два винчестера и обьеденить их в raid1 зеркало посредством винды (чипсетному рейд контролеру от амд доверия мало, тем более что возможно в течении года перееду на Интел).
на покупку двухдискового nas счас нету денег.
винчестер не будет использоваться для торентов, дц++.
винчестер просто для хранения важной информации большого обьёма.

требования к винчестеру:
1) надёжность
2( гарантия побольше, хотя бы 3 года.
3) низкий уровень шума
4) обьём 4 тб подключение по интерфейсу sata3.

из моделей наверно склоняюсь к wd red 4tb и seagate nas 4tb.
посмотел на шоп.бу и офигел от цен - у многих магазинов цена больше 200$, а 2 месяца назад цена была 160-175$

подскажите, что выбрать под raid1?