Ответить
  • Technics Senior MemberАвтор темы
    офлайн
    Technics Senior Member Автор темы

    5945

    16 лет на сайте
    пользователь #99678

    Профиль
    Написать сообщение

    5945
    # 21 октября 2008 00:02 Редактировалось Technics, 7 раз(а).

    В данной теме обсуждаем NAS – сетевую систему хранения данных.
    Выбор, технические характеристики.
    Делимся мнениями, впечатлениями.

    NAS (англ. Network Attached Storage) – сетевая система хранения данных. Сетевые хранилища представляют собой внешние жёсткие диски, которые подключаются к сети и позволяют нескольким пользователям работать с общими файлами.

    Каталог сетевых накопителей (NAS) на onliner

    В этом вашем интернете хрен поймешь, кто прикалывается, а кто реально идиот.
  • To4kaTitAN Senior Member
    офлайн
    To4kaTitAN Senior Member

    2538

    18 лет на сайте
    пользователь #34456

    Профиль
    Написать сообщение

    2538
    # 23 ноября 2015 04:18

    no404error, а можно поподробней, в каком режиме отработали как долго ? интересно получить статистику

  • alex_poehali Senior Member
    офлайн
    alex_poehali Senior Member

    8309

    20 лет на сайте
    пользователь #8718

    Профиль
    Написать сообщение

    8309
    # 23 ноября 2015 08:30

    no404error, каким образом вышел из строя? Не инициализируется, данные недоступны, битые сектора? Было ли это неожиданно или смарт показывал приближение смерти (т.к. про 7 штук вы написали что они "приближаются к отказу")? Особенно интересен последний пункт.

    P.S. Вы говорите про два массива из 120 или про один в 120 и один в 10 дисков? Какой уровень рейда там и из какого количества? Просят собрать 5-й рейд из 6 дисков по 8, но что-то меня смущает время ребилда... Особенно если каждый диск начнет заниматься своей оптимизацией.

  • ASM Senior Member
    офлайн
    ASM Senior Member

    5268

    21 год на сайте
    пользователь #6161

    Профиль
    Написать сообщение

    5268
    # 23 ноября 2015 10:31

    alex_poehali,

    Особенно если каждый диск начнет заниматься своей оптимизацией.

    простите, но какой-такой оптимизацией начнет заниматься сам диск? ;)

  • TheVITALI Senior Member
    офлайн
    TheVITALI Senior Member

    3253

    18 лет на сайте
    пользователь #45012

    Профиль
    Написать сообщение

    3253
    # 23 ноября 2015 10:38
    alex_poehali:

    no404error, каким образом вышел из строя? Не инициализируется, данные недоступны, битые сектора? Было ли это неожиданно или смарт показывал приближение смерти (т.к. про 7 штук вы написали что они "приближаются к отказу")? Особенно интересен последний пункт.

    P.S. Вы говорите про два массива из 120 или про один в 120 и один в 10 дисков? Какой уровень рейда там и из какого количества? Просят собрать 5-й рейд из 6 дисков по 8, но что-то меня смущает время ребилда... Особенно если каждый диск начнет заниматься своей оптимизацией.

    а можно описать как устроены файлохранилища у каждого из вас?
    железо, софт, почему именно так, а не иначе, плюсы, минусы?

    файлохранилище на 120 винчестеров это весьма интересно, особенно если это не промышленое цхд, а домашняя файлопомойка.

    Судить меня дано лишь Богу а остальным я укажу дорогу к богу. Если я тебе не нравлюсь - застрелись, я не исправлюсь!
  • alex_poehali Senior Member
    офлайн
    alex_poehali Senior Member

    8309

    20 лет на сайте
    пользователь #8718

    Профиль
    Написать сообщение

    8309
    # 23 ноября 2015 10:48

    TheVITALI, из SAS контроллеров и экспандеров можно замутить вполне себе огромную систему. Причем дома и относительно недорого (по сравнению с новыми серверными платформами).

  • 1n1m1cus Motorola Team
    офлайн
    1n1m1cus Motorola Team

    1901

    17 лет на сайте
    пользователь #72035

    Профиль
    Написать сообщение

    1901
    # 24 ноября 2015 00:01 Редактировалось 1n1m1cus, 2 раз(а).

    опыт zfs хранилки

    8 дисков по 4тб в raidz2 + 2 ssd 32gb zil + 1 ssd 240gb cashe - выдаёт чуть полее 3000 iops, 20tb места и рейтинг компресии 1,8 рейтинг дедупликации 1,3. в итоге смог впихнуть 44 Тб инфы

    собрано на базе omnios+nappit

    Добавлено спустя 2 минуты 18 секунд

    TheVITALI:

    файлохранилище на 120 винчестеров это весьма интересно, особенно если это не промышленое цхд, а домашняя файлопомойка.

    это просто и даже очень
    пять полок по 24 диска
    три двухпортовых sas hba контроллеров на pci 4x для параллельной работы или одна HBA для грозди.

    Добавлено спустя 11 минут 22 секунды

    alex_poehali:

    Просят собрать 5-й рейд из 6 дисков по 8, но что-то меня смущает время ребилда..

    согласно лучшим практикам HP и Nettap если используются диски 2тб с блоком 512 или 4тб с блоком 4к - использовать стоит RAID6 (raidz2 для zfs) а не пятый рейд.
    во время ребилда есть повышенная нагрузка по операциям чтения со всех остальных дисков (живых) а это значит что вероятность разрушения RAID5 во время ребилда повышается минимум в два раза - на старых массивах это черевато полным развалом.
    при 6 рейде два диска избыточности и при ребилде нагрузка повышается не в два а в 1,25 раза что не так критично + сам массив имееет еще резерв.

  • TheVITALI Senior Member
    офлайн
    TheVITALI Senior Member

    3253

    18 лет на сайте
    пользователь #45012

    Профиль
    Написать сообщение

    3253
    # 24 ноября 2015 01:05
    1n1m1cus:

    опыт zfs хранилки

    8 дисков по 4тб в raidz2 + 2 ssd 32gb zil + 1 ssd 240gb cashe - выдаёт чуть полее 3000 iops, 20tb места и рейтинг компресии 1,8 рейтинг дедупликации 1,3. в итоге смог впихнуть 44 Тб инфы

    собрано на базе omnios+nappit

    Добавлено спустя 2 минуты 18 секунд

    TheVITALI:

    файлохранилище на 120 винчестеров это весьма интересно, особенно если это не промышленое цхд, а домашняя файлопомойка.

    это просто и даже очень
    пять полок по 24 диска
    три двухпортовых sas hba контроллеров на pci 4x для параллельной работы или одна HBA для грозди.

    Добавлено спустя 11 минут 22 секунды

    alex_poehali:

    Просят собрать 5-й рейд из 6 дисков по 8, но что-то меня смущает время ребилда..

    согласно лучшим практикам HP и Nettap если используются диски 2тб с блоком 512 или 4тб с блоком 4к - использовать стоит RAID6 (raidz2 для zfs) а не пятый рейд.
    во время ребилда есть повышенная нагрузка по операциям чтения со всех остальных дисков (живых) а это значит что вероятность разрушения RAID5 во время ребилда повышается минимум в два раза - на старых массивах это черевато полным развалом.
    при 6 рейде два диска избыточности и при ребилде нагрузка повышается не в два а в 1,25 раза что не так критично + сам массив имееет еще резерв.

    случаем zfs не хотят портировать на windows7x64 с нормальным менеджером конфигурирования zfs и нормальной програмой для слежения за состоянием дисков чтобы вовремя скопировать всю информацию с умирающего диска?

    Судить меня дано лишь Богу а остальным я укажу дорогу к богу. Если я тебе не нравлюсь - застрелись, я не исправлюсь!
  • 1n1m1cus Motorola Team
    офлайн
    1n1m1cus Motorola Team

    1901

    17 лет на сайте
    пользователь #72035

    Профиль
    Написать сообщение

    1901
    # 24 ноября 2015 14:38

    ну давайте не будем пытаться прикрутить соляревское к виндошному, еще толком к линуксу не прикрутили то

    для zfs хранилки есть очень много хорошего и простого софта, для начала Nexenta - до 18Тб грязного пространства бесплатно.
    есть и менеджер контроля и веб морда простая и понятная

    если без ограничений то nappit требует предварительной настройки операционки - но есть много мануалов

    в самом ZFS есть контроль умирающего диска , когда диск начинает медленно умирать то его сроктть реакции падает

    по логике ZFS изменяемые данные не переписываются по верху а пишутся в новое место (не занятое) приоритет не занятого места определяется более чем 60 параметрами одним из которых время реакции

    таким образом постепенно умирающий диск будет получать всё меньше нагрузки.
    реплейс диска тоже можно производить спокойно в реальном времени или перевести диск в режим только чтения

    как ведите многие подходы RAID не совместимы с ZFS

  • TheVITALI Senior Member
    офлайн
    TheVITALI Senior Member

    3253

    18 лет на сайте
    пользователь #45012

    Профиль
    Написать сообщение

    3253
    # 24 ноября 2015 17:32

    я понимаю что линукс, юникс, фрибсд, солярис это одно, а виндовс совсем другое.
    жаль что Майкрософт толком не сделала для виндовс нормальной системы для хранения информации.
    в windows home server была попытка с driver expend, но Майкрософт убила этот весьма хороший проект.
    ладно, наверно не будем продолжать на эту тему.

    Судить меня дано лишь Богу а остальным я укажу дорогу к богу. Если я тебе не нравлюсь - застрелись, я не исправлюсь!
  • 1n1m1cus Motorola Team
    офлайн
    1n1m1cus Motorola Team

    1901

    17 лет на сайте
    пользователь #72035

    Профиль
    Написать сообщение

    1901
    # 24 ноября 2015 19:56

    я вам даже большее скажу
    линукс фрибсд и солярис это тоже абсолютно разные вещи

    и давайте быть честными майрасофт ничего нового и толкового не сделала ни в виртуализации ни схд ни вебе и сетях

  • alex_poehali Senior Member
    офлайн
    alex_poehali Senior Member

    8309

    20 лет на сайте
    пользователь #8718

    Профиль
    Написать сообщение

    8309
    # 24 ноября 2015 21:54

    TheVITALI, я понимаю что вы надеетесь что вам не придется менять операционку. Но чудес не будет.

    Если еще с линуксом есть надежда на нормальную работу ZFS (хотя как было сказано выше, она все еще в экспериментальном состоянии, хоть ее и используют многие - блин, я даже на BTRFS перешел пока ждал! Но, к слову, не для хранения. Там у меня балом правит XFS.), то с виндой ничего не будет. Нет даже надежды. Поэтому лучше примите этот факт и живите дальше. Или разделите хранилку от обычного компа и многие вещи станут проще.

  • 1n1m1cus Motorola Team
    офлайн
    1n1m1cus Motorola Team

    1901

    17 лет на сайте
    пользователь #72035

    Профиль
    Написать сообщение

    1901
    # 24 ноября 2015 22:18

    alex_poehali, похоливарим?
    XFS до ZFS как до луны
    - нельзя составить гибридное хранилище
    - нет достойной потоковой компрессии
    - нет дедудпликации
    - не умеет работать с избыточностью, требуются RAID контроллеры
    - лагает на больших файлах (1тб+)

    Добавлено спустя 1 минута 3 секунды

    BTRFS - существует как промоакция ZFS - мейнтейнеры проектов одинаковые ;)

    Добавлено спустя 4 минуты 1 секунда

    собственно XFS так может?

  • no404error Senior Member
    офлайн
    no404error Senior Member

    3322

    17 лет на сайте
    пользователь #74939

    Профиль
    Написать сообщение

    3322
    # 25 ноября 2015 03:54 Редактировалось no404error, 1 раз.

    Да не воспринимайте вообще мои сообщения с 21 по 25.

    Во-первых, у меня угнали туеву хучу аккаунтов.
    Во-вторых, я уже сменил пароли.
    В третьих, я передал упомянутым выше массивом другим лицам.

    Однако:
    1. Согласно данным, которые сыпятся мне на мыло, и, согласно гарантийным обязательствам, которые оформлены персонально на меня, ни один диск пока не вышел из строя.
    2. Действительно 8 хардов начали показывать критическое состояние, однако критическое для "текущего состояния" и критичиское "в плане эксплутационного срока" это разные вещи. Для указанных дисков это, в том числе, указывает превышение нагрузки в 180Тб/год.
    3. Я не знаю в каком режиме эти диски эксплуатировались после того, как я сдал весь массив третьим лицам.

    To4kaTitAN:

    а можно поподробней, в каком режиме отработали как долго ? интересно получить статистику

    При мне 90 штук использовались исключительно как бэкапные. Все использовались в режиме гибрида. Опять-же, при мне все эксплуатировались в режиме 64Гб SSD / 1Тб HDD.

    TheVITALI:

    а можно описать как устроены файлохранилища у каждого из вас?

    Все в режиме JBOD/ext3.

    p.S. Повторюсь, все "гарантийники" у меня на руках. Никто не заявлял о замене/ремонте.

    Больше никогда не оставлю отзыв на onliner.by
  • alex_poehali Senior Member
    офлайн
    alex_poehali Senior Member

    8309

    20 лет на сайте
    пользователь #8718

    Профиль
    Написать сообщение

    8309
    # 25 ноября 2015 08:44 Редактировалось alex_poehali, 1 раз.

    no404error, приятно слышать. Получается что не все так плохо с дисками.

    1n1m1cus, холиварить не хотел бы. Всему свое место. XFS лучше подходит для одиночных (!) дисков. А у меня именно так - данные исключительно на раздельных дисках. С требованиями к памяти у ZFS это был бы мрак (но я не тестировал именно такую конфигурацию, в принципе она крайне редка, ваш опыт был бы интересен!). BTRFS использовать... я уже словил потерю данных (хвала бекапам, восстановил почти в актуальное состояние) из-за какого-то глюка (аварийное отключение). Нет смысла так рисковать на данных, для которых нет и не будет бекапов. А вот XFS используется почти 10 лет и ничего не случилось.

  • 1n1m1cus Motorola Team
    офлайн
    1n1m1cus Motorola Team

    1901

    17 лет на сайте
    пользователь #72035

    Профиль
    Написать сообщение

    1901
    # 25 ноября 2015 15:11
    no404error:

    Да не воспринимайте вообще мои сообщения с 21 по 25.

    Во-первых, у меня угнали туеву хучу аккаунтов.
    Во-вторых, я уже сменил пароли.
    В третьих, я передал упомянутым выше массивом другим лицам.

    Однако:
    1. Согласно данным, которые сыпятся мне на мыло, и, согласно гарантийным обязательствам, которые оформлены персонально на меня, ни один диск пока не вышел из строя.
    2. Действительно 8 хардов начали показывать критическое состояние, однако критическое для "текущего состояния" и критичиское "в плане эксплутационного срока" это разные вещи. Для указанных дисков это, в том числе, указывает превышение нагрузки в 180Тб/год.
    3. Я не знаю в каком режиме эти диски эксплуатировались после того, как я сдал весь массив третьим лицам.

    To4kaTitAN:

    а можно поподробней, в каком режиме отработали как долго ? интересно получить статистику

    При мне 90 штук использовались исключительно как бэкапные. Все использовались в режиме гибрида. Опять-же, при мне все эксплуатировались в режиме 64Гб SSD / 1Тб HDD.

    TheVITALI:

    а можно описать как устроены файлохранилища у каждого из вас?

    Все в режиме JBOD/ext3.

    p.S. Повторюсь, все "гарантийники" у меня на руках. Никто не заявлял о замене/ремонте.

    эм тоесть мы просто раскидываете данные на прямые диски?
    как реализована избыточность? (у вас объектное хранилище?)

    alex_poehali,
    ИМХО мы тут обсуждаем СХД а не серваки под веб проекты - следователь задача СХД организовать хранение материалов и обеспечить доступ с нужной производительностью. ZFS тут и выполняет эти роли и с правилом по оперативе 2Гбна систему +1Гб на каждый 1Тб грязного пространство на самом деле не так всё печально. NAS с 8 дисками по 2ТБ требует 18ГБ оперативы - это даже не предел E3 или Atom или любого десктопного железа

  • alex_poehali Senior Member
    офлайн
    alex_poehali Senior Member

    8309

    20 лет на сайте
    пользователь #8718

    Профиль
    Написать сообщение

    8309
    # 25 ноября 2015 16:59 Редактировалось alex_poehali, 1 раз.
    1n1m1cus:

    эм тоесть мы просто раскидываете данные на прямые диски?
    как реализована избыточность? (у вас объектное хранилище?)

    У меня избыточности данных для самих фильмов нет. А для мета-информации есть двухуровневые бекапы. Другим способом тяжело хранить 150+ Тб данных, не держа все эти диски (в среднем 2.5 Тб на диск) в каких-либо массивах.

    1n1m1cus:

    alex_poehali,
    ИМХО мы тут обсуждаем СХД а не серваки под веб проекты - следователь задача СХД организовать хранение материалов и обеспечить доступ с нужной производительностью. ZFS тут и выполняет эти роли и с правилом по оперативе 2Гбна систему +1Гб на каждый 1Тб грязного пространство на самом деле не так всё печально. NAS с 8 дисками по 2ТБ требует 18ГБ оперативы - это даже не предел E3 или Atom или любого десктопного железа

    Да вроде как мы тут NAS обсуждаем, а не SAN, не? :) Тут если и есть серьезные "дядьки" с netapp и т.п., то только случайно либо их единицы.

  • 1n1m1cus Motorola Team
    офлайн
    1n1m1cus Motorola Team

    1901

    17 лет на сайте
    пользователь #72035

    Профиль
    Написать сообщение

    1901
    # 25 ноября 2015 17:12

    Ну а отдать ресурсы гибридного ZFS пула по NFS или SMB или FTP - это разве SAN ?

    Добавлено спустя 5 минут 5 секунд

    я как раз и говорю что ZFS очень хорошо подходит для домашнего использования по большей степени изза компресии легкости масштабирования и не притязательности к железу

  • alex_poehali Senior Member
    офлайн
    alex_poehali Senior Member

    8309

    20 лет на сайте
    пользователь #8718

    Профиль
    Написать сообщение

    8309
    # 25 ноября 2015 17:22

    1n1m1cus, тогда уж и BTRFS подходит точно так же... А компрессия, да для дома - зло. И про легкость масштабирования это наверное шутка? Вам ли не знать про все ограничения?

  • 1n1m1cus Motorola Team
    офлайн
    1n1m1cus Motorola Team

    1901

    17 лет на сайте
    пользователь #72035

    Профиль
    Написать сообщение

    1901
    # 25 ноября 2015 18:27 Редактировалось 1n1m1cus, 1 раз.

    BTRFS только прешел в версию 3,7 а ZFS уже давно за третий десяток (в солярисе 37 в лине и бзд 28)
    умоляю не сравнивайте сырое решение с промышленным

    Масштабирование ZFS пула идет одной командой и на лету - в чём сложность? не требуется ни пересбокри системы , ни ребута, ни растягивания (если поверх конечно не лежит виртуальный диск)
    Пример добавление в пул onliner двух дисков в зеркале

    код выделить все
    zpool add onliner mirror c3t0d0 c4t0d0
  • alex_poehali Senior Member
    офлайн
    alex_poehali Senior Member

    8309

    20 лет на сайте
    пользователь #8718

    Профиль
    Написать сообщение

    8309
    # 25 ноября 2015 19:33

    1n1m1cus, а я не про сырость, а про то, что для обычных, и даже продвинутых юзеров, что ZFS, что BTRFS это опасные инструменты. И туда без знаний лучше не соваться.

    Про масштабирования мне нужно освежить свои знания чтобы внятно и по существу дискутировать, но если бы там все было так просто, то не было бы столько стонов и плачей на форумах и ответов от суровых джедаев в духе "сами виноваты".