Ответить
  • Technics Senior MemberАвтор темы
    офлайн
    Technics Senior Member Автор темы

    5945

    16 лет на сайте
    пользователь #99678

    Профиль
    Написать сообщение

    5945
    # 21 октября 2008 00:02 Редактировалось Technics, 7 раз(а).

    В данной теме обсуждаем NAS – сетевую систему хранения данных.
    Выбор, технические характеристики.
    Делимся мнениями, впечатлениями.

    NAS (англ. Network Attached Storage) – сетевая система хранения данных. Сетевые хранилища представляют собой внешние жёсткие диски, которые подключаются к сети и позволяют нескольким пользователям работать с общими файлами.

    Каталог сетевых накопителей (NAS) на onliner

    В этом вашем интернете хрен поймешь, кто прикалывается, а кто реально идиот.
  • TheVITALI Senior Member
    офлайн
    TheVITALI Senior Member

    3253

    18 лет на сайте
    пользователь #45012

    Профиль
    Написать сообщение

    3253
    # 26 ноября 2015 09:16
    1n1m1cus:

    опыт zfs хранилки

    8 дисков по 4тб в raidz2 + 2 ssd 32gb zil + 1 ssd 240gb cashe - выдаёт чуть полее 3000 iops, 20tb места и рейтинг компресии 1,8 рейтинг дедупликации 1,3. в итоге смог впихнуть 44 Тб инфы

    собрано на базе omnios+nappit

    интересно какое железо использовалось для этого?
    процесор, оперативка, материнка, корпус, блок питания, какие именно винчестеры и т.д.
    дедупликация используется какая - пофайловая или покластерная (ищутся одинаковые части файлов )?
    такая высокая компресия - это на хранении фильмов так?
    а скорость чтения при этом не страдает?
    что с фрагментацией с учётом того что на фрагментированых данных винчестеры выдают не более 10 мегабайт\сек.

    может есть желание написать статью на хабрахабр ?
    http://habrahabr.ru/

    Судить меня дано лишь Богу а остальным я укажу дорогу к богу. Если я тебе не нравлюсь - застрелись, я не исправлюсь!
  • alex_poehali Senior Member
    офлайн
    alex_poehali Senior Member

    8309

    20 лет на сайте
    пользователь #8718

    Профиль
    Написать сообщение

    8309
    # 26 ноября 2015 09:45 Редактировалось alex_poehali, 5 раз(а).
    TheVITALI:

    такая высокая компресия - это на хранении фильмов так?

    Уверен, что на фильмах компрессия работать будет на уровне погрешности.
    Кстати, скорость чтения сжатых данных как правило выше. Т.к. физически на диске они занимают меньше места, а распаковываются на лету (процессором).

    Чтобы было понятно - 3000 иопсов это не так и много. SATA диск на 5400 выдает 200-225 (это как раз 8 Тб диск, прямо сейчас проверил). Т.е. 8 на 200-225= ~1600-1800, но там ведь и диски скорее всего на 7200 (+30% ~= 2100-2300) + еще и SSD на кеше!

    Еще проверил RAID6 из 6 дисков по 2 Тб - 1800-2100 иопсов (среднее около 2000). Контроллер аппаратный, без кеша. Т.е. на 8 дисках я легко бы получил 2400-2800 (~2700 среднее). И это без SSD. Файловая и там и там - XFS. А если бы я сюда SSD приплел?

    А теперь подумайте, зачем нужны такие скорости для фильмов? Если у вас постоянно 10Г интерфейс загружен в полку, тогда да, но для обычного применения избыточно и дорого.

    P.S. ZFS все равно крутая файловая, но порог входа и цена ошибки очень высоки для обычных пользователей. Они даже с FreeNAS не всегда справляются (там где FreeBSD + ZFS) в случае проблем.

  • 1n1m1cus Motorola Team
    офлайн
    1n1m1cus Motorola Team

    1901

    17 лет на сайте
    пользователь #72035

    Профиль
    Написать сообщение

    1901
    # 26 ноября 2015 14:11

    TheVITALI,
    Е3-1220, 32Гб памяти платформа супермикро, юзались штатные материнские чипы, диски старые самсунги с малыми буферами
    в качестве компрессии использовали LZ4
    на хранилище были реплики виртуальных машин (4 штуки)
    На медиафайлах, согласно инфе в интернетах, дедупликация будет мизерная - а во LZ4 проявит себя вполне достойно рейти обычно от 1,3 до 1,6

    alex_poehali,
    это в каrой вселенной и какой SATA диск на 5400 выдает 200-225 ???
    чисто математические расчеты физическиз возможностей
    http://wintelguy.com/raidperf.pl
    SATA / 5400 может максимум дать 57 иопсов - только лишь потому что диск вращается с такой скоростью
    Вот пример http://www.storagereview.com/samsung_spinpoint_m9t_hard_drive_review

    код выделить все
    The Spinpoint M9T scored poorly compared to the other drives tested in 4K random transfer rates. It achieved 0.219MB/s and 56.2 IOPS

    веники 7200 по записи дают до 90 иопсов -и тоже из-за физ ограничений
    в реалии по тестам получается както так
    http://www.storagereview.com/wd_black_6tb_hdd_review

    код выделить все
    Looking throughput shows the WD Black 6TB with 83.21 IOPS

    Бесспорно можно мереть чем угодно и как угодно (разный блок и разная глубина)
    Я юзаю бенчмарки стореджревью для обьективности и сравнения

    моя текущая боевая хранилка
    atom c2750 65Gb ram, 8 дисков wd red 2Tb , + zil + 240 ssd cashe
    прогон файла в 4тб (чтобы вылезло за кеш)

    код выделить все
    IO Summary:
    2138998 ops, 71298.180 ops/s, (49328/21970 r/w), 557.0mb/s, 36us cpu/op, 0.0ms latency
  • alex_poehali Senior Member
    офлайн
    alex_poehali Senior Member

    8309

    20 лет на сайте
    пользователь #8718

    Профиль
    Написать сообщение

    8309
    # 26 ноября 2015 16:45 Редактировалось alex_poehali, 5 раз(а).

    1n1m1cus, надо одинаковые параметры брать чтобы сравнить. Не сомневаюсь что у меня будет медленнее, нет же SSD.

    1n1m1cus:

    atom c2750 65Gb ram, 8 дисков wd red 2Tb , + zil + 240 ssd cashe

    64 Гб памяти + SSD? Да, очень бюджетная хранилка ;) Скорее всего ошиблись, там же макс. 32 Гб. Какое потребление у нее, кстати?

    Какие именно параметры передавались для теста (слишком уж много иопсов получилось, у SSD чаще всего не выше сотни, значит тут почти все это параллельное чтение с винчестеров в память + SSD?)? Может попробую. Хотя это будет почти оффтопик.

    P.S. > это в каrой вселенной и какой SATA диск на 5400 выдает 200-225 ???
    В обычной. По ссылке же на storagereview у диска (7200) может и 1100 быть (That being said, 6TB WD Black Drive posted 81.85MB/s and 1,100 IOPS while average latency was calculated at 7.3ms) - все зависит от теста. Поэтому и интересно каким именно вы намеряли свои иопсы иначе это просто не имеет смысла.

  • 1n1m1cus Motorola Team
    офлайн
    1n1m1cus Motorola Team

    1901

    17 лет на сайте
    пользователь #72035

    Профиль
    Написать сообщение

    1901
    # 27 ноября 2015 01:23

    alex_poehali, эм... atom c2750 держит 64 , платформу использовали вот такую http://www.supermicro.nl/products/system/1U/5018/SSG-5018A-AR12L.cfm
    которая в купе с памятью (проц не съемный) стоит 600 гринов

    для тестов используется fio с ползущим блоком от 512 до 128к с лидером в процентном соотношении 4к -55% глубина потока команд 32
    тесты из реальных систем эксплуатации СХД
    именно такие тесты и используются строеджревью
    вы же в высказываниях про 1100 пытаетесь показать что только в одном(!!!) тесте получаются такие значения а именно в StorageMark
    как в этом же обзоре этот диск на 4к блоке выдаёт 84 иопса на чтение (основную опеацию)

    покажите реальный диск 5400 который на тесте 4к блоком с соотношением чтение запись 50/50 покажет больше 200 иопсов

  • To4kaTitAN Senior Member
    офлайн
    To4kaTitAN Senior Member

    2538

    18 лет на сайте
    пользователь #34456

    Профиль
    Написать сообщение

    2538
    # 27 ноября 2015 03:59 Редактировалось To4kaTitAN, 2 раз(а).

    1n1m1cus, ну прям совсем дешево 4 плашки по 16гб ставить )
    с корпусом вышло чуть больше 1к (без памяти и дисков) ? подумывали прикупить, смущает отсутствие 10гб портов и размер корпуса, через ризер возможно доставить сетевушку ?
    ну и немного вброса про zfs xfs, сдохнет платформа, на другой пересобрать получится ? или тенденция неумолимо движется к сетевымфс и размазанным данным ?
    zfs как помню не дает уменьшит пул
    ну и вообще по схд странная тенденция, хостеры юзают быстрые схд с флеш отдавая на локальную тачку где все это крутится 4хдд+ссд в кеш, все это размазано через ceph, а ведь быстрее локальных дисков ничего не будет

  • pasha_1977 Senior Member
    офлайн
    pasha_1977 Senior Member

    2049

    16 лет на сайте
    пользователь #122893

    Профиль
    Написать сообщение

    2049
    # 27 ноября 2015 08:40

    Ребятки, вы точно про домашние НАСы речь ведете? Тему не попутали?

  • Technics Senior MemberАвтор темы
    офлайн
    Technics Senior Member Автор темы

    5945

    16 лет на сайте
    пользователь #99678

    Профиль
    Написать сообщение

    5945
    # 27 ноября 2015 09:47

    pasha_1977, а кто сказал что тут только домашние обсуждают? Да и у некоторых дома оборудование стоит посерьезней чем у среднестатических предприятий

    В этом вашем интернете хрен поймешь, кто прикалывается, а кто реально идиот.
  • 1n1m1cus Motorola Team
    офлайн
    1n1m1cus Motorola Team

    1901

    17 лет на сайте
    пользователь #72035

    Профиль
    Написать сообщение

    1901
    # 27 ноября 2015 12:18
    To4kaTitAN:

    с корпусом вышло чуть больше 1к (без памяти и дисков) ?

    1n1m1cus:

    которая в купе с памятью (проц не съемный) стоит 600 гринов

    To4kaTitAN:

    ну и немного вброса про zfs xfs, сдохнет платформа, на другой пересобрать получится ?

    да получится, достаточно импортнуть а потом примонтировать пул

    To4kaTitAN:

    смущает отсутствие 10гб портов и размер корпуса, через ризер возможно доставить сетевушку ?

    да , одну низкопрофильную, только в 10Г для хранилок такого маштаба имеет смысл юзать если allflash

    по теме объективов - я пару раз сталкивалс у хостеров оба раза былинегативные, оно в большинстве случаем работает норм, но когда чтото делают с виртуалкой (переносят, расширяют и тд) то начинает жутко лагать, я так полагаю что связанно с тем что виртуалку куда-то переместили а на локальных вениках этой виртуалки нету.... в общем я пока не вижу смасла для виртуализации, да и амазон позиционирует свой объектник как для бекапа или тестового окружения

    pasha_1977, многие технологии из серьезных NAS перекочёвывают на бытовые, дедпупликация, компресия, динамический размер блока, нативный 4к блок....

  • To4kaTitAN Senior Member
    офлайн
    To4kaTitAN Senior Member

    2538

    18 лет на сайте
    пользователь #34456

    Профиль
    Написать сообщение

    2538
    # 27 ноября 2015 14:24 Редактировалось To4kaTitAN, 1 раз.

    1n1m1cus, няверу, 64 гига рама стоит почти 600уе, а у вас мамка с корпусом и памятью за 600 ? кто ваш поставщик, сразу 3 таких за 600 беру, ибо мой поставщик за корпус и мамку просит чуть больше 1к (а кто-то без дисков вообще не везет, на сайте пишут комплит сис онли), рекомендуемая цена интела c2750 170уе
    тут стоит конкретно смотреть как построено и на чем, flops в рашке юзает ceph по описанной схеме, цефом не очень довольны, но пользователи в восторге по слухам
    амазон на мои глаза, не серьезный уровень, от нас бэкапиться выходит далеко и дорого
    по 10г странно, 12 дисков сас2 или сата3 выжрут 2 порта по 1гб

  • Маркон Senior Member
    офлайн
    Маркон Senior Member

    10727

    15 лет на сайте
    пользователь #159470

    Профиль
    Написать сообщение

    10727
    # 27 ноября 2015 14:42
    pasha_1977:

    Ребятки, вы точно про домашние НАСы речь ведете? Тему не попутали?

    Присоединяюсь к вопросу, а что вы на таком оборудовании бэкапите ДОМА?
    Ну с alex_poehali понятно, там фильмотека госфильмофонда, а у остальных тоже такое оборудование под киношки-сериалы заточено?
    Просто интересно стало. :)

  • To4kaTitAN Senior Member
    офлайн
    To4kaTitAN Senior Member

    2538

    18 лет на сайте
    пользователь #34456

    Профиль
    Написать сообщение

    2538
    # 27 ноября 2015 14:55

    играемся в домашних условиях, тестируем, потом внедряем в продакшн

  • alex_poehali Senior Member
    офлайн
    alex_poehali Senior Member

    8309

    20 лет на сайте
    пользователь #8718

    Профиль
    Написать сообщение

    8309
    # 27 ноября 2015 15:49

    Маркон, как раз для фильмов/киношек не нужен конфиг как у 1n1m1cus. Только если это не для работы (кодирование, монтаж, стриминг и т.п.). И то, очень странно что нет 10G интерфейсов, да и память без толку пропадает... В общем, странный конфиг, хоть и мощный. Может достался "на шару", вот и используют - тогда вопросов нет (и то, продать его с таким кол-вом памяти ;) ).

  • censored.by Neophyte Poster
    офлайн
    censored.by Neophyte Poster

    15

    8 лет на сайте
    пользователь #1669055

    Профиль
    Написать сообщение

    15
    # 3 декабря 2015 00:19 Редактировалось censored.by, 1 раз.

    А вот мне больше всего интерен выбор между Morex M-8818 и Fractal Design 804?

    Добавлено спустя 50 минут 45 секунд

    Имхо по DT01ACA300 могу предоставить S.M.A.R.T. статистику по 1 800+ хардам.

    P.S. Полная, 99,9%, статистика может быть предоставлена только TheVITALI и alex_poehali, остальным по факту "анепошлибывынафиг".

    Этот аккаунт сменит владельца с 18.10.2016 по 20.10.2016.
  • satori Senior Member
    офлайн
    satori Senior Member

    16434

    19 лет на сайте
    пользователь #23889

    Профиль
    Написать сообщение

    16434
    # 6 декабря 2015 18:03 Редактировалось satori, 1 раз.

    Добрый день, господа!
    Прошу Вашей помощи. Для меня тема хранения данных новая, поэтому прошу не смеяться :)

    Итак, у меня возникла задача. На текущий момент у меня организовано хранение данных так, что все новые данные, которые или скачиваются из интернета, или с флешки переписываются, попадают на внешний жесткий диск с целью хранения и последующего воспроизведения. Теперь, когда место закончилось, встал вопрос о покупки нового жесткого диска. Самое очевидное - продолжить в том же ключе. По USB данные попадают с компьютера на жесткий диск, переписали, подключили, когда надо, посмотрели, выключили.
    Но недавно я купил новый роутер, в котором есть разъем USB. Подключил к нему внешний жесткий диск, установил программу-сервер на компьютер и оказалось, что все файлы полностью доступны для просмотра/воспроизведения.
    Важное замечание - моя музыка хранится в специфическом формате DSD, битрейт может составлять около 11200 кБайт в секунду. И когда я подключал HDD к роутеру, было опасение, что будут задержки/затыки при воспроизведении музыки, фильмов по воздуху. К моей радости этого не случилось! Для музыкальной системы крайне важно, чтобы данные не "выпадали", не "терялись" (потому что аудиофильство есть немного болезнь). Но, похоже, что такая схема - с передачей аудиоданных по воздуху вместо USB - тоже может иметь место. Главное, чтобы качество звука не страдало.

    И вот тут на днях мне посоветовали обратить внимание на NAS. Подключаем его к тому же роутеру по LAN, новые данные перекидываем с компьютера через USB, музыку/фильмы воспроизводим по воздуху. То есть, все то же самое, как в предыдущем абзаце, только на каждый компьютер не надо ставить дополнительно программу-сервер, а данные будут доступны и на таких устройствах, для которого это в принципе не предусмотрено (в доме есть стримминговый медиаплеер, я так понимаю, что можно будет смотреть с его помощью медиаданные с NAS).

    Надеюсь, что ход моих мыслей читающим понятен. Построить такую систему, которая использовалась бы для прослушивания музыки в высоком качестве, просмотра фильмов, фотографий по воздуху. Как я понимаю, NAS это как раз то, что мне надо.

    Теперь еще один вопрос - я смогу видеть свои файлы, находясь за пределами домашнего вай-фай? Спрашиваю, потому что в протестированной выше связке роутер+USB+HDD с помощью программы для смартфона мне это доступно.

    На сегодняшний день моя потребность составляет минимум 4Тб. Бюджет был изначально 150 USD, теперь уже минимум 250 придется отдать, как я понимаю. Из того, что удалось выяснить, для меня интерес может представлять какой-нибудь WD My Cloud.

    Покритикуйте меня, пожалуйста, и добавьте своих мыслей.
    Спасибо огромное заранее!

  • Маркон Senior Member
    офлайн
    Маркон Senior Member

    10727

    15 лет на сайте
    пользователь #159470

    Профиль
    Написать сообщение

    10727
    # 6 декабря 2015 18:16 Редактировалось Маркон, 3 раз(а).

    satori, вам нужен QNAP 212p, с памятью 512 Мбайт. У него два отсека в каждый из которых, вы сможете поставить по винту. Этот девайс будет подключен к роутеру и далее вы его увидите как отдельный (или два) сетевых диска. Ни на компы ни на другие девайсы вам не нужно будет ставить программы-серверы.
    Можно посмотреть в сторону Синолоджи, но как правило, они дороже QNAP. Пару-тройку страниц назад тут проскакивала ссылка на немецкий интернет магазин с очень сладкой ценой на кунап.
    Еще учтите, что девайс продается без дисков. HDD покупается отдельно.
    Подробности по железу и прочие маркетинговые материалы см. на qnap.ru.
    Тамже можно полазить по эмулятору интерфейса и познакомится с описанием дополнительных пакетов, которые расширяют функционал хранилки.

  • satori Senior Member
    офлайн
    satori Senior Member

    16434

    19 лет на сайте
    пользователь #23889

    Профиль
    Написать сообщение

    16434
    # 6 декабря 2015 18:33 Редактировалось satori, 1 раз.

    Маркон,

    а чем qnap лучше wd? :shuffle:
    и что вы скажете про возможности "беспотерьной" передачи данных по воздуху? для меня критически важно, чтобы на ЦАП, подключенный к компьютеру, попадал точный побитно сигнал с жесткого диска без задержек (размер одного файла порой в районе 3-4 Гб)

  • Дуремар Senior Member
    офлайн
    Дуремар Senior Member

    35531

    23 года на сайте
    пользователь #55

    Профиль
    Написать сообщение

    35531
    # 6 декабря 2015 19:40
    satori:

    и что вы скажете про возможности "беспотерьной" передачи данных по воздуху?

    до компа файлы будут идти один в один - а потери обычно уже между компом и цапом

    Никогда такого не было и вот опять !
  • satori Senior Member
    офлайн
    satori Senior Member

    16434

    19 лет на сайте
    пользователь #23889

    Профиль
    Написать сообщение

    16434
    # 6 декабря 2015 19:59

    Дуремар,

    спасибо...ну тогда я спокоен...
    впрочем, сколько людей, столько мнений...кто-то скажет, что какие могут быть потери между компьютером и ЦАП, если связь осуществляется по кабелю...сколько байт отправлено, столько и получено..

  • Маркон Senior Member
    офлайн
    Маркон Senior Member

    10727

    15 лет на сайте
    пользователь #159470

    Профиль
    Написать сообщение

    10727
    # 6 декабря 2015 21:42

    satori, чем qnap лучше wd? Если кратко - всем. Кунап и синолоджи это лидеры этого сегмента, которые задают эталонный уровень по железу и функциональности, имеют качественную поддержку производителя и довольно приличное комьюнити на форумах.