NAS – сетевая система хранения данных. Обсуждение. Выбор.

1n1m1cus:

опыт zfs хранилки

8 дисков по 4тб в raidz2 + 2 ssd 32gb zil + 1 ssd 240gb cashe - выдаёт чуть полее 3000 iops, 20tb места и рейтинг компресии 1,8 рейтинг дедупликации 1,3. в итоге смог впихнуть 44 Тб инфы

собрано на базе omnios+nappit

интересно какое железо использовалось для этого?
процесор, оперативка, материнка, корпус, блок питания, какие именно винчестеры и т.д.
дедупликация используется какая - пофайловая или покластерная (ищутся одинаковые части файлов )?
такая высокая компресия - это на хранении фильмов так?
а скорость чтения при этом не страдает?
что с фрагментацией с учётом того что на фрагментированых данных винчестеры выдают не более 10 мегабайт\сек.

может есть желание написать статью на хабрахабр ?
http://habrahabr.ru/

TheVITALI,
Е3-1220, 32Гб памяти платформа супермикро, юзались штатные материнские чипы, диски старые самсунги с малыми буферами
в качестве компрессии использовали LZ4
на хранилище были реплики виртуальных машин (4 штуки)
На медиафайлах, согласно инфе в интернетах, дедупликация будет мизерная - а во LZ4 проявит себя вполне достойно рейти обычно от 1,3 до 1,6

alex_poehali,
это в каrой вселенной и какой SATA диск на 5400 выдает 200-225 ???
чисто математические расчеты физическиз возможностей
http://wintelguy.com/raidperf.pl
SATA / 5400 может максимум дать 57 иопсов - только лишь потому что диск вращается с такой скоростью
Вот пример http://www.storagereview.com/samsung_spinpoint_m9t_hard_drive_review

код выделить все

The Spinpoint M9T scored poorly compared to the other drives tested in 4K random transfer rates. It achieved 0.219MB/s and 56.2 IOPS

веники 7200 по записи дают до 90 иопсов -и тоже из-за физ ограничений
в реалии по тестам получается както так
http://www.storagereview.com/wd_black_6tb_hdd_review

код выделить все

Looking throughput shows the WD Black 6TB with 83.21 IOPS

Бесспорно можно мереть чем угодно и как угодно (разный блок и разная глубина)
Я юзаю бенчмарки стореджревью для обьективности и сравнения

моя текущая боевая хранилка
atom c2750 65Gb ram, 8 дисков wd red 2Tb , + zil + 240 ssd cashe
прогон файла в 4тб (чтобы вылезло за кеш)

код выделить все

IO Summary:
2138998 ops, 71298.180 ops/s, (49328/21970 r/w), 557.0mb/s, 36us cpu/op, 0.0ms latency

alex_poehali, эм... atom c2750 держит 64 , платформу использовали вот такую http://www.supermicro.nl/products/system/1U/5018/SSG-5018A-AR12L.cfm
которая в купе с памятью (проц не съемный) стоит 600 гринов

для тестов используется fio с ползущим блоком от 512 до 128к с лидером в процентном соотношении 4к -55% глубина потока команд 32
тесты из реальных систем эксплуатации СХД
именно такие тесты и используются строеджревью
вы же в высказываниях про 1100 пытаетесь показать что только в одном(!!!) тесте получаются такие значения а именно в StorageMark
как в этом же обзоре этот диск на 4к блоке выдаёт 84 иопса на чтение (основную опеацию)

покажите реальный диск 5400 который на тесте 4к блоком с соотношением чтение запись 50/50 покажет больше 200 иопсов

Ребятки, вы точно про домашние НАСы речь ведете? Тему не попутали?

To4kaTitAN:

с корпусом вышло чуть больше 1к (без памяти и дисков) ?

1n1m1cus:

которая в купе с памятью (проц не съемный) стоит 600 гринов

To4kaTitAN:

ну и немного вброса про zfs xfs, сдохнет платформа, на другой пересобрать получится ?

да получится, достаточно импортнуть а потом примонтировать пул

To4kaTitAN:

смущает отсутствие 10гб портов и размер корпуса, через ризер возможно доставить сетевушку ?

да , одну низкопрофильную, только в 10Г для хранилок такого маштаба имеет смысл юзать если allflash

по теме объективов - я пару раз сталкивалс у хостеров оба раза былинегативные, оно в большинстве случаем работает норм, но когда чтото делают с виртуалкой (переносят, расширяют и тд) то начинает жутко лагать, я так полагаю что связанно с тем что виртуалку куда-то переместили а на локальных вениках этой виртуалки нету.... в общем я пока не вижу смасла для виртуализации, да и амазон позиционирует свой объектник как для бекапа или тестового окружения

pasha_1977, многие технологии из серьезных NAS перекочёвывают на бытовые, дедпупликация, компресия, динамический размер блока, нативный 4к блок....

pasha_1977:

Ребятки, вы точно про домашние НАСы речь ведете? Тему не попутали?

Присоединяюсь к вопросу, а что вы на таком оборудовании бэкапите ДОМА?
Ну с alex_poehali понятно, там фильмотека госфильмофонда, а у остальных тоже такое оборудование под киношки-сериалы заточено?
Просто интересно стало.

Маркон, как раз для фильмов/киношек не нужен конфиг как у 1n1m1cus. Только если это не для работы (кодирование, монтаж, стриминг и т.п.). И то, очень странно что нет 10G интерфейсов, да и память без толку пропадает... В общем, странный конфиг, хоть и мощный. Может достался "на шару", вот и используют - тогда вопросов нет (и то, продать его с таким кол-вом памяти ).

Добрый день, господа!
Прошу Вашей помощи. Для меня тема хранения данных новая, поэтому прошу не смеяться

Итак, у меня возникла задача. На текущий момент у меня организовано хранение данных так, что все новые данные, которые или скачиваются из интернета, или с флешки переписываются, попадают на внешний жесткий диск с целью хранения и последующего воспроизведения. Теперь, когда место закончилось, встал вопрос о покупки нового жесткого диска. Самое очевидное - продолжить в том же ключе. По USB данные попадают с компьютера на жесткий диск, переписали, подключили, когда надо, посмотрели, выключили.
Но недавно я купил новый роутер, в котором есть разъем USB. Подключил к нему внешний жесткий диск, установил программу-сервер на компьютер и оказалось, что все файлы полностью доступны для просмотра/воспроизведения.
Важное замечание - моя музыка хранится в специфическом формате DSD, битрейт может составлять около 11200 кБайт в секунду. И когда я подключал HDD к роутеру, было опасение, что будут задержки/затыки при воспроизведении музыки, фильмов по воздуху. К моей радости этого не случилось! Для музыкальной системы крайне важно, чтобы данные не "выпадали", не "терялись" (потому что аудиофильство есть немного болезнь). Но, похоже, что такая схема - с передачей аудиоданных по воздуху вместо USB - тоже может иметь место. Главное, чтобы качество звука не страдало.

И вот тут на днях мне посоветовали обратить внимание на NAS. Подключаем его к тому же роутеру по LAN, новые данные перекидываем с компьютера через USB, музыку/фильмы воспроизводим по воздуху. То есть, все то же самое, как в предыдущем абзаце, только на каждый компьютер не надо ставить дополнительно программу-сервер, а данные будут доступны и на таких устройствах, для которого это в принципе не предусмотрено (в доме есть стримминговый медиаплеер, я так понимаю, что можно будет смотреть с его помощью медиаданные с NAS).

Надеюсь, что ход моих мыслей читающим понятен. Построить такую систему, которая использовалась бы для прослушивания музыки в высоком качестве, просмотра фильмов, фотографий по воздуху. Как я понимаю, NAS это как раз то, что мне надо.

Теперь еще один вопрос - я смогу видеть свои файлы, находясь за пределами домашнего вай-фай? Спрашиваю, потому что в протестированной выше связке роутер+USB+HDD с помощью программы для смартфона мне это доступно.

На сегодняшний день моя потребность составляет минимум 4Тб. Бюджет был изначально 150 USD, теперь уже минимум 250 придется отдать, как я понимаю. Из того, что удалось выяснить, для меня интерес может представлять какой-нибудь WD My Cloud.

Покритикуйте меня, пожалуйста, и добавьте своих мыслей.
Спасибо огромное заранее!

Маркон,

а чем qnap лучше wd?
и что вы скажете про возможности "беспотерьной" передачи данных по воздуху? для меня критически важно, чтобы на ЦАП, подключенный к компьютеру, попадал точный побитно сигнал с жесткого диска без задержек (размер одного файла порой в районе 3-4 Гб)

Дуремар,

спасибо...ну тогда я спокоен...
впрочем, сколько людей, столько мнений...кто-то скажет, что какие могут быть потери между компьютером и ЦАП, если связь осуществляется по кабелю...сколько байт отправлено, столько и получено..