NAS – сетевая система хранения данных. Обсуждение. Выбор.

no404error
в общем уже и сам разобрался
http://www.sentex.net/~mwandel/finddupe/

finddupe -hardlink e:\media > c:\11.txt
обрабатывает заданый каталог и заменяет дубли по содержимому на хардлинки
в конце созданого файла 11.txt напишет сколько файлов обработало, сколько дублей заменено на хардлинки и сколько места высвобождено

сложно было Майкрософту подобную утилиту самим написать, в свойствах папки добавить галочку чтобы включалась дедубликация по расписанию и сделать кнопку немедленого запуска дедубликации...
и чтобы это было начиная с вин хр

сделали только в вин сервер 2008\2012, но только для всего раздела сразу.
правда там ещё есть дедубликация по повторяемым блокам в разных файлах (скажем если несколько файлов отличаются незначительно).

интересно, а в nas производства qnap и synology дедубликация вообще предусмотрена?
там же по умолчанию ext4 как файловая система.
хоть в многих моделях маломощный проц на arm , но хотя бы дедублицировать одинаковые файлы по содержимому можно.
или такая фича только в промышленых моделях стоимостью от 1000$ ?

vladislav_s74:

TheVITALI:

зато можно поставить xpnology, виндовс, любой линукс

Это конечно хорошо, но надо все настраивать, а я никогда не делал, в этом смысле готовые решения от кунап, синолоджи и др. лучше. Плюс размер HP меня не очень устраивает и по энергопотреблению есть вопросы.

TheVITALI:

хотя, если есть нормальный медиаплеер, скажем типа dune connect, то медиаплеер может получать файлы фильмов через обычную шару и проигрывать без перекодировок со стороны nas и dna

стоит iconbit movie3d pro deluxe, но проблема в том, что к двум телевизорам его нельзя подключить.

Так что можно выбрать из более приземленных вариантов?

xpnology это операционая система которую synology ставит в свои nas

но если нужно всего 2 винчестера и хочется всего заводского по принципу включил, настроил и всё работает, то тогда готовый заводской nas

хлотя в данном случае похоже что проблема в том что по dna нельзя нормально посмотреть фильмы больше 20гб.
возможно стоит купить хороший медиаплеер для второго телевизора, скажем dyne connect или iconbit 1003d
и смотреть фильмы с nas через шару

vladislav_s74, если у вас был qnap 212-й, то можно такого же плана. Если хочется попробовать чего-то нового - Synology. Причем если не будет стоять вопрос по транскодированию, то справится даже относительно простой DS215j.

vladislav_s74, в рейд - никак. Ведь при двухдисковом хранилище вы можете создать только первый или нулевой рейд. Первый это зеркало и не подходит под условие "диск забился", нулевой - это просто расширение. И в этом случае лучше использовать JBOD технологию, которая в случае с Synology позволяет использовать два диска как один. И вот тогда можно добавить второй диск к первому.

Все эти операции через миграции осуществляются. Данные не теряются если только осознанно не выбирать/подтверждать их удаление.

P.S. От себя - на двухдисковых я лично ставлю либо зеркало, либо одиночные диски. В первом случае защита, во втором гибкость.

TheVITALI, спасибо за информацию. У меня в принципе есть переносной HDD, так что, если надо, то я найду как переместить данные, это меня сейчас меньше всего волнует.

А насколько лучше DS215+, чем DS215j?

alex_poehali, вот мне как самому обычному пользователю это что-нибудь даст? Стоит за него платить? слишком большая цена. И что дают "две сетевые"?

Если, что с веником случится , ни одна контора ничего не восстановит .
Шифрование идет контроллером Поэтому для пользователя это все прозрачно Но вот если винт снять и поставить в другое устройство То все капец все зашифровано.
ИМХО вторая сетевая карта в насе для дома Это избыточно Вторая сетевая хороша для конторы где человек 30 будут постоянно к нему обращаться

TheVITALI:

finddupe -hardlink e:\media > c:\11.txt

Универсальнее было бы finddupe -hardlink e:\media\**\* > c:\11.txt захватит всю структуру начниная с e:\media\

p.S. finddupe создаёт bat-файлы в CP1251, поэтому, если в именах есть кирилица, то перед использованием их нужно преобразовывать в CP866.

no404error:

TheVITALI:

finddupe -hardlink e:\media > c:\11.txt

Универсальнее было бы finddupe -hardlink e:\media\**\* > c:\11.txt захватит всю структуру начниная с e:\media\

p.S. finddupe создаёт bat-файлы в CP1251, поэтому, если в именах есть кирилица, то перед использованием их нужно преобразовывать в CP866.

для обработки всех подкаталогов нужно писать именно такие параметры с \**\*
у меня вроде бы и так обработало, хотя может и не все файлы, но по подкаталогам точно прошлось
а почему две звёздочки идут подряд?
при таком варианте параметров будет так же обработан корень папки media?

с програмой возникла проблема. после того как 1 раз обработал папку, на второй раз програма некоторое время работает, а потом вылетает
выдаёт ошибку что не может прочитать файл с рускими именами.
виндовс выдаёт что ошибка драйвера ntldm

попробывал чтобы прога не делала хардлинков, а делала батник, но я не знал что нужно менять кодировку.
батник применил, но в файлах все руские имена файлов отображаются рускими буквами как и раньше.
комп пока не перегружал.

очень понадобилось перезагрузить комп.
винда загрузилась обсолютно нормально.
файлы с рускими именами отображаются рускими буквами.
запустил програму на повторную обработку одной небольшой папки - отработала нормально.

===
остаётся вопрос про "\**\*"
почему нужно дописать именно так?
ещё по статье из ссылке из моего предыдущего сообщения нашол 2 параметра, которые возможно можно дописать
-u
Do not print a warning for files that cannot be read

не выводит сообщение о том что файл не удалось прочитать.
но поскольку результаты работы програмы перенаправляются из консоли в файл, наверно не этот параметр не нужен
-p
Hide progress indicator (useful when output is redirected to a file)
не выводить прогрес работы програмы , если результат перенаправляется в файл
наверно в моём случае нужный параметр

ещё бы понять как заставить програму просканировать папку с подпапками и просто вывести сколько файлов можно заменить на хардлинки и сколько места высвободится если это сделать. так сказать для оценки результата замены на хардлинки перед тем как заменить.

sovaby:

ИМХО вторая сетевая карта в насе для дома Это избыточно Вторая сетевая хороша для конторы где человек 30 будут постоянно к нему обращаться

Для офиса заткнется и 2 сетевые для галочки, скорость чтения будет ниже плинтуса при скачке уже 2-3 одновременных запросов. Эти насы (говорю про 2-4 дисковые расмматриваемые выше) для комфортной работы с 1-2 потоками. А 1 гигабитной сетевой выше крыши для удовлетворения внутренних возможностей. Ну или нас ссдшниками забивать.

alex_poehali:

slon2003, а тесты как будто не для вас? 5000 файлов по 1 мегабайту как раз для того, чтобы показать как работает в высококонкурентной среде. И скорость 138 на 122, т.е. выше гигабита. А если файлы побольше, то весь канал утилизируется только в путь.

DS415+ (4 отсека) 156 на 142 выдает - и в этом случае смысл есть.

К слову, в DS715 (тоже двухдисковый) есть SSD кеш

P.S. В реальных офисах с реальными людьми стоят и DS214+ и DS415+ и DS1515/1515+ и прекрасно они тянут нагрузку. Для спец.нужд либо еще мощнее или другое брендовое железо. Самосбор также используют, но это скорее от безденежья.

Это Вы линейные скорости показали для одного потока.... В сообщении я писал про нескольких одновременных пользователей. А Вы посадите 5-6 человек, не говорю как выше писали офис на 30, то там комфортно 1-3 человека, дальше будет стопор при нелинейном считывании, это не те винты и не тот рейд. Для дома, для доков, для бэкапов, не вопрос. А одновременно скачивать большие файлы, или папки большие с мелкими файлами, то и 100 мегабитной сетевой будет за глаза.
Так же под 2 сетевые в режиме распределения нагрузки нужен и коммутатор соответствующий.
Это из опыта давнего длинка 323 (уже лет 10 непрерывно пашет с первыми винтами), и кунапы на 4 винта... Про проф хранилки и рейды не упоминаю, не эта тема.
Про ссд писал поможет, но объем. Но это опять же, для кратковременных нагрузок этот кэш хорош, далее все упрется в винты и дешевый рейд...
Те скорости что указывали выше очень отлично использовать в режиме айскайзи и подцеплять этот диск непосредственно на комп. Он виндой виден как свой собственный, и тогда на 1 комп один накопитель и сетевые объединить, тогда красиво, особенно для рабочих станций работающих с тяжелым контентом. И надежно и объем и производительность.