Долговременное архивирование и хранение данных

[MetalHeart]

Опять и снова назрел насущный вопрос.
Есть много данных, которые используются очень редко, но могут когда-нибудь все-таки пригодится.
Пока есть идея, купить 2-3Тб диск, закинуть все на него и положить на полку.

Так вот вопрос в том, насколько надежно хранятся данные на HDD, насколько надежны механика и электроника, если диск долгое время лежит без питания и перезаписи данных.

Лучшего варианта пока не придумал 

[dm34]

Денис, всяко получше, чем на магнитной ленте. А в недалекие времена архивы делались вроде как исключительно на стриммерах. Так что НЖМД вполне хороший результат 

[pm]

насколько надежно хранятся данные на HDD, насколько надежны механика и электроника, если диск долгое время лежит без питания и перезаписи данных.

Как повезёт. И годами лежат без проблем и из магазина новый сдыхает в день покупки. Если данные важны, то без резервирования слишком рискованно. Лучше увеличить объём NAS, положить данные на него, а на дополнительный диск периодически делать инкрементальное резервное копирование. На NAS желательно иметь "умную" файловую систему, периодически проверяющую "холодные" данные в фоновом режиме.

А в недалекие времена архивы делались вроде как исключительно на стриммерах.

Они и сейчас делаются на ленту, только стримеры и картриджи для них - дорогое и редкое оборудование.

[MetalHeart]

Понятно, что гарантий никаких нет..

Вот думаю, какой из вариантов предпочесть:

1. HDD Western Digital Red на 3 Тб  (для NAS) - собственно вставить его в NAS скинуть данные, вытащить и положить на полку до нужного момента (чтобы он зря его не мутузил и диск был отключен от питания)
2. HDD Western Digital My Book на 3 Тб - внешний с USB 3.0. Вроде как специально разработан для подобных задач типа бэкапирования.

Скорость передачи значения большого не имеет, но что меня всегда раздражало во внешних HDD, то что доступ всяческими HDD-инструментами для проверок/лечения хуже, чем по SATA.
Минус в диске под NAS, в том что у него своя файловая система и если с компа ее уже напрямую не прочитаешь, только через NAS. И с собой никуда не возмешь.

По цене одинаково, только вот NAS-диск вроде как надежнее должен быть.

Вот и не знаю что выбрать 


и добавил...
Ну или еще вариант, самый универсальный и чуть подороже..

Купить внутренний HDD и док-станцию для HDD, либо контейнер с USB-интерфейсом.
И уже самому решать, когда ему быть внешним, когда внутренним.

[pm]

По первому варианту не вижу никакого смысла брать WD Red, для твоего сценария сгодится любой десктопный, самый дешёвый.
Во втором варианте наверняка будет внутри стоять трёхтерабайтный WD Green с агрессивным алгоритмом парковки и, не исключено, с распаянным сразу на плате контроллера интерфейсом USB3.
Доступ к SMART диска, подключённого через контроллер SATA-USB зависит от этого контроллера и есть такие, которые без дополнительных утилит предоставляют состояние SMART.
У бытовых NAS никаких проприетарных чудес с файловыми системами: ext3, ext4, btrfs, xfs, ufs2, zfs, ntfs - что-то из этого списка.

Да, вариант с внешним контейнером нормальный. Только придётся покупать под 3.5", т.к. на 2.5" я что-то в магазинах дисков на 3ТБ не встречал, только на 2ТБ, толстый с большим пакетом пластин. Как следствие, для контейнера 3.5" нужен внешний ИП (будет в комплекте), т.к. от USB3 его не запитаешь.

[MetalHeart]

По первому варианту не вижу никакого смысла брать WD Red

Разницы в цене по сравнению с WD Blue практически нет (по крайней мере в этом объеме) и скорее я его в NAS и поставлю, а старенький и уже хорошо протестированный 2Тб-тник пойдет под архив.

WD Green с агрессивным алгоритмом парковки и

Гринов оказывается уже нет - это теперь одна серия с Blue, а то путаница была у юзверей.

Только придётся покупать под 3.5", т.к. на 2.5" я что-то в магазинах дисков на 3ТБ не встречал, только на 2ТБ, толстый с большим пакетом пластин. Как следствие, для контейнера 3.5" нужен внешний ИП (будет в комплекте), т.к. от USB3 его не запитаешь.

Ну да, 3,5" естессно.  Док-станция даже лучше наверное, т.к. таскать его куда-то нет необходимости. Да и есть еще пара старых HDD, которые тоже можно было бы втыкать туда при надобности.

[pm]

Разницы в цене по сравнению с WD Blue практически нет

Я бы предпочёл с бОльшей гарантией.

Гринов оказывается уже нет - это теперь одна серия с Blue, а то путаница была у юзверей.

Как-будто их нынешнее деление устранило путаницу.

Док-станция даже лучше наверное, т.к. таскать его куда-то нет необходимости.

Пожалуй, да.

[IronYorick]

с агрессивным алгоритмом парковки

А помнишь, как команду  "park" в MS DOS набирали ?

[pm]

Ага, динозавры

[hippo64]

Они были большие, их было трудно потерять на 8 кв. м., вторую неделю ищу терабайтник , сто пудов он никуда не выходил.

[kotofey]

Тоже надо заморочится и собрать что-нить такое. Только салазок под 3.5 надо добыть и стяжками их скрепить. Так остальное что-нить software-defined file system.

и добавил...
hippo64, под подушкой надо глянуть)

[pm]

Только салазок под 3.5 надо добыть и стяжками их скрепить.

Что-то я не смог уловить твою конструктивную мысль: зачем салазки скреплять стяжками?

[kotofey]

pm, Ну чтобы банально винты не стопкой хранить, а они были в чем-то "собраны"
lsi 9260-4i + sas экспендер от интела можно попробовать, только второй достать тяжеловато. В теории с хвостами sff-8087 -> sata это даст под 40+ дисков в стопке на обычном железе.
Это так, мысли по поводу своей хранилки. Думал еще взять тупо б/у серверное решение. Но вот шум/вентиляция. 6-10К кулеры так себе в использовании дома. Была бы кладовка, можно было что-нить придумать.

[MetalHeart]

Сервера все-таки несколько под другое "заточены" - скорость доступа, безотказность. Для архивов "редкого обращения" это вовсе не нужно.
Отсюда высокие обороты, температуры, необходимость охлаждения...

[kotofey]

Сервера все-таки несколько под другое "заточены" - скорость доступа, безотказность. Для архивов "редкого обращения" это вовсе не нужно.
Отсюда высокие обороты, температуры, необходимость охлаждения...

Сервера заточены под то, под что их заточили при конфигурации и установке)
На тему охлаждения, там вопрос не в надежности по температуре, а в модели охлаждения. Пачка радиаторов + блок "насосов" для воздуха, которые собственно тянут его из холодного коридора через потроха сервера в теплый коридор. Но это не везде так.
Я почему об этом думал. В продаже куча "облачных" и прочих сетевых хранилищ с 1 (карл!) диском. Это бредятина) Хотябы 2, серьезно. А вот далее уже начинаются тонкости. Многие из производителей хранились написали относительно (вполне) удобные оболочки для работы с ними по сети.
Однако если мы попробуем от этого абстрагироваться, то у нас остается в общем-то не так много путей решения задачи.
1. SMB/CIFS. Самый просто windows-way (изначально). Шарим папки на хранилище и работаем с ними из основной ОС рабочей машины. Работает, в целом проверенно в среде компаний даже до полутыщи клиентов.
2. NFS unix-way (опять же, изначально). Неплохо, на линуксах запускается без лишних телодвижений. Однако есть сложности с относительной "синхронностью", потерялось хранилище из-за, допустим, сети - начались тормоза и поблемы.
3. iSCSI, казалось бы "для дома, для семьи" избыточно, но оно помогает избавится от некоторой неравномерности в работе первого и проблемы с явным отваливанием хранилища во втором. Сложнее настраивается.
4. Сетевые фс, они больше похожи по поведению на iSCSI (и наверное в большей степени на NFS), и работают как остальные "облачные" диски. что в общем-то позволяет с ними жить, их можно смонтировать в систему как обычный диск или папку и пользоваться (если не путаю). Разворачивать сложнее, больше тонкостей в настройке, но с другой стороны вроде как один день проеб потерял, а потом за 5 мин долетел.

Если что-то сильно упустил, то думаю меня поправят. На СХД я не специализируюсь ни коим образом

[pm]

винты не стопкой хранить, а они были в чем-то "собраны"

Не, плохое решение. Лучше такими корзинками набрать нужное количество дисков.

Для 3.5"
[ Вложение: Вам нельзя просматривать вложения ]

Для 2.5"
[ Вложение: Вам нельзя просматривать вложения ]

lsi 9260-4i + sas экспендер от интела можно попробовать, только второй достать тяжеловато.

Ну их нах, эти hardware based контроллеры с их метаданными. По крайней мере для NAS. Приходилось судорожно искать подходящий, когда сдох рабочий контроллер и не было под рукой аналогичного.

В теории с хвостами sff-8087 -> sata это даст под 40+ дисков в стопке на обычном железе.

А не треснет?

Думал еще взять тупо б/у серверное решение.

Из серверного, пусть условно, имеет смысл HP MicroServer или что-то аналогичное было у Acer и Fujitsu. Седьмой год работает самый первый из G7. G8 по всем параметрам лучше, кроме одного - в G7 сверх штатного запросто добавляется больше дисков. Есть ещё адский вариант - сисплаты mini-ITX Asrock Rack.
Если не загоняться на быструю замену и hotswap, то вполне для NAS вариант в корпусе Fractal Design Node 304. Шесть штатный мест под диски и при невысоком кулере на процессоре ещё до 3х дисков помещается с напильником.



и добавил...

если мы попробуем от этого абстрагироваться, то у нас остается в общем-то не так много путей решения задачи.

Пункты 1, 2 и 3 сливаем в один и получаем универсальное решение на одной платформе

[xar]

Fractal Design Node 304

милая микроволновочка

[pm]

В эту микроволновку, если докупить крепление штатно можно вставит 12 2.5" дисков.

[kotofey]

Кейсы-расширения в 5'25 хорошая тема, да.

Ну их нах, эти hardware based контроллеры с их метаданными. По крайней мере для NAS. Приходилось судорожно искать подходящий, когда сдох рабочий контроллер и не было под рукой аналогичного.

Не не, смысл только в SFF интерфейсе и поддержке 64 устройств в ветке.

https://squadra-group.com/sistemy-hranenija-dannyh/huawei/oceanstor-s2300
30K всего)))

и добавил...

Пункты 1, 2 и 3 сливаем в один и получаем универсальное решение на одной платформе

Я всеж за 3 и 4)) Первые два просты для использования, но случайный отстрел ноги в домашних условиях напрягает больше чем на работе.

Ну и самое главное. Мы дома, это наши данные. Выключил, заменил/переставил.
Никаких сцка "в ночь между рабочими сменами каждое 18 полнолуние декабря".

[pm]

Не не, смысл только в SFF интерфейсе и поддержке 64 устройств в ветке.

SFF сейчас в двух версиях распространены, miniSAS 8087 устаревший, все новые контроллеры идут с miniSAS HD, но 8087 на вторичном рынке по приемлемым ценам. Я таки попытаюсь донести свою мысль: твой контроллер 9260-4i - типичный RAID и ты не сможешь с ним оперировать отдельными дисками, а только с виртуальными томами, сделанными через BIOS контроллера или проприетарными утилитами. То есть если захочешь использовать отдельный диск, изволь сначала сделать на нём массив, а уж потом поверх этого тома делать файловую систему средствами ОС. Лучше для NAS использовать HBA, а не RAID.
Ну и 64 диска - это только через мультипликаторы портов.

30K всего)))

Цена весьма приемлемая. Но гарантия микроскопическая или надо доплатить ещё 18% от цены. И да, оно будет шумным

Я всеж за 3 и 4)) Первые два просты для использования, но случайный отстрел ноги в домашних условиях напрягает больше чем на работе.

Пункт 4 считаю для дома совершенно неоправданным, сугубо субъективно. iSCSI тоже не заменит предоставление в доступ выделенного сетевого ресурса типа SMB/CIFS/NFS, если нет multipath, а это отдельная боль. Хорошему стрелку ничто не помешает отстрелить ноги и по пунктам 3 и 4

[kotofey]

твой контроллер 9260-4i - типичный RAID и ты не сможешь с ним оперировать отдельными дисками, а только с виртуальными томами, сделанными через BIOS контроллера или проприетарными утилитами.

А, это упущение, согласен. Хотя казалось он может их пробрасывать в ОС без создания абстракции. Надо будет проверить.

[pm]

Дружище, можешь не проверять, у меня из этой линейки несколько работают, уже проверено неоднократно. Только HBA умеют нужное тебе.

[kotofey]

Дружище, можешь не проверять, у меня из этой линейки несколько работают, уже проверено неоднократно. Только HBA умеют нужное тебе.

Нууу, я его не покупал 

[pm]

Всего 4 порта достаточно? Мультипликатор/экспандер SAS будет дороже б/у HBA на 8 портов. Я тебя не отговариваю, сам думал на LSISAS 9261-8i делать NAS, но для ZFS крайне не рекомендуются аппаратные RAID контроллеры, только HBA. Купил LSISAS 9211-8i и перешил их в IT-mode, по дефолту они идут с IR-mode на борту. Пробовал ещё Adaptec 6805H и Supermicro AOC-SAS2LP-MV8, если под липуксом - то всё хорошо, если *BSD/Solaris, то только LSI.