Автор Тема: Долговременное архивирование и хранение данных  (Прочитано 11596 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн MetalHeart

  • Администрация
  • *****
  • Сообщений: 3932
  • Репутация: 18
  • Денис
  • Поблагодарили: +1155
Опять и снова назрел насущный вопрос.
Есть много данных, которые используются очень редко, но могут когда-нибудь все-таки пригодится.
Пока есть идея, купить 2-3Тб диск, закинуть все на него и положить на полку.

Так вот вопрос в том, насколько надежно хранятся данные на HDD, насколько надежны механика и электроника, если диск долгое время лежит без питания и перезаписи данных.

Лучшего варианта пока не придумал  ???

Оффлайн dm34

  • Старожил
  • *****
  • Сообщений: 3264
  • Репутация: 22
  • Дмитрий
  • Поблагодарили: +3284
Денис, всяко получше, чем на магнитной ленте. А в недалекие времена архивы делались вроде как исключительно на стриммерах. Так что НЖМД вполне хороший результат  :d_know:

Оффлайн pm

  • Старожил
  • *****
  • Сообщений: 3167
  • Репутация: 42
  • Поблагодарили: +6853
насколько надежно хранятся данные на HDD, насколько надежны механика и электроника, если диск долгое время лежит без питания и перезаписи данных.
Как повезёт. И годами лежат без проблем и из магазина новый сдыхает в день покупки. Если данные важны, то без резервирования слишком рискованно. Лучше увеличить объём NAS, положить данные на него, а на дополнительный диск периодически делать инкрементальное резервное копирование. На NAS желательно иметь "умную" файловую систему, периодически проверяющую "холодные" данные в фоновом режиме.

А в недалекие времена архивы делались вроде как исключительно на стриммерах.
Они и сейчас делаются на ленту, только стримеры и картриджи для них - дорогое и редкое оборудование.

Оффлайн MetalHeart

  • Администрация
  • *****
  • Сообщений: 3932
  • Репутация: 18
  • Денис
  • Поблагодарили: +1155
Понятно, что гарантий никаких нет..

Вот думаю, какой из вариантов предпочесть:

1. HDD Western Digital Red на 3 Тб  (для NAS) - собственно вставить его в NAS скинуть данные, вытащить и положить на полку до нужного момента (чтобы он зря его не мутузил и диск был отключен от питания)
2. HDD Western Digital My Book на 3 Тб - внешний с USB 3.0. Вроде как специально разработан для подобных задач типа бэкапирования.

Скорость передачи значения большого не имеет, но что меня всегда раздражало во внешних HDD, то что доступ всяческими HDD-инструментами для проверок/лечения хуже, чем по SATA.
Минус в диске под NAS, в том что у него своя файловая система и если с компа ее уже напрямую не прочитаешь, только через NAS. И с собой никуда не возмешь.

По цене одинаково, только вот NAS-диск вроде как надежнее должен быть.

Вот и не знаю что выбрать  ???


и добавил...
Ну или еще вариант, самый универсальный и чуть подороже..

Купить внутренний HDD и док-станцию для HDD, либо контейнер с USB-интерфейсом.
И уже самому решать, когда ему быть внешним, когда внутренним.
« Последнее редактирование: 06 Июня 2017, 16:51:45 от MetalHeart »

Оффлайн pm

  • Старожил
  • *****
  • Сообщений: 3167
  • Репутация: 42
  • Поблагодарили: +6853
По первому варианту не вижу никакого смысла брать WD Red, для твоего сценария сгодится любой десктопный, самый дешёвый.
Во втором варианте наверняка будет внутри стоять трёхтерабайтный WD Green с агрессивным алгоритмом парковки и, не исключено, с распаянным сразу на плате контроллера интерфейсом USB3.
Доступ к SMART диска, подключённого через контроллер SATA-USB зависит от этого контроллера и есть такие, которые без дополнительных утилит предоставляют состояние SMART.
У бытовых NAS никаких проприетарных чудес с файловыми системами: ext3, ext4, btrfs, xfs, ufs2, zfs, ntfs - что-то из этого списка.

Да, вариант с внешним контейнером нормальный. Только придётся покупать под 3.5", т.к. на 2.5" я что-то в магазинах дисков на 3ТБ не встречал, только на 2ТБ, толстый с большим пакетом пластин. Как следствие, для контейнера 3.5" нужен внешний ИП (будет в комплекте), т.к. от USB3 его не запитаешь.

« Последнее редактирование: 06 Июня 2017, 17:01:43 от pm »

Оффлайн MetalHeart

  • Администрация
  • *****
  • Сообщений: 3932
  • Репутация: 18
  • Денис
  • Поблагодарили: +1155
По первому варианту не вижу никакого смысла брать WD Red

Разницы в цене по сравнению с WD Blue практически нет (по крайней мере в этом объеме) и скорее я его в NAS и поставлю, а старенький и уже хорошо протестированный 2Тб-тник пойдет под архив.

WD Green с агрессивным алгоритмом парковки и

Гринов оказывается уже нет - это теперь одна серия с Blue, а то путаница была у юзверей.



Только придётся покупать под 3.5", т.к. на 2.5" я что-то в магазинах дисков на 3ТБ не встречал, только на 2ТБ, толстый с большим пакетом пластин. Как следствие, для контейнера 3.5" нужен внешний ИП (будет в комплекте), т.к. от USB3 его не запитаешь.

Ну да, 3,5" естессно.  Док-станция даже лучше наверное, т.к. таскать его куда-то нет необходимости. Да и есть еще пара старых HDD, которые тоже можно было бы втыкать туда при надобности.

Оффлайн pm

  • Старожил
  • *****
  • Сообщений: 3167
  • Репутация: 42
  • Поблагодарили: +6853
Разницы в цене по сравнению с WD Blue практически нет
Я бы предпочёл с бОльшей гарантией.

Гринов оказывается уже нет - это теперь одна серия с Blue, а то путаница была у юзверей.
Как-будто их нынешнее деление устранило путаницу.

Док-станция даже лучше наверное, т.к. таскать его куда-то нет необходимости.
Пожалуй, да.

Оффлайн IronYorick

  • Старожил
  • *****
  • Сообщений: 3927
  • Репутация: 41
  • Андрей
  • Поблагодарили: +3214
с агрессивным алгоритмом парковки
:off:
А помнишь, как команду  "park" в MS DOS набирали :D?

Оффлайн pm

  • Старожил
  • *****
  • Сообщений: 3167
  • Репутация: 42
  • Поблагодарили: +6853

Оффлайн hippo64

  • Читаю форум
  • *****
  • Сообщений: 7135
  • Репутация: 72
  • Владимир
  • Поблагодарили: +5153
Они были большие, их было трудно потерять на 8 кв. м., вторую неделю ищу терабайтник , сто пудов он никуда не выходил.

Оффлайн kotofey

  • Администрация
  • *****
  • Сообщений: 2653
  • Репутация: 20
  • Санкт-Петербург
  • Поблагодарили: +383
Тоже надо заморочится и собрать что-нить такое. Только салазок под 3.5 надо добыть и стяжками их скрепить. Так остальное что-нить software-defined file system.

и добавил...
hippo64, под подушкой надо глянуть)

Оффлайн pm

  • Старожил
  • *****
  • Сообщений: 3167
  • Репутация: 42
  • Поблагодарили: +6853
Только салазок под 3.5 надо добыть и стяжками их скрепить.
Что-то я не смог уловить твою конструктивную мысль: зачем салазки скреплять стяжками?

Оффлайн kotofey

  • Администрация
  • *****
  • Сообщений: 2653
  • Репутация: 20
  • Санкт-Петербург
  • Поблагодарили: +383
pm, Ну чтобы банально винты не стопкой хранить, а они были в чем-то "собраны"
lsi 9260-4i + sas экспендер от интела можно попробовать, только второй достать тяжеловато. В теории с хвостами sff-8087 -> sata это даст под 40+ дисков в стопке на обычном железе.
Это так, мысли по поводу своей хранилки. Думал еще взять тупо б/у серверное решение. Но вот шум/вентиляция. 6-10К кулеры так себе в использовании дома. Была бы кладовка, можно было что-нить придумать.

Оффлайн MetalHeart

  • Администрация
  • *****
  • Сообщений: 3932
  • Репутация: 18
  • Денис
  • Поблагодарили: +1155
Сервера все-таки несколько под другое "заточены" - скорость доступа, безотказность. Для архивов "редкого обращения" это вовсе не нужно.
Отсюда высокие обороты, температуры, необходимость охлаждения...

Оффлайн kotofey

  • Администрация
  • *****
  • Сообщений: 2653
  • Репутация: 20
  • Санкт-Петербург
  • Поблагодарили: +383
Сервера все-таки несколько под другое "заточены" - скорость доступа, безотказность. Для архивов "редкого обращения" это вовсе не нужно.
Отсюда высокие обороты, температуры, необходимость охлаждения...
Сервера заточены под то, под что их заточили при конфигурации и установке)
На тему охлаждения, там вопрос не в надежности по температуре, а в модели охлаждения. Пачка радиаторов + блок "насосов" для воздуха, которые собственно тянут его из холодного коридора через потроха сервера в теплый коридор. Но это не везде так.
Я почему об этом думал. В продаже куча "облачных" и прочих сетевых хранилищ с 1 (карл!) диском. Это бредятина) Хотябы 2, серьезно. А вот далее уже начинаются тонкости. Многие из производителей хранились написали относительно (вполне) удобные оболочки для работы с ними по сети.
Однако если мы попробуем от этого абстрагироваться, то у нас остается в общем-то не так много путей решения задачи.
1. SMB/CIFS. Самый просто windows-way (изначально). Шарим папки на хранилище и работаем с ними из основной ОС рабочей машины. Работает, в целом проверенно в среде компаний даже до полутыщи клиентов.
2. NFS unix-way (опять же, изначально). Неплохо, на линуксах запускается без лишних телодвижений. Однако есть сложности с относительной "синхронностью", потерялось хранилище из-за, допустим, сети - начались тормоза и поблемы.
3. iSCSI, казалось бы "для дома, для семьи" избыточно, но оно помогает избавится от некоторой неравномерности в работе первого и проблемы с явным отваливанием хранилища во втором. Сложнее настраивается.
4. Сетевые фс, они больше похожи по поведению на iSCSI (и наверное в большей степени на NFS), и работают как остальные "облачные" диски. что в общем-то позволяет с ними жить, их можно смонтировать в систему как обычный диск или папку и пользоваться (если не путаю). Разворачивать сложнее, больше тонкостей в настройке, но с другой стороны вроде как один день проеб потерял, а потом за 5 мин долетел.

Если что-то сильно упустил, то думаю меня поправят. На СХД я не специализируюсь ни коим образом :)

Оффлайн pm

  • Старожил
  • *****
  • Сообщений: 3167
  • Репутация: 42
  • Поблагодарили: +6853
винты не стопкой хранить, а они были в чем-то "собраны"
Не, плохое решение. Лучше такими корзинками набрать нужное количество дисков.

Для 3.5"
[ Вложение: Вам нельзя просматривать вложения ]

Для 2.5"
[ Вложение: Вам нельзя просматривать вложения ]

lsi 9260-4i + sas экспендер от интела можно попробовать, только второй достать тяжеловато.
Ну их нах, эти hardware based контроллеры с их метаданными. По крайней мере для NAS. Приходилось судорожно искать подходящий, когда сдох рабочий контроллер и не было под рукой аналогичного.

В теории с хвостами sff-8087 -> sata это даст под 40+ дисков в стопке на обычном железе.
А не треснет? :laugh:

Думал еще взять тупо б/у серверное решение.
Из серверного, пусть условно, имеет смысл HP MicroServer или что-то аналогичное было у Acer и Fujitsu. Седьмой год работает самый первый из G7. G8 по всем параметрам лучше, кроме одного - в G7 сверх штатного запросто добавляется больше дисков. Есть ещё адский вариант - сисплаты mini-ITX Asrock Rack.
Если не загоняться на быструю замену и hotswap, то вполне для NAS вариант в корпусе Fractal Design Node 304. Шесть штатный мест под диски и при невысоком кулере на процессоре ещё до 3х дисков помещается с напильником.



и добавил...
если мы попробуем от этого абстрагироваться, то у нас остается в общем-то не так много путей решения задачи.
Пункты 1, 2 и 3 сливаем в один и получаем универсальное решение на одной платформе :drink:

Оффлайн xar

  • Старожил
  • *****
  • Сообщений: 5224
  • Репутация: 16
  • Ренат
  • Поблагодарили: +271
Fractal Design Node 304
милая микроволновочка

Оффлайн pm

  • Старожил
  • *****
  • Сообщений: 3167
  • Репутация: 42
  • Поблагодарили: +6853
В эту микроволновку, если докупить крепление штатно можно вставит 12 2.5" дисков.

Оффлайн kotofey

  • Администрация
  • *****
  • Сообщений: 2653
  • Репутация: 20
  • Санкт-Петербург
  • Поблагодарили: +383
Кейсы-расширения в 5'25 хорошая тема, да.
Ну их нах, эти hardware based контроллеры с их метаданными. По крайней мере для NAS. Приходилось судорожно искать подходящий, когда сдох рабочий контроллер и не было под рукой аналогичного.
Не не, смысл только в SFF интерфейсе и поддержке 64 устройств в ветке.

https://squadra-group.com/sistemy-hranenija-dannyh/huawei/oceanstor-s2300
30K всего)))

и добавил...
Пункты 1, 2 и 3 сливаем в один и получаем универсальное решение на одной платформе
Я всеж за 3 и 4)) Первые два просты для использования, но случайный отстрел ноги в домашних условиях напрягает больше чем на работе.

Ну и самое главное. Мы дома, это наши данные. Выключил, заменил/переставил.
Никаких сцка "в ночь между рабочими сменами каждое 18 полнолуние декабря".

Оффлайн pm

  • Старожил
  • *****
  • Сообщений: 3167
  • Репутация: 42
  • Поблагодарили: +6853
Не не, смысл только в SFF интерфейсе и поддержке 64 устройств в ветке.
SFF сейчас в двух версиях распространены, miniSAS 8087 устаревший, все новые контроллеры идут с miniSAS HD, но 8087 на вторичном рынке по приемлемым ценам. Я таки попытаюсь донести свою мысль: твой контроллер 9260-4i - типичный RAID и ты не сможешь с ним оперировать отдельными дисками, а только с виртуальными томами, сделанными через BIOS контроллера или проприетарными утилитами. То есть если захочешь использовать отдельный диск, изволь сначала сделать на нём массив, а уж потом поверх этого тома делать файловую систему средствами ОС. Лучше для NAS использовать HBA, а не RAID.
Ну и 64 диска - это только через мультипликаторы портов.

30K всего)))
Цена весьма приемлемая. Но гарантия микроскопическая или надо доплатить ещё 18% от цены. И да, оно будет шумным ;)

Я всеж за 3 и 4)) Первые два просты для использования, но случайный отстрел ноги в домашних условиях напрягает больше чем на работе.
Пункт 4 считаю для дома совершенно неоправданным, сугубо субъективно. iSCSI тоже не заменит предоставление в доступ выделенного сетевого ресурса типа SMB/CIFS/NFS, если нет multipath, а это отдельная боль. Хорошему стрелку ничто не помешает отстрелить ноги и по пунктам 3 и 4 :D


Оффлайн kotofey

  • Администрация
  • *****
  • Сообщений: 2653
  • Репутация: 20
  • Санкт-Петербург
  • Поблагодарили: +383
твой контроллер 9260-4i - типичный RAID и ты не сможешь с ним оперировать отдельными дисками, а только с виртуальными томами, сделанными через BIOS контроллера или проприетарными утилитами.
А, это упущение, согласен. Хотя казалось он может их пробрасывать в ОС без создания абстракции. Надо будет проверить.

Оффлайн pm

  • Старожил
  • *****
  • Сообщений: 3167
  • Репутация: 42
  • Поблагодарили: +6853
Дружище, можешь не проверять, у меня из этой линейки несколько работают, уже проверено неоднократно. Только HBA умеют нужное тебе.



Оффлайн kotofey

  • Администрация
  • *****
  • Сообщений: 2653
  • Репутация: 20
  • Санкт-Петербург
  • Поблагодарили: +383
Дружище, можешь не проверять, у меня из этой линейки несколько работают, уже проверено неоднократно. Только HBA умеют нужное тебе.
Нууу, я его не покупал  ;D

Оффлайн pm

  • Старожил
  • *****
  • Сообщений: 3167
  • Репутация: 42
  • Поблагодарили: +6853
Всего 4 порта достаточно? Мультипликатор/экспандер SAS будет дороже б/у HBA на 8 портов. Я тебя не отговариваю, сам думал на LSISAS 9261-8i делать NAS, но для ZFS крайне не рекомендуются аппаратные RAID контроллеры, только HBA. Купил LSISAS 9211-8i и перешил их в IT-mode, по дефолту они идут с IR-mode на борту. Пробовал ещё Adaptec 6805H и Supermicro AOC-SAS2LP-MV8, если под липуксом - то всё хорошо, если *BSD/Solaris, то только LSI.

 

Похожие темы

  Тема / Автор Ответов Последний ответ
39 Ответов
214455 Просмотров
Последний ответ 13 Октября 2016, 10:48:19
от Ваван
1 Ответов
5648 Просмотров
Последний ответ 16 Октября 2015, 20:08:28
от khvilon
97 Ответов
19781 Просмотров
Последний ответ 09 Апреля 2021, 22:02:53
от pm
32 Ответов
6941 Просмотров
Последний ответ 15 Декабря 2022, 09:35:48
от pm