Video není dostupné.
Omlouváme se.
NAS for 20 HDDs. Part 1. Prehistory
Vložit
- čas přidán 17. 08. 2024
- Instagram: / electronics_in_focus
All series of the project:
NAS for 20 HDDs. Part 1. Background: • NAS на 20 HDD. Часть 1...
NAS for 20 HDDs. Part 2. Assembly: • NAS на 20 HDD. Часть 2...
NAS for 20 HDDs. Part 3. FreeNAS and tests: • NAS на 20 HDD. Часть 3...
NAS for 20 HDDs. Part 4. Switching to Xeon, increasing volume: • NAS на 20 HDD. Часть 4...
NAS for 20 HDDs. Part 5. Changing mother again, testing 10Gb, Home Assistant on NAS: • NAS на 20 HDD. Часть 5...
Of. FreeNAS project website: www.freenas.org/
Product links:
1) ZyXEL NAS542:
fas.st/51Od8
www.onlinetrad...
2) HPE ProLiant MicroServer Gen10 Server:
fas.st/hyDat
www.onlinetrad...
00:00 - Entry
00:34 - External USB HDDs
01:55 - ZyXEL NAS542 (4 HDD)
05:28 - What to do next?
08:44 - FreeNAS and ZFS
11:28 - Results
12:34 - Footages
Производитель raid контроллеров не рекомендуют использовать raid5 в современном мире. Когда разрабатывали стандарт, диски были небольшого объема и ребилд массива происходил быстро. Сейчас при выпадении 4Тб диска ребилд массива может занимать продолжительное время. Ребилд это всегда повышенная нагрузка на диски и может вылететь ещё один диск. В случае raid5 это приведет к фатальным последствиям. Лучше использовать raid6. Там можно потерять 2 диска. За свою практику не раз видел как люди делаю ставку на рейд контроллер, программное решение в виде mdadm или zfs. Происходит программная ошибка или аппаратная...(не забываем про ошибки пользователя) Пользователь теряет данные. Рейд это не бэкап. Это средство позволяющее увеличить объем, скорость дисковой. Сократить количество простоев сервиса из-за выпадение дисков, но не помогает сохранять данные. Бэкап всегда нужен. Каждый раз пишу подобное, когда вижу истории про nas.
Максимально оправданное количество дисков в RAID-Z (raid 5) 6 -> в RAID-Z2 (raid 6) 12, это если использовать HDD с показателем "Неисправимых ошибок чтения/прочитанных бит - 1 ошибка на 1E15" и да насчет ребилда ZFS в принципе не переваривает работу с дисками через raid контроллер (только если через HBA мод), а это значит что ребилд будет выполняться средствами CPU, соответственно чем мощнее процессор тем быстрее ребилд
Поддерживаю, RAID 6 еще ничего
@@crimhard Мне кажется, совсем равнять raid-z и рейд 5 не стоит. Они похожи но, имхо подробности устройства разные.
Полностью поддерживаю. NAS это не панацея для бекапа. RAID1 еще куда не шло, но были случаи когда умирал и RAID1 причем сразу оба диска. А про логические ошибку тут и спору нет - любой RAID чаще мрет именно из за логики. И тут уже ничего не спасает кроме безсоных ночей по разгребанию образов.
Если стоит вопрос по сохранности информации - про RAID вообще нужно забыть.
Как владелец более 500 HDD, 96 из которых находятся постоянно в онлайне, могу дать несколько советов по поводу твоей "проблемы". Я сам сначала хотел "колхозить" себе NAS на базе материнской платы для майнинга с 19 разъемами PCI-E 1х, но вовремя начал смотреть в сторону бэушного серверного железа, на котором в итоге собрал себе, все что планировал за очень небольшие деньги (учитывая стоимость твоего NAS на 4 диска). Короче, могу тебе на своем опыте посоветовать рассмотреть следующие варианты:
1. Если хочешь держать все свои диски в онлайне и тебе хватит 12/24 дисков, то купи себе бэушный сервер 2U/4U на 24 3.5 диска они стоят относительно недорого, тысяч в 20-35 можно уложиться (я купил себе 2U двухпроцессорный сервер с 96ГБ DDR3 за 30, но это мне просто повезло). Я, например, закупаюсь на сайте hlamada.ru (не сочтите за рекламу), ну и на avito тоже полно предложений б/у серверов. Рейд контроллеры стоят в среднем от 2.5 до 5 тысяч. Я брал себе adaptec 78165 за 4500 руб, правда курс $ был тогда где-то в районе 58.
2. В твоем случае, раз у тебя уже есть NAS на 4 диска, и тебе не нужно держать все свои видосики в онлайне, оптимальнее будет купить б/у стриммер LTO6 (LTO5 уже устарел и имеет маленький объем данных, 7 и 8 пока еще очень дороги) и бэкапиться на него. Я купил себе практически новый HP LTO6 драйв на авито за 35000 руб. (обычно их барыги пытаются продать значительно дороже, поэтому на авито их нужно "ловить", свой драйв я "ловил" недели две), и покупаю там же к нему кассеты по 900-1500 руб. за штуку. Кассеты LTO6 рассчитаны на 2.5ТБ, скорость чтения и записи 160МБ/с, срок хранения данных на кассете - 30 лет. Стриммером пользоваться очень удобно, почти также удобно как обычной флешкой, только объемом в 2.5ТБ )) Так что можешь все свои видосики хоть три раза забэкапить. Кстати, к стриммеру понадобится прикупить еще FC-контроллер, две FC SFP-шки и оптический кабель. FC контроллер QLogic на базе чипа QLE2560 с двумя FC SFP модулями обошелся в 2000 руб., 3-x метровый кабель OM3 в 300 руб.
3. Наверное вариант для тебя не самый подходящий, т.к. объемы данных у тебя все-таки небольшие, но если лет 20 будешь еще снимать 4К или перейдешь на 8К, то может быть и он окажется подходящим, короче, есть б/у дисковые полки 4U на 24 диска, я например, закупался полками HUAWEI OceanStor S2300 в хламаде, они там сейчас стоят около 6000 руб, в каждой полке два блока питания и мощные вентиляторы (сильно жужжат и это минус). Полки поддерживают каскадное подключение, т.е. к одному рейд контроллеру можно подключить хоть 20 полок, но тогда ты разоришься на дисках и счетах за электричество. Подключаются полки к рейд контроллеру и друг к другу(последовательно) через кабели mini SAS SFF-8088/SFF-8088, ими можно закупаться на али, стоят кабели примерно по 13$ за штуку.
Ну и чтобы нормальную скорость обеспечить надо подключать NAS по 10Гбитной оптике, ну или директ-кабелем (если расстояние до NAS будет не более 3 метров), это сейчас тоже весьма недорого стоит, я покупал 10Гбитные карточки по 25-30$ за штуку, SFP модули на 850nm по 9$. Кстати, очень приятно когда 50ГБ файлик заливается к тебе на SSD с NAS меньше чем за минуту. Кстати, могу порекомендовать очень неплохие и недорогие роутеры mikrotik для 10Гбитной сетки. У меня стоит восьмипортовый CRS309-1G-8S+, отличная недорогая железяка, скорость 10Гб/c держит без напряга, хлопот с ней никаких, что называется включил и забыл. Но если у тебя дома только один рабочий комп, то вполне можно обойтись и без роутера.
Вот как-то так.
Думаю для хранения видео, автору не потребуется iops сравнимый с дисковой системой для СУБД.
Неплохо было запилить видео про этот свой опыт. Многих бы вдохновил👍
@@cinemasan Извини, бро, чукча не писатель, чукча читатель ))
@@vifvrTtb0vmFtbyrM_Q Вообще автору идеально подошел бы стример, а не 20-дисковый NAS. Я что-то сомневаюсь, что он каждый день свои старые видосики пересматривает )
@Андрей Рощин а, вдруг! на 500 ночей такой сериальчик вышел бы))
Три года прошло, а среди всего, что можно найти на ютубе, ваш ролик самый познавательный и, кажется, все еще актуальный. Спасибо!
Не доверяйте Raid5. Я 2 раза терял данные в Raid5. А происходит это следующим образом.
Когда мы делаем Raid 5 в 99% случаев мы ставим сразу 4 диска. И обычно покупаем их сразу все 4. Изнашиваются они равномерно. И вот наступает день X когда один из дисков умирает. Мы идём и покупаем новый винт. Вставляем и начинается ребилд. А так как это не 1 Tb винты. То это может занимать до 2х дней. В это время винты нагружаются на 100%. А так как винты изношены равномерно. То, когда происходит ребилд. Из-за нагрузки помирает ещё один винт. И тут всему рейду приходит конец.
Ещё совет. О котором уже писали по ZFS. Она очень интенсивно использует память. И делать Raid без ECC памяти это гарантировано получить проблемы. До того, как я не сделал сервер с ECC. Я даже не догадывался сколько раз в память ошибки закрадываются. И до этого несколько раз получал битые архивы…
Если делать без ECC то надо закладывать сразу. Что какой-то файл может быть побит… Возможно это даже будет побито так. Что с первого взгляда и не заметно будет. А может и убить файл полностью…
Будьте с этим внимательны.
Спасибо
По поводу битых файлов в ZFS с неECC памятью. Да, данные могут быть повреждены до передачи их в ZFS (до расчёта хеша и физической записи), но после этого момента записанные в пул данные уже не могут быть испорчены даже во время SCRUB пула и даже если ОЗУ не просто неECC, но ещё и сбойная. Это следует из описания работы ZFS. Впрочем, возможно я ошибаюсь
@@rnadyrshin Да именно так. Но в том и забавность. Что оно для уже битого файла рассчитывает хэш. И записывает в рейд... Для рейда этот файл нормальный. А вот когда читаешь этот файл и сравниваешь с оригинальным. Оказывается, что они отличаются... Понятно. Что это не часто случается. Но если данные важны. То стоит задуматься.
Просто сам наступал на эти грабли. Поэтому решил поделиться…
Спасибо. Я этот риск осознал и принял его
Да, я тоже терял. Был сервер на SCSI дисках. Во время ребилда произошел отказ второго диска.
Все правильно сказано, но один раз оступившись ты продолжаешь ждать пока диск вылетит и только после этого его меняешь? Хороший урок извлек, однако, из ситуации...
Диски нужно менять до выхода их из строя. Что для этого нужно? Просто приличный мониторинг дисковой системы. Мне лично когда-то хватило помершего зеркала на ребилде с не самой важной инфой, которая еще и забэкаплена была.
А у R5 тоже есть свои плюсы, как и у R6, а для SOHO применений R5 выгодней.
Правда есть есть вопросы производительности с нечетным количеством дисков в массиве, но это не так уж и важно в данном сегменте.
ZFS любит память. Много памяти. Нормальное соотношение - 1Г памяти на 1Т сырого места на дисках + 1Г + пара-тройка гигов для самого фринаса.
ZFS любит SSD в качестве ARC2 кеша. Да и для LOG тоже не помешает.
Забудь про RAID5 (RAIDZ1 в терминах ZFS). Только RAIDZ2.
P.S. Для хранения данных лучше чем лента человечество до сих пор ничего не придумало.
1гб оперативы на 1 тб диска нужен если использовать дедупликацию, а ее никто в здравом уме использовать не будет. Конечно чем больше памяти тем лучше, но такое соотношение особенно при большом пуле вовсе не обязательно.
Про RAIDZ2 люто плюсую, особенно на таком количестве дисков.
Про память вам уже сказали - это рекомендация при использовании дедуплекации, хотя я под arc примерно так (1Г на 1Т) и пытаюсь отдавать. raidz1 - это не raid5 и что в нем плохого? Если брать в пример инстансы с одинаковой отказоустойчивостью: 8 дисков в raidz2 или 2 VDEV по 4 диска в raidz1 - скорость raidz1 будет выше, следовательно последний вариант и нужно выбирать.
Лента годится только для бекапов, хранить ее нужно в специальных помещениях с поддержкой температуры и влажности, а так же время от времени ее нужно проверять и у ленты есть срок годности, если же у бекапов не регламентирован срок хранения и хранить нужно "вечно", то данные иногда нужно будет переписывать на новые носители.
Распространённое заблуждение про соотношение память/массив. Про raidz2 поддерживаю.
@@vladimir1376 raidz1 хоть как-то можно использовать на дисках до 1ТБ и то это не рекомендуется. Основная причина - ресильвер будет интенсивно использовать оставшие живыми диски и вероятность того что при этом еще один из них откажет совсем не нулевая. Примеров предостаточно. И чем больше размеры дисков тем больше вероятность.
В вашем примере почему вы считаете что отказоустойчивость одинакова? Очевидно что в случае raidz1 если не повезет и полетят 2 диска в одном vdev вы потеряете данные.
Когда понял что семейные архивы фото и видео нужно где то хранить и автоматически синхронизировать со всех электронных девайсов, то после ресеча был выбран и куплен Synology ds418play, диски сразу поставил старые какие были(40-50К часов налета), собрал их в Synology Hybrid RAID (SHR).
2 года он работал и радовал своим функционалом. Пару месяцев назад заменил диски на 6Тб, замена заняла 2-ое суток(вытащил старый диск, воткнул новый, дождался ребилда, и так по очереди все диски).
Почему то при выборе nas все забывают про его основную задачу - сетевое хранилище, сейчас столько сетевых протоколов, что реализовать все на бесплатных решениях тяжело или вообще невозможно, при этом обновляя бесплатную систему велик шанс после перезагрузки получить неработающую систему.
Плюсы решения synology очевидны - гораздо проще конфигурация, при обновлении не стоит беспокоиться, ничего не сломается, круглосуточный бесплатный суппорт, масса приложений для всех телефонных платформ и всех ОС, все работает из коробки и можно расширить функционал устанавливая дополнительные приложения.
Сейчас nas у меня используется для хранения домашней коллекции фото/видео(синхронизация с телефонов), качалка для фильмов и просмотр их на SmartTV, хранения/прослушивания музыки, бэкапирования и в роли видеорегистратора(пишется видеопоток с IP камер).
Это не реклама Synology :-) Просто делюсь своим опытом в домашнем использовании.
Купил бы еще Synology? Обязательно, но считаю что цена на модели с количеством дисков >4 необоснованно завышена.
p.s. в свое время был опыт с freenas
я пришёл к такому же заключению - синолоджи для дома, это самый шикарный вариант. Может и не самые дешёвые и производительные, но вылизанные до совершенства -). А это в системах хранения главное (имхо)
Я даже больше скажу, она и на NAS c 4 дисками необоснованно завышена ))
А как настроить автоматически синхронизацию на стнолоджи фото и видео со смартфонов на андроид и айос?
@@mafia6724 для синхронизации фото использую Moments - apps.apple.com/ru/app/synology-moments/id1284004851
Недавно на HDD файловая система превратилась в RAW раздел, среди виндовых программ ни чего подходящего не встретил, для восстановления всего раздела, в большинстве случаев, был необходим ещё один HDD, потом на линуксе попалась testdisk, которая и починила всё как надо. У неё довольно богатый функционал, по восстановлению. Может кому пригодиться эта инфа.
На будущее - testdisk есть и под Windows:
www.cgsecurity.org/wiki/TestDisk_Download
Testdisk есть и для Windows. Многие путают восстановление файлов с восстановлением разделов. Ещё есть r-studio
@@vifvrTtb0vmFtbyrM_Q позже я на офф-сайте это увидел, мне необходимо было восстановить раздел с содержимым, а не просто файлы. Всё получилось идеально за 30минут. Просканировал блины, опознал начало/конец разделов, пересобрал MFT, и при монтировал раздел. Все проги по разбивке/редактированию дисков - ни чего не смогли сделать.
Syava 10/12 можно подробнее, что делал?
@@bsoftware1410 ей просто пользоваться, можете любой мануал в сети открыть или видео здесь поискать, для примера. Хоть она и консольная, но она лучшая! Просто читайте, что пишет, и выбирайте ,что нужно, там сложно запутаться. Для начала вроде спросит о создании отчёта, потом выбор накопителя, выбор файловой.., а там какие действия необходимы.
Приятная дикция
Тебе бы больше видео снимать
Или озвучивать техноблоги
Весьма качествено сделан ролик. Достойная картинка. Не хуже топовых блогеров.
Круто, ждемс ))
Xpenology одна из лучших ОС для NAS из тех что приближается по удобству к потребительским хранилищам. Основано на Synology OS. Веб интерфейс. Куча плагинов. Можете поставить софт для видеонаблюдения, использовать как роутер. Использовать как бэкап сервер с клиентом на Windows, Android, Linux. Есть даже виртуализация. Конечно если вы чувствуете себя суровым админом то вам будет проще поставить bsd/Linux и делать все через ssh. Но не все это могут.
XPenology не рассматривал, потому что он нелегален
Всё, что вы перечислили есть и в FreeNAS
Несколько лет назад имел synology на два диска по 1Тб. Сконфигурирован в RAID 1 массив. Со временем пришёл к такой же ситуации как и автор публикации. Долго изучал ситуацию и рынок. В итоге купил ещё один Synology на четыре диска по 1Тб. Synology на два диска отвёз к родителям. Настроил резервное копирование со своего Synology на Synology к родителям. Резервное копирование "из коробки" готовый продукт в Synology с поддержкой дедубликации. Резервное копирование реально выручало.
После пары лет эксплуатации я всё-таки заменил диски 1Тб на 2Тб в своём Synology, без каких либо дополнительных манипуляций с восстановлением. Просто поочерёдно менял диски и дожидался ребилдинга RAID массива.
Автору публикации, все-таки рекомендовал бы задуматься о резервном копирование.
Благодарим Вас за столь актуальную серию выпусков о построении собственного NAS. Смотрим с большим вниманием. С нетерпением будем ждать новых видео по этой теме.
Так и не услышал толком про бэуапы, и если автор не задумывался об этом(а не просто не упоминал), то советую задуматься, т.к. рэид не заменяет бэкап, и при некотопых обстоятельствах никакой рэйд не спасет(пр: выход из строя всех дисков одновременно(например по вине бп))
Одного диска... При замене на новый и перестройке рейда шанс грохнуть остальные диски весьма высок. Исключение - высокопроизводительный контроллер плюс быстрые профессиональные диски не очень большой емкости.
Банально от случайного удаления файла не спасёт даже. Или от последствий вирусной активности
@@pavelkorotkov в єтом случае zfs как раз может спасти благодаря механизму snapshot.
@@cb_q это частный случай данной файловой системы, я в целом про то, что raid 1/5/6/10 никак не заменяет бэкапы
У моего коллеги так весь NAS сгорел к чертям из-за блока питания, там походу то ли электролиты вздулись, то ли mosfet закоротило, короче данные он восстанавливать не стал, ибо с raid это делать очень дорого.
А я расскажу другой опыт. Я все это проходил, включая линуксовое. Была у меня и полка на 12 дисков, и чисто серверные решения. И рейд контроллеры. И истории с восстановлением (включая истории после линукса который сдох из-за 5 битых кластеров на диске ). Все это фигня полная. И оказалось выигрывает по всем фронтам схема: десктопная материнка (обычный пк, mini-itx), windows server, 2 больших по емкости диска (речь о 10 Тб), третий емкий диск включаемый по питанию периодически для полного бекапа. Это и экономически выгодно, по размерам, шуму, возможностям, а самое главное надежности.
*Free Nas с zfs на любой мамке со встроенным процом рулит* только nextcloud поставить:)
zfs требует много оперативки, у btrfs такой проблемы нет
*xpenology с ФС btrfs тоже рулит* - мгновенные снапшоты - можно восстановить с помощью Linux mint или Ubuntu поддержка btrfs в ядре. можно объединять сети в одну - без link aggregation
Тема классная.... Как то заморачивался и для себя понял что только на винде лично для себя хранить и восстанавливать данные намного проще и без гемороя...
Подача материала, подробная проработка проблематики, видео смотрю с удовольствием. Спасибо за труд.
Отличная идея! Лет 5-6 назад понял, что лучше чем сервер на линуксе ничего нет. Купил корпус miniITX FRACTAL DESIGN Node 304 и собрал NAS. До настоящего времени полет нормальный, по скорости доступа к данным нет равных.
звук, ахч в звуке, убирайте все частоты меньше 350Гц звук голоса будет лучше звучать на постпродакшене, а то получается бубнение )
Да, в этом видео был небольшой эксперимент с обработкой звука. В следующем ролике порежу
По мере работы и увлечений - пощупал много разных NAS решений и выбор FreeNAS для меня был не самым удачным. В один прекрасный момент FreeNAS просто упал, в момент перезагрузки. Попытка его восстановить ни к чему не привела. Итого пол года работы и подарок которого не ждешь. После мучительных суток - снес его нафик. Снял дамп данных и поставил заново. Как итог через пару месяцев картина повторилась, но на сей раз FreeNAS умер после очередного стабильного обновления. По сути кроме завышенных требований к железу, он не дает ничего особенного. Тот же XigmaNAS умеет и ZFS и все остальные плюшки, но в отличии от FreeNAS не хранит себя на дисках, а грузится в оперативу ядро, подтягивая с дисков только свой конфиг - это делает его практически не убиваемым, в отличии от FreeNAS и его FreeBSD - которая по сути и есть самое слабое звено в данном решении.
Но рекордсмен по надежности и функционалу - это безусловно XPENology(порт Synology для X86) - ибо дает больше возможности и работает вот уже 5 лет у меня в виде двух экземпляров. По началу было сомнение, что система не совсем официальная - но практика доказала ее неубиваемость, надежность и производительность. Да ZFS не умеет - но я Вам скажу так - кто не поднимал убитые данные из ZFS тот жизнь не знает.......... ))))))))))
Кстати совсем недавно я себе дома поднял домашний NAS на 10 дисков и как не странно для дома я выбрал - не поверите - Windows 2019 Server Datacenter Edition.... причина - убить детище микрософта почти нереально, восстановить - проще простого. Но вы получаете по сути неограниченный функционал и дисковую подсисему покруче RAID 5 - а именно их собственную технологию Storage Spaces. Тут тебе и сборные пулы дисков, динамические виртуальные диски с балансировкой производительности, когда быстрее данные могут хранится на RAID 1, а редко используемые на Raid5 + еще и кеширование SSD точно также как и на Synology и прочих решениях прикручивается нативно. Но главный для меня бонус - это гипервизор Hyper-X - для дома это панацея, ибо я на нем поднял сервер умного дома Home Assistant, отказавшись от глючной малинки. Там же вертится Veem Backup который бекапит и снепшотит все мои виртуалки и доммашние компы.
Так что как после долгих мучений с другими системами - я пришел к старой доброй винде, которая кстати сейчас очень сильно подтянула свой функционал. Просто подключаюсь к ней по RDP и админю как желаю. Там же запускаю торрент качалку и прочие плюшки. Очень удобно и практично.
Расскажите, как именно у вас упал FreeNAS? Перестал загружаться или загружался, но пул не мог поднять?
Я надеюсь RDP у вас через VPN, а то периодически приходиться востанавливать данные от вирусов шифровальщиков на компах с открытым в интернет RDP.
@@serkn77 ну во первых все в локалках. а на случай удаленки есть бордер с микротиком и к нему подключаюсь входя в саму сеть.... вопрос для школоты если честно)
@@rnadyrshin перестала грузится ось - какие то непоправимые ошибки в файловой системе или загрузчике. при этом причин для их появлени не было - компьютер был включен 24/7 причем под упсом..... когда переустановил ось - то не смог поднять разделы, какие то ошибки - но я сильно не стал заморачиваться ибо сроки поджимали, да и были бекапы. NAS использовался как iSCSI накопитель для кластера. во второй случай - накатил обновление - при перезагрузке - ERROR. откат к предыдущей версии - работал. дождался еще одну версию - еффект тот же. учитывая что в моей старой версии были найдены какие то ошибки в iSCSI - я психанул и стал искать другое решение. Я не знаю откуда такая слава у FreeNAS - я два раза с ним сталкивался на разном железе, далеко не SOHO и все разы - получал гемор. Если так хочется что то под UNIX - то я бы советовал XigmaNAS, а еще лучше XPENOLOGY
Кстати XPENOLOGY может кешировать на SSD iSCSI диски, что вроде как другие NAS не умеют.... акромя венды конечно, где архитектурно можно закешировать сам пул.
Затронута интересная тема: " А что делать если выйдет из строя само хранилище?".
Вытекающе из этого проблемы:
- допускает ли массив raid5 "переезд" на другой NAS?
-что будет если переставить диски местами?
Читал, что метаданные массива лежат сразу на всех дисках из массива, следовательно замена дисков местами должно выдерживать. Следовательно и "переезд" на другую корзину NAS должно выдержать.
Еще вариант - восстанавливать массив в случае выхода из строя корзины NAS в R-studio. Но возникает вопрос, куда такой объем данных девать?)
Вообщем тема интересная, но я сам не проверял это практически, тк нет на данный момент такого оборудованя.
Переезд допускает, восстановить можно. Но надо ответить на второй вопрос, как быстро нужно восстановить доступ к данным. Если без простоя, то кластер. Если через день два. То бэкап и покупка железа (постфактум или заранее в резерве). Если когда нибудь, то бэкап и поход в магазин за комплектующими с полуавтоматическим восстановлением например в r-studio
@@vifvrTtb0vmFtbyrM_Q Поддерживаю. Но всякие не дорогие NAS это же домашние устройсва и простой поидее возможен. Тем более, что отказоустойчивые решения требут денег)
7:54 - "регистровую противную память" =))
Забавно смотреть как человек не учась на чужом опыте набивает свои шишки. Видимо натура у нас такая. ;)
Сэкономлю время и расскажу что будет дальше. Фринас и зфс штука прикольная, но не идеальная и далеко от всего что было до этого не ушло... поэтому наигравшись построишь себе файловый сервер с обычной фс, программным рейдом и лвм. Дальше поймёшь что это всё тоже ненадёжно и хрень ненужная, а данные бывают "актуально необходимые", "архивные" и "мёртвый архив" и откроешь что платить за электричество, оборудование, актуализацию всего этого хозяйства, поддержку не рентабельно на самом деле и заведёшь себе стример для архивного хранения и небольшой сервер для актуально необходимых данных.
Хороший комментарий, я запомнил. Под следующим роликом посчитаем количество лент на указанный объём. Накопитель к ним, надеюсь, посоветуешь. ;)
@@user-qx4ch1to4c Погугли LTO и всё узнаешь. Вопрос стоит только в экономической обоснованности для конкретного случая. Если нужно "для себя", "для хранения проектов" то достаточно купить даже б/у (чтоб подешевле вышло) внешний или внутренний вариант для рабочих станций, можно из не самых новых поколений лент. Если для больших объёмов для нужд предприятия то только самый последний доступный стандарт и в виде полочного исполнения в шкаф с кассетами и автоподачей. Целевой объём продиктует масштаб набора и количество юнитов. На одну только ленту (кассету) влазит от нескольких терабайт, зависит от поколения. Тоесть каждая кассета, пусть даже не самого последнего стандарта, считай как актуальный HDD по объёму. Но при этом стоит дешевле и если говорить о серверных хранилищах на лентах то не кушает электричество в процессе хранения, не греется и не поломается от скачка напряжения. Дома может на полочке лежать рядком. Данные обычно защищены чтобы безопасно хранить и транспортировать. Короче самое дорогое стример купить и пробить где какие плёнки кто продаёт по близости и по чём. На ибее за копейки случаются коробками.
Че за стример такой???
@@artemk6096 Привод для плёнки такой. Лучше поновее брать, на сколько денег хватит. Он обратно совместим как минимум на поколение в записи и на пару на чтение. Но стоит дорого. И бывает с ремонта пытаются впарить, надо быть на чеку. ;)
P.S. Купил стример себе стример. Каламбур!
@@TheAntimim Так я тебе и предлагаю равноценный ленточный сетап подобрать. После следующего видео, конечно, когда станет ясен объём. Кроме того, надо помнить, что и на каком картридже...
Добро пожаловать в клуб
OMV это все же не ответвление фринаса, а отдельный дистр на базе Debian
ZFS можно и на линуксе спокойно сделать
Также для ZFS не обязательна ECC память, желательна, но и без нее запустится и будет работать
Если есть достаточно свободного времени и желания, лучше с нуля на каком-нибудь дебиане или центоси все построить, это не так и сложно, зато гораздо гибче
Но и FreeNAS норм
Кстати, фринас теперь это TrueNAS Core
Прям интрига, жду следующей серии. Как говорили Братья Пилоты из мультика: "ПРОДОЛЖЕНИЕ В СЛЕДУЮЩЕЙ СЕРИИ....ПРОДОЛЖЕНИЕ В СЛЕДУЮЩЕЙ СЕРИИ"
Если в квартире не слишком тесно, можно взять дешёвый б/у 4U сервер под хранилище На 24 диска. Стоит 30тр. Переделать охлаждение чтобы сервер тихо работал. Можно поставить 10гигабитную сетевую.
Посмотрел предыдущие твои видео и пришел к этому же сетапу год назад. Проц такой же, брал по тем же причинам. Мат плата машинист формата мАТХ, столько хдд не планируется, рассчитывал на меньший корпус. Сетевой интерфейс никогда не отваливается, отлично работает без видеокарты. Всё работает на centos, единственно, после обновления пакетов пришлось подкидывать видеокарту, не стартовало без видео, пыталось грузить драйвера. Подредактировал граб и все стало норм. Вентилятор норм управляется. Год работает без нареканий. Использую как файлохранилище, торрентокачалку, игровой сервер с друзьями поиграть
Проверь, пожалуйста, работает ли у тебя по факту ECC. И напиши модель материнки
@@rnadyrshinПривет, скажите, куда вы пропали, я новенький и хочется увидеть продолжение ролика с NAS. Сделали ли вы в итоге 20 хардов, как было изначально заявлено?) И работает ли он, сделаны ли изменения за ваше отсутствие?
Хранение исходников своего ютуба в наше время актуально!!! Учитывая в какую тоталитарную помойку превращаются транснациональные корпорации.
А нужны ли прям исходники? Может хватит только финальный вывод уже, вряд ли ремонтаж будет. У меня такая проблема была с фото, равки весили тонну. Но я поняла, что равки старше года уже и не особо мне интересны и можно оставить только полноразмерные жипеги - все равно новую обработку какую-то делать уже не буду. Вот и смысл хранить кучу кусков видео гигов на 250-300, когда достаточно хранить финал в 10-15 гигабайт.
@@Roniczka отчасти вы правы. Ситуация сия так же "больна" старой болезнью "в деле не нужно, а выкинуть жалко". Но это уже на усмотрение каждого. )))
@@Roniczka Самое логичное решение
Дружище ты замутил реально прикульную штуку. Впечатлил корпус на 20 дисков. Но если судить по твоим потребностям то это избыточный сервер с FreeNAS достаточно было приобрести DAS и диски большого объема потом их объединить в рэйд програмный или аппаратный если DAS поддереживает.
Лично я остановил совой выбор на Synology дорого но это не только файлохранилище но и куча сетевых сервисов.
Также скажу как обладатель подобного хранилища"дома - эт довольно удобно, что ты сам все можешь сконфигурировать, но при этом железка все же отнимает время, которого сейчас становится уже жалко. Все больше присматриваюсь к "железным" решениям т.к там меньше возни и все вроде как из коробки работает. Себе хранилище строил на ubuntu + mdadm + iscsi target- т.к потом все это монитруется уже в win машине.
Самый простой способ уберечься от потери данных это конечно же бэкапы, т.к любая железка ломается - ровно как случаются пожары или 380 волт в розетке. Если вы действительно беспокоитесь о сохранности данных тогда вам помогут только Offsite бэкапы - например на тот же backblaze b2, aws и тд. Первоначальная синхронизация займёт прилично времени но в итоге ты точно уверен что данные в сохранности.
Грамотный товарищ, нет слов! Однако, какие такие шедевры он собирается хранить - ума не приложу. Видимо, моего ума и недостаточно.
Это реклама
@@_MAXYM_ Что хранить-то!? Где наснимать такую «туеву хучу» шедевров и эсклюзива и найти время для этого в перерыве между сборкой и настройкой домашних датацентров на десятки терабайт!?
Для хранения статичных данных я использую snapraid. Это как программный рейд, только на уровне ос и делается ручками (примерно как бэкап). В отличии от остальных типов рейд, все файлы остаются на своих местах и при разваливании всего массива данные пропадают только на мертвых дисках. Работает все просто: программа считывает все файлы на жестких дисках, перемножает на xor и сохраняет на party диск или диски. Резервировать можно сразу несколько дисков, что дает хорошую отказоустойчивость. Из минусов : не подходит для хранения ос, временных файлов т.к. при изменении файлов на дисках нужно делать каждый раз снимок.
Отличный ролик!
Похожие метания были лет 7 назад, когда NAS WD показался слабым для моих нужд. Так как точно знал что мне нужно, довольно быстро отвалились все поделки(на тот момент) в виде FreeNAS, Nexenta, NAS4Free, голых Linux и Windows, выбор пал на XPEnology: много сервисов и отличная производительность по iSCSI(для виртуализации на внешнем ESXi). Аппаратная изначально состояла из восьмидискового HP microserver G7(что было достаточно шумно), теперь самосбор практически бесшумный(один вентилятор в БП).
Канал смотрю давно. Сегодня, наконец-то, пойду смотреть инсту. Интрига)
Пробовал разные NAS OS, на FreeNAS работало хранилище года 2, в итоге остановился на OpenMediaVault. Потому что GNU/Linux, и Debian мне очень знакома. Все удобро, быстро и понятно. NAS у меня в обычном ATX корпусе, 4 HDD по 4TB через встроенный контроллер.
Очень классный и приятный формат подачи информации 😃
Огонь 🔥. Тоже собирал на фринасе, но что то со скоростью непонятки были, в итоге помучившись месяц забил. Жду видос, может снова займусь сборкой нового наса:)
Очень интересно. Я себе как раз подумывал тоже сделать такого плана хранилище. 4 внешних Hdd у меня уже забито (3шт по 4Тб, и 1 на 3ТБ) думаю брать еще диск. Но думал о сборке на базе серверного компьютера на сокете lga2011. Но лучше посмотрю продолжение твоих сериий по сборке хранилища. Интересно всегда альтернативное решение))
Лайк. Наконец то, что то посущественее, а то всякие лампочки да выключатели.
Одназачно лайк👍👍 давно искал подобное видео)
Ну так не честно, на самом интересном месте закончилось. Я требую скорейшего продолжения!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
Молодец, поддерживаю. Тема очень интересная, жду продолжения.
Только было хотел написать про фряху и zfs - а тут и так оно :)
Ждем продолжения!
Отличное видео , жду постройку )
Я довольно активный пользователь файлопомойки (скоро если все сложиться, то перейду на 10гигабит сеть). Фринас, как и её изначально ответвление нас4фри - шлак. Pxenology (он же synogogy) единственный выход. Во первых удобоваримое управление всего и вся касающегося дисковой подсистемы из gui (попробуй удалить пул, дисков которых нет в системе! У меня по питанию брикнуло 4 диска сразу. Т. Е. Долгий старт с любым из дисков и потом он не видится в системе. Всунул новые, завёл новый пул, а старый... Не удаляется. Ни из гуи, не из консоли. Потом траблы с изменением размера. Из гуи он не увеличивается. Надо колдовать с консолью. И по итогу в консоль могут попасть не верные данные при синхронизации (не говорю за сегодняшние билды, крайний раз тыкал 3 года назад). Потом снапшоты... Делал в организацию файлопомойу,овер 100 юзверей. Снапшоты снимались каждый час. Когда потребовалось вдруг оказалось что снапшоты пустые уже 2 месяца как. Он делает, но разницы не видит... Перезапустил фринас и снапшоты завелись... Хотя там всего 4 гига данных суммой на 4тб дискового хранилища.
Спасибо за комментарий. Я удалял пул из дисков, которые оффлайн. Видимо в вашем случае имела место бага. Впрочем посыл хороший
XPenology не рассматривал, потому что он нелегален
@@rnadyrshin не в оффлайн, а без дисков. Создай пул, вынь диски, загрузи систему и попробуй. Была трабла с конфиг ом. Как у nas4free, так и у freenas.
Я именно так и делал
@@rnadyrshin значит пофиксили. А пул был один? Статус был offline или деградирован?
Тема огонь! Очень интересно. Для себя остановился на HP Microserver Gen 8 под управлением Xpenology (копия Synology для самосборных машин). Все работает на 4 дисках собранных в Raid 5. Так же на этой машине поднято 2 виртуалки с Windows. Подключен 5 диск SSD для кеширования данных виртуалки (ускорение ввода-вывода). Что касается HP Microserver показанного в ролике - его ухудшили, заменив Intel на распаянные процессоры AMD лишив возможности апгрейда
Да, знаю. Но мне кажется даже с распаянным AMD это хороший выбор из имеющегося на рынке. XPenology не рассматривал, потому что он нелегален
Для домашнего использования лучше xpenology нет. Исходный код открыт. Сервисы synology не использовать, с реальным ip адресом.
Есть правило хранение данных их нужно хранить в 3 средах: облако (или резервный nas находящий на другой площадке, можно ещё пленку но очень дорого), лазерные диски и жесткие диски вне nas. A nas это так для работы для хранения горячих данных
Вас очень приятно слушать, 👍👍👍👍
Разметки у рейдов разные, стандарта нет, сам пытался восстанавливать несколько RAID5 через R-Studio и : 1) он перебирает разные варианты разметок, может это делать до бесконечности пока сам его не остановишь и выберешь наиболее "похожие" варианты 2) но при этом например часть файлов может быть видна но уже убита неудачным ребилдом взбесившегося контролера. А вывод простой чем проще тем лучше: 1) обязательно бэкап, благо сейчас и 16тб диски есть 2) если raid то не меньше 6-го, но бэкап это не отменяет 3) если диск с бэкапом все время подключен он тоже вырабатывается и может сломаться одновременно, особенно если "удачно" выйдет из строя БП, хана будет всему и сразу, поэтому делай еще в ручную дополнительную "холодную" копию раз в несколько месяцев, да я знаю лень, но столько терял из-за лени... в общем когда оно отключенное лежит на полочке спокойней, особенно если эта полочка не у тебя дома, который могут затопить :)
P.s. вот не верю что 20HDD работают бесшумно, у меня было 20 это ад, они входят в резонансы уже от 6шт, 12шт уже не терпимо на слух
Очень интересно увидеть продолжение!
Я тоже остановился на сборке сервера, но на Windows Server. Сделал зеркальные рейды средствами ОС. Неоптимально, зато надёжно.
А старый NAS использую для бекапа образа этого сервера.
Ну вот - выходит я не один)))))))))))
Имеете ввиду win server storage spaces?
@@user-pv6bb7km7u да просто через Disk Managment можно настроить, в любой версии винды.
storage spaces нужен для продвинутых рейдов, там конечно лучше его.
О, Здорово, товарищ, сам так же строю сервер на FreeNAS, будет интересно добить его )))
Господа, а как на счёт unRaid? Я конечно понимаю что платные продукты у нас большинство не любит, но в замен во 1х можно добиться существенного увеличения полезного пространства т.к. на весь NAS только 1 или 2 диска используются под нужды резервирования данных. Другой плюс - диски с данными не используемыми в этот момент останавливается и не греются, не жгут электричество и самое главное не убиваются в холостую наматывая тысячи часов онлайн
Многие умники не рекомендуют использовать RAID5, а советуют RAID6. Обосновывают, что ребилд занимает много времени и в этот момент может выйти из строя еще один диск, что приведет к потере информации... Я же скажу, что да, такое возможно, но если у вас с RAID6 произойдет такая же ситуация информация останется целостной, но при выходе из строя второго диска, нагрузка при ребилде возростет вдвое, что вдвое увеличит шансы выхода из строя третьего диска. Так что в момент ребилда RAID5 и RAID6 практически равны по уровню надежности, но с RAID6 вы теряете объем равный еще одному диску. Конечно же RAID6 не бессмысленное решение, но его следует использовать, когда дисков много (8-10 штук) при 4-х дисковом массиве уж лучше использовать RAID5.
Еще на заметку любителям похейтить, что мол у них диски выходят из строя все и одновременно. Хардверные RAID-массивы используют расположение дисков в вертикальном положении, что значительно сокращает их срок службы, в сравнении с горизонтальным (из-за борьбы с гравитацией). Это мне сказал один инженер лет 20 (может немного меньше) тому назад. Диски слишком долго служили, а больших объемов, некоторое время не требовалось, и таким образом решили поднять продажи... А вертикальное расположение дисков только в серверных, т.е. там где есть деньги)
Как называется используемый корпус для сетевого хранилища?
Antec 1200
Тоже в свое время мучался выбором между NAS OS. В результате пожертвовал web интерфейсом NAS OS и склонился к обычной чистой *nix OS и zfs на обычном "железе" с 6 sata портами. А уже туда накатываю все, что мне надо от NAS. Полет нормальный очень долго.
очень интересно, ждем продолжения!
Супер. Жду продолжения.
использую ТруНас на работе, дома использую Synology. По юзабилити трунасу конечно далеко до Синолоджи, но мосштабируемость перечеркивает все.
Очень круто.
Если нет необходимости в zfs, то очень хорошим решением будет unraid - у него есть ряд своих преимуществ (хотя многим будет трудно смириться с мыслью покупки ПО)))
Можете назвать его преимущества?
@@rnadyrshin Главное преимущество для меня - можно использовать разные жесткие диски, разных объемов, добавлять их постепенно - начать с 2х - парити и дата. (можно даже без парити, но не желательно). Ограничение идет по объему парити диска (если парити 12ТБ, а Дата 18 - доступно будет только 12ТБ). Большое количество плагинов и докерор приложений под линукс (хотя думаю и под freebsd на TrueNas тоже этого добра должно хватать). Чуть проще с требованиями по железу (зфс требует больше ресурсов).
Есть минусы - zfs все таки лучшая FS - там она поддерживается но пока не очень удобно. Максимум 2 парити диска - т.е. защита от выхода из строя максимум до 2х дисков.
но в любом случае каждому надо исследовать лично для себя.
А-а-а, хорошо пошло! жду еще! респект!
Спасибо, остальные серии уже на канале, смотрите
Хороший ролик
Спасибо, приятно смотреть
Автор, люблю твой канал, но на постройку nas на zfs - в 2020 году, не интересно смотреть по многим причинам.
Первое - неожиданный развал массива, который негде собирать по-кусочкам, потому что это zfs.
Второе, - за время написания форумов все давно появилась в виндовс - это storage spaces и ReFS. Причем, без регистровой памяти, что дополнительно говорит о надежности хранения даже в случае искажения/сбоя в памяти.
Третье, нужно понимать базовую архитектуру сервера, - а именно, что такое sas-экпандеры blog.trinitygroup.ru/2009/11/blog-post_24.html
И этого всего следует, что бывает отдельно сервер с софтом и sas-портами, и, отдельная полка (корпуса) с дисками куда все это можно положить и подключать по одному, или ярусами.
Вишенка на торте - это VDI на бездиковых машинах дома, но требует проектирования и закладывание апгрейда на 10G подключения в дальнейшем. Это означает, что весь рендеринг может оставаться в виртуалке - виндовс это позволяет. Оптимистичный роадмап в будущее лет на 5-10ть, выглядит как-то так.
Еще раз, с уважением к автору канала.
Немного дополню - благодаря тому что придумали ReFS - файловая система со снепшотами и благодаря тому что система может работать как с SAS так и обычными HDD - они действительно стали не критичными к любым сбоям в железе. Единственное в случае с SAS производительность будет выше, благодаря тому, что система знает достоверное о том записались ли данные на диск или нет. Но и эту проблему можно решить установив SSD в качестве кеша.
Ну с SSD-кешем перфоманс в промышленных нагрузках тестируют, без - для дома достаточно
.
Дополню по версиям, создание всех типов пулов доступно в обычной 10-ке pro 1703, последующее использование - в любой редакции 10-ки просто подключаете все диски пула в любом порядке.
Держать 20-ть дисков, включенными 24/7 в одном корпусе - это даже по весу будет как мешок цемента, да еще с возможной вибрацией при записи. Деление на полки (корпуса) позволяет включать/выключать весь ваш пул дисков, когда он не нужен, 20 дисков - даже по питанию серьезное количество, чтобы раскрутить все шпиндели. Будем смотреть, как автор решает все инженерные вопросы.
@@denis_iii OMG NAS на windows вы это серьезно? А потом появиться шифровальшик Петя или Вася и все ваши данные в одном месте на букву ж. Под FreeBSD не встречал ни одного шифровальшика, в правильно настроенной unix системе,
@@serkn77 Зачем единичные случаи возводить в систему, есть вероятность что коротнет БП со всеми дисками. Вопрос в том, отрабатываете ли вы риски или нет.
@@serkn77 шифровальщики берутся из наружки, откуда им во внутренней сети взяться, если ничего наружу не торчит
Собрал тоже freenas пока на открытом стенде, lga 2011v1 на открытом стенде, со старинькими hdd 2х160gb. Не могу разобратса как настроить удаленный доступ к файлам. Во внутренней локальной сети по протоколу smb работает замечательно, доступ к файлом очень удобный с других компьютеров. Помните подробно разобраться с внешним доступом (настройка модема, проброс портов, noip, статический, динамический адрес...)
Приветствую!
Посмотрим обязательно!
Ждëм продолжения! :)
OpenMediaVault очень хорошо себя зарекомендовал, советую рассмотреть внимательней.
Посмотрим. На него можно будет если что легко перепрыгнуть (на ZFS)
@@rnadyrshin Там у луникса (а OMV -- это Debian) снова какие-то напряги с ZFS, я бы не стал на луниксе его юзать, ну так более-менее серьезно.
@@aleksbotler5358 У линукса напряги с ZFS исключительно по линии лицензии (не совместимо). А вот вам, сюрприз-сюрприз, относительно старое, но все равно смешное обсуждение в лагере FreeBSD, чтобы начать забирать исходники ZFS из ZFS On Linux (это если кто-то думает, что самый свежий ZFS находится в FreeBSD и там нет никаких напрягов 😀): forums.freebsd.org/threads/freebsd-moving-to-zfs-on-linux.68803/
Привет ! Спасибо за обзор, ролик класс ! 🙂👍
Интересно взглянуть на внутрянку этого хранилища.
У меня файлохранилище на убунту на материнке со встроенным целероном. Потребление 20 Вт. В системнике в добавок бесперебойник на упсном аккуме по схеме 220-13.5-atx. Полный стэнд бай. И зеркало в мегу на 2 Тб. Мне больше не нужно.
Очень интересно. Спасибо. Можно еще рассказать о других вариантах NAS OS, вы же наверняка их тоже рассматривали и отвергли. Интересно было бы это тоже послушать что вы узнали о других вариантах. QNAP? Synology?
Я то рассматривал, но я их не щупал руками, поэтому сравнивать полноценно не могу
Собирал нечто подобное, только на 6 дисков по 2 ТБ каждый. Путем набивания шишек на собственном лбу выяснил пару моментов. Во-первых, рекомендую использовать только SATA III кабели, которые с защелками. Дешевые китайские SATA кабели регулярно приводили к выпадению дисков из-за плохих контактов. Ну и во-вторых при таком количестве дисков рационально использовать RAID 6, а не 5. Как я в свое время читал, довольно распространена ситуация, когда при выходе из строя одного диска в массиве его заменяют, начинается перестроение, и в этот момент из-за повышенной нагрузки выходит из строя еще один диск. Для RAID 5 это конец, RAID 6 продолжает работать.
Я не очень понимаю, что в этой нагрузке повышенного?
Обычная активная работа диска. При должном охлаждении вероятность выхода из строя чуть выше средней (которая на массовых дисках 1-1.5% в год).
В общем не поддерживаю я это мнение про опасность raid 5, но никому своё мнение не навязываю. Каждый риски оценивает по-своему
Электроника в объективе 1. Sata не даёт той полноты информации и состоянии диска как sas. Поэтому sata диски могут помечаться raid контроллером как сбойные, просто из-за увеличенного времени ответа. Привет ребилд на ровном месте. 2. Обычно все уповают на надёжность raid системы и обращаются к данным во время ребилда. Привет повышенная нагрузка на все диски.
Живет freenas с дек 13 года круглосуточно. Core i5, 16Gb без ecc, массив 4 диска Seagate nas 3Tb аналог райд 10 (страйп зеркал) + отдельный том 1,5тб сигейт для неважного. Грузится с флешки усб 3.0 32гб.
Вполне норм работает. Стоят плагины transmission, resilio, plex. Отдельно руками ставил в джайл gogs (ща уже есть плагин гитлаба). Еще игрался с поднятием виртуалки в bhive для докера.
Для монтажа, наверное, рейд 10 самое оно. И быстрый и держит вылет до 2х дисков по диагонали.
Под архив я бы наверное делал отдельный массив. Или даже несколько - тогда даже при развале одного массива не весь архив потеряется
в смысле freenas на raid10?!!!
@@humbucker-one в прямом. В zfs можно собрать массив - аналог райд 10. Страйп зеркал.
unix-way.ru/index.php/poleznyashki-freebsd/75-raid10-na-zfs
Круто, ждём!
10:50 поаккуратнее со snapshot - прикольная тема, но даёт ложное ощущение "всемогущества", но в какой-то момент происходит программный сбой, и все дерево снепшотов "летит к чертям", и получаешь ворох не читаемых данных :( при вроде живых хардах
По поводу того как организованы массивы на всех этих непонятно почему дорогих недонасах - это скорее вскго простой md, если не выбрать какой нибудь их типа фирменный тип. Однажды выбор простого 10 спас наши данные с умершего synology. По поводу raid5 я бы так не был уверен. Потеря одного диска ведет к большому числу рандомного чтения при перестроении, и если вспомнить, что диски мы скорее всего купили одинаковые и в одно время, то шанс что во время интенсивного ребилда мы потеряем еще один диск ну очень велика, а это сразу аля улю досвидания. Поэтому самый надежный raid это 10 и бекапы с него на вторую схд... Все любители zfs должны помнить об оперативной памяти.
OpenMediaVault сейчас сильно лучше FreeNAS (и строго говоря, это не совсем ответвление - это делают другие люди). Во-первых - это Linux, у которого поддержка лучше чем у FreeBSD (ох, сейчас меня тапками закидают). Во-вторых, ZFS спокойно поднимается на OMV, в виде проекта ZOL (ZFS on linux). Я сам годами дома пользовался FreeNAS, потом мне захотелось, например, виртуалки, которую поднять на FreeBSD еще то удовольствие... В итоге где-то год назад я залил OpenMediaVault на то же железо, доставил плагины с поддержкой ZFS, и весь рейд-массив ZFS мигрировал на новое окружение без сучка и задоринки. Уже год работы без нареканий. Бонус: в NAS работает виртуалка в недрах которой крутятся гостевые операционки Linux, FreeBSD, WIndows (как с графическим интерфейсом, так и без него). Собрано все в корпусе www.coolermaster.com/catalog/legacy-products/cases/elite-120-advanced/ с ASUS ITX платой с Core i5 процессором. Кстати, сами производители FreeNAS похоже устали от FreeBSD, раз они начали делать ответвление для Linux: www.opennet.ru/opennews/art.shtml?num=53093.
Спасибо, значит уже есть хорошая альтернатива, на которую можно будет быстро и просто переехать)
@@rnadyrshin действительно, тут можно даже на отдельном диске поднять систему, и временно перейти с одной среды на другую, никак не трогая сам zfs raid-массив. Если не поравилось, никто не мешает вернуться обратно. ZFS поддержан в доп. пакете плагинов forum.openmediavault.org/index.php?thread/5549-omv-extras-org-plugin/. Интерфейс OMV с поддержкой ZFS выглядит так: drive.google.com/file/d/1KoglICWgQoiysp4DL7j01DCcX-d1Q9fn/view?usp=sharing. Будут доп. вопросы, пишите. С удовольcтвием подскажу, что знаю!
может как вариант купить б/у сервер НР 380й серии, поставить хороший контроллер и ставить диски в сервер, а на будущее к нему докупить дисковый массив который подключать через контроллер, но это будет не дешёвое вложение.
HP Microserver Gen 10 был куплен за 18 тыр в Ситилинке. Под систему использован SSD на 64 Гб . Стоит диск на 8 Тб, ещё три слота свободны. Зачем NAS на 20 дисков даже представить не могу.
Ждём продолжения
обязательно Raid6. именно 6, проверено на практике, для систем более 10 дисков. И минимум 16гиг ОЗУ. +1 или два новых диска в тумбе для быстрой подмены.
Очень жду видео о сборке!
Если я правильно вас понял, то ключевыми словами следует назвать "архив" и "исходники видео". То есть, речь идет про данные относительно большого объема, повторный доступ к которым если и предполагается, то ооочень редко. В этих условиях любое решение, где что-то крутится + греется + шумит + жрёт электричество - очевидный overhead. Разновидности RAID'ов, тип DRAM, бренды контроллеров и винтов - всё это третьестепенные вещи. Если цель - обеспечить сохранность (1) ценных, (2) объемных и (3) редко используемых данных - то, на мой взгляд, единственно правильный путь - это LTO.
Б/у дата сервера, нормальный выход.
Использую Synology на 8 дисков.
Какие у вас кейсы использования?
@@rnadyrshin исключительно как файлопомойка. Я квадрокоптером снимаю в 4К и туда всё складываю, ну и вообще все файлы по жизни там. Так же я пользую облако Microsoft Onedrive 1Tb (оно выделяется автоматом при оформлении подписки на Microsoft Office 365) и диса яндекс в пределах бесплатного размера. Так вот эти два облака при помощи софта синолоджи автоматом синхронизируются в хранилище. Очень удобно использовать на компе с виндой настройки сред разработке для программирования микроконтроллеров, настроив их на расположение всех проектов на локальном диске в папке OneDrive. Если их настроить на хранение в сетевом диске, подключенным в винде, част бывало, что они ругались на проект, особенно студия 7 от микрочипа. А тут все проки все настройки и файлы сохраняют на локальный диск, винда автоматом синхроризит их с облаком, а синолоджи это автоматом синхронизит с собой. Поэтому проект можно открывать на любом компе(у меня их три) и будто ты на одном и том же. Яндекс работает по такой же схеме. В чем суть? Суть в том, что при любом раскладе у тебя есть доступ к данным по проектам, или хранилище не доступно вне дома, или инет недоступен из дома(бывают же перебои, хоть и редко). Была еще идея само хранилище настроить как моё личное облако - но я эту тему не развил про причине лени. Но стратегически это направление надо отработать - мне, как сисадмину, не нравится принципиально идея файлов моей жизни в чужой власти. Можно легко выьючить меня из жизни/работы.
@@rnadyrshin использую 2 синолоджи каждый на 4 диска, 1-й DS418J чисто холодные данные выключено большую часть времени, 2-й DS416play (4 Gb) 24х7 Docker: UniFi Controller, Gitea, home assistant, PhotoStation, Synology Drive....много всего прочего. Диски из одного в другой переставлял рейд не разваливается все хорошо мигрируется. Ключевым было то, что есть куча адаптированных приложений для смарт ТВ, телефона, планшета, и можно раздать права всем родственникам. Рейд зеркало на 2 диска 5-й не использую нет надобности, критичные данные помещаются на зеркале 5 Тб, а фильмотека стоит на одиночных дисках 8 и 16 Тб. Одиночные диски засыпают с фильмами когда нет обращений, а зеркало продолжает работать. На случай паранойи зацеплен УСб диск на который еще дополнительно идет бэкап зеркала. Так же у Синолоджи есть курутая фича по репликации между 2-мя девайсами.
@@romanlotsmanov5750 если б еще не цена этих Синолоджи)))
Тож юзаю Synology на 6 дисков. Пока 2х12тб стоят в 1 рейде, скоро еще 2 нужно будет докупать, место потихоньку уменьшается и на 6й рейд переходить.
Видеонаблюдение, несколько 8мп камер с глубиной архива 6мес, медиасервер (видео в 4к, аудио lossless), файлопомойка, бэкапы с нескольких компов, семейный фото-видео архив (фото стейшн, дс фото), торент качалка. Все тихонько шуршит и кушает 25-30ватт. Не очень понимаю, к чему эти монструозные коробасы, в которые можно запихать, аж 20 дисков, для дома, зачем? Уже, вот прямо сейчас, доступны диски на 18тб. При желании, NAS на 6 дисков в 6рейде, на 18тб дисках, даст 72тб под данные пользователя, куда ещё больше? Но если надо, можно докупить модуль расширения, ещё на 5 дисков и тогда суммарно, полезный объем, при использовании 18тб дисков увеличится до 162тб. При этом все тихо, компактно и энергии потребляет чуть, актуально когда работает 24х7.
А так, в качестве общего развития, посмотреть интересно, жду 2 часть.
"Нужда рождает изобретение, изобретение - две нужды." :)
Кстати, появляется еще один интересный проект на ARM kobol.io/ . Это пятидисковое компактное хранилище. Возможно, кому-то будет интересно за свое низкое энергопотребление (так как ARM) и компактные размеры.
Умер проект
Зачем исходники хранить на постоянно работающих HDD, которые могут выйти из строя, тем более в технической сфере когда технологии так быстро устаревают? Проще и дешевле купить blueray резак и заливать на болванки чтоб пылились в шкафу вечно - вряд-ли они часто будут нужны.
Дешевле ли? самые дешманские болванки нашел по 110р за 50гб, т.е. 2.2 руб/гб.
Диски новые 2 руб/гб. Раньше брал 22 тб дисков по 1 руб/гб, но сейчас либо дороже выйдет, либо пробег будет побольше, чем 2-4к часов, с которым я тогда брал.
Оно надежнее и имеет больше смысла (потому как создано для архивирования), не требует администрирования и киловаты от счетчика, не шумит, но едва ли дешевле..
А через год они прочитаются? Все и всё?
@@aleksbotler5358 нифига они не прочитаются. Уже сталкивался с этим. Через полтора года половина не прочиталась.
Вот и у меня сомнения. Была бы это магнитооптика, наверное не было б рооблем.
@@xman0674 привод оптический чистить специальным чистящим диском не пробовали? Помогает.
Мои болванки хранятся десятилетиями без проблем, но привод если им не пользоваться - быстро загрязняется пылью.
как ты допер до этого ,откуда информацию черпаешь ? круто
Кто-нибудь автору уже упоминал про SMR скандал ?
А что за скандал?
Aleks Botler habr.com/ru/news/t/504998/
@@vifvrTtb0vmFtbyrM_Q Вот подонки. Правда, я использую только seagate серверные (не AS)
@@aleksbotler5358 к сожалению и на серверных не гарантировано отсутствие SMR...
@@vifvrTtb0vmFtbyrM_Q Мда, моя вера в WD сильно пошатнулась после прочтения этой статьи. Не ожидал я от WD такой подлянки, не ожидал ((
Жду следующего ролика.
Про ECC память для FreeNAS не забыл ?
для чего регистровая память фринасу?
@@engineerplays5855 причем тут регистр если написано ецц?
ецц это коррекция ошибок, ошибки памяти регулярны, наличие их коррекции - это вопрос важности информации...
@@hackroute Я даже больше скажу, ZFS хранит в оперативной памяти все данные о файлах и дает этой информации больший приоритет при возникновении не штатных ситуаций!
Crim Hard не стоит смешивать промышленную эксплуатацию, когда простой сервиса это убытки в миллионы и простой NAS для домашнего применения. Главное тут цена. Например в Soho сегменте NAS используется такая память ?
@@vifvrTtb0vmFtbyrM_Q бу стоит копейки
В любой нормальной системе хранения вы платите, по большому счёту, за нормальный софт. У меня были системы, как очень мощные, на момент покупки, но с убогим софтом, так и менее мощные, но с вылизанным ПО - по итогу остались те, где ПО более комфортное. Ими проще пользоваться. Сейчас две убогих системы настроены в рейд 0 (12ТБ каждая) и блочный доступ - на них храню мусор и делаю монтаж. По гигабитной сети вполне комфортно. Дури в них хватает. Одна система в рейд 1 (cifs) - долговременное хранение. И две системы однодисковых ребёнку мультики посмотреть. На антресольке стоят 2 сервера двухпроцессорных - там по 24 диска и 48 гигов оперативы - всем хороши, но даже в простое греются, жрут электричество и весьма ощутимо шумят - там был рейд 30 + диски под хотсвап - -) - разницы по скорости с насами нет, многопользовательского доступа дома тоже нет, ну и смысла использовать нет -). А с самосборными системами я завязал, больно риски не оправданные -)
Я поражаюсь, сколько у вас железа дома :-D
@@rnadyrshin 20 лет копилось -) Выкинуть жалко.
Еще рекомендую рассмотреть систему виртуализации Proxmox, которая позволяет создавать как полноценные виртуалки, так и легковесные контейнеры. Например, один контейнер принимает бэкапы с различных устройств, в другом крутится nextcloud, в третьем plex и т. д. Все сервисы отделены и независимы друг от друга, просто формируется DMZ, легко пробуются новые сервисы, особенно, если есть готовый образ на Turnkey. Ну и полная поддержка ZFS из коробки.
6:38 Я вот тоже не знаю, по этому стараюсь придерживаться софтверных решений, NAS на базе какого нибудь линукса или фряхи.
Быстрее бы вторую часть)
ну тут надо сделать ремарку по поводу ресурсоемкости сжатия и дедупликации. сжатие жрет больше процессорного времени (как и любой другой архиватор) а дедупликация память поскольку приходится хранить метаданные в памяти о том где хранятся оригинальные блоки а где ссылки на них. собственно стратегию надо выбирать исходя из этих параметров.
А какой стример подойдет для бытового использования, для дома, для семьи?) типа сатовский 5" в комп? Насколько плохая идея взять DLT 4, если смотреть по низу рынка? Будут ли доступны картриджи в перспективе 5-10 лет?
Я для бэкапа особо ценных данных просто взял внешний 2.5" диск на 2 ТБайта (сейчас уже лучше разорится на 4 ТБайт). На самом NASе поднял RSYNС, и на добашнем ноутбуке раз в месяц-неделю делаю пакетный бэкап. Пакетный бэкап делаю приложением github.com/d2r2/go-rsync, который умеет бэкапить только измененные данные, хотя еще много других подобных приложений.
XPenology !!!
Добрый день. Я не большой спец в этом деле, но имеется вот такое чудо M2N-MX Asus материка в горизонтальном корпусе идеально для места где будет находиться он. Можно ли на таком чуде построить сервер?