NAS for 20 HDDs. Part 4. Moving to Xeon, increasing the volume
Vložit
- čas přidán 14. 07. 2024
- Order fast and high-quality production of printed circuit boards: www.pcbway.ru/
Competition from PCBWAY: www.pcbway.com/activity/4th-p...
Instagram: / electronics_in_focus
All series of the project:
NAS for 20 HDDs. Part 1. Background: • NAS на 20 HDD. Часть 1...
NAS for 20 HDDs. Part 2. Assembly: • NAS на 20 HDD. Часть 2...
NAS for 20 HDDs. Part 3. FreeNAS and tests: • NAS на 20 HDD. Часть 3...
NAS for 20 HDDs. Part 4. Switching to Xeon, increasing volume: • NAS на 20 HDD. Часть 4...
NAS for 20 HDDs. Part 5. Changing mother again, testing 10Gb, Home Assistant on NAS: • NAS на 20 HDD. Часть 5...
Links to accessories:
1) Intel Xeon E5-2630LV3 processor: ali.ski/ddQVj
2) Motherboard Atermiter X99: ali.ski/c_KB3w
3) Server memory DDR4, ECC: ali.ski/osvEp
4) M.2 SSD KingSpec: ali.ski/zupre
5) NZXT C850 80+ Gold power supply: www.computeruniverse.net/ru/p...
6) Drive Seagate Expansion Desktop 4TB: www.computeruniverse.net/en/p...
7) Seagate Backup Plus Hub 4TB drive: www.computeruniverse.net/ru/p...
8) Supermicro AOC-STG-I2T network card (2 x 10 Gbps ports): fas.st/mdUPgH
9) ZyXEL XGS1010-12 Unmanaged Multi-Gigabit Switch: www.computeruniverse.net/ru/p...
fas.st/xTw6tH
10) SFP+ module (10 Gb/s over copper) ADOP 10GMS-30M-T 10G: fas.st/NaKdL
Promo code for a discount of 5 euros (for the first purchase) in the computeruniverse store: FWI84ES
00:00 Intro
00:45 Introduction
02:04 Disk controller cooling
02:44 Platform change
03:45 Processor
04:50 Motherboard
07:05 RAM and SSD
07:50 Platform assembly
09:02 Problems with the new platform
10:57 New power supply
14:09 New HDD
17:57 Data transfer, transition to RAID-Z2
20:43 10 Gbps network
22:49 Thermogram
24:07 Energy consumption
24:36 Ending
24:46 Footages - Věda a technologie
Очень приятно слышать, что этот проект ещё модернизируется и появился очередной ролик 😊
Пересматривал на днях предыдущие части, и тут новая. Спасибо!
Вы что там, интернет индексируете?
А чтобы не дергать устройства из PCI-E 16x, можно поставить видеокарту PCI-E 1x
Как вариант usb-vga (hdmi) - плохой совет ...
@@Ko6pa Он не будет работать в биосе и до запуска системы, т. к. ему нужны драйвера, и есть ли они для линуксаподобных систем?
@@AkulinOleg для биоса не подумал, резонно !
Слот подрезать придется если что, но все будет работать, проверено
@@klykov зачем подрезать, есть видюхи с pci-e x1 , только стоят они всё равно не так уж дёшего, для своего функционала, 5-7к , плюс они без вентилятора, бесшумные.
Хороший материал, грамотный подход, отличная подача, множество важных нюансов, респект 👍👍🔥
Далёк от этой темы. Спасибо, было интересно просто посмотреть + за грамотную и спокойную речь.
Интересно и классно! Спасибо за обновлённую информацию. 👍
Отдельное спасибо за информацию о пыли! 👍
Спасибо за ролик! Было интересно посмотреть на обновления ну и на долгосрочные результаты хранилища
Контент не всегда для меня актуален, но качество и подача великолепны.
Большое спасибо за продолжение.
Спасибо за материалы!
Спасибо. Было полезно. Особенно с переходниками в виде коробок для ЖД.
Как и многие пришел поглазеть)
Приятно смотреть ваши ролики, спасибо!!!
Спасибо за ролики. Благодаря им я собрал своё хранилище.
Спасибо большое! Очень интересно и познавательно!
Сударь, Вы рассказали Ваши "Припитии" построения классного девайса, Оргомный "Респект и Уважуха"!
Интересныц вариант модификации!Хорошего пользования!
Спасибо за полезные видео. Мне они оказались очень полезными.
Очень интересное видео. Большое спасибо, Руслан ...
Спасибо! Очень интересно!
Забавно получилось, я под свой Nas выбрал точно такой же процессор и материнскую плату, когда собирал полгода назад, а теперь смотрю обзор на любимом канале.
К слову, в качестве видеокарты можно поставить например недорогую Quadro P400 и использовать ее для транскодинга видео в Plex или Jellyfin.
Есть подозрение, что на моей материнке отключен в биосе коррекция ошибок в ОЗУ. А у тебя как?
@@rnadyrshin я использую Unraid, у него там своя файловая система хитрая и я с такой проблемой не сталкивался. Это наверное актуально именно для Zfs.
Крутой канал ! Всегда интересно смотреть... Спасибо за контент !
NAS на 20 HDD ??
Ok - Интернет скачать захотел )
слава богу у меня это прошло в детстве, от 6 уже резонансы, на 20 грохот, а потом оно все равно ломается и r-studio ничего не восстанавливает...
Интересный и качественный контент - каждый видос радует. Единственно конечный смысл проектов порой вызывает вопросы. К примеру про NAS не понятно - почему именно с него начался апгрейд? Если цель сделать возможность работы с тяжелым контентом то нужно как то учитывать, чем обрабатывать такой объем. То есть нужен коммутатор и другие устройства то же на 10 гбит/с. Возможно было бы проще добавить контроллер с тандерболтом и иметь 40 гбит, подключатся кам нибудь MBP, а для сети оставить гбитный адаптер. А еще возможно в Nas стоит добавить какой то объем быстрого пространства к примеру 2-4 ТБ на каком то контроллере с M2.
Для меня не логичность развития этого проекта в том что - если нас живет не в серверной то должен быть быстрый прямой интерфейс что бы подключать рабочую станцию для обработки данных прямо в Nas. А если все же в конце концов нас переедет к остальному железу то смысл беспокоится о шуме, охлаждении и т.п. Так же конфиг самого наса тоже странный - ну да есть какая то экономия по 10 баксов еще на проце чуть по экономил, mb купил дефектную... но зачем вообще все это ? Если для работы то время имеет первоочередную стоимость - а на содержание такой солянки разных железок и технологий уйдет времени и как следствие денег просто нереально много. В итоге получилось уникальное изделие с уникальными проблемами на решение которых может уйти уникально большое количество времени.
Привет, а на какой платформе посоветуйте собрать?
@@ravenblack2185 я собрал на Supermicro X10SRL-F (новая за 24К брал) и E5-2620 v3 (б/у за 1600 с Алика). Материнка огонь - 10 sata 2 из которых поддерживают DOM SSD, 7 штук PCI-E и самое удобное это веб морда IPMI (работает даже если комп выключен, но есть питание. Когда делал первичную настройку не пришлось подключать монитор и клаву, все через вебморду IPMI. Ранее не сталкивался, поэтому мне очень понравилось!)
ж
Сетевое хранилище, ха, это ж чиамайнер, вяжите его, ребята! ;Р
Отдельный лайк за саунд!!! (не ожидал услышать здесь подобное)))).
Делать майнер и сетевое хранилище на одном компе довольно глупо.
Один из самых любимых сериалов)
А я наоборот наигрался и разобрал свой мега-нас-гроб на кучу дисков и купил Synology на 4 слота с большими дисками. Приложения перенёс в докер. Счастлив) Но само по себе хобби зачёт!
Да я вот тоже думаю, если времени нет, то проще готовый билд купить, разница вроде не сильно большая выходит
Молодец! Сам хотел подобное собрать, пока обхожусь SSD, но объем там заметно меньше в разы
Спасибо большое!
любимый проект ))
Пипец Вы вовремя, тоже как раз беру почти те же комплектующие для домашнего NAS с алихи=))
Решётки от пыли внутри - так себе решение, проверено многократно. Боковую крышку желательно всю забить 120-140 мм. малошумящими кулерами и прикрыть рамкой с нетканкой, которую раз в год надо пылесосить или менять нетканку. Работоспособное решение даже для жаркого лета.
А что такое нетканка?
@@epyfnm, нетканый волокнистый материал на основе полиэстера. Обычно в рулонах. Ютуб режет ссылки, но, к примеру, по ключевым словам "Фильтр потолочный ФП-600" можно понять о чём речь. Удобен тем, что можно пылесосить. Шубы из пыли выглядят конечно неряшливо, зато они снаружи и легко убираются.
@@victorn1199 понял, спасибо!
согласен, т.к забитие такого фильтра приведет к перегреву и возможно выходу из строя, а тюк обслуживание явно в данном случае не осуществляется(как в начале видео видно по шубе перед вертушкой бп), ну и как я понял автор отказался от этого фильтра, что хорошо. вообще любой фильтр это зло при отсутствии обслуживвания ибо любой радиатор забьётся гораздо позже чем фильтр
@@epyfnm НЕтканое полотно у огородников в ходу
Для максимально быстрой миграции данных имеет смысл использовать любую zfs-совместимую систему (хоть vps с линуксом), куда через zfs send по ssh можно слать данные, в том числе с инкрементальной докачкой.
10:44 хорошая идея 👍 термодатчики, управление через arduino, с экраном oled 1.3 шикардос
Спасибо за ролик!
Посмотри в сторону GT 710 в качестве GPU, на этом чипе есть варианты под pci-e x1. Сам пользуюсь ASUS GT710-4H-SL-2GD5 на подобной конфигурации под мини-сервер на китайском железе.
Ага
Полезно. Спасибо.
А у этой карточки есть аппаратная поддержка современных кодеков x264/x265 8/10 bit?
На старых материнках прекрасно работают переходники pcie -m2 nvme. Сам пользуюсь таким на материнке 2008 года
С таким NAS, наверное, не грех и своё облако поднять - скорость инета позволяет, белый айпи тоже думаю не проблема. Удобно, сфоткал на телефон и фотка уже дома.
Угу.
Я использую на телефоне syncthing,фотки грузит на комп хорошо
Собираю ретро-NAS на ide дисках. 775 сокет, PCI-x платы контроллеры, 16+2 ide диска. Хочу услышать звуки того времени)
По поводу одновременного старта всех дисков: в этих китайских материнках (по крайней мере на моем хуананжи есть возможность отложенного старта дисков, можно каждому выставить задержки, и они будут стартовать и раскручиваться последовательно, не нагружая блок питания.
По поводу копирования, можно было скопировать данные на новые диски (обьем старых 5 дисков спокойно вместился бы на новые) далее освобожденные диски собираешь вместо 5+1 В 4+2 и копируеш на них с новых дисков инфу, постепенно освобожденные диски добавляя в пул к установленным.
Где настраивается старт дисков? В биосе? У меня вроде нету
Я вспомнил почему я так не сделал (не создал пул RAID-Z2 сразу). Я просто узнал про возможность расширения диска тогда, когда все данные со старого пула уже были слиты на Я.Диск
@@rnadyrshin Да, у меня в биосе можно задержки старта выставлять, но у меня 2011 первой версии, на V3 возможно и нет, либо от производителя зависит.
@@rnadyrshin Посмотрел где находится. Вкладка Advanced --> SATA Configuration в самом низу парамметры Staggered Spin-up. Но сейчас пока писал, до меня дошло, что даже если и найдешь эту настройку, то она тебе не поможет, у тебя же через отдельный контроллер диски подключены, а это для портов материнской платы через контроллер материнки.
P. S. и даже для портов на материнке, эта функция доступна только в режиме AHCI, в RAID я проверил эти параметры не доступны.
Приветствую коллега!
На таком же точно процессоре, прямо сейчас, собираю новый WebSDR сервер. Ну в смысле железо собрано, экспериментирую с софтом и виртуалками, скоро будет видео :)
Давай давай, обязательно заценим
Неожиданная встреча)))
А если по делу, то благодаря Руслану, в момент пересборки домашнего хранилища, я в итоже сделал себе что то отдалённо напоминающее описаное им.
Система на AMD Ryzen 7 3700X + 64ГБ обычной DDR4 памяти + Adaptek 5405 + 3 WD Purple [WD40PURZ] по 4ТБ. Плюс несколько SSD и куча вентиляторов Noctua для бесшумного охлаждения дисков, SATA контроллера и системы в целом.
На это поставил ESXi. На нём Truenas и несколько других машин помельче. В целом, сборка далеко не идиальная, многие места мне не нравятся, но в целом, она холодная, достаточно быстрая для дома и пока что стабильная.
Z-Raid не собирал. Raid-5 собран силами самого контроллера, У него есть и 512МБ собственного кеша, и ионистор для него. Но Пока что, достаточно безопасным и надёжным я его не считаю, но пользоваться стало удобнее.
@@BredihinKA ещё один идиот. Зачем там Р7Х??
@@BredihinKA хорошая сборка)
Я сомневаюсь между esxi и esxi для бедных. Unraid который)
@@Raito124 ESXi и Unraid, это вроде разные вещи. На самом деле у меня хреновая колхозная сборка. Я с ней в будущем наверняка горя хлебну. Но это будет в будущем...
Толковый ролик. Сам неоднократно собирал тихие файловые хранилища. Касаемо Яндекса, при перекачки пяти терабайт видео у меня просадки по скорости не было (тариф 300 Мегабит/с)
Супер!!!
Это фиаско, братан.. Такой скрупулезный мужик, и так пролететь с видеовыходом. Удивил, удивил(
Не так уж это и критично
Инетесно смотреть как проект живёт и развивается
Лет 10 назад появилась такая же мечта с сетевым хранилищем. В 2013 году купил готовое решение на 7 дисков и поставил два массива 4*4 + 3*4 Тб. Сейчас это хранилище включается по необходимости, а постоянно в сети находится внешний 14Тб диск, подключенный к мини ПС (на котором нет пользовательских оригинальных данных - софт и медиа). Как-то так.
Классная машина!
для видеокарты можно завандалить один (или не один) PCI-Ex1 порт - выпилить правую стенку порта, тогда x16 видеокарта становится в такой порт и работает в режиме x1. Т.к. тут скорость не важно - будет норм решение.
Драм зачёт, Русь молодец!
Единственный плюс этой сборки, это относительно небольшой шум. В остальном, лучше взять бу сервак. Проверенно неоднократно.
интересненько
Я для снятия приклеенных радиаторов использовал этилированный бензин. Из шприца по немногу на место стыка, не сразу но минут за 10-15 растворяет главное не спешить. :)
Да там даже не приклеен на дисковом контроллере: у меня близкая модель - он там ЗАКЛЕПАН К ПЛАТЕ!
@@Siorinex заклепан это печально но тоже можно снять :)
Занимался подобным лет 15-20 тому назад. Прям ностальгия)
Правда было несколько сложнее, поскольку был ещё студентом, а на одну стипендию сильно не пошикуешь. Но на 3 курсе уже работал, так что попроще шло.
Первый собрал с 12 дисков ещё на материнке Asus A8N SLI Premium.
Потом переходил на серверные материнки, потом снова на десктопные, потом снова на серверные.
Раньше и контроллеров нормальных не достать было. За приемлемые деньги конечно. И с ПО и прошивками тоже напряг, да и информации особо тоже нигде не найти.
В общем к 11-12 году было два сервера по двадцать дисков (на самом деле по 21, один был с системой), один на 28 + 1. И находились они в соседнем городе у провайдера на чердаке, так что муторно было их обеспечивать и обслуживать.
Ещё дома пара осталась, на 12 и 20 дисков.
Потом заболел, забил и забросил это всё. Причём на тот момент диски были по 1, 1,5, 2, 3 тера на них. А начинал с 250- 200 гиговых)
В общем пропустил через себя пару сотен дисков и десяток-полтора серверов.
Приятно слушать. Внятная дикция, связная речь.
Спасибо.
Тоже были проблемы с кривалтековской сетью на трунасе с теми же симптомами. Сборка своих дров помогла но не сильно.
По итогу забил на всё и поставил трунас скейл + бонусом получил нормальную линь с докером а не джейлами
Надо брать интеловские сетевые контроллеры для таких целей и проблем не будет. Все эти грабли пройдены 100500 раз везде кроме этого канала.
@@pukodar5114 я хочу нас а не гемор на бсде. Так что уж извините, линуха с рабочими дровами, я выбираю тебя
Большое спасибо за полезный выпуск и бесценный опыт!
Ура - видосик новый )))))
По процу совпали) У меня такой же) но я себе мать взял с 8 сокетами для ддр4.
Какую именно?
Серверные материнки как раз хороши тем, что у них на борту есть IPMI, через который по сети можно управлять в том числе настройками BIOS, и который по совместительству является видеокартой. Я бы обратил внимание на платформу E3-1200v3. Там тоже возможна установка памяти с коррекцией ошибок, но не буферизированной.
E3 - это начальный уровень. Лучше посмотреть в сторону 2011 v2 (E5 2650 v2), имхо.
2133 мГц DDR4 у v3 ничем не лучше, чем DDR3 1866 мГц у v2.
@@GtaSaKompanion E3 v3 (LGA 1150) работает с DDR3 памятью. И при прочих равных будет дешевле, чем LGA 2011.
Хочу поделиться опытом, у одной знакомой муж попал в дтп. Он любил технику, увлекался умным домом и т.п.. Если коротко, она потеряла все семейные документы, доступы, пол дома пришлось переделывать по электрике, потому что она в этом деле ничего не понимает и денег стоит. Руслан, я искреннее желаю тебе здоровья, сил и долголетия! Но считаю что надо позаботиться и о том, справится ли семья с такой сложно-навороченной системой в трудной ситуации. В рамках концепта - иновационно и красиво, в рамках использования - удобно и безопасно. Но только когда система в ответственных руках!
В моем случае ничего по электрике менять не придется. А почему знакомая семейные документы потеряла и как это связано с ДТП?
@@rnadyrshin Со временем система начала рушится, а его жена не знала что с этим делать, соответственно весь семейный альбом хранился там. Потом она взяла это все и кому то отдала за просто так. По поводу доступов она никогда не вникала в это дело, занимался муж. Восстановить ничего ей не смогли. Извиняюсь, пишу коротко, не хочу погружать в подробности. Но опыт из жизни. Была очень "инновационная" семья.
Понял
Верно, СХД только ксеоны или иные серверные варианты с памятью ЕСС. У меня СХД дома тоже на ксеоне и китайской материнке с ЕСС памятью, выбор пал на x99-tf, больше доверия. В качестве ОС я выбрал MacOS и утилиту SoftRAID, тоже как FreeNAS умеет подхватывать диски из любых источников, такой выбор ОС обусловлен тем что не нужна видеокарта, можно зайти по VNC на рабочий стол сервера. Выбор дисков пал на диски с датчиками вибрации, у меня их 8, обычные диски входят в резонанс. Сеть 10GBe, карта тоже с Али на чипе AQC107.
Температуры великоваты у тебя, установи один вытяжной вентилятор оборотов на 800-900, бесшумно, диски на 1-2 градуса остынут, остальное на 3-4 градуса.
Очень классное видео, спасибо. Но, будет ли еще ролик про особенности работы TrueNAS? Дело в том, что Argument600 высказывался довольно негативно о последних обновлениях системы и её стабильности. Интересно будет услышать ваше мнение.
Я понимаю, что уже много времени прошло, но, но, если нужно безлимитное облачное хранилище синхронизированное с truenas, то рабочий вариант это backblaze. Настраивается легко, дешево, безлимит. Одно но, по понятным причинам есть проблема с оплатой. Но может в будущем понадобится. Хотя сейчас и IX Systems c декабря введут свое хранилище. Надо будет посмотреть как и что, но у них бесплатно будет только 150 гигов
@Electronics in focus очень хороший вариант сейчас это брать б550 материнки с Ryzen процессорами, они поддерживают ECC память, зато можно сразу получить из коробки 2,5Гигабитную сеть. С Учетом стоимости 2,5 гигабитных сетевых контроллеров - стоимость процессора и материнской платы в этом случае оправдана. Ну и большой плюс это PCIe4.0, за счет этого вы получаете высокую пропускную способность на 2-3 PCIex16 слотах.
Понимаете в чём прикол. Мне не нужна более высокая производительность, мне нужна экономичность. И 10 Гбит/с, не 2.5.
чтобы погасить вибрации от вентиляторов, используйте виброгасящие силиконовые болты, купил себе на алике пакет (200шт) и все вентиляторы в своих компах, и даже в серверах заменил на них, разница чувствуется
Спасибо за качественное содержание! Модель тепловизора, интересно узнать, которую вы используете.
Это Flir ONE gen 2
@@rnadyrshin Спасибо!
sfp+ карты есть на pci-e X4. Можно такую поставить и тогда можно будет установить сата контроллер и видеокарту.
Отдельно, не услышал про момент который ИМХО важен. Я использую нас в том числе и как медиа сервер и для того чтоб железке было проще работать с видео контентом стоит поставить дискретную видеокарту, даже если есть встроенная. У меня, всего один pcie-x16, к сожалению, на материнке как раз под видеокарту занят.
sfp+ у меня стоит на pcie x4. Ну и дисков у меня всего 4е в raid10 (у меня пока что все работает не на трунас, только планирую переход на него) так что я обошелся без сата контроллера.
Касательно вентиляторов - тоже столкнулся с этой проблемой. В итоге собрал собственный контроллер исользую два термодатчика для процессоров и два корпусных (словно две зоны). Отмечу маленький бонус - вывел показания температур на отдельный экранчик (встроил в переднюю панель корпуса). Очень долго возился как раз с настройкой скорости вращения чтоб вывести так как мне хотелось (максимум производительности при минимуме шума). Отдельно отмечу что иногда незначительное усиление продувки зоны процессоров корпусныи кулерами позволяет улучшить производительность процессорных без значительного увеличения их скорости.
10 терабайт через интернет это сильно)) Я для этих целей использую свой старый синолоджик. там 2 диска по 10 тер в райд 0 чисто под временное хранилище
В среде электронщиков и айтишников в последнее время распространилось выражение "подкидывать" что-либо. Подкидывают шарик в воздух. Плату тоже можно, но желательно после этого поймать. А так плату добавляют, подключают, доставляют, но точно не подкидывают. От меня ускользает смысл коверкания языка, разве что для форсу бандитского...
Что-то перечитал, звучит как наезд:) Это ни в коем случае не наезд, это пожелание)
Вам никто не говорил что вы зануда?
@@rnadyrshin нет, но на перфекционизм жаловались, бывало. Борюсь как и с коверканием языка)
Важно, ребят перед тем как продувать комп из балона обязательно его выключите так как не редко в составе этого "воздуха" и бутан и пропан, были уже случаи в нашем городе так что внимательней
Много полезного, спасибо. Да, большие объёмы в Яндекс Облако заливать - то ещё удовольствие. Можно только посочувствовать. Уверен, Алиса в этот день узнала о себе много нового. 🙂
У самого 4 компа на процах от Xeon. Первой что нужно перепрошить биос на материнку. На сайте 5450 для неё есть разные версии. Не забывай при установки М2 ты теряешь 2 порта Сата 5-6. Ставь пассивный радиатор на него. Твоя видеокарта тоже сжирает линии Сата. Этот проц поддерживает 40 линий Сата. Это Лоу вольтажный проц. У него меньше тактовые частоты 1.8-.2.9. И полной версии 2.4-3.2. На серверных камнях и матерях не когда не было видео ядер.
чтобы мелко-ветродуй шумел меньше нужна проставка 5...6 мм между ним и рёбрами. Обычно корпус аналогичного ветродуя.
Начал тоже создавать Has . Корпус подобрал. Для начала начну с J5040. И потом уже посмотрим по апгрейду. Это будет конечно материнка но какая незнаю. Чтоб кушала мало и хватало с головой на задачи
у меня в сисонике через неделю использования бахнул огромный транзистор, просто взорвался))) такой прикол, ни один менее именитый блок питания до этого не выходил из строя, вот такие пирожки
С таким процессором и количеством ОЗУ можно ESXi сервер для виртуализации смело развернуть, на пару систем. Для квартиры это все конечно избыточно , громоздко шумно и лишний пылесбоник.Большинству хватит одноплатника с парой дисков в рейде или обычное магазинное готовое миниатюрное решение на ARM'ме или MIPS'e.
хоть одного адекватного тут встретил
серверные платы есть под обычный башенные корпуса и там нет никакого дополнительного охлаждения вентиляторами
у меня стоит башня с серверным железом на 8 сас дисков 2.5" и еще в ящик можно засунуть штуки 4 3.5" диска
серверные платы имеют систему мониторинга и удаленного доступа, включая гуй
на супермикро можно найти генератор лицензий и активировать гуй
если ты пользуешся зфс, то тебе нужна ецц память, иначе файлы будут битые
в сфп порты не надо модули ставить, они нужны, если кабель больше 5м будет
если меньше, то есть кабель прямой, стоит 10 баксов и карта с сфп греется меньше и жрет тоже
ну и дешевле стоит
mellanox xt3 баксов за 25 можно купить или комплект 2 штуки с кабелем 3м и свитч не нужен, либо микротик на 4 сфпт за 100 баксов + 1 гибт рж45
софт надо юзать unraid, в нем есть поддержка виртуализации и можно запустить виндовс и делать монтаж на нем
С внешними хардами нужно дополнить что иногда там может не быть сата диска, бывает что там сразу распаян сата в юсб конвертер и прямо на плате диска стоит юсб порт
Вы правы! Я с этой конкретной моделью точно знал, что внутри будет полноценный SATA-диск
10 из 1000
По поводу управления вентиляторами, у плат этого производителя проблемы с определением температуры, хотя по судя по видео, конкретно эта плата показывает правдоподобные значения. Можно попробовать занизить пороги градусов на 40 и посмотреть будет ли реакция.
По поводу отсутствия видеовыхода, процессор и чипсет поддерживает *Intel AMT* , в некоторых версиях китайских прошивок он включен в некоторых выключен, *Advanced -> AMT configuration* либо *IntelRCSetup -> Server ME configuration -> Manageability Application Configurator* .
В крайнем случаем можно модифицировать прошивку для активации AMT.
Работает ли AMT на китайских платах фактически, интернету не известно, т.к. они для геймеров а геймерам AMT не нужОн.
- Пробовал 2630Lv2 (правда на оверклокерской asus плате), меньше 110Вт без нагрузки не увидел..
Не знаю уж, где собака зарыта, но под ддр4 я бы брал уже skylake E3 под такой проект.
- И как жить без Supermicro, я уже не знаю, дороже, память UDIMM, но плюсов больше, один IP-KVM стоит 5к+ только если колхозить на RPi4.
Единсвенная сумермикро, которая у меня грелась - это древний X58 чипсет, но там это было ожидаемо, в современных все отлично.
- БП есть один ледендарный (с 2011г выпускается): Super Flower SF-500P14FG, он же Chieftec GPS-500C, он же Kingwin STR-500.
Пару таких недавно прикупил, и для бесшумной рабочей станции самое то, и в сервер отлично подходит.
- Диски, если уж не расчитывать на гарантию, то есть смысл брать именно с пробегом в 1-2к часов по смарту. Это как burn-in, наработка небольшая, но в этот срок заводской брак проявляется уже обычно, а потом десятки тысяч часов крутятся без проблем. Парковать головки и останавливать диски, кстати, это повышенная нагрузка на механику, есть смысл наоборот крутить 24/7 даже в NAS. Раньше даже прошивки WD Green правили, чтобы отключить парковку.
Видяху х1 можно поставить или позаимствовать у майнеров переходник, только нормальный! Биос материнки, лучше прошить на модифицированный с понижением напруги - 50mV, будет достаточно. 10 гигабит на одного клиента по Samba никогда не будет. Как вариант, использовать один Lun на всех клиентов по iscsi ( как общий диск с исходниками).
Про ускорение с помощью ссд. Надо Pci-e x16. Переходник с Алика 4х4 nvme. 4 Samsung pro 970 MLC память! на 512 гигов (цена за гиг нормальная). В настройках материнки pci-e x16 слот, переводим в режим 4х4х4х4. Итого. 2 ssd зеркалом уходят на Log для пула и 2 ssd под кэш пула. Профит, снятие ограничения на чтение/запись горячих проектов. Проц будет узким местом. Мой максимальный результат - 7 гигабит на 1 клиента по iscsi. Упёрся в ограничение клиентского процессора. Клиент работает на e5 2667v2. На клиенте fx 8230 вообще не более 3.5 гигабита (. Конфиг true Nas - e5 2678v3 128 ddr3 ecc 4 Samsung pro 970. 8 hdd 4 tb wd gold. Lan Intel x520 t2. Удачи в построении хранилки мечты! P. S. Блок питания использую, только seasonic). 3 pci-e x16 мне еле хватило.
Спасибо. Интересно.
1. По поводу проблем с картами реалтека: Такая же песня была. Поиском по офф форуму truenas нашел исправленный драйвер, который подменяется на рабочей машине. Работает уже месяцев 5 нон стоппом, проблем нет.
2. Не совсем понятен выбор решения на базе китайской материнки. Да, понимаю, мое мнение - только мое, и, скорее всего, мало кому интересно)) но, все же... Зачем ? Стоит ли экономить на ней, если система работает с данными?... Я бы, выбрал что то c IPMI, да тот же supermicro например.
Но, тем Ваш канал и интересен. Определенными техническими решениями, по которым, спустя время появляется видео с разбором полетов! Спасибо еще раз!
2. Потому что Supermicro формата ATX с IPMI под тот соккет, который мне нужен, под ту память, которая мне нужна, с теми PCIe слотами, которые мне нужны стоит раза в 3 дороже, чем китайская плата. И да, supermicro у меня тоже будет
@@rnadyrshin Еще вопросик, если можно. Вы как то используете или планируете использовать встроенный гипервизор и jail'ы в TrueNas ? возможно, я этот момент упустил... Я для своих задач использую пакет Redmine, с установленной VM на centos, с чем мой TrueNAS отлично справляется, не особо напрягаясь. Интересен вопрос тем, что хочется понять, Ваш прицел в сторону текущей конфигурации хранилища ), так сказать, может, какой то опыт перенять.
Сижу на xeon e5 2689. По поводу регулировки оборотов, почитай информацию в интернете. В китайских платах значения температуры не соответствуют градусам ))) Есть биосы с допилом по этому поводу. Кстати, по поводу сети, 80% что не правильно подобран драйвер сетевого интерфейса. Не знаю на фринасе можно ли с драйверами копаться или нет.
Класс!! Ты не мог бы снять видео о транслировании на arduino экран16*2 через ESP HOME данных с например энергомонитора интегрированного в HA?
Память правильно что поменял на ECC, но будет сильно греться и по нормальному она требует обдува. Веники зря такие купил. Для файлового хранилища год назад актуально было ставить специальные серверные 8Tb с блоком 512кб, сегодня это 16Тб и ниже никакого смысла нет инвестировать. Материнку надо было брать супермикро, у неё по IPMI полный доступ вплоть до входа в BIOS и его перепрошивка удалённо. Про фринас советую забыть, поставить дебиан с ext4 поверх lvm.
Две недели назад брал 4 диска по 4 Тб WD Red Plus (без smr) по 7700р по акции
у меня в работе очень похожий конфиг, но на сокете 2011 и с лишь одним контроллером. соответственно DDR3 серверная, процессор E5-2651 v2. работает 24/7, полёт нормальный. круто что не я один таким занимаюсь. :)
хотя кривых слотов не было и сеть не отваливается, плата от более "именитого" производителя - Huananzhi. работает полностью в headless режиме.
Проверьте, работает ли у вас ECC?
@@rnadyrshin судя по данным программы dmidecode - работает. моя хостовая система - proxmox, он сам такой информации не предоставляет, посему упоминаю каким образом была получена информация. насколько помню TrueNAS в отличие от proxmox сам пишет, работает ли ECC.
Нет, не пишет. Тоже dmidecode использую или memtest86+
@@rnadyrshin значит, очевидно, с чем-то путаю. про метод с memtest86+ тоже читал, но сейчас нет свободной видеокарты чтобы его погонять. хотя как я понимаю этот способ тоже не всегда работает, пишут что есть некая коммерческая версия memtest86 (именно без плюса) от passmark которая в своей бесплатной версии имеет некие расширенные тесты на тему ECC, а в платной версии вообще умеет нарочно создавать ошибки в памяти чтобы физически протестировать работу коррекции.
А что конкретно вам выдал dmidecode? 72 / 64 бита?
Рекомендую прикупить видеокарту AMD FirePro 2270 512mb, разъем pcie x1. На ебее продаются. Выход там DMS 59, так что нужен переходник, обычно на 2 DVI. Кушает около 10-15Вт. Очень в дальнейшем пригодится .
Имею множество различных облаков, в том числе от Mail и yandex. Постоянно копирую бекапы по облакам, каждый день уходит от 500Гб данных.
Для быстрого копирования данных в облачные сервисы не рекомендую использовать их стандартные приложения. Нужна параллельная отправка, Такое умеет например Air Explorer, при тарифе 500 Мбит/с, успевает разогнаться до максимума и поддерживать максимальную скорость при копировании параллельно 5 файлов по 2 Gb каждый. Если много мелких файлов (
Спасибо. Клиент Яндекса, кстати закачивает данные в облако в 5 потоков, но всё равно разогнаться не может даже на больших файлах
По биосу и настройкам TrueNAS можно лазить через COM порт, без видеокарты (если мать поддерживает), тем самым освободить PCI слом.
Срежь перегородку у слота Pcie x1 и вставляй в него видеокарту. Любая видюха работает в слоте х1.
Так и планирую сделать
чтобы плата не висела ставьте самоклеющуюся площадку 10х10мм и тогда края будут ровно и надежно держаться
Нормально.
Набрал дисков, рейд контроллеры и все это поставил на мусор килсри) браво! У меня везде супермикры, ipmi очень выручает, иначе задолбался бы бегать и снимать серваки каждый раз даже банально если с сетевыми правилами тупанул, встроенная видюха на пару мегабайт. Нигде никаких нагревов. 1 в 2u с 80 вентилями ШИМ на стенке над входной дверью, другой простой атх
Ничего себе, молоток. Сними видос, покажи, а мы покритикуем
@@rnadyrshin я не буду тебе ничего снимать, а распишу конкретнее что стоит, может, что-то и надумаешь, когда до компа доберусь. Жена с ребенком в больнице, знаешь, не до всякой херни
Года перебрали raid до 6го и отдали под надёжность два диска, FreeNas также под них резирвирут озу или тока под использемый объём идёт привязка с озу?
Хочется понять надо рассчитывать озу на те диски которые стоят для надёжности raid
Фаловая система ZFS очень любит большой объём оператиски, советую Вам поставить 32 или 64 гб
Уже 32
Приветствую, отличный проект! Вопрос на засыпку, как относишься к майнингу, ASIC или GPU?
Мне этим заниматься не интересно. К майнингу на GPU отношусь негативно, потому что страдают обычные потребители
Я бы на твоем месте LTO (ленточную) библиотеку на avito посмотрел, для резервирования данных, там даже новые попадаются.
13:15 по +12 хватает почти любого блока питания! - проблема только по +5 линии, потому что даже у 1000 ватных блоков питания по +5 самый максимум это всего 150 ватт, которого не хватает когда очень много дисков.
По 5В в HDD жрет только электроника диска, основное потребление - от двигателя шпинделя
Серверные материнки это спасение от большого количества проблем, да есть матери требующие активного охлаждения, но они предназначены для жизни онлайн 24/7/365 и дают доступ к системе без видеоадаптера, монитора, клавиатуры и мыши
С сетью круто, но 10G/s для дома пока дороговато