Сделал Apple Vision Pro своими руками || Дешёвый AR проект - Май 2024.
Vložit
- čas přidán 11. 05. 2024
- Господа, здравия! На ваших глазах уже 6-ая серия цикла видео о том, как я создаю очки дополненной реальности с нуля на Python. В этой части я покажу фактически готовые очки, расскажу про обновления.
Оценивайте видео, пишите что вы об этом думаете и приятного просмотра!)
Код как всегда на гитхабе github.com/ZernovTechno/AR_he...
Мой Boosty (Донаты) - boosty.to/zernov
Мой VK - zernovyt - Věda a technologie
интересно наблюдать за проектом который так быстро развивается
Ну кстати неплохо получилось. Обидно, конечно, за малую функциональность. Да и вряд ли это можно использовать больше, чем просто развлечение
Но проект классный! Продолжай в том же духе!
Спасибо за обратную связь! Функциональность на данный момент реально не высокая. Со временем я добавлю ключевые фичи как просмотр видео (В т.ч и пространственного-объемного) и браузер. Это вопрос времени. Просто сейчас контент нужно разбавить другим проектом.
p.s. VR и AR гарнитура в 90% случаев - развлечение :-)
я в истории
🎉
и я
С 1 выпуска😎
А я на истории
@@NoN-me Пляхахаха
Лютый чел, как разраб с опытом говорю, ты просто хорош
Спасибо)
Крассавчик! Только единицы готовы стараться ради людей и прислушиваться к из мнению, а не ради быстрого заработка на огромной наценке за воздух. Ты стал одним из моих любимых блогеров!
Предлагаю сделать дешёвые VR очки (но когда проекты кончатся конечно) С контролеррами и т.п, думаю будет интересно. Спасибо за видос!
Надеюсь всё получится ❤
Смотрю с первой части 😊
я думаю что тут стоит развивать API для создания приложений. Это было бы классно
Очень круто получается! Единственный контент как-либо связанный с Vision Pro который я готов смотреть)❤
Как большой любитель космоса, я очень заинтересован в новом проекте. Желаю удачи в обоих проектах!
Спасибо )
Красавчик! Удачи в этом и новом, во всех новых проектах!
Спасибо!)
Жду. Когда проект будет закончен соберу себе такие же очки! Удивлён результатом ❤.
Продолжай развиваться! С каждой серией все интереснее!
Спасибо!
Удачи в проекте :з
🎉🎉🎉 новая серия
Ты просто нереальный... Я тобой горжусь, брат!
Боже самое интересное что я видел за этот год продолжай!
Очки выходят очень хорошо, тем более за такое время 👍, попробуй добавить, аля самому написать голосового помощника типа чат гпт (это можно добавить в конце), например для задач по типу: просто по общться, поспросить включить приложение а может и поставить таймер или будильник. И кстати не сдавайся, все у тебя выйдет✊
Идеи крутейшие🔥🔥🔥
Кадровый трекинг просто ПУШКА !
видос как всегда пушка!
как всегда на высоте
Спасибо)
Опа, новая часть🎉
Ты этот, лучше не разрывайся на два проэкта, шансы выгореть увеличиваються в разы, а так, желаю чтобы твой проект развивался и ты вместе с ним!
Я наоборот с очками больше выгораю, они для меня трудны в разработке)
Хочу переключиться на что-то более приятное лично для меня.
Ваууууу, очень классно получается
Спасибо)
как уруто мне очень нравится ❤ я нигде не видел похожего проекта
Тоооооооооооооп если, сейчас такое то не могу представить себе что будет через год ❤❤❤
Ты про сто сумашедший ты в историе ❤❤❤
Давай изображение не будет накладываться только если расстояние от руки меньше или равно, а если рука дальше чем изображение то просто накладывать
Ну ты реально хайп❤
Интересные у тебя планы по роботу🤯
Да я сам в шоке
Привет, спасибо за видео.
И еще, ставь музычку на фон, чтобы не было так однообразно=)
согл
Привет! Спасибо за обратную связь. Не знаю... Возможно позже попробую. Пока мотивчика подходящего не нашёл :)
Лучше ненадо чтоб в очередной период обострения не поблокировали видео изза музыки.
@@t_reztsov Кстати да, с этим нынче строго.
Ура новое видео гения
ОЧЕНЬ хороший проект с ар очками.Прошу не заканчивай проект. Ведь это большой шаг для человечества. Если у тебя все будет получаться с проектом, то можно будет сделать свой товар с ар очками и идти вместе крупными брендами как Meta и Apple. Ведь у нас нету отечественных разработчиков для создания таких вещей чтоб все знали о нас. И если бы твой товар с ар очками был доступен по цене каждому человеку, то каждый бы ходил в твоих очках и это бы заметили бы другие пользователи из других стран и начали тоже покупать твой продукт)❤
Спасибо за обратную связь, очень приятно. Проект я не заканчиваю, просто он немного поднадоел)
Тема АР только развивается, и в списке гарнитур я если что не потеряюсь :)
Ура 2 часть
огонь ты супер!!
Аоаоао,ты мне заметил и сказал товарищи
Красавчик, ты сможешь допилить, а на основу может народ подтянется, и будут делать тебе проги)
Когда-то и меня вела дорога амбиций, но потом я повзрослел…
Удачи тебе, ты как минимум уже хороший ютубер
Ахаха, мир жесток 🙂
Спасибо за поддержку!
Хочется, чтобы меня заморозили и разморозили, когда этот проект будет уже в релиз версии) оочень интересно к чему это всё приведёт)
И маленькая поправка: ты путаешь функционал с функциональностью. Функционал - математическая функция, а как раз функциональность - это набор функций и возможностей системы/приложения/устройства
Если такие очки будут в продаже я буду первым покупателем))
это очень круто!!!!
Хай!Переделываю немного дизайн твоего проекта а также добавляю приложухи (пока делаю только дизайн) планирую сделать магазин приложений.Желаю удачи в развитии проекта!
Изменено:откуда стока лайков?!
Привет! Круто! Напиши мне в вк (В описании есть), поскидывай фоточки, я с радостью посмотрю :)
ps. можешь форк на гитхабе создать, я привяжу его к своему
p.p.s Спасибо за пожелания, тебе тоже удачи!
Ты пробовал использовать внешний контролер (типо Ардуино) и датчик жестов PAJ7620?
Добавить бы в эту штуку голосовое управление...
Банально, но вынужден сказать это - если ты хочешь хорошую производительность на плохом железе питон не твой вариант, пиши на си
Новое прекрасное видио
Я посмотрел все видео, ия могу сказать что это САМЫЙ не душный ютубер по сборке всякого
Интересно, есть ли возможность сделать динамическое расширение?
Советую делать 2 части видео. Первая часть с результатами, а вторая часть с водой, то есть с объяснением того что ты делал
Какие датчики imu вы используете?
Бро ты заслуживаешь больше 4 к подписчиков
Конечно! Я заслуживаю как минимум 5к подписчиков, и это уже доказано )
Молодец!
урааааааааа новое видео
Вот он, ютубер мечты.
Ты крут!))
Спасибо)
о опять новый и интересный видос)
Приятного просмотра :D
@@zernovtech спасибо
)
код я писал сам
следующее предложение:
я использовал нейронку😂😂
Ахахах)
Нейронка мне лишь помогала. Моё написание кода выглядит так: сделал что-то работающее, скормил нейронке, получил ответ в виде слегка оптимизированного/упрощенного кода и вставил его в свой код. И проверил, не сломалось ли ничего.
у этого проекта есть хорошие шансы))
Вместо pillow можно и ffmpeg напрямую юзать для наложения. Может кратно быстрее работать
Хм... Спасибо за совет, рассмотрим)
Однако не плохо
интересно, спасибо, а про подвеску - вопрос дискуссионный, много зависит от веса робота и мест его поездок.
А тут больше вопрос образа марсохода:)
Подвеска rocker boogie, не секрет.
Давай будут только три кнопки (через пальцы) указательный+большой = клик, указательный+средний = 2 кнопка, указательный+безымянный= меню очков
очень класно , я бы вообще кайфанул если бы ты смог написать что нибудь , что бы можно было мобилу прикрутить как вр шлем
дезайн имба
Ураа🎉
Попаду ли я в историю большого открытия и проекта? Думаю да)
10/10
до миллиона
Был тут до 5000 подписчиков
Я тоже)
Интерфейс то хоть будет размещатся в пространстве? Можно ли будет таскать его с собой как в квесте, или он просто всегла будет висеть у тебя перед глазами?
3dof. Висит в пространстве вокруг шлема, однако на диване не застывает.
12 мая 2024 года я был тут
Стоит ли покупать все комплектующие для ар очков или лучше подождать еще?😅
А сейчас код почти полностью унифицирован, там вариантов сборки несколько десятков. Любые камеры (только не VHS, умоляю), любые телефоны и любые очки. Микрокомпьютер лучше пока не покупать :)
Рекомендую взять любую вебку, любой VR шлем для телефона и попробовать. Если зайдёт - потом докупить что-то покруче, например самсунг S8.
Не знаю на сколько хорошая идея, но что если использовать для трекинга модуль тепловизионной камеры (я понимаю что это увеличит стоимость проекта но все же) по мимо отслеживания рук можно ещё сделать приложение которое будет накладывать картинку с тепловизора на картинку с камер, мне кажется было бы интересно
Тепловизор технически трудно подключить к проекту, но помимо этого он имеет слишком низкое разрешение для таких задач (32x24) и плохой угол обзора.
А ты можешь скачать туда браузер для скачивания приложений и смотреть какие нибудь сайты
лучше не распыляйся, допилить проект с "шлемом" хорошая идея
А я и не распыляюсь. Шлем всем надоедает, на одни только просмотры роликов глянуть. Да и фактически я его уже допилил.
Я был тут 12-ого мая 2024-ого года!
❤
Я советую тебе сделать самодельные кантролеры (хоть какие то) и steam vr сможет пойти с браузероми
тоооооп
прикольно. а где 6dof отслеживание, чтобы интерфейс оставался в пространстве? )))
6dof никогда и не было заявлено. Даже так, я в первом ролике сказал, что 6dof точно не будет.
3dof будет, но попозже.
@@zernovtech ок
Молодец
( ^ ω ^)
Планируешь сделать трекинг очков?
В пространстве? Нет. Только по пространству вокруг, как в шаре.
Привет, смогу ли я поучаствовать в новом проекте как python разработчик, или ты собираешься делать его один?
Да сможешь конечно. Пиши в вк :)
Приветствую, а что за смартфон используешь, я забыл, смотрю каждое видео. Ты говорил что андроид не жружелюбная система но на некоторые смартфоны можно ставить линукс. Правда софт придется оптимизоровать и менять под арм проц. Я так то не сильно в этом разбираюсь и думаю эта идея наоборот сделает хуже, но это всего лишь идея. 😅
А нет эта идея не очень так как он вроде может отказаться работать с Самсунг Гир
Я использую Samsung s8 + GearVr + одноплатник + sony ps hd camera :)
@@zernovtech понял, спасибо
Изначально брать Python и ждать скорости работы ну такое )
Нужно было Golang брать, там порог входа не высок при этом можно писать очень быстрый код.
Не спорю, но на Golang вряд ли есть готовые решения для трекинга рук.
Почему хорошие разработчики не додумывается делать типо панели на Виар, т.к сейчас на Виар шлемах есть кнопка для нажимания
Слушайте, конечно хорошо что вы вдохновляетесь apple vision pro, но как выглядят руки в ui оставляет желать лучшего, может взять способ отрисовки рук как у meta quest 2/3, там поверх руки рисуется виртупльная тень, выглядит это хорошо и лаконично, попробуйте
В этом есть доля правды. Однако то, что я показал возникло из за хренового освещения, и так-то они на UI нормально накладываются. Но тема реализации наложения как в квестах не сложная, я думаю, я добавлю её как опцию)
Спасибо за совет!
Извините за вопрос, возможно это говорилось в прошлых видео но можно ли использовать камеру телефона?
Это вроде во втором-третьем видосах
Либо четвёртом
Кароч, сначала посмотри, многое теряешь:)
возможна ли добавление более 3 камер? Например 4-6 штук (ну вдруг кому-нибудь понадобься )
Да, конечно, но пока такой функции в проекте нет.
Мегахорош
Даже я человек не разбирающися в кодинге и вот этом всём вашем программистском. Знаю одну вещь если хочешь принять душ лучше использовать не шланг а лейку с кучей дырок (сорян за сравнительный каламбур) Почему бы не сделать несколько ядер? Одно отвечает за обработку трекинга рук и отрисовку интерфейса, другой за анимки и прочее если разбить всё на несколько ядер так и нагрузка спадёт и мне кажется можно будет более гибко настраивать и на много проще!
1. Python язык однопоточный.
2. В Python есть такая штука - GIL, блокиратор интерпретатора
3. Даже сейчас я использую "иллюзию" многопоточки - библиотека Threading, которая разбивает код на потоки. Я бы мог использовать Multiprocessing, однако в ней большие проблемы с обменом данными, но да - там обход GIL есть.
А ты вырезание рук делаешь через нейросеть ?
Ну да,mediapipe)
@@zernovtechа ну ладно
Здравствуйте! Не могли бы вы подсказать как запустить программу как отдельное окно? Заранее благодарю!
Здравствуйте! С недавнего момента эта функция отключена, однако Вы можете создать запрос в разделе issues на гитхабе с такой просьбой, где Вам помогут с запуском программы в отдельном окне. Также напомню, что сейчас всё работает через браузер, и посмотреть на вывод программы можно через него.
@@zernovtech спасибо
Что за трек в конце?
Горе-музыкант - Этот Трек Тебе Не Понравится 2.0 (czcams.com/video/4VF7yv5xoJs/video.html)
Зайди по ссылке, поддержи девочку, реально классные треки :)
Хорошо хоть не js но тут бы что-то помощнее было бы лучше мне кажется
Вполне возможно.. Плюсы или раст например. Я на ЖС не пишу :)
Добро пожаловать в ROS комьюнити)))))
Хехе)
Да, есть немного
Как вы отнесётесь к тому, что я на основе вашего кода буду разрабатывать свой вариант очков?
Хорошо, только лучше сурсы своего проекта оформить как форк моего)
Подпишусь заранее
Было бы здорово реализовать что-то вроде kando menu только для AR. Хотелось бы поработать над чём-то подобным, жаль правда ресурсов для запуска вашего проекта нет)
P. S. А возможен ли запуск чисто на ПК без использования двух камер и прочих железо? Если да, то я себе нашëл развлечение на ближайшие выходные.
Запуск чисто на ПК возможен, но как минимум нужна одна вебка. Ноутбучная, кстати, должна работать)
@@zernovtech ну не ноутбук у меня конечно, но я знаю как камеру телефона использовать в качестве камеры ПК.
@@EmuDellno Да, droidcam например. Только нужен драйвер, чтобы камера определялась как вебка. И ещё. В конфигураторе указать "use_1_camera"
@@zernovtech спасибо за совет!
есть пара вопросиков:
1) очень сильно глючит z-индекс рук и интерфейса, почему? Разве стереозрения недостаточно для его правильного вычисления?
2) ты показал код get_command, почему приложения - хардкод, а не более гибкое решение (к примеру, как в android - package name, да или хотя бы просто внятное разделение, а не calculator_open, keyboard_open)? Мне кажется, что для этого достаточно просто завести какой-то словарик apps, в котором ключ - название приложения, а значение - класс/модуль этого приложения, а команды сделать вида "run {app_name}"
3) Есть ли в планах переезд на более адекватные для этого дела ЯП и связку клиент-сервер? (java/c++/c# вместо python, hdmi/type-c вместо веба)
Привет! Ща всё отвечу
1) Z индекс?
2) Решение писалось в короткие сроки и не для обработки большого объема запросов в разные приложения.
3) Нет, в планах этого нет. Проект больше развлекательный, и не требует таких усложнений. Связка планировалась изначально, но впоследствии отменилась из за проблем нахождения общего протокола. Другой ЯП брать нет смысла, проект уже написан на питоне.
@@zernovtech 1) ну у меня веб головного мозга, я говорю про третью ось в пространстве
Жаль, что проект развлекательный, хотелось бы реально полноценный продукт(
@@stunnerr у рук нет Z оси, они трекаются в двумерке. Стереозрение тут не используется для опереления расстояний.
Реальный продукт на этой платформе не развернуть, а с повышением железа и софта повысится стоимость и получится Pico 4.
@@zernovtech но pico 4 с закрытыми исходниками, в этом прикол
@@stunnerrА в чем смысо разработки аналога существующей гарнитуры? Только в опенсорсе?