Построение карты глубины на Jetson Nano
Убедившись, что плата Arducam Stereo Camera HAT подходит для построения карты глубины на Raspberry Pi, инженеры Arducam перешли на платформу Jetson Nano. Здесь речь в основном о ревизии Jetson Nano A02: у неё, как и у стандартных моделей Raspberry Pi, только один порт CSI.
Позже NVIDIA выпустила ревизию B01 с двумя слотами MIPI CSI-2. На B01 Arducam систему не тестировала, но можно посмотреть материал о системе из четырёх камер на Raspberry Pi Compute Module — у этого модуля тоже два слота CSI. Дальше речь идёт о камере глубины на Jetson Nano ревизии A02.
Две камеры, одна плата Stereo HAT, одна плата Jetson Nano
Чтобы построить карту глубины на Jetson Nano, сначала нужно подключить к нему стереокамеру. Две камеры стоят в разных точках и дают изображения с разной информацией — по этой разнице и рассчитывается глубина.
До выхода ревизии B01 на Jetson Nano, как и на Raspberry Pi, можно было использовать только один порт камеры. Собрать стереозрение на таких одноплатных компьютерах было непросто. Arducam сначала разработала для Raspberry Pi плату Stereo Camera HAT: две камеры через неё видны системе как одна подключённая камера. На основе этой платы Arducam сделала много приложений, в том числе систему построения карты глубины на Raspberry Pi. Перенести её на Jetson Nano оказалось несложно.
Система на Jetson Nano похожа на систему для Raspberry Pi, и набор оборудования тот же: комплект разработчика Jetson Nano, плата Arducam Stereo Camera HAT и плата стереокамеры Arducam Stereo Camera Board.
Проблема калибровки
Как сказано выше, две камеры дают разную информацию, и по этой разнице вычисляется расстояние до объекта (глубина). Поэтому построение карты глубины — в какой-то мере математическая задача: систему можно рассматривать как функцию, которая принимает на вход два набора данных.
Результат зависит от входных данных, поэтому для точного результата вход нужно откалибровать как можно лучше — и с проблемами калибровки приходится сталкиваться. Для калибровки здесь используется шахматная доска, так что главное — правильно её сфотографировать.
По итогам многих тестов в Arducam пришли к выводу: шахматная доска должна занимать в кадре достаточную долю. Она не должна обрезаться краем кадра или быть слишком маленькой, а камера не должна дрожать, иначе снимки получатся смазанными. Если калибровка прошла плохо, удалите снимки из папок /scenes и /pairs.
Лучший на данный момент результат калибровки показан в видео на YouTube.
Улучшенное стереозрение
С выходом Raspberry Pi многие компании стали выжимать из встраиваемых систем максимум. Jetson Nano — один из таких продуктов: плата маленькая, но благодаря технологиям из мира видеокарт ей хватает мощности для многих задач ИИ.
Arducam специализируется на технологиях захвата и обработки изображения и разрабатывает периферию для таких мощных платформ. Компания развивает направление ИИ и добавляет камерам «интеллекта», поэтому считает Jetson Nano надёжной и перспективной платформой и продолжит выпускать для неё модули камер.
Что касается карты глубины на Jetson Nano, инженеры Arducam продолжают улучшать и аппаратную, и программную часть. Когда появятся новые результаты, Arducam обещает опубликовать подробные руководства и видео.
