Arducam выпустила пакет ROS для стереокамер на Jetson
Как пользоваться пакетом Arducam для стереокамер в ROS
Видеоинструкция — на YouTube.
В документации: статья «Arducam Camarray в ROS» о построении карты глубины с ROS и Jetson Nano — установка драйвера и ROS, создание рабочего пространства ROS, установка зависимостей и пакета arducam_stereo_camera.
Зачем Arducam выпустила этот пакет ROS
Что такое ROS
ROS (Robot Operating System) — набор программных библиотек и инструментов для создания приложений для роботов. Драйверы, современные алгоритмы, мощные инструменты разработчика — в ROS есть всё нужное для очередного проекта в робототехнике. И всё это с открытым исходным кодом.
ROS на платформах Raspberry Pi и Jetson
Связка ROS и Raspberry Pi — мощное сочетание для создания умных роботов: сравнительно недорого, а встроенная в робота электронная плата очень мала. Jetson Nano создан для автономных машин: это крошечная, экономичная и доступная платформа с высокой вычислительной мощностью, которая позволяет выполнять компьютерное зрение в реальном времени и задачи глубокого обучения мобильного уровня прямо на периферии.
Стереокамеры Arducam и ROS
Решение для стереокамер — Arducam Camarray
Camarray — второе поколение решений Arducam для нескольких камер: оно объединяет входы нескольких камер в одно изображение, где кадры стоят рядом. Camarray позволяет подключить до 4 камер MIPI через один интерфейс MIPI CSI-2. Благодаря широковещательной рассылке по I2C и общему тактовому генератору выходное изображение полностью синхронизировано.
Какие продукты Arducam Camarray работают с этим пакетом
Решение Camarray выпускается в трёх вариантах: модуль стереокамеры, плата стереокамеры HAT и плата HAT для четырёх камер.
1. Модуль стереокамеры
- Стереокамера Arducam 2 × 2 Мп для Raspberry Pi, NVIDIA Jetson Nano и Xavier NX: два монохромных модуля камер OV2311 с глобальным затвором (снята с производства)
- Стереокамера Arducam 2 × 1 Мп для Raspberry Pi, NVIDIA Jetson Nano, Xavier NX, AGX Orin, Orin Nano и Orin NX: два монохромных модуля камер OV9281 с глобальным затвором (снята с производства)
Модуль стереокамеры рассчитан на бинокулярные задачи — роботы, определение глубины. База между двумя камерами фиксированная, к процессору модуль подключается стандартным шлейфом FPC CSI-2 на 15 контактов. Для популярных встраиваемых систем, таких как Raspberry Pi и Jetson Nano, есть драйвер камеры и документация с инструкциями.
2. Плата стереокамеры HAT
- Комплект стереокамеры 2 × 1 Мп на OV9281 с глобальным затвором, монохромный, для Raspberry Pi, NVIDIA Jetson AGX Orin, Orin Nano и Orin NX
- Комплект синхронизированной стереокамеры Arducam 2 × 12 Мп для NVIDIA Jetson AGX Orin, Orin Nano и Orin NX: два модуля камер 477P 12,3 Мп с объективами CS и плата стереокамеры Camarray HAT
- Комплект синхронизированной стереокамеры Arducam 2 × 12 Мп для Raspberry Pi и Pi Zero: два модуля камер 477P 12,3 Мп с объективами CS и плата стереокамеры Camarray HAT
Плата стереокамеры HAT — улучшенная версия своей предшественницы. Она объединяет входы двух камер и выдаёт изображение того же разрешения, так что процессор «думает», что подключена одна камера. Теперь плата поддерживает новую камеру HQ на 12 Мп с сенсором IMX477 и за счёт изменения соотношения сторон выходного изображения сохраняет тот же угол обзора, что и у входного.
3. Плата HAT для четырёх камер
- Комплект из четырёх монохромных камер 1 Мп на OV9281 с глобальным затвором для Raspberry Pi, NVIDIA Jetson AGX Orin, Orin Nano и Orin NX
Плата HAT для четырёх камер рассчитана на более сложные задачи, где нужно больше синхронизированных камер. Установив на камеры разные цветные фильтры, можно проще получать мультиспектральные изображения.
Что можно делать со стереокамерой Arducam и ROS
Визуальный SLAM (одновременная локализация и построение карты) в ROS и обход препятствий — типичные задачи для стереокамеры. Она позволяет понять, где находится робот и куда он движется, и Camarray хорошо подходит для таких применений. Для ROS на платформе Jetson у Arducam есть и стереокамеры, и драйвер, и документация с инструкциями — это ускоряет интеграцию стереокамеры в вашу робототехническую систему.
