Быстрый старт: камеры Arducam для NVIDIA Jetson AGX Orin

Документация Arducam · перевод arducam-russia.ru

Быстрый старт: комплект GMSL2 на 8 камер ISX031

Артикул	Тип затвора	Сенсор	Разрешение	Особенности	Крепление объектива	Угол обзора (Д × Г × В)	Фокусировка	Чувствительность к ИК
B0608	Скользящий затвор	ISX031	3 Мп	Комплект из 8 камер, Ultra HDR, встроенный ISP, IP67	M12	152° × 120° × 92,8°	Фиксированный фокус	ИК-фильтр 650 нм

Комплект поставки

Устройство	Количество
NVIDIA Jetson AGX Orin	1 шт.
Модуль камеры Arducam ISX031 GMSL2	8 шт.
Плата десериализатора GMSL2 на 8 каналов	1 шт.
Коаксиальный кабель FAKRA	8 шт.

Подключение оборудования

Примечание. DIP-переключатели на плате десериализатора установите, как показано ниже. Стандартное питание — 12 В постоянного тока.

Положение DIP-переключателей на плате десериализатора GMSL2

Установка зависимостей

sudo apt install v4l-utils
sudo apt install nvidia-l4t-gstreamer

Установка пакета драйвера

Версия ПОСейчас поддерживается только NVIDIA Jetson Linux версии 36.5.0 и выше. Проверить версию Jetson Linux можно командой cat /etc/nv_tegra_release. Пример вывода для NVIDIA Jetson Linux 36.5.0:

Скачайте скрипт установки (bash)

cd ~ && wget https://github.com/ArduCAM/MIPI_Camera/releases/download/v0.0.3/install_full.sh

Установите драйвер ISX031

chmod +x install_full.sh
./install_full.sh -m isx031_gmsl

Проверьте, определяется ли камера

После установки перезагрузите NVIDIA Jetson AGX Orin.

ls /dev/video*

Вывод ls /dev/video*: восемь видеоустройств камер ISX031

Запуск камер

Скачайте файл скрипта run.sh на NVIDIA Jetson AGX Orin.

Сделайте скрипт исполняемым

chmod +x ./run_8cams.sh

Запустите комплект камер

./run_8cams.sh

Остановка потока

Скачайте файл скрипта stop.sh на NVIDIA Jetson AGX Orin.

Сделайте скрипт исполняемым

chmod +x ./stop_all_cams.sh

Остановите поток

./stop_all_cams.sh

Демонстрация

Видео к этому материалу опубликовано на внешнем сервисе. Пришлём ссылку по запросу на quote@arducam-russia.ru.

Быстрый старт: комплект GMSL на 8 камер для робототехники

Артикул	Тип затвора	Сенсор	Разрешение	Особенности	Крепление объектива	Угол обзора (Д × Г × В)	Фокусировка	Чувствительность к ИК
B0580	Глобальный затвор	AR0234	2,3 Мп	Комплект из 8 камер, синхронизированная стереосъёмка (бинокулярная)	M12	110° × 98° × 75°	Фиксированный фокус	ИК-фильтр 650 нм

Подключение оборудования

Настройте DIP-переключатель

Сначала переведите переключатели 1 и 2 в положение ON.

Подключите удлинительные кабели GMSL

Подключите один конец каждого из четырёх коаксиальных кабелей к каналам RXA/RXB/RXC/RXD платы-передатчика (TX) блока камер.

Коаксиальные кабели подключены к плате TX блока камер

Другой конец подключите к плате-адаптеру GMSL RX.

Коаксиальные кабели подключены к плате-адаптеру GMSL RX

Подключите NVIDIA AGX Orin

Подключите плату-адаптер GMSL RX к разъёму NVIDIA AGX Orin.

Плата-адаптер GMSL RX подключена к NVIDIA Jetson AGX Orin

Включите питание

Сначала подключите внешний блок питания 12 В, затем включите NVIDIA Jetson AGX Orin. Загорится индикатор соответствующего канала.

Индикаторы каналов после включения питания

Программное обеспечение

Установка драйвера камеры

cd ~ && wget https://github.com/ArduCAM/MIPI_Camera/releases/download/v0.0.3/install_full.sh
chmod +x install_full.sh
./install_full.sh -m arducam_gmsl # Reboot your system to take effect

Тестовое окружение

Версия L4T, на которой проверялась работа с NVIDIA Jetson: 36.4.3, JetPack 6.2

Версия L4T и JetPack на тестовом NVIDIA Jetson

Предпросмотр

Откройте qv4l2

# Channel A:
qv4l2 -R -d /dev/video0
# Channel B:
qv4l2 -R -d /dev/video1
# Channel C:
qv4l2 -R -d /dev/video2
# Channel D:
qv4l2 -R -d /dev/video3

Задайте разрешение

Выберите разрешение в окне программы и установите Streaming Method в Memory mapped I/O.

Выбор разрешения и режима передачи потока в qv4l2

Запустите поток

Разрешение и частота кадров

3840 × 1200 при 30 к/с

2560 × 720 при 30 к/с

1280 × 480 при 30 к/с

Быстрый старт: нативные камеры для NVIDIA Jetson

Инструкция подходит для следующих комплектов камер:

Артикул	Разъём (контакты / расположение)	Сенсор	Разрешение	Особенности	Крепление объектива	Угол обзора	Фокусировка	Чувствительность к ИК
B0472	15 / нижнее	IMX219	8 Мп	Комплект из 6 камер	Штатное	74° (Д)	Фиксированный фокус	ИК-фильтр 650 нм
B0473	15 / нижнее	IMX477	12 Мп	Комплект из 6 камер	M12	120° (Д)	Фиксированный фокус	ИК-фильтр 650 нм

Подключение оборудования

ПримечаниеВсе комплекты камер Arducam подключаются только к официальным комплектам NVIDIA Jetson AGX Orin через специальные платы-адаптеры Arducam и только в поддерживаемых системах. Все поддерживаемые версии и системы для NVIDIA Jetson AGX Orin смотрите в этом разделе.

Подключите плату-адаптер к NVIDIA Jetson AGX Orin

Подключите штыревой разъём платы-адаптера камер к гнездовому разъёму на плате AGX Orin.

Делайте это как можно аккуратнее. Схема подключения:

Подключение платы-адаптера камер к NVIDIA Jetson AGX Orin

ПримечаниеПлата камер NVIDIA Jetson AGX Orin поддерживает 6 интерфейсов MIPI CSI — к ней можно подключить до 6 камер (сейчас поддерживаются только 6 одинаковых камер; если нужны другие сочетания, напишите нам на quote@arducam-russia.ru). Каждый интерфейс MIPI CSI сейчас поддерживает только конфигурацию на 2 линии.

Подключите модуль камеры

Потяните вверх за край пластикового фиксатора разъёма камеры. Делайте это аккуратно, чтобы не вырвать его.

Демонстрация:

Подключение шлейфа камеры к плате-адаптеру

Шлейф вставлен в разъём CSI до упора.

Придерживая шлейф, нажмите на пластиковый фиксатор, пока он не встанет на место.

Схема подключения

Внимание!

ПримечаниеSENSOR_ID — номер выбранной камеры. Он не совпадает с маркировкой на плате камер: номера присваиваются по порядку, начиная от разъёма с маркировкой camera0. Например, если камеры подключены ко всем шести интерфейсам MIPI CSI, значения SENSOR_ID — 0, 1, 2, 3, 4, 5.

Например, если все шесть камер подключены к интерфейсам MIPI CSI, значения SENSOR_ID будут такими:

Номера SENSOR_ID при шести подключённых камерах

Если интерфейс MIPI CSI cam2 не используется:

Номера SENSOR_ID без камеры на интерфейсе cam2

Программное обеспечение

Поддерживаемые платформы и версии JetPack (L4T)

Поддерживаемые платформы и версии JetPack смотрите в руководстве:

Поддерживаемые платформы и версии JetPack для камер Arducam на NVIDIA Jetson

Модуль камеры IMX219

Установите драйвер камеры

cd ~
wget https://github.com/ArduCAM/MIPI_Camera/releases/download/v0.0.3/install_full.sh
chmod +x ./install_full.sh
./install_full.sh -m imx219

Перезагрузите устройство

sudo reboot

Проверьте разрешения и частоту кадров через V4L2

v4l2-ctl --list-formats-ext

Разрешения и частота кадров IMX219 в выводе V4L2

Запустите комплект камер

Подставьте в FRAMERATE, width и height нужную конфигурацию по данным о разрешениях и частоте кадров из вывода v4l2-ctl (не превышайте максимальную частоту кадров для выбранного разрешения).

SENSOR_ID=0
FRAMERATE=21
width=3280
height=2464
gst-launch-1.0 nvarguscamerasrc sensor-id=$SENSOR_ID ! "video/x-raw(memory:NVMM),width=$width,height=$height,framerate=$FRAMERATE/1" ! nvvidconv ! nveglglessink -e

Модуль камеры IMX477

Установите драйвер камеры

cd ~
wget https://github.com/ArduCAM/MIPI_Camera/releases/download/v0.0.3/install_full.sh
chmod +x ./install_full.sh
./install_full.sh -m imx477

Перезагрузите устройство

sudo reboot

Проверьте разрешения и частоту кадров через V4L2

v4l2-ctl --list-formats-ext

Разрешения и частота кадров IMX477 в выводе V4L2

Запустите комплект камер

SENSOR_ID=0
FRAMERATE=21
width=4032
height=3040
gst-launch-1.0 nvarguscamerasrc sensor-id=$SENSOR_ID ! "video/x-raw(memory:NVMM),width=$width,height=$height,framerate=$FRAMERATE/1" ! nvvidconv ! nveglglessink -e

В L4T 39.2.0 и новее для запуска комплекта камер используйте команду:

SENSOR_ID=0
FRAMERATE=21
width=4032
height=3040
gst-launch-1.0 nvarguscamerasrc sensor-id=$SENSOR_ID ! "video/x-raw(memory:NVMM),width=$width,height=$height,framerate=$FRAMERATE/1" ! nvvidconv ! "video/x-raw(memory:NVMM)" ! nv3dsink -e

Модуль камеры IMX519

Установите драйвер камеры

cd ~
wget https://github.com/ArduCAM/MIPI_Camera/releases/download/v0.0.3/install_full.sh
chmod +x ./install_full.sh
./install_full.sh -m imx519

Перезагрузите устройство

sudo reboot

Проверьте разрешения и частоту кадров через V4L2

v4l2-ctl --list-formats-ext

Разрешения и частота кадров IMX519 в выводе V4L2

Запустите комплект камер

SENSOR_ID=0
FRAMERATE=9
width=4656
height=3496
gst-launch-1.0 nvarguscamerasrc sensor-id=$SENSOR_ID ! "video/x-raw(memory:NVMM),width=$width,height=$height,framerate=$FRAMERATE/1" ! nvvidconv ! nveglglessink -e

В L4T 39.2.0 и новее для запуска комплекта камер используйте команду:

SENSOR_ID=0
FRAMERATE=21
width=4032
height=3040
gst-launch-1.0 nvarguscamerasrc sensor-id=$SENSOR_ID ! "video/x-raw(memory:NVMM),width=$width,height=$height,framerate=$FRAMERATE/1" ! nvvidconv ! "video/x-raw(memory:NVMM)" ! nv3dsink -e