Модуль ToF-камеры глубины RGBD

Документация Arducam · перевод arducam-russia.ru

Обзор

Комплект Arducam RGBD ToF Camera Kit (он же Arducam T2 All-in-One Kit) — готовое решение для разработчиков, которым точное измерение глубины нужно сразу, без доработки. В комплекте RGB-сенсор 16 Мп и ToF-сенсор глубины VGA. На Raspberry Pi 5 комплект обеспечивает точность измерения глубины 1 % и частоту кадров до 55 к/с.

В робототехнике, AR/VR или промышленной автоматизации комплект сокращает путь от прототипа до серийного изделия.

Слева — комплект All-in-One, справа — только модуль камеры

Основные применения

Сценарии примененияГде применяется комплект:

Робототехника: обход препятствий, навигация SLAM и распознавание объектов.
Дополненная (AR) и виртуальная (VR) реальность: точное определение глубины окружения.
3D-сканирование: детальная реконструкция 3D-моделей.
Промышленная автоматизация: контроль качества, сортировка посылок и измерение объёма.
Умный дом: управление жестами и охранное наблюдение.
Медицинские устройства: неинвазивное измерение глубины для диагностики.

Характеристики

Сравнение: комплект и модуль

Параметр	Комплект All-in-One (B0548)	Модуль камеры (B0556)
Тип	Готовое решение (с Raspberry Pi 5 внутри)	Модуль для интеграции
Разрешение	16 Мп (RGB) + VGA (ToF)	16 Мп (RGB) + VGA (ToF)
Тип потока	RGB + карта глубины	RGB + карта глубины
Интерфейс	MIPI CSI-2	MIPI CSI-2
Назначение	быстрое прототипирование, готовое решение	интеграция в собственные изделия

Подключение оборудования

Что понадобится

Модуль камеры Arducam RGBD ToF (B0556) — 1 шт.
Провод Dupont на 2 контакта — 1 шт.
Шлейф FFC 22–22 контакта — 2 шт.
Платформа (Raspberry Pi 5 и др.).

Установка

Подключите модуль камеры RGBD ToF двумя шлейфами FFC 22–22 контакта.

Подключение шлейфов FFC к модулю камеры RGBD ToF

Подключите 2-контактный провод Dupont к модулю камеры RGBD ToF.

Подключение провода Dupont к модулю камеры

Подключите провода Dupont к соответствующим выводам строго один к одному, не перепутайте:

Красный провод — к выводу pin 4 (5 В), чёрный провод — к выводу pin 6 (GND).

Подключение проводов питания к выводам GPIO Raspberry Pi

Как показано ниже, подключите ToF Depth interface к порту cam1 Raspberry Pi, а RGB interface — к порту cam0.

Внимание: не разбирайтеРазбирать модуль камеры RGB Depth (B0556) категорически запрещено. Не выкручивайте винты, отмеченные на схеме ниже цифрами 1 и 2. Модуль откалиброван на заводе, самовольная разборка собьёт калибровку.

Винты 1 и 2 на модуле камеры, которые нельзя выкручивать

Подключение интерфейсов ToF и RGB к портам cam1 и cam0

Итоговая схема подключения

Программы

Запись образа

Скачайте образ

Готовый образ системы для камеры Arducam RGBD

Запишите образ

Вариант I

Скачайте программу Raspberry Pi Imager с официального сайта Raspberry Pi.

Порядок работы описан в документации Raspberry Pi, раздел Getting started — Raspberry Pi Imager.

Вариант II

Запишите образ по инструкции Raspberry Pi для прошивки eMMC модуля Compute Module (flash-compute-module-emmc).

Предустановленные демонстрации

1. Только ToF (глубина)

2. RGB-D (совмещение)

3. Расширенные приложения

Доступ к сырым данным глубины без наложения RGB.

1. Предпросмотр глубины (run-tof)

Предпросмотр карты глубины и интенсивности ИК-излучения.

Ближний режим (0,2–1,25 м): run-tof --mode 0
Дальний режим (0,2–4,5 м): run-tof --mode 1

Сверху вниз: достоверность (confidence), глубина, оттенки серого

2. Облако точек ToF (run-tof-pointcloud)

Визуализация сырого трёхмерного облака глубины (оттенки серого по интенсивности).

run-tof-pointcloud

Облако точек только по данным ToF

Совмещение цветных данных камеры 16 Мп с данными ToF-сенсора глубины.

3. Захват RGBD (run-rgbd)

Показывает цветной видеопоток, синхронизированный с картой глубины.

run-rgbd

Совмещённые изображения RGB и глубины

4. Облако точек RGBD (run-rgbd-pointcloud)

Строит цветное трёхмерное облако точек в реальном времени.

run-rgbd-pointcloud

Трёхмерное облако точек с наложением цвета RGB

5. Измерение объёма (run-rgbd-volume)

Вычисляет объём объектов в реальном времени по контурам глубины.

run-rgbd-volume

Mixed Window — сведения об объёме объекта.	Contours Window — выбранный объект.	Mask Window — белый: опорная плоскость; серый: объект.

6. Интеграция с ROS 2 (ros demo)

Запуск стандартного узла ROS 2 и средств визуализации.

Шаг 1. Запустите узел (на Raspberry Pi)

ros-setup
ros2 run arducam_rclcpp_rgbd_pointcloud rgbd_pointcloud

Шаг 2. Визуализация

Rviz2 на Raspberry Pi — Локальная визуализация в Rviz2

Rviz2 на ПК в локальной сети — Удалённая визуализация по локальной сети

Вариант А: локальная визуализация. Запустите прямо на Raspberry Pi (в новом терминале): ros-setup rviz2
Вариант Б: удалённая визуализация по локальной сети. Данные можно смотреть и на другом ПК в той же локальной сети (LAN): запустите на нём rviz2.

Сборка для разработчиков

Если вы собираетесь изменять исходный код или встраивать драйвер в свой проект на C++, соберите программы по инструкциям ниже.

1. Только ToF (глубина)

2. RGBD (совмещение)

По этим инструкциям собираются отдельные приложения для сенсора глубины.

1. Базовый пример

Скомпилируйте демонстрационный скрипт:

cd ~/tof-examples
bash ./compile.sh

Признак успешной сборкиЕсли компиляция прошла успешно, терминал выведет путь: == Run /home/pi/tof-examples/build/example/cpp/example

Запустите скомпилированную программу:

Примечание о запускеПо умолчанию демонстрация выводит изображение вверх ногами. Чтобы это исправить, добавьте при запуске аргумент --vflip.

/home/pi/tof-examples/build/example/cpp/example --vflip

2. Облако точек

Скомпилируйте демонстрацию облака точек:

cd ~/tof-examples
bash ./compile_pointcloud.sh

Признак успешной сборкиЕсли компиляция прошла успешно, терминал выведет путь: == Run /home/pi/tof-examples/build/open3d_preview/preview_pointcloud

Запустите скомпилированную программу:

/home/pi/tof-examples/build/open3d_preview/preview_pointcloud

По этим инструкциям собираются совмещённые приложения RGB + ToF.

ОграничениеИсходный код демонстраций example и volume_measurement пока не поддерживается для самостоятельной сборки.

1. Демонстрация захвата

Скомпилируйте исходный код:

cd ~/rgbd-examples/capture
cmake -Bbuild && cmake --build build -j4

Запустите приложение:

# Run C++ Version
/home/pi/rgbd-examples/capture/build/capture

# Run C Version
/home/pi/rgbd-examples/capture/build/capture_c

СоветЧтобы выйти из программы, нажмите q в окне предпросмотра.

2. Облако точек

Скомпилируйте исходный код:

cd ~/rgbd-examples/pointcloud
cmake -Bbuild && cmake --build build -j4

Запустите приложение:

/home/pi/rgbd-examples/pointcloud/build/pointcloud

СоветЧтобы принудительно остановить программу, нажмите Ctrl + C в терминале.

Видеодемонстрации

Возможности ToF-камеры Arducam RGBD показаны в демонстрациях ниже.

Обзор продукта. Возможности и аппаратная конструкция комплекта Arducam T2 All-in-One Kit.
Облако точек. Визуализация облака точек в реальном времени, показывающая точность измерения глубины.
Интеграция с ROS 2. Работа с ROS 2 в робототехнических приложениях.
Измерение объёма. Расчёт объёма физических объектов в реальном времени по данным глубины.