Комплект ToF-камеры глубины RGBD

Документация Arducam · перевод arducam-russia.ru

Обзор

Комплект Arducam RGBD ToF Camera Kit (он же Arducam T2 All-in-One Kit) — готовое решение для разработчиков, которым точное измерение глубины нужно сразу, без доработки. В комплекте RGB-сенсор 16 Мп и ToF-сенсор глубины VGA. На Raspberry Pi 5 комплект обеспечивает точность измерения глубины 1 % и частоту кадров до 55 к/с.

В робототехнике, AR/VR или промышленной автоматизации комплект сокращает путь от прототипа до серийного изделия.

Основные применения

• Робототехника: обход препятствий, навигация SLAM и распознавание объектов.
• Дополненная (AR) и виртуальная (VR) реальность: точное определение глубины окружения.
• 3D-сканирование: детальная реконструкция 3D-моделей.
• Промышленная автоматизация: контроль качества, сортировка посылок и измерение объёма.
• Умный дом: управление жестами и охранное наблюдение.
• Медицинские устройства: неинвазивное измерение глубины для диагностики.

Характеристики

Сравнение: комплект и модуль

Подключение оборудования

Питание

Меры предосторожности

1. Механические повреждения: при разборке легко порвать внутренние шлейфы и повредить разъёмы.
2. Потеря калибровки: вскрытие корпуса делает недействительными параметры оптической калибровки и калибровки глубины. Точность измерения глубины будет безвозвратно потеряна, и устройство станет непригодным к работе.

Программы (предустановленные)

В комплекте Arducam RGBD заранее настроены системные псевдонимы команд (aliases). Их можно запускать из любого каталога в терминале — они открывают 6 основных демонстраций.

• Имя пользователя: pi
• Пароль: raspberrypi или q
• Справка: введите run-help, чтобы вывести все доступные параметры и команды.

Предустановленные демонстрации

1. Только ToF (глубина)

2. RGB-D (совмещение)

3. Расширенные приложения

Доступ к сырым данным глубины без наложения RGB.

1. Предпросмотр глубины (run-tof)

Предпросмотр карты глубины и интенсивности ИК-излучения.

• Ближний режим (0,2–1,25 м): run-tof --mode 0
• Дальний режим (0,2–4,5 м): run-tof --mode 1

Сверху вниз: достоверность (confidence), глубина, оттенки серого

2. Облако точек ToF (run-tof-pointcloud)

Визуализация сырого трёхмерного облака глубины (оттенки серого по интенсивности).

run-tof-pointcloud

Облако точек только по данным ToF

Совмещение цветных данных камеры 16 Мп с данными ToF-сенсора глубины.

3. Захват RGBD (run-rgbd)

Показывает цветной видеопоток, синхронизированный с картой глубины.

run-rgbd

Захват кадров RGB и глубины в синхронном и асинхронном режимах.

run-rgbd-capture #Sync capture mode
run-rgbd-nosync #Async capture mode

Синхронный и асинхронный режимы

4. Облако точек RGBD (run-rgbd-pointcloud)

Строит цветное трёхмерное облако точек в реальном времени.

run-rgbd-pointcloud

Трёхмерное облако точек с наложением цвета RGB

5. Измерение объёма (run-rgbd-volume)

Вычисляет объём объектов в реальном времени по контурам глубины.

run-rgbd-volume

6. Интеграция с ROS 2 (ros demo)

Запуск стандартного узла ROS 2 и средств визуализации.

Шаг 1. Запустите узел (на Raspberry Pi)

ros-setup
ros2 run arducam_rclcpp_rgbd_pointcloud rgbd_pointcloud

Шаг 2. Визуализация

• Вариант А: локальная визуализация. Запустите прямо на Raspberry Pi (в новом терминале): ros-setup rviz2
• Вариант Б: удалённая визуализация по локальной сети. Данные можно смотреть и на другом ПК в той же локальной сети (LAN): запустите на нём rviz2.

Сборка для разработчиков

Если вы собираетесь изменять исходный код или встраивать драйвер в свой проект на C++, соберите программы по инструкциям ниже.

1. Только ToF (глубина)

2. RGBD (совмещение)

По этим инструкциям собираются отдельные приложения для сенсора глубины.

1. Базовый пример

Скомпилируйте демонстрационный скрипт:

cd ~/tof-examples
bash ./compile.sh

Запустите скомпилированную программу:

/home/pi/tof-examples/build/example/cpp/example --vflip

2. Облако точек

Скомпилируйте демонстрацию облака точек:

cd ~/tof-examples
bash ./compile_pointcloud.sh

Запустите скомпилированную программу:

/home/pi/tof-examples/build/open3d_preview/preview_pointcloud

По этим инструкциям собираются совмещённые приложения RGB + ToF.

1. Демонстрация захвата

Скомпилируйте исходный код:

cd ~/rgbd-examples/capture
cmake -Bbuild && cmake --build build -j4

Запустите приложение:

# Run C++ Version(sync)
/home/pi/rgbd-examples/capture/build/capture

# Run C Version(sync)
/home/pi/rgbd-examples/capture/build/capture_c

# Run C++ Version(async)
/home/pi/rgbd-examples/capture/build/nosync_capture

# Run C Version(async)
/home/pi/rgbd-examples/capture/build/nosync_capture_c

2. Облако точек

Скомпилируйте исходный код:

cd ~/rgbd-examples/pointcloud
cmake -Bbuild && cmake --build build -j4

Запустите приложение:

/home/pi/rgbd-examples/pointcloud/build/pointcloud

Видеодемонстрации

Возможности ToF-камеры Arducam RGBD показаны в демонстрациях ниже.

• Обзор продукта. Возможности и аппаратная конструкция комплекта Arducam T2 All-in-One Kit.
• Облако точек. Визуализация облака точек в реальном времени, показывающая точность измерения глубины.
• Интеграция с ROS 2. Работа с ROS 2 в робототехнических приложениях.
• Измерение объёма. Расчёт объёма физических объектов в реальном времени по данным глубины.