Нужна синхронная двойная камера для Raspberry Pi 4 или стереокамера HAT для Pi 3B+/3? Arducam сделала это возможным

16 сентября 2019 · По материалам Arducam

Предисловие

У стандартных Raspberry Pi, например Pi 4, всего один разъём камеры CSI, а для 3D-задач нужны несколько камер. В 2019 году Arducam нашла способ одновременно подключить и синхронизировать две камеры — об этом и рассказывает статья.

Год спустя, в октябре 2020 года, Arducam обновила синхронную стереокамеру HAT и сделала её ещё универсальнее и мощнее. Описанные в статье продукты остаются, но старая плата HAT заменяется новой. Старая плата HAT снимается с производства. Об обновлённом решении читайте ниже.

Camarray — новое решение Arducam для нескольких камер на встраиваемых системах и периферийных устройствах

Опубликовано: 29 октября 2020 г.

Предисловие. Arducam, по её данным одна из первых компаний, начавших делать решения для нескольких камер на популярных встраиваемых системах, выпускает новое решение Camarray. Оно позволяет подключить и синхронизировать до 4 модулей камер MIPI на Raspberry Pi, Jetson Nano, Jetson Xavier NX и других платформах…

Обновление 2021 года: стереоскопическая камера Arducam V2 может использовать официальные алгоритмы настройки ISP Raspberry Pi — для стереозрения на Raspberry Pi это большой шаг вперёд.

Содержание

Две камеры на Pi 4, 3B+ и 3: что нужно знать о предыстории

Две камеры, подключённые к стереокамере HAT Arducam для Raspberry Pi

Говоря о новом решении с двумя камерами для Raspberry Pi, нельзя не вспомнить предысторию стереокамер для этой популярной открытой платформы. Опытные пользователи сообщества Raspberry Pi давно хотели снимать видео и фото одновременно с нескольких камер — для 3D-видео и 3D-фото, обнаружения лиц и объектов, стереозрения роботов, продвинутого видеонаблюдения и прямых трансляций. Им нужна была настоящая стереокамера для Raspberry Pi 3, 4 и других стандартных плат Pi. Решить задачу мешала аппаратная конструкция: у стандартных моделей Raspberry Pi всего один порт камеры. У Arducam есть платы-адаптеры для нескольких камер, которые позволяют подключить к одной плате Pi до 4 камер, но в каждый момент работает только одна из них, и между камерами приходится переключаться.

Другой вариант — синхронизация по сети, но тогда на каждую камеру нужна своя плата Raspberry Pi, а снимки всё равно делаются не строго одновременно, поэтому между кадрами с разных камер возникают смещения и артефакты.

Демонстрация — в видео на YouTube.

Новая стереоскопическая плата камеры — большой шаг вперёд для Arducam

Стереокамера HAT Arducam для Raspberry Pi

Arducam выпустила стереокамеру HAT для Raspberry Pi: к одной стандартной плате Pi подключаются две камеры Pi — 5 Мп OV5647 или 8 Мп IMX219, — которые снимают фото или видео одновременно. Главное — обе камеры полностью синхронизированы. Ключевая особенность платы HAT — собственная микросхема Arducam ArduChip: она расширяет возможности единственного порта камеры Pi, и Raspberry Pi «видит» две камеры как одну. Плата полностью совместима с командой raspistill для предпросмотра и командой raspivid для записи и обработки видео со штатным драйвером камер Raspberry Pi на 5 и 8 Мп.

Панорамные (3D) фото и видео на Raspberry Pi 4

Синхронная двойная камера для съёмки 3D-видео и фото

С новым оборудованием Pi 4 Arducam открывает ещё больше возможностей для камер на Raspberry Pi 4. Новая плата HAT поддерживает и другие камеры Arducam для Raspberry Pi, а также собственный драйвер Arducam для двух камер до 16 Мп. Pi 4 заметно мощнее, поэтому возможности не ограничиваются одновременной съёмкой двух кадров. Благодаря общему генератору тактовой частоты и широковещательной рассылке по I2C две камеры синхронизированы с точностью до наносекунд. Это отлично подходит для многих задач, например для 3D-зрения в IoT или съёмки панорамных фото и видео. С объективом «рыбий глаз» от Arducam и программой обработки изображений можно сшить панораму более высокого разрешения и точности.

Демонстрация — в видео на YouTube.

Особенности и характеристики

Поддержка всех серий плат Raspberry Pi, формат платы HAT
Два входа и один выход камеры MIPI
Поддержка камер MIPI с 1, 2 и 4 линиями, до 800 Мбит/с на линию
Поддержка команд raspistill (предпросмотр) и raspivid (обработка) для камер Pi на 5 и 8 Мп с объединением кадров в половинном разрешении
Поддержка камер Arducam для Raspberry Pi до 16 Мп с собственным драйвером Arducam и объединением кадров в полном разрешении
Объединение кадров камер бок о бок (разделение на правую и левую половины), программное переключение каналов 0 и 1 на лету
Цифровое панорамирование при объединении в половинном разрешении, программируемая скорость панорамирования
Для общего генератора тактовой частоты нужны дополнительные провода и навыки пайки — или используйте готовый комплект Arducam
Типичные применения: стереозрение, камеры 360° и продвинутые камеры видеонаблюдения
Поддержка других платформ — по запросу: напишите нам на quote@arducam-russia.ru

Карта глубины в реальном времени — типичное применение стереорешения

Зачем нужны две камеры? Если коротко, каждая камера получает немного разную информацию, а при полной синхронизации — в реальном времени. По этой разнице можно определять расстояния и строить карту глубины. По сути это бионическое решение: так работают наши глаза. Если вы пользовались приложением Google Камера, то, возможно, знаете функцию «Размытие» (Lens Blur): при съёмке нужно плавно поднять камеру — так тоже получается разница в изображениях. Функция вычисляет расстояние, чтобы определить, какой объект на переднем плане должен остаться резким, а что на заднем плане размыть, — и снимок выглядит как сделанный зеркальной камерой. Но это лишь простое повседневное применение: на Raspberry Pi 4 можно делать гораздо более интересные проекты — 3D-моделирование и камеры для AR/VR.

Возможности стереокамеры HAT проще всего показать на демонстрации. Arducam подготовила пример построения карты глубины с этой платой HAT и стереоскопической платой камеры. Если вас интересует эта задача, подробности — в материале ниже.

Карта глубины на стереокамере HAT Arducam с OpenCV

Опубликовано: 18 ноября 2019 г.

Введение. Стереокамера HAT Arducam позволяет использовать два синхронизированных модуля камер Pi на одной стандартной плате Raspberry Pi. Стереоскопическая схема открывает множество применений, которые раньше было трудно реализовать. В этом руководстве показан пример использования…

Карта глубины в реальном времени по видео

Информация о продукте

Помимо страницы документации платы HAT, подробнее о ней можно прочитать на странице товара ниже. Чтобы купить эту плату, напишите нам на quote@arducam-russia.ru.