Arducam Pivariety — камеры для Raspberry Pi с настроенным ISP

8 мая 2021 · По материалам Arducam

От камер Raspberry Pi V1, V2 и HQ к Arducam Pivariety

Arducam разрабатывает модули камер MIPI со времён первой камеры Raspberry Pi V1. Благодаря множеству сенсоров встраиваемое машинное зрение на Raspberry Pi стало гибче, чем когда-либо: серия Camarray позволяет получить стереозрение даже на стандартных моделях Pi с одним разъёмом CSI, а альтернативные камеры Arducam на IMX477 дают то, чего не хватает официальной камере Raspberry Pi HQ.

Но у штатных камер есть одно-единственное преимущество перед сторонними модулями — аппаратное управление процессором обработки изображения (ISP). Только камеры V1, V2 и HQ, а также камеры Arducam на OV5647, IMX219 и IMX477 могли работать со встроенным ISP Broadcom, а полная закрытость всего стека делала задачу ещё сложнее. Arducam попыталась решить проблему камерами OBISP с отдельной микросхемой ISP и смогла добавить алгоритмы 3A (автоэкспозиция, баланс белого, фокус) неподдерживаемым сенсорам как раз тогда, когда на рынок вышли камера HQ и объективы к ней.

Pivariety: возможности официальной камеры Raspberry Pi — для большего числа сенсоров и с лучшими характеристиками

Pivariety — второе поколение MIPI-камер Arducam для Raspberry Pi. По данным Arducam, с ним проблема настройки ISP для сторонних сенсоров решена окончательно.

Иначе говоря, не нужно ждать, когда выйдут камеры Raspberry Pi V3, V4 и следующие: Arducam Pivariety даёт эти возможности уже сейчас.

Один драйвер V4L2 для всех камер Pivariety

В Linux каждой камере нужен собственный драйвер — файл ko, в котором описаны все её специфические параметры и элементы управления, у каждой камеры свои. Кроме драйвера, нужно ещё отредактировать /boot/config.txt и добавить настройки оверлея device tree для камеры. Всё это приходится повторять при каждой смене камеры. Это раздражает, а при возникновении проблем ещё и усложняет поиск неисправностей.

Решение Pivariety создано, чтобы избавиться от этих проблем: один драйвер для всех камер Pivariety, устанавливается один раз.

Arducam Pivariety построена на фреймворке драйверов ядра Video4Linux, он же V4L2. Камера видна как обычный видеоузел и работает с распространёнными программами — GStreamer, OpenCV и другими. Arducam поставляет готовый скомпилированный драйвер ядра; можно также собрать драйвер из исходного кода самостоятельно под свою версию ядра.

5 направлений камер Pivariety — и это не всё

С производительностью штатных камер и настройкой ISP для более чем 10 сенсоров Arducam на данный момент подготовила три типа камер Pivariety: серию высокого разрешения, серию с глобальным затвором и серию для слабого освещения.

1. Модули камер высокого разрешения: до 21 Мп и выше

Сейчас в линейке есть Arducam 16MP IMX298 и 21MP IMX230 — обе с более высокими характеристиками, чем камера Raspberry Pi HQ. Дело не только в более чётких фото и видео: модули камер с большим числом пикселей хорошо подходят для следующих задач:

• Упростить аппаратную часть системы и снизить её общую стоимость — например, одна камера 21 Мп вместо четырёх камер по 5 Мп.
• Фиксировать больше деталей, чтобы ускорить работу и повысить точность результатов в требовательных системах промышленного контроля.
• Находить даже мельчайшие дефекты на линиях производства продуктов питания и напитков.
• Создавать IoT-приложения — например, системы автоматического контроля полок в супермаркетах для учёта товаров и прогноза продаж.
• Создавать приложения компьютерного зрения, где нужна точная передача сцены, — например, обнаружение столкновений и распознавание дорожных знаков.
• Проектировать системы с выводом изображения на дисплей, где важно высокое качество картинки: камеры заднего вида, системы кругового обзора, электронные зеркала.
• Строить системы контроля въезда на парковки, в здания, к пунктам оплаты и на охраняемые проходные, где нужен вывод выделенной области интереса (ROI).

Модели Arducam:

• Модуль камеры Arducam Pivariety 21MP IMX230, цветной, для Raspberry Pi 5, 4B, 3B+, 3A+, CM3/CM4 и плат Jetson
• Модуль камеры Arducam Pivariety 16MP IMX298, цветной, для Raspberry Pi 4B, 3B+, 3A+, CM3/CM4 и Jetson Nano/Xavier NX (снят с производства)

Arducam также сравнила камеры Pivariety и официальные камеры на видео (опубликовано на YouTube).

Необработанные снимки с камер Pivariety и официальных камер Raspberry Pi

2. Модули камер с глобальным затвором для скоростного машинного зрения

Сообщество Raspberry Pi давно ждёт официально поддерживаемых камер с глобальным затвором, и Pivariety берёт эту работу на себя: Arducam переносит на Raspberry Pi хорошо настроенные сенсоры с глобальным затвором, в том числе OV7251, OV9281, OV2311, OG02B10 и AR0234.

Преимущества камер Pivariety с глобальным затвором:

• Высокая частота кадров при сверхнизкой задержке.
• Съёмка быстро движущихся объектов без смаза, искажений и эффекта «желе».
• Подходят для широкого круга скоростных систем съёмки в контроле качества и автоматизации производства.
• Низкий суммарный шум на выходе — качественные исходные данные для приложений машинного обучения.
• Низкое энергопотребление в работе и в режиме ожидания — это решает типичную проблему камер, где тепло отводится в основном конвекцией.
• Подходят для разных систем машинного зрения, повышающих производительность и пропускную способность в логистике, сортировке, розничных POS-терминалах и многих других отраслях.
• Легко встраиваются в конечные изделия: автономные мобильные роботы (AMR), автоматические тележки (AGV) и дроны, видеодомофоны, гарнитуры AR/VR/MR, сканеры штрихкодов и т. д.

3. Модули камер для слабого освещения с высокой чувствительностью

Что дают камеры Pivariety для слабого освещения и почему Arducam считает это важным:

• Высокая чувствительность (до 0,01 лк) при крайне слабом освещении, на улице ночью при минимуме окружающего света. Хорошо подходят для камер видеонаблюдения и систем охраны дома, где дополнительная подсветка недопустима.
• Качественное видео в плохо освещённых сценах заметно повышает точность в приложениях интеллектуальной видеоаналитики.
• Сенсоры Sony с обратной засветкой — один из лучших вариантов для круглосуточных систем видеонаблюдения.
• Все камеры Arducam для слабого освещения оптимизированы для ближнего ИК-диапазона (NIR). Они рассчитаны на сложные условия освещения и хорошо подходят для круглосуточного мониторинга дорожного движения в сельской местности, спектроскопического контроля в сельском хозяйстве и на производстве и т. д.

Arducam также готовит камеры с поддержкой настройки ISP на сенсорах Sony STARVIS — IMX290, IMX327, IMX462.

• Камера Arducam Pivariety для сверхслабого освещения 2MP IMX462 STARVIS, 1080P, широкоугольная, для Raspberry Pi (снята с производства)

4. Стереокамера V2

Стереокамеры и серия Camarray тоже войдут в семейство Pivariety. По данным Arducam, стереокамера V2 со штатной настройкой ISP и изменяемой базой установит очередной рекорд для Raspberry Pi.

5. Серия камер с автофокусом

Arducam первой предложила камеры с автофокусом для Raspberry Pi и даже добавила поддержку автофокуса официальным камерам Pi. В проекте Pivariety Arducam тоже объединит настройку ISP Raspberry Pi со своими камерами с автофокусом.