ИИ-камера Arducam IMX500 для микроконтроллеров

Документация Arducam · перевод arducam-russia.ru

Режимы работы

ИИ-модуль камеры Arducam для микроконтроллеров (B0564) поддерживает интерфейсы SPI / USB и два режима работы:

Режим развёртывания (Deploy Mode)

Основные особенности:

• Изображение не выводится.
• Работает по SPI и по USB.
• Выдаёт только данные инференса ИИ.
• Подходит для развёртывания моделей.

Режим предпросмотра (Preview Mode)

Основные особенности:

• Только интерфейс USB.
• Выдаёт изображение.
• Предпросмотр видео с камеры в программе IMX500PreviewGUI.
• Подходит для монтажа, отладки и просмотра изображения.

Быстрый старт

Получение данных инференса ИИ по USB

Оборудование

• ИИ-модуль камеры Arducam для микроконтроллеров (артикул B0564)
• Кабель USB Type-C
• ПК с Windows

Установка зависимостей

cd arducam_imx500_mcu_serial_example
pip install -r requirements.txt

Запуск примера

python serial_deploy_mode_demo.py

После запуска программы выберите последовательный порт клавишами со стрелками и нажмите Enter.

Появятся рамки объектов, построенные по результатам инференса ИИ:

Получение данных инференса ИИ по SPI

Оборудование

1. Демонстрация ниже собрана на отладочной плате Arduino Uno R3.
2. Плата-адаптер для нескольких камер нужна, чтобы тестировать несколько модулей B0564 одновременно. Один модуль можно подключить к основной плате напрямую кабелем SPI.

1. ИИ-модуль камеры Arducam для микроконтроллеров (артикул B0564)
2. Плата Arduino Uno R3
3. Плата-адаптер Arducam SPI для нескольких камер для Arduino Uno R3
4. Кабель SPI на 6 контактов
5. Кабель USB Type-B
6. ПК с Windows

В этом примере Arduino Uno R3 принимает данные ИИ по SPI и передаёт их в последовательный порт USB.

Подключение оборудования

Подключите Arduino Uno R3 к ПК кабелем USB Type-B.

Arduino IDE

1. Установите Arduino IDE.
2. Откройте в Arduino IDE проект arducam_imx500_mcu_spi_arduino_uno_r3_example/main/main.ino.
3. Выберите нужную плату в Arduino IDE и загрузите прошивку.
4. Соедините устройства, как показано на схеме: подключите ИИ-камеру Arducam для микроконтроллеров (B0564) к плате Arduino.

Когда все устройства соединены, посмотрите результаты инференса на ПК так же, как в разделе «Получение данных инференса ИИ по USB».

Режим предпросмотра изображения

На задней стороне ИИ-модуля камеры Arducam IMX500 для микроконтроллеров есть кнопка Mode.

• Удерживайте кнопку Mode и одновременно подключите камеру к ПК кабелем USB Type-C.
• Загорится красный светодиод сбоку — камера перешла в режим предпросмотра.

В некоторых старых версиях Windows может понадобиться драйвер libusb. В этом случае скачайте программу zadig, запустите её и установите драйвер, как показано ниже:

Загрузка программы предпросмотра: скачайте IMX500PreviewGUI.exe на странице релизов проекта IMX500 SPI Examples.

После запуска программы:

1. Нажмите кнопку Open.
2. Нажмите кнопку Play, чтобы смотреть изображение с камеры в реальном времени.

Смена модели

1. Подключите камеру к ПК кабелем USB Type-C. Мигающий зелёный светодиод означает режим развёртывания.
2. В режиме развёртывания нажмите и удерживайте кнопку Mode дольше 2 с — на ПК появится USB-накопитель IMX500.
3. Скопируйте на этот накопитель файл модели .adm — модель будет заменена.

Файлы моделей .adm есть в проекте arducam_imx500_model_zoo.

Например, можно загрузить модель yolov8n_pos в формате .adm и сделать приложение для оценки позы человека.

Дополнительные материалы

Библиотека моделей ИИ Arducam

Исходный код библиотеки моделей Arducam AI Model Zoo опубликован на GitHub.

Сервис конвертации моделей ИИ Arducam (AI Model Converter).

Партнёрство с Sony: ИИ-камеры Arducam на IMX500