Машинное обучение на Raspberry Pi Pico и других платах на RP2040
Всё, что нужно знать о запуске нейросетей на Raspberry Pi Pico (Cortex-M0+) и других платах на RP2040.
Отладочные платы на RP2040
Машинное обучение на Raspberry Pi Pico начинается с выбора платы на RP2040 и периферии к ней: правильно подобранное оборудование иногда избавляет от многих проблем. Если вы не знаете, с какой платы начать и чего хотите добиться, Arducam рекомендует Arducam Pico4ML.
Raspberry Pi Pico
Официальная плата на RP2040 от Raspberry Pi Foundation.
Arducam Pico4ML
Плата на RP2040 со встроенным экраном, камерой и микрофоном.
Arducam Pico4ML-BLE
Версия с Bluetooth и множеством новых функций.
Adafruit ItsyBitsy RP2040
Arduino Nano RP2040 Connect
Tiny 2040
Thing Plus RP2040
Как загрузить обученную модель на Raspberry Pi Pico
Эти модели предобучены на больших открытых наборах данных: с ними можно быстро получить результат с хорошей точностью на любой плате на RP2040. Выберите модель, скомпилируйте её в файл .uf2, подключите периферию, скопируйте файл на плату Pico — и всё готово. Любую из моделей можно дообучить под свои задачи.
Обнаружение человека
Модель определяет, есть ли на снимке или в видеопотоке человек.
Пошаговая инструкция в руководстве по Pico4ML
«Волшебная палочка»: распознавание жестов
Модель можно обучить распознавать любые жесты.
Пошаговая инструкция в руководстве по Pico4ML
Распознавание речи
Модель micro_speech можно обучить распознавать любые ключевые слова (yes, no и т. д.) в речи, записанной микрофоном.
Пошаговая инструкция в руководстве по Pico4ML
Готовые примеры TensorFlow Lite Micro для Raspberry Pi Pico
Обнаружение человека
Демонстрация — в видео на YouTube.
«Волшебная палочка»
Демонстрация — в видео на YouTube.
Распознавание ключевого слова
Демонстрация — в видео на YouTube.
Как обучить свою модель TFLite Micro для Raspberry Pi Pico
Модель можно обучить локально на компьютере либо на онлайн-платформах: Edge Impulse, Google Colab, AWS SageMaker, Azure IoT Edge и др. Выполните шаги, описанные ниже, и вы получите собственную модель машинного обучения, которая работает на всех платах на RP2040.
Подготовка данных
Подготовьте исходные данные для модели: соберите свои или возьмите из бесплатных открытых баз данных для машинного обучения.
Выбор модели
Подберите модель, подходящую для ваших обучающих данных.
Обучение модели
Обучите модель на наборах данных, чтобы её предсказания стали точнее.
Оценка и настройка
Последний этап перед развёртыванием: проверьте обученную модель на других, не использованных при обучении наборах данных и доработайте её, чтобы улучшить качество инференса.
Руководство Arducam по обучению модели в Edge Impulse
Книги, курсы и сертификаты по TinyML
Книга «TinyML: машинное обучение с TensorFlow Lite на Arduino и микроконтроллерах со сверхнизким энергопотреблением»
Книга «Практическое глубокое обучение для облака, мобильных и периферийных устройств: реальные проекты ИИ и компьютерного зрения на Python, Keras и TensorFlow»
Книга «Встраиваемое глубокое обучение»
Курс «Основы TinyML»
Профессиональный сертификат по TinyML
Официальное руководство по TensorFlow Lite
Курс «Модели для устройств на TensorFlow Lite»
Модули камер для Pico и плат на RP2040
Есть у вас официальная плата Pico или сторонняя — проблема одна и та же: некоторым моделям машинного обучения, например обнаружению человека, нужен внешний модуль камеры. Серия камер Arducam для Pico создана именно для этих плат.
Arducam HM01B0 — QVGA
Arducam HM0360 — VGA
Arducam Mini — 2 Мп
Arducam OV5642 — 5 Мп
Проекты машинного обучения на Raspberry Pi Pico и платах на RP2040
Машинное обучение на Raspberry Pi Pico с TensorFlow Lite Micro и Arducam (на примере обнаружения человека)
Распознавание цифр на наборе MNIST с Raspberry Pi Pico и TensorFlow Lite для микроконтроллеров
Распознавание движений на Raspberry Pi Pico
Модель BERT (двунаправленные представления кодировщика на основе трансформеров) на платах на RP2040
Проекты машинного обучения на Arduino
Робот с нейросетью на Arduino (от начала до конца)
«Волшебная палочка» на Arduino Nano 33 BLE Sense с TensorFlow Lite
Оценка состояния растения с помощью TinyML
Распознавание ключевых слов на TinyML для управления RGB-подсветкой
Датчик воды на TinyML — на базе Edge Impulse и Arduino Sense
Бесконтактные решения на TinyML, Arduino и IoT
Подсчёт времени чтения с TinyML и Arduino Nano 33 BLE
Распознавание кашля с TinyML на Arduino
