МИР

logo_ru
Embedded – 25+ лет

Исполнение ML

на микроконтроллерах

Group 5
hype-cycle-for-artificial-intelligence-2022_ small
Group 45

Подготовка исполнения обученных
нейросетей на микроконтроллерах

C ограничениями по:
  • Памяти
  • Вычислительной мощности
  • Взаимодействию с пользователем
  • Источнику электроэнергии (батарея)
  • Цене
При этом:
  • Предсказуемое время работы
  • Возможно применение гетерогенных вычислительных архитектур
  • Тонкая оптимизация архитектуры нейросетей на требуемую модель микроконтроллера
  • Оптимизация и адаптация Open Source SDK’s под требуемую модель микроконтроллера

Решение задачи обучения и до-обучения нейросетей
на микроконтроллерах

Делаем:
  • Выбор архитектуры нейросети
  • Тонкая оптимизация и адаптация под требуемую модель микроконтроллера
При этом:
  • Не требуется собирать и размечать датасет для тренировки
  • Есть архитектуры нейросетей для которых не нужна предобработка:

Консультации по всему кругу вопросов в Edge AI:

ML Compiler

SDK

ML CI

Оптимизация NN

NNA, TPU и т.д.

Технологии

ML compliers
TFL+TFLµ
TVM+µTVM
SDK для инференс
Практически все доступные инструменты для упрощения и ускорения дизайна конечных решений
Оптимизация нейросетей
Для готовых (обученных) NN’s
  • Квантизация
  • Прореживание, с контролем точности и времени исполнения
Уровень компилятора, учет специфики «железа»
  • Распределение памяти
  • Планировщик исполнения операций
  • Разработка интринсиков
Рантайм
  • Адаптация рантайм библиотеки
  • Настройка планировщика исполнения операций
  • Механизм профилировки (например, TVM Auto Scheduler)
  • Низкоуровневая оптимизация бинарного кода (asm-level)
Гетерогенные архитектуры микроконтроллеров с NNA
Обучение нейросетей на микроконтроллере
Цель – сделать устройства «умнее» и эффективнее, наблюдая за изменениями в текущем потоке собираемых данных и самостоятельно корректируя или переконфигурируя «операционную» модель устройства. При необходимости, «знания» полученные устройством, передаются другим развернутым в Edge устройствам.
Требования и ограничения:
  • Лимитированная память для обучения
  • Лимитированная память для буферизации данных
  • Фиксированное время обучения нейросети
  • Данные не могут сохранятся за произвольное время
  • Максимально ограниченное взаимодействие с пользователем (оператором)
  • Время обучения должно быть существенно меньше времени сбора данных
  • Как правило, время обучения меньше секунды

ООО «МИР»
194044, Санкт-Петербург, ул. Гельсингфорсская, д.4. ИНН 780465937

ООО «Мастерская инструментов разработки»
195220, г. Санкт-Петербург, пр-кт Гражданский, д.22, лит А, офис 10Н-404. ИНН 7804672333

+7 (812) 660-67-01, hi@mir.dev
Copyright © 1991 - 2023 МИР
Системное и инструментальное ПО, embedded