Ещё несколько лет назад для локального запуска нейронных сетей требовался обычный компьютер с дискретной видеокартой. Сегодня распознавать объекты, анализировать видеопоток и обрабатывать звук способны устройства размером с небольшую одноплатную плату.
Микрокомпьютер с ИИ (например, KiwiPi 5 Pro с ИИ-усилителями) особенно полезен там, где данные необходимо обрабатывать локально. Устройство не отправляет каждое изображение или аудиозапись на удалённый сервер, а получает результат непосредственно на месте. Такой подход уменьшает задержку, снижает зависимость от интернета и помогает сохранить конфиденциальность данных.
KiwiPi 5 Pro как основа микрокомпьютера с ИИ
Одноплатный компьютер KiwiPi 5 Pro построен на базе Rockchip RK3588. Его встроенный NPU обеспечивает до 6 TOPS, поэтому базовые задачи компьютерного зрения можно запускать без дополнительного ускорителя. Восьмиядерный CPU при этом отвечает за Linux, прикладное программное обеспечение, сетевые службы и общую логику устройства.
Характеристики KiwiPi 5 Pro
| Характеристика | KiwiPi 5 Pro |
| Процессор | Rockchip RK3588 |
| CPU | 8 ядер: 4× Cortex-A76 + 4× Cortex-A55 |
| GPU | Arm Mali-G610 MP4 |
| Встроенный NPU | До 6 TOPS |
| Оперативная память | 4, 8, 16 или 32 ГБ LPDDR4X |
| Встроенное хранилище | eMMC 5.1, объём зависит от конфигурации |
| Расширение хранилища | microSD и M.2 2280 |
| Интерфейс M.2 | PCIe 3.0 x4 |
| Вывод изображения | HDMI 2.1 до 8K при 60 кадрах/с или 4K при 120 кадрах/с |
| Видеовход | HDMI 2.0 input/output |
| Сеть | 2× 2,5-гигабитных Ethernet |
| Беспроводная связь | Wi-Fi 6 и Bluetooth 5.4 |
| USB | 4× USB 3.0 Host и USB Type-C |
| Мобильная связь | Поддержка дополнительных модулей 4G/5G и Nano-SIM |
| Операционные системы | Linux и Android |
| Основные применения | Edge AI, компьютерное зрение, робототехника, видеонаблюдение, промышленные терминалы |
Для более требовательных проектов платформа предлагает PCIe 3.0 x4 и слот M.2 2280. Через него технически можно подключить ИИ-модуль DEEPX DX-M1, который обеспечивает до 25 TOPS INT8 и потребляет приблизительно от 1 до 5 Вт. Модуль поддерживает ARM-платформы, Linux и распространённые фреймворки, включая PyTorch, TensorFlow, ONNX и Ultralytics.
Сравнение ИИ-модулей DEEPX
| Характеристика | DEEPX DX-M1 | DEEPX DX-M1M |
| Производительность | 25 TOPS INT8 | 25 TOPS INT8 |
| Интерфейс | PCIe 3.0 x4 | PCIe 3.0 x2 |
| Форм-фактор | M.2 2280 M-Key | M.2 2242 M+B Key |
| Размеры | 22 × 80 мм | 22 × 42 мм |
| Собственная память | 4 ГБ LPDDR5, 5600 MT/s | 2 ГБ LPDDR4X, 4266 MT/s |
| Энергопотребление | От 1 до 5 Вт | Около 3 Вт |
| Рабочая температура | От −40 до +85 °C | От −40 до +85 °C |
| Поддерживаемые платформы | ARM и x86 | ARM и x86 |
| Операционные системы | Windows 10/11, Ubuntu, Debian, Yocto, Docker | Windows 10/11, Ubuntu, Debian, Yocto, Docker |
| Фреймворки | Ultralytics, PyTorch, TensorFlow, ONNX, Keras | Ultralytics, PyTorch, TensorFlow, ONNX, Keras |
| Основное преимущество | PCIe x4 и 4 ГБ собственной памяти | Компактный размер и низкое потребление |
| Наиболее подходящие задачи | Несколько видеопотоков и более требовательные модели | Компактные роботы, камеры и встраиваемые устройства |
Более подробное сравнение и применение ИИ-модулей DEEPX в отдельной статье.
Такая конфигурация интересна возможностью постепенного масштабирования. Разработку можно начать на встроенном NPU RK3588, а затем добавить внешний ускоритель, если производительности окажется недостаточно. Это практичнее, чем сразу собирать более крупный компьютер с дискретной видеокартой, особенно для роботов, автономных камер, промышленных терминалов и других устройств с ограниченным энергопотреблением.
Однако слот M.2 нельзя считать неограниченным ресурсом. DEEPX DX-M1 выполнен в формате M.2 2280 M-Key и использует PCIe – тот же слот может потребоваться для NVMe-накопителя. Поэтому способ хранения системы и данных нужно продумать заранее. Перед запуском проекта также следует проверить поддержку драйверов, SDK и конкретной модели нейронной сети в выбранной версии Linux.
Что называют микрокомпьютером с ИИ
Обычно под этим термином понимают одноплатный компьютер, компактный промышленный ПК или встраиваемую систему, способную выполнять инференс нейронных сетей. Инференс – это запуск уже обученной модели для получения результата: например, определения объекта в кадре или распознавания команды.
Обучать крупные модели на таком устройстве, как правило, нецелесообразно. Для этого нужны мощные GPU, большой объём памяти и значительно больше электроэнергии. Задача микрокомпьютера другая: принять данные с камеры, микрофона или датчика, обработать их готовой моделью и передать результат следующему компоненту системы.
В качестве аппаратной основы может использоваться процессор со встроенным NPU. Например, Rockchip RK3588 объединяет восьмиядерный CPU, графику Mali-G610 и нейросетевой ускоритель производительностью до 6 TOPS. Подробнее возможности этого процессора мы разбирали в нашем руководстве по Rockchip RK3588.
Встроенный NPU или отдельный ИИ-модуль?
Встроенный NPU удобен тем, что не требует дополнительной платы и потребляет сравнительно мало энергии. Для одной камеры, классификации изображений, распознавания лиц или небольшого проекта производительности такого ускорителя часто достаточно.
Проблема появляется, когда нагрузка растёт. Несколько видеопотоков, модели с высоким разрешением и одновременный запуск разных алгоритмов быстро исчерпывают доступную вычислительную мощность. Заменять весь одноплатный компьютер в такой ситуации не всегда удобно.
Внешний ИИ-ускоритель позволяет увеличить производительность, сохранив основную платформу. Обычно он подключается через PCIe и берёт на себя выполнение нейросетевых операций, пока центральный процессор продолжает работать с операционной системой, сетью, накопителями и периферией.
| Конфигурация | Производительность ИИ | Типичные задачи |
| RK3588 со встроенным NPU | До 6 TOPS | Одна или несколько лёгких моделей, распознавание объектов, прототипирование |
| DEEPX DX-M1 | До 25 TOPS INT8 | Более тяжёлые модели, несколько видеопотоков, промышленный edge AI |
| CPU без ускорителя | Зависит от процессора | Разработка, тестирование и простые модели без строгих требований к скорости |
Значение TOPS нельзя использовать как единственный показатель. Реальная скорость зависит от самой модели, точности вычислений, разрешения изображения, программного стека и качества оптимизации. Тем не менее отдельный ускоритель даёт заметно больший запас для дальнейшего развития проекта.
Где используются компактные ИИ-компьютеры
Самый очевидный сценарий – компьютерное зрение. Микрокомпьютер получает изображение с одной или нескольких камер и в реальном времени определяет людей, автомобили, товары, дефекты или другие объекты. Такая система может работать в магазине, на производственной линии, в роботе или внутри умной камеры.
Другие распространённые задачи включают распознавание речи, анализ звуков, автоматическую сортировку, контроль доступа и обработку показаний датчиков. В робототехнике устройство может одновременно анализировать изображение, определять положение объектов и передавать команды контроллеру движения.
Локальный ИИ также полезен в местах с нестабильным подключением к интернету. Если модель выполняется непосредственно на устройстве, система продолжает работать даже без доступа к облачному серверу. Кроме того, изображения с камер и другие потенциально чувствительные данные можно не передавать за пределы локальной сети.