树莓派与 Hailo 合作推出 AI 套件，售价 70 美元

2024年6月9日 树莓派实验室 未分类 0

树莓派宣布与 Hailo 公司合作开发，推出了一款售价 70 美元的扩展套件 AI Kit：它提供了一种便捷的方法，可将本地高性能、高能效推理集成到各种应用中，适用于树莓派 5。

根据介绍，树莓派 AI Kit 预装了最新发布的 Raspberry Pi M.2 HAT+ 和具有 13 TOPS 推理性能的 Hailo-8L M.2 AI 加速模块。

“安装在 Raspberry Pi 5 上的 AI Kit 可让你快速构建复杂的 AI 视觉应用程序，并以低延迟和低功耗要求实时运行。用于对象检测、语义和实例分割、姿势估计和面部标志（仅举几例）的最先进的神经网络完全在 Hailo-8L 协处理器上运行，让 Raspberry Pi 5 CPU 可以自由执行其他任务。”

购买链接：http://link.nxez.com/buy/rpi-ai-kit

树莓派 AI Kit 的主要功能包括：

  • 每秒 13 万亿次运算 (TOPS) 的推理性能
  • 以 8Gbps 运行的单通道 PCIe 3.0 连接
  • 与 Raspberry Pi 图像软件子系统完全集成
  • 与第一方或第三方相机的兼容性
  • 加速器硬件的高效调度：在单个摄像头上运行多个神经网络，或者同时在两个摄像头上运行单个 / 多个神经网络

此外，Hailo 创建了一个庞大的模型库，用户可以在其中找到各种预训练的神经网络模型，这些模型可随时部署和优化，以便在 AI Kit 上运行。

在软件方面，最新版本的 Raspberry Pi OS 会自动检测 Hailo 模块，因此操作系统和利用该模块的应用程序可以立即使用它。rpicam-apps 套件现在有一个后处理模板，用于在摄像头管道中集成实时运行的神经网络推理。

“通过使用预安装的 Hailo Tappas 后处理库，我们仅用几百行 C++ 代码就能创建基于 AI 的高级应用程序。类似级别的集成到我们的 Picamera2 框架中很快就会实现。”

除了可以在 rpicam-apps 或 Picamera2 中使用 Hailo-8L 协处理器外。Raspberry Pi AI Kit 中还打包了集成在 GStreamer 框架和本地 Python 或 C/C++ 应用程序中的 API。包括非摄像机用例，例如在预先录制的视频文件上运行推理。

安装

要使用人工智能套件，您需要 Raspberry Pi 5 （树莓派5）。
每个 AI 套件都预装了 AI 模块、带状电缆、GPIO 堆叠接头和安装硬件。完成以下操作即可安装 AI 套件：

首先，确保 Raspberry Pi 运行最新的软件。运行以下命令更新：

sudo apt update && sudo apt full-upgrade

接下来，确保你的 Raspberry Pi 固件是最新的。运行以下命令查看您正在运行的固件：

sudo rpi-eeprom-update

如果看到 2023 年 12 月 6 日或更晚的日期，请继续下一步。如果看到的日期早于 2023 年 12 月 6 日，运行以下命令打开 Raspberry Pi 配置 CLI：

sudo raspi-config

在 Advanced Options > Bootloader Version 下，选择 Latest。然后用 Finish 或 Escape 键退出 raspi-config。

运行以下命令将固件更新到最新版本：

sudo rpi-eeprom-update -a

然后，使用 sudo reboot 重新启动。

开始安装前，断开 Raspberry Pi 的电源。

为获得最佳性能，我们建议将 AI 套件与 Raspberry Pi Active Cooler 搭配使用。如果您有主动冷却器，请在安装 AI 套件之前安装。

使用提供的四颗螺丝安装垫片。将 GPIO 堆叠接头紧紧压在 Raspberry Pi GPIO 引脚上；只要所有引脚都能安装到位，方向并不重要。断开 AI 套件的带状电缆，将另一端插入 Raspberry Pi 的 PCIe 端口。从两侧提起带状电缆支架，然后将电缆的铜接触点朝内，朝向 USB 端口插入。将带状电缆完全均匀地插入 PCIe 端口后，从两侧向下推动电缆支架，将带状电缆牢牢固定到位。

将 AI 套件放在垫片上，用剩余的四颗螺丝将其固定到位。

将带状电缆插入 AI 套件的插槽。从两侧抬起带状电缆支架，然后将电缆插入，铜接触点朝上。将带状电缆完全均匀地插入端口后，从两侧向下推动电缆支架，将带状电缆固定到位。

恭喜，您已成功安装 AI 套件。连接 Raspberry Pi 至电源；Raspberry Pi OS 将自动检测 AI 套件。

注意：在从 M.2 插槽连接或断开设备之前，请务必断开 Raspberry Pi 的电源。

入门

本指南将帮助您使用 Raspberry Pi 5 安装 Raspberry Pi AI 套件。这将使您能够使用 Hailo AI 神经网络加速器运行 rpicam-apps 摄像头演示。

先决条件

本指南需要以下设备：

  • 树莓派 5
  • 一个 Raspberry Pi AI 工具包，其中包括
    • 一个 M.2 HAT+
    • 一个预装的 Hailo-8L AI 模块
  • 一个 64 位 树莓派操作系统 (Raspberry Pi OS Bookworm) 安装包
  • 任何 Raspberry Pi 官方摄像头（如摄像头模块 3 或 高质量摄像头）

硬件设置

  1. 将摄像头安装到 Raspberry Pi 5 板上。
  2. 按照 安装说明 将 AI 套件硬件连接到 Raspberry Pi 5。
  3. 启用 PCIe Gen 3.0 。这一步是可选的，但强烈建议使用 AI 套件达到最佳性能。
  4. 安装使用 AI 工具包所需的依赖项。在终端窗口运行以下命令
sudo apt install hailo-all

这会安装以下依赖项：

  • Hailo 内核设备驱动程序和固件
  • HailoRT 中间件软件
  • Hailo Tappas 核心后处理库
  • Hailo 后期处理软件的 rpicam-apps 演示阶段

最后，使用 sudo reboot 重启树莓派，使这些设置生效。为确保一切运行正常，请运行以下命令：

hailortcli fw-control identify

如果您看到类似下面的输出，说明您已经成功安装了 AI 工具包及其软件依赖项：

Executing on device: 0000:01:00.0
Identifying board
Control Protocol Version: 2
Firmware Version: 4.17.0 (release,app,extended context switch buffer)
Logger Version: 0
Board Name: Hailo-8
Device Architecture: HAILO8L
Serial Number: HLDDLBB234500054
Part Number: HM21LB1C2LAE
Product Name: HAILO-8L AI ACC M.2 B+M KEY MODULE EXT TMP

此外，您还可以运行 dmesg | grep -i hailo 检查内核日志，其输出结果应类似于下面的内容：

[    3.049657] hailo: Init module. driver version 4.17.0
[    3.051983] hailo 0000:01:00.0: Probing on: 1e60:2864...
[    3.051989] hailo 0000:01:00.0: Probing: Allocate memory for device extension, 11600
[    3.052006] hailo 0000:01:00.0: enabling device (0000 -> 0002)
[    3.052011] hailo 0000:01:00.0: Probing: Device enabled
[    3.052028] hailo 0000:01:00.0: Probing: mapped bar 0 - 000000000d8baaf1 16384
[    3.052034] hailo 0000:01:00.0: Probing: mapped bar 2 - 000000009eeaa33c 4096
[    3.052039] hailo 0000:01:00.0: Probing: mapped bar 4 - 00000000b9b3d17d 16384
[    3.052044] hailo 0000:01:00.0: Probing: Force setting max_desc_page_size to 4096 (recommended value is 16384)
[    3.052052] hailo 0000:01:00.0: Probing: Enabled 64 bit dma
[    3.052055] hailo 0000:01:00.0: Probing: Using userspace allocated vdma buffers
[    3.052059] hailo 0000:01:00.0: Disabling ASPM L0s
[    3.052070] hailo 0000:01:00.0: Successfully disabled ASPM L0s
[    3.221043] hailo 0000:01:00.0: Firmware was loaded successfully
[    3.231845] hailo 0000:01:00.0: Probing: Added board 1e60-2864, /dev/hailo0
  1. 要确保摄像机运行正常，请运行以下命令：
rpicam-hello -t 10s

这样就启动了摄像头，并显示十秒钟的预览窗口。确认一切安装正确后，就可以运行一些演示了。

演示

rpicam-apps 相机应用程序套件实现了一个 后期处理框架。本节包含几个演示后处理阶段，重点介绍人工智能套件的部分功能。

以下演示使用 rpicam-hello，它默认显示一个预览窗口。不过，您可以使用其他 rpicam-apps 代替，包括 rpicam-vid 和 rpicam-still 。您可能需要添加或修改一些命令行选项，以使演示命令与其他应用程序兼容。

首先，下载演示所需的后处理 JSON 文件。这些文件决定运行哪些后处理阶段，并配置每个阶段的行为。例如，您可以启用、禁用、加强或削弱对象检测演示中的时间过滤强度。或者在分割演示中启用或禁用输出掩码绘制。

要下载整个后处理 JSON 文件集，请克隆 rpicam-apps repo。运行以下命令，只克隆该 repo 中的最新提交，以节省空间：

git clone --depth 1 https://github.com/raspberrypi/rpicam-apps.git ~/rpicam-apps

后续章节中提供的命令将使用该版本库中的 JSON 文件。为了便于引用这些文件，此命令会在您的主文件夹中创建克隆的 rpicam-apps 目录。如果修改了该目录的位置，还必须修改下面的演示命令，以便引用 JSON 文件的新位置。

对象检测

此演示将显示神经网络检测到的物体周围的边界框。要禁用取景器，请使用 xref:../computers/camera_software.adoc#nopreview[-n] 标志。要返回纯文本输出，描述检测到的对象，请添加 -v 2 选项。运行以下命令在 Raspberry Pi 上尝试演示：

rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolov6_inference.json --lores-width 640 --lores-height 640

或者，您也可以尝试另一种在性能和效率上有不同权衡的模型。

要使用 Yolov8 模型运行演示，请运行以下命令：

rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolov8_inference.json --lores-width 640 --lores-height 640

要使用 YoloX 模型运行演示，请运行以下命令：

rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolox_inference.json --lores-width 640 --lores-height 640

要使用 Yolov5 人脸模型运行演示，请运行以下命令：

rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolov5_personface.json --lores-width 640 --lores-height 640

图像分割

此演示通过在取景器图像上绘制彩色遮罩来执行物体检测和物体分割。运行以下命令在 Raspberry Pi 上试用该演示：

rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolov5_segmentation.json --lores-width 640 --lores-height 640 --framerate 20

姿势估计

该演示执行 17 点人体姿态估计，并绘制连接检测点的线条。运行以下命令在 Raspberry Pi 上试用该演示：

rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolov8_pose.json --lores-width 640 --lores-height 640

Hailo 还创建了一套可以在 Raspberry Pi 5 上运行的演示程序，可在 hailo-ai/hailo-rpi5-examples GitHub 存储库 中查看。

你可以在 hailo-ai/hailo_model_zoo GitHub 仓库 中找到 Hailo 丰富的模型动物园，其中包含大量神经网络。

请访问 Hailo社区论坛和开发者专区，进一步了解有关Hailo硬件和工具的讨论。

AI Kit 文档转自 https://pidoc.cn/docs/accessories/ai-kit CC-BY-SA 4.0。

3,024


坐沙发

发表评论

你的邮件地址不会公开


*