CASE STUDY · EMBEDDED LINUX · VISION & AUDIO

Intelligente Kamerasensorik und Mehrkanal-Audio auf einer kundenspezifischen Embedded-Plattform für das Gesundheitswesen

End-to-End-Bring-up einer Sony-IMX462-ISP-Kamerapipeline mit automatischer Tag-/Nacht-Umschaltung sowie eines 4-Mikrofon-PipeWire- und Sound-Open-Firmware-Audiosubsystems auf NXP i.MX8MP.

Kunde VanBreda
Partner Norik Systems
Kundenspezifische Hardware und Kamera von VanBreda während des Bring-ups

Kundenspezifische Hardware und Kamera von VanBreda während des Bring-ups. Foto bereitgestellt von Norik.

Kunde

VanBreda, ein niederländisches Unternehmen, das intelligente Healthcare-Lösungen für die Altenpflege, Behindertenhilfe und psychiatrische Versorgung entwickelt. Die Produkte unterstützen den Gesundheitssektor dabei, eine menschliche, hochwertige und sichere Pflege zu gewährleisten.

Problem

VanBreda verfügte über ein kundenspezifisches Baseboard auf Basis des i.MX8MP mit einem Sony-IMX462-Bildsensor und einem Multi-Mikrofon-Audiosubsystem (4 PDM-Mikrofone und ein TAS2563-Mono-Lautsprecher). Die Kamera erforderte einen vollständigen Treiber- und ISP-Integrationspfad, um eine nutzbare Videoausgabe bereitzustellen. Das Audiosubsystem litt unter Instabilitäten und Referenztakt-Konflikten bei gleichzeitiger Aufnahme und Wiedergabe. Zudem wollte der Kunde die DSP-Fähigkeiten des i.MX8MP über Sound Open Firmware als Grundlage für zukünftige Geräuschunterdrückungs-Workloads evaluieren.

Lösung

Die Ingenieure von Norik übernahmen das End-to-End-Bring-up beider Subsysteme und integrierten alle Arbeiten in einen reproduzierbaren Yocto-Layer (meta-vanbreda).

Für die Kamerapipeline wurde der Sony IMX462 über den Kernel-Treiber imx290 mit erweiterter Modusunterstützung aktiviert. Die MIPI-CSI-2-Timing-Parameter wurden iterativ auf der kundenspezifischen Hardware abgestimmt, um Bildartefakte durch fehlende Zeilen zu beseitigen. Sowohl die NXP-ISI- als auch die ISP-(vvcam-)Pipeline wurden in Betrieb genommen und unterstützen 10-Bit- und 12-Bit-RAW-Bayer-Ausgabe bei Auflösungen von 1920×1080 und 1280×720 mit bis zu 60 FPS. Für jeden Modus wurden ISP-Konfigurationsdateien und Farbkorrekturparameter sowie Setup-Skripte für RTSP- und UDP-Streaming entwickelt. Zudem entstand ein Algorithmus zur Kameramodus-Auswahl, der mithilfe von YUV-Statistiken, ISP-Gain, Belichtung und Blaukanal-Verhältnis anhand des IR-Filter-Status automatisch zwischen Farb- und Nachtsichtmodus umschaltet.

Für das Audiosubsystem wurden der TAS2563-Lautsprecher und die vier PDM-Mikrofone stabilisiert, indem ein Codec-Erratum behoben und der Treiber auf die Codebasis tas2781 aktualisiert wurde. Die gleichzeitige Aufnahme und Wiedergabe wurde über einen gemeinsamen Referenztaktpfad validiert. PipeWire wurde als System-Audio-Layer integriert und VoIP mit pjsua sowie Linphone validiert. Darüber hinaus wurde eine grundlegende DSP-Audio-Unterstützung über Sound Open Firmware erarbeitet, einschließlich einer kundenspezifischen Topologie für 4-Kanal-PDM-Aufnahme und TAS2563-Wiedergabe.

Eingesetzte Technologien

Sony IMX462 NXP i.MX8MP Linux-Treiber imx290 NXP ISI-Pipeline NXP ISP (vvcam) MIPI CSI-2 TAS2563/TAS2781 PDM-Mikrofone SAI/I2S Sound Open Firmware (SOF) PipeWire pjsua GStreamer RTSP Yocto Project

Nehmen Sie kundenspezifische Kamera- oder Audio-Hardware auf i.MX8MP in Betrieb?

Ob ISP-Tuning, Multi-Mikrofon-Integration mit PipeWire und Sound Open Firmware oder ein produktionsreifer Yocto-Layer – wir unterstützen Sie gerne.

Ähnliches Projekt besprechen