Suche


Praktikum "Smart Cameras" (PSmartCam)

Motivation & Ziele

Die fortschreitende Miniaturisierung im Bereich der Rechentechnik ermöglichte es, eingebettete Systeme für die Bildverarbeitung umzusetzen. Besonders interessant und herausfordernd ist dabei die Entwicklung von sogenannten "Smarten Kameras". Ziel ist es dabei, möglichst effizient Bildverarbeitungsoperationen bereits in die Kamera zu integrieren. Statt der Bildrohdaten werden dann z.B. Steuerungsinformationen geliefert, die ansonsten auf einem nachgeschalteten PC errechnet werden müssten. So können mit geringer Latenz und deutlich reduziertem Energieaufwand vielfältige Aufgaben übernommen.

Das eröffnet ein ganzes Feld von neuen Einsatzmöglichkeiten, wie im Industriebereich zur Prozesskontrolle oder im Automotivebereich zur Fahrbahnerkennung. Als Anwendungsbeispiel in diesem Praktikum sollen Objekte aus der Luft mit einer eigens entwickelten Smarten Camera detektiert werden, die von einem Quadrocopter getragen wird.

Ziel des Praktikums ist das Erlernen von Architektur, Entwicklung, Funktionsweise und Betrieb von smarten Kameras. Besonderes Augenmerk liegt auf der Architektur innerhalb der Kamera. Umgesetzt werden soll eine komplette Bildverarbeitungs-Pipeline mittels einer heterogenen, parallelen Prozessorarchitektur (FPGA, ARM). Zur praktischen Erprobung wird das kompakte Smart Camera System an einem Quadrocopter fixiert, um Objekte aus der Luft detektieren zu können. Ziel ist sowohl die praktische Umsetzung, wie auch die Einbringung aktueller Ergebnisse aus der Forschung.

Verwendete Open Source und
Open Hardware Drohne (Youtube Video)
Eingesetztes Zynq-Board

Ein Poster mit einer Zusammenfassung findet ihr hier.

Inhalt

Im Verlauf der Veranstaltung werden die verschiedenen Systemkomponenten smarter Kameras nacheinander untersucht, um Schritt für Schritt ein kameragestütztes Inspektionssystem zu entwickeln. Unter anderem werden dabei folgende Themengebiete erschlossen:

  • Grundlagen Objektive und Sensoren
  • Funktionsweise und Ansteuerung von Kamerasystemen
  • Bildvorverarbeitung mittels paralleler Architekturkonzepte
  • Einfache Bildverarbeitungsalgorithmen auf Systemebene
  • Effiziente Simulationstechniken und -umgebungen
  • Eingebettete Betriebssysteme auf heterogenen SoCs
  • Kommunikation und Schnittstellenprogrammierung
  • Integration des Kamerasystems in einen Quadrocopter

Voraussetzungen

Für die Durchführungen der praktischen Übungen sind Grundlagen der Rechnerarchitektur und -organisation erforderlich. Um einen reibungslosen Einstieg zu gewährleisten, werden zu Beginn des Praktikums die wichtigsten Grundlagen nochmals kurz wiederholt. VHDL Kenntnisse werden nicht vorausgesetzt.

Kursvarianten

Das Praktikum ist sowohl für Bachelor- wie auch für Masterstudierende geeignet. Speziell für Masterstudierende werden etliche Vertiefungsmöglichkeiten bereitgestellt.