Einführung in die Computergrafik und Bildverarbeitung
Dr. Raphael Wimmer Sommersemester 2024
Konzept
Anstelle einer klassischen Vorlesung mit Übung gibt es:
- einen interaktiven Präsenztermin (Di, 12:15 - 15:45 Uhr, H8)
- eine Sammlung an Lehrmaterial
- einen Abhängigkeitsgraph, der zeigt, welche Themen man in welcher Reihenfolge lernen sollte
- vier Milestones/Studienleistungen (2D-Bitmapgrafik, 2D-Vektorgrafik, 3D-Grafik, Computer Vision), zu denen Sie eine kleine Übungsaufgabe bearbeiten müssen/sollten.
- eine Klausur (Präsenz), in der Sie am Rechner mehrere Programmieraufgaben bearbeiten
Organisatorisches
- Anfangs gibt es einige Präsenz-Termine, in denen wir die Grundlagen frontal-interaktiv besprechen
- Dann kriegen Sie eine Art Lernlandkarte / Abhängigkeitsgraph / Mindmap der Themen des Kurses inkl. Material und Aufgaben. Ca. 70% der Themen sind Kerninhalte. Diese können Sie in ihrer eigenen Geschwindigkeit bearbeiten. Aus den restlichen Themen wählen Sie dann diejenigen, die Sie am meisten interessieren und vertiefen diese.
- Als Programmiersprache werden wir Python verwenden (zusätzlich: Jupyter Notebooks, OpenGL, GLSL, OpenCV).
- Während der Präsenztermine schauen wir uns gemeinsam wichtige Themen und Anwendungen an. Das wird dann eher eine interaktive Übung als eine klassische Vorlesung (“Flipped Classroom”). Außerdem nutzen wir den Termin als Ort für Pair-Programming, Sprechstunde für Probleme, und um Feedback zu geben.
Leistungsnachweis
- Es gibt einige Milestones zu festen Terminen im Semester, die sie einhalten sollten. Da müssen Sie dann jeweils eine kleine Studienleistung abgeben. Je früher Sie abgeben, und je besser Ihre Lösung, umso mehr Bonuspunkte für die Klausur erhalten Sie.
- Am Ende des Semesters findet eine Klausur in Präsenz statt. Sie bearbeiten dort primär Programmieraufgaben zu Themen des Kurses. Dabei können Sie natürlich auf allen Code zurückgreifen, den Sie im Laufe des Kurses schon geschrieben haben. Außerdem kommen noch ein paar Theoriefragen dazu. Das Format “Klausur” ist in der Prüfungsordnung vorgegeben. Es dient in diesem Fall auch dazu, sicherzustellen, dass Sie selbst die ganzen Aufgaben während des Semesters bearbeitet haben. Die Klausur wird am Rechner stattfinden, nicht auf Papier. Für die Klausur gibt es 100 Punkte. Eine Notenstufe entspricht 5 Punkten, d.h. ab 50 Punkten bekommen Sie eine 4.0.
- Bonuspunkte gibt es für:
- Abgeben der Studienleistungen (max. 20 Punkte insgesamt)
- Bug Bounty: pro sachlichem Fehler in meinen Materialien 1 Punkt (FCFS)
- Teilen von guten Quellen (je 1 Punkt, max. 5 Punkte insgesamt)
Materialien
Sie erhalten von mir:
- nicht: komplette Foliensätze für jeden Termin, aber:
- Überblicksdokumente
- einen interaktiven Abhängigkeitsgraphen der Inhalte der Vorlesung
- Links und Tipps zu Material
- Foliensätze zu bestimmten Themen
- Screenshots / Fotos von wichtigen Zeichnungen
Feedback der letzten beiden Male
Aufwendiger Kurs, aber sehr praktisch weswegen es auch Spaß macht und die Zeit die man dafür aufwendet auch schnell verfliegt.
Interessante Vorlesung, die mir neue Themen und Anwendungsmöglichkeiten beigebracht hat. Die Einführungen in die OpenGL und OpenCV waren spannend und mir davor nur vom hören bekannt. Die Studienleistungen ließen sich auch gut bearbeiten. Waren am Anfang etwas überfordernd (da es bei mir kaum/kein Vorwissen gab), aber ließen sich meistens doch ganz gut durcharbeiten.
Sehr interessante Vorlesung, die viel praktisches Wissen mit sich bringt
Sehr interessant, aber man muss am Ball bleiben
Die Studienleistungen waren sehr interessant und anspruchsvoll, haben aber auch Spaß gemacht. Hab mir teilweise etwas schwer getan, auch weil mir die Erfahrung mit Python gefehlt hat. [...] Ansonsten sehr interessante und coole Veranstaltung, bei der man auch viel selber herumprobieren durfte (v.a. bei Studienleistungen) und gut erklärte Beispiele bekommen hat.
Zeitplan
16. April 2024 - Einführung, Überblick
Klassische frontale Vorlesung zum Einstieg.
Themen heute:
- Überblick über das Kurskonzept
- Organisatorisches
- Advance Organizer / Überblick über die Themen des Kurses
Danach eine Übung mit:
- Grundlagen Python
- Grundlagen Jupyter Notebooks
Ausblick: 23. April 2024 - Wiederholung Grundlagen, Praxis Rastergrafik
- Grundlagen Farbräume, Rastergrafik
- Welche Python-IDE soll ich verwenden?
- apt, pip, conda, virtualeenv, docker - Environments und Paketmanager für Python
- Bilder laden und modifizieren
Wichtige Veranstaltungen diese Woche
- Nacht schafft Wissen am Freitag, 19.4.24, unter anderem mit Führungen im VR4 (TechBase)
- Semester-Kickoff der FS[i] am Donnerstag, 18.4.24, Wiese zwischen PT und VG (Beginn 15:00 Uhr)
Advance Organizer
(kommt noch)
Einführung Python
Material:
Voraussetzungen für Teilnahme am nächsten Termin
- Lauffähige lokale Python-Installation und IDE
- (optional) lokale JupyterLab-Installation
- Alle Notebooks in GRIPS bearbeitet
- Feedback vorbereitet: wo gibt es Probleme, welche Hilfestellung wäre gut?
- Laptop dabei, um einige der gezeigten Dinge mal selbst auszuprobieren
Graph heute
Überblick: 23. April 2024 - Wiederholung Grundlagen, Praxis Rastergrafik
- Welche Python-IDE soll ich verwenden?
- apt, pip, conda, virtualeenv, docker - Environments und Paketmanager für Python
- Grundlagen Farbräume, Farbmodelle, Rastergrafik
- Bilder laden und modifizieren
Graph heute
Python IDEs
- jeder beliebige Text-Editor
- Jetbrains PyCharm (umfangreiche IDE speziell für Python)
- repl.it (kollaborative browser-basierte IDE)
PEP 8 - Style Guide für Python
- PEP: Python Enhancement Proposal - ein Vorschlag, wie die Sprache weiterentwickelt werden soll
- PEP 8 – Style Guide for Python Code](https://www.python.org/dev/peps/pep-0008/)
- pep8: Kommandozeilentool, das Code auf PEP-8-Konformität prüft
- Hier im Kurs: PEP-8-Regeln bitte einhalten (zwingend für Studienleistung), bis auf Regel zu max. Zeilenlänge
- Link-Tipp: Vortrag von Raymond Hettinger: Beyond PEP 8 -- Best practices for beautiful intelligible code
Paketmanagement in Python
Es gibt drei verbreitete Möglichkeiten, Python-Module zu installieren:
- Paketmanagement des Betriebssystems (z.B.
aptunter Debian/Ubuntu Linux) pip- Pythons Paketmanagerconda- Paketmanagement der Anaconda-Distribution
Um für jede Anwendung separate Module zu installieren: virtual environments
Paketmanagement durch Betriebssystem
- Primär bei Linux-Distributionen, z.B. Debian/Ubuntu
apt install python3-matplotlib- Vorteile: global verfügbar, sicher, vorkompilierte Binaries
- Nachteile: nicht immer aktuell, nicht alle Python-Pakete verfügbar, immer nur eine Paketversion installierbar
Paketmanagement mit pip
- Pakete werden aus dem Python Package Index (PyPI) installiert (PyPI enthält quasi alle Pakete)
pip3 install matplotlibpip3 install -r requirements.txt: Textdatei mit Paketnamen und ggf. Versionen.- Vorteile: global oder (default) lokal installierbar, immer aktuellste Version, quasi alle Pakete verfügbar.
- Nachteile: nicht zwingend robust/sicher, Kompilierungsschritt bei C-Erweiterungen notwendig
Paketmanagement mit conda
- Anaconda: Python-Distribution für Scientific Computing (multi-platform)
- Minimale Distribution: miniconda
conda: package manager für Anaconda (Intro)- Alternative: Mamba
- Vorteile: sicher, robust, vorkompilierte Binaries, integrierte Unterstützung von virtual environments
- Nachteile: nicht immer aktuell, wenige Python-Pakete verfügbar, fügt Overhead (Ressourcen, Debugging) hinzu
Virtual Environments
- Grundidee: für jedes Projekt eine eigene Python-Installation
- Funktionsweise: Überschreiben der Pfade zu Binaries, Bibliotheken in der aktuellen Shell
- Virtualenv im Unterverzeichnis
.envanlegen:python3 -m venv .env - Virtualenv aktivieren:
source .env/bin/activate(deaktivieren durch Beenden der Shell) - Conda:
conda create --name myenv/conda activate myenv
30. April 2024 - Bildfilter, Studienleistung 1
- Recap: Bildfilter, Bilder (live)
- Praktische Übung: Bildfilter, Punktoperatoren
- Praktische Übung: Morphologische Operationen, Faltungen
- Python: mit Kommandozeilenparametern arbeiten
- Studienleistung 1: ein simpler Bildeditor
Unser Graph heute
Wiederholung: Bildfilter
- Überblick: Typische Bildfilter
- Überblick: Punktoperatoren, Geometrische Operatoren, Lokale Operatoren, Globale Operatoren
- Faltungen
Studienleistung 1: Bitmap-Grafik (1)
Entwickeln Sie eine Anwendung filtertool, mit der man (destruktiv) Bilder bearbeiten kann. Bilder liegen als RGB- oder Graustufenbild vor und können mit Pillow eingelesen und geschrieben werden. Ansonsten sollen alle Bildoperationen selbst geschrieben werden.
Abgabe: Di, 14. Mai 2024, 23:59 Uhr (5 Bonuspunkte - pro angefangener weiterer Woche 1 Punkt weniger)
Studienleistung 1: Bitmap-Grafik (2)
Verpflichtende Features:
- Batch-Kommandozeilenbetrieb (
python3 filtertool.py --threshold 90 --blur 3 --edges image.jpg) - sinnvolle grafische Anzeige des Ergebnisses mit tkinter
- Standardfilter (selbst implementiert)
- Threshold
- Brightness
- Contrast
- Blur
- Sharpen
Studienleistung 1: Bitmap-Grafik (3)
Wahlpflichtfeatures (3 Features):
- interaktive Auswahl der Filter über GUI
- Filter nur auf selektierbaren Bereich anwenden
- Canny Edge Detection
- Erode/Dilate
- (eigenes Feature vorschlagen)
Studienleistung 1: Bitmap-Grafik (4)
- bei Verwendung fremder Code-Beispiele: Quellenangabe im Quelltext
- bei Verwendung von ChatGPT o.ä: formlose Angabe im Quelltext (Vorsicht: ChatGPT liefert manchmal subtil falsche Lösungen!)
- keine weiteren (Grafik) Bibliotheken verwenden
- Abgabe von Quellcode und kurzer Video-Demo (ca. 1 Minute) über GRIPS
7. Mai - Image Filters, Tk-GUIs
Überblick
- Kommandozeilenprogramme
- GUIs mit tkinter
- Besprechung Studienleistung
- Implementierung von Helligkeit-/Kontrastfiltern
Kommandozeilenparameter parsen
python3 app.py --mode simple -a file.txt
Mehrere Möglichkeiten in Python:
- manuell (
sys.argv[]parsen)
14. Mai 2024 - Vektorgrafik
Überblick
- Grundlagen Vektorgrafik (separater Foliensatz)
- Vektorgrafik in Python (Notebooks)
- Bezierkurven (interaktive Demo)
- (Bresenham-Algorithmus)
- Support Studienleistung 1