[Seite 1]

„Use-Cases“ Bie-

terpräsentation

Anlage B4

[Seite 2]

Inhalt

Vorwort 3

1 Use-Case 1: Komponenten der Ablaufsteuerung ........................................................................... 4

2 Use-Case 2: Laden von öffentlich zugänglichen Statistikdaten ...................................................... 7

3 Use-Case 3: Deployen, Ausführen, Protokollieren und Scheduling ................................................ 9

4 Use-Case 4: Datenabgleich ............................................................................................................ 10

5 Use-Case 5: Auto-ML und Feature Engineering ............................................................................. 11

Tabellenverzeichnis ....................................................................................................................................... 14

[Seite 3]

3 Vorwort

Vorwort

Im Folgenden sind einige beispielhafte Datenbewirtschaftungsprozesse sowie Anforderungen hinsicht- lich Maschinellem Lernen skizziert. Diese müssen mit der neuen Software ebenfalls umgesetzt werden können.

Die Ablaufsteuerung der Prozesse ist in manchen Szenarien abhängig von Ergebnissen bestimmter Funktionalitäten. Entsprechend muss gezeigt werden, dass es Operatoren gibt, die diese Szenarien ab- bilden können. Es muss nicht fest implementiert sein.

In manchen Anforderungen sind exemplarisch Oracle und db2 inklusive Dienstprogramme aufgeführt. Es können für die Darstellung der Szenarien auch andere Datenbanken verwendet werden insofern auch hier Dienstprogramme aufgerufen werden, die dann das Laden der Daten durchführen. Relevant ist hier also, dass ein Dienstprogramm aufgerufen wird.

In manchen Szenarien wird das Aufrufen von Skripten gefordert – Shell oder SQL –Hier genügt es Dummy Skripte anzugeben, an die dann die jeweiligen Parameter übergeben werden. Es muss aber ersichtlich sein, dass die Parameterübergabe erfolgreich war.

[Seite 4]

Use-Case 1: Komponenten der Ablaufsteuerung 4

1 Use-Case 1: Komponenten der

Ablaufsteuerung

Zeigen Sie anhand eines Beispiels wie folgende Ablaufsteuerung umgesetzt wird.

Eine Datenbank-Steuertabelle auslesen, die Werte zeilenweise einer Variablen zuordnen, um weitere Aktivitäten im Fluss zu steuern. Inhalt der Steuertabelle kann beispielsweise so aussehen:

Tabelle 1: Beispiel Steuertabelle mit 2 Datensätzen

	Spalten der Steuertabelle		Datensatz 1		Datensatz 2
ZIEL_SCHEMA		STAGE		STAGE
	ZIEL_TABELLE		DWH_SA_ROH		LU_ICDCODES
QUELLDATEI		DBWSA		ICDCODES
	QUELLVERZEICHNIS_ART		SFTP		LOKAL
QUELLVERZEICHNIS		/AUSTAUSCH/WIDO/		/db2quellen/RAWDATA/LOAD_TMP
	QUELLVERBINDUNG		SFTP_DBW
ZIELVERZEICHNIS		P:\Quellen\LOAD_TMP		/db2quellen/RAWDATA/LOAD_TMP
	CTL		P:\SKRIPTE\CTL\DBWSA.ctl
APPEND_REPLACE		APPEND		REPLACE
	VOR_NACH_LAUFSATZ				# INFO:

Datensätze der Steuertabelle loopen und die Werte zeilenweise Variablen zuordnen.

Wenn QUELLVERZEICHNIS_ART= SFTP, dann eine Verbindung zum SFTP-Server aufbauen. Name der SFTP-Verbindung ist im Feld QUELLVERBINDUNG in der Steuertabelle gespeichert. Prüfen, ob im QUELLVERZEICHNIS Dateien, die mit DBWSA beginnen, vorhanden sind. Falls ja, dann in ZIEL- VERZEICHNIS kopieren.

Dann Oracle-Client oder DB2-Client starten und über das Datenbank-Dienstprogramm (wie SQL*Loader bei Oracle oder DB2-LOAD) in die ZIEL-Tabelle laden. Hinweis: Es können für die Dar- stellung des Szenarios auch andere Datenbanken verwendet werden insofern auch hier Datenbank- Dienstprogramme aufgerufen werden, die dann das Laden der Daten durchführen. Der klassische ETL- Weg, das Einlesen der Daten aus der Datei über Einlese-Operatoren und Schreiben der Daten über Write-Operatoren in die Datenbank, ist bei dem Szenario nicht erwünscht.

Wenn QUELLVERZEICHNIS_ART= LOCAL, prüfen, ob im QUELLVERZEICHNIS Dateien, die mit ICDCODES beginnen, vorhanden sind. Falls ja, dann Oracle-Client oder DB2-Client starten und über das Datenbank-Dienstprogramm (wie SQL*Loader bei Oracle oder DB2LOAD) in die ZIEL-Tabelle la- den.

Vor Beginn des Ladens in die Ziel-Tabelle in beiden Fällen den Wert in der Spalte APPEND_REPLACE prüfen. Wenn REPLACE, dann die Ziel-Tabelle vor Laden truncaten.

Außerdem vor Beginn des Ladens in beiden Fällen den Wert in der Spalte VOR_NACH_LAUFSATZ prüfen. Wenn VOR_NACH_LAUFSATZ nicht leer, dann die Datei bereinigen. Nach Möglichkeit sollen ähnliche Schritte bei den beiden Prozessen in Subprozesse, die mit entspre- chenden Parametern aufgerufen werden, ausgelagert werden. Z.B. das Entfernen von Vor- und Nach- laufsätzen in einer Datei.

[Seite 5]

5 Use-Case 1: Komponenten der Ablaufsteuerung

Abbildung 1: Beispiel Vor- und Nachlaufsätze einer Datei

Die Datensätze mit #INFO an Anfang und Ende der Datei werden vor Beginn des Ladens aus der Da- tei rausgeschmissen. Mögliche Vorgehensweise für die Bereinigung der Datei: eine Verbindung zum Linux-Server aufbauen und mit grep -ve Vorlaufsätze und Nachlaufsätze aus der Datei entfernen: merkmal="# INFO:"; grep -ve "$merkmal" /db2quellen/RAWDATA/LOAD_TMP/ICDCODES.txt >| / db2quel- len/RAWDATA/LOAD_TMP/ICDCODES _LOAD.txt Wichtig hierbei ist, eine Verbindung zu einem Linux-Server aufzubauen und über Secure Shell (SSH) einen Befehl auszuführen.

[Seite 6]

Use-Case 1: Komponenten der Ablaufsteuerung 6

Tabelle 2: Anforderungen an die Bieterpräsentation Use-Case 1

	Anforderungs-	Titel	Anforderungen zur Darstellung der Szenarien
	nummer
1.1		Steuertabellen	Darstellung aller nötigen Schritte und Operatoren für Ab- laufsteuerung der Prozesse mithilfe der vorgegebenen Steuertabelle. Dabei ist insbesondere auf folgende Anfor- derungen einzugehen: − Zeilenweise zuordnen von Variablen − Loops basierend auf ausgelesenen Zeilen der Steuerta- belle − Subprozess abhängig vorheriger Schritte/Variablen (if/else, case )
1.2		Ladeprozess Textdatei in eine DB		Darstellung aller nötigen Schritte und Operatoren um eine
				Datei in eine Datenbank über das Datenbank-Dienstpro-
				gramm zu laden.
				Dabei ist insbesondere auf folgende Anforderungen einzu-
				gehen:
				− Ausführung der Dienstprogramme (z.B. SQL*Loader)
				− Parametrisierung aller Punkte
1.3		Ausführen von dynamischem SQL	Darstellung aller nötigen Schritte und Operatoren um ei- nen SQL-Befehl dynamisch zusammenzubauen und auszu- führen. − Ausführung des SQL-Befehls (Der „truncate“-Befehl muss dynamisch zusammengebaut werden, in Abhän- gigkeit von Ziel-Schema und Zieltabelle der Steuerta- belle) − Parametrisierung aller Punkte
1.4		SFTP-Server (siehe KANN-Kriterium „Secure FTP Operatoren“)		Darstellung aller nötigen Schritte und Operatoren für Da-
				tenaustausch über SFTP-Server. Dabei ist insbesondere auf
				folgende Anforderungen einzugehen:
				− Verbindung zum SFTP-Server
				− Dateien auflisten
				− Regex/Suchmuster Möglichkeiten
				− Dateien herunterladen
				− Parametrisierung aller Punkte
1.5		Verbindung über SSH	Darstellung des Punktes „Mögliche Vorgehensweise für die Bereinigung der Datei“ um zu prüfen, ob eine Verbindung über Secure Shell (SSH) zu einem Remote System (Linux) und das Ausführen eines Skripts oder eines Shell-Befehls möglich ist. Das Ergebnis des Befehls wird zurückgegeben (z.B. erfolgreich durchgelaufen) und kann in der Entwick- lungsumgebung verarbeitet werden.

[Seite 7]

7 Use-Case 2: Laden von öffentlich zugänglichen Statistikdaten

2 Use-Case 2: Laden von öffentlich zugänglichen

Statistikdaten

Zeigen Sie anhand eines Beispiels wie das folgende Szenario umgesetzt wird. Von der Datenaustausch-Webseite des GKV-Spitzenverbands https://www.gkv-datenaustausch.de/leistungserbringer/sonstige_leistungserbringer/positionsnum- mernverzeichnisse/positionsnummernverzeichnisse.jsp das aktuelle Hilfsmittel- und Pflegehilfsmittelverzeichnis herunterladen. Der Dateiname des aktuellen Hilfsmittel- und Pflegehilfsmittelverzeichnises setzt sich aus Veröffentlichungsdatum im Format JJJJMMTT und _HMV (Beispiel: 20251127_HMV.zip). Es ist eine ZIP-Datei.

Abbildung 2: Seite zum Heilmittelpositionsnummernverzeichnis

Die Datei entzippen und die Daten aus der XML-Datei in eine Datenbank laden. Hier wird der klassi- sche ETL-Weg, das Einlesen der Daten aus der Datei über Einlese-Operatoren und Schreiben der Daten über Write-Operatoren in die Datenbank, erwartet.

[Seite 8]

Use-Case 2: Laden von öffentlich zugänglichen Statistikdaten 8

Tabelle 3: Anforderungen an die Bieterpräsentation Use-Case 2

	Anforderungs-	Titel	Anforderungen zur Darstellung der Szenarien
	nummer
2.1		Webseite auslesen	Darstellung aller nötigen Schritte und Operatoren, um eine Webseite via GET-Befehl auszulesen und als Dokument in den Prozess zurückzugeben. Auf folgende Punkte ist dabei einzugehen: − Operator(en) inkl. Konfiguration für die GET-Anfrage − Rückgabemöglichkeiten der GET-Ergebnisse − Eventuelle Einschränkungen − Parametrisierbarkeit aller Schritte
2.2		Extrahieren von Daten		Darstellung aller nötigen Schritte und Operatoren, um ei-
				nen Downloadlink für eine bestimmte Statistik aus einer
				Webseite zu extrahieren und über diesen die Statistikdatei
				herunterzuladen. Auf folgende Punkte ist dabei einzuge-
				hen:
				− Informationen aus einfachen Text- oder HTML-Dateien
				mit Hilfe von gängigen Textmining-Techniken ableiten
				− Herunterladen und Speichern der Statistikdatei
				− Parametrisierbarkeit aller Schritte
2.3		Weiterverarbeitung der heruntergela- denen Daten/Datei	Darstellung des weiteren Verarbeitungsprozesses der her- untergeladenen Statistikdaten. Dabei ist auf folgende Punkte einzugehen: − Operatoren für die Extraktion der heruntergeladenen Datei (z.B. via CSV, XML, TXT etc. Einlese-Operatoren) − Operatoren zum Laden in eine Zieldatenbank − Parametrisierbarkeit aller Schritte

[Seite 9]

9 Use-Case 3: Deployen, Ausführen, Protokollieren und Scheduling

3 Use-Case 3: Deployen, Ausführen,

Protokollieren und Scheduling

Zeigen Sie anhand eines Beispiels  wie die entwickelten Flüsse/Prozesse auf einen Server deployed werden können  wie ein auf der Serverkomponente implementierter Prozess ausgeführt werden kann  ob in der Serverkomponente ersichtlich ist, ob ein Prozess erfolgreich durchgelaufen ist oder nicht. Und ob beim Abbruch der Grund des Abbruchs nachvollzogen werden kann  ob es ist möglich ist, nach Auftreten eines Fehlers oder Ausnahmen über die Serverkomponente au- tomatisch eine E-Mail-Benachrichtigung auszulösen  ob es ist möglich ist, die Prozesse zu schedulen

Tabelle 4: Anforderungen an die Bieterpräsentation Use-Case 3

	Anforderungs-	Titel	Anforderungen zur Darstellung der Szenarien
	nummer
3.1		Deployen (siehe KANN-Kriterien „Deployen“)	Darstellung aller nötigen Schritte wie ein Prozess auf einem Server deployed werden kann.
3.2		Ausführen (siehe KANN-Kriterien „Jobs (Ausführungen von Prozessen) unterbrechen“ und „Jobs neu star- ten“)		Darstellung aller möglichen Steuerungskomponenten der Pro-
				zessausführung. Auf folgende Punkte sollte insbesondere ein-
				gegangen werden:
				- Abbruch- und Pausierungsmöglichkeiten
				- Neustartmöglichkeiten
3.3		Protokollieren	Darstellung aller nötigen und möglichen Schritte um Prozess- aktivitäten zu protokollieren. Auf folgende Punkte sollte insbe- sondere eingegangen werden: - Übersicht über Ausführungsstatus - Automatische Protokollierung
3.4		Scheduling		Darstellung aller nötigen Schritte um den Prozess zu schedu-
				len, sodass er täglich nachts durchlaufen kann. Auf folgende
				Anforderungen ist dabei einzugehen:
				− Einrichtung von Schedules auf der Serverkomponente
				− Konfigurationsmöglichkeiten (z.B. Granularität des
				Schedules e.g. Stündlich, täglich, in Wochen/Mona-
				ten/Jahren etc.; Parametrisierbarkeit)
				− Automatische Benachrichtigung bei Fehlern, Abbrüchen
				oder erfolgreichen Durchläufen

[Seite 10]

Use-Case 4: Datenabgleich 10

4 Use-Case 4: Datenabgleich

Zeigen Sie anhand eines Beispiels wie zwei Verzeichnisse/Katalogdateien (z.B. Straßenverzeichnis) mit Hilfe von Fuzzy Matching miteinander verglichen werden können, um Duplikate nur aufgrund von unterschiedlicher Schreibweise in den Katalogtabellen zu vermeiden.

Ein bestehender Katalog in der Datenbank soll um neue Daten zu diesem Katalog ergänzt werden. So sollen nur neue Datensätze eingefügt werden und Datensätze, bei denen sich nur die Schreibweise leicht geändert hat nicht. Hierzu soll Fuzzy Matching eingesetzt werden.

Tabelle 5: Anforderungen an die Bieterpräsentation Use-Case 4

	Anforderungs-	Titel	Anforderungen zur Darstellung der Szenarien
	nummer
4.1		Daten einlesen	Darstellung aller nötigen Schritte und Operatoren um Daten aus zwei unterschiedlichen Quellen einzu- lesen.
4.2		Datenabgleich (Fuzzy Matching)		Darstellung aller nötigen Schritte und Operatoren
				um einen Datenabgleich durchzuführen. Dabei ist
				auf folgende Punkte einzugehen:
				- Duplikate, potenzielle Duplikate und Nicht-Duplikate zwi-
				schen beiden Datenquellen finden
				- identische oder ähnliche Einträge zu einem Eintrag zu-
				sammenführen

[Seite 11]

11 Use-Case 5: Auto-ML und Feature Engineering

5 Use-Case 5: Auto-ML und Feature Engineering

Zeigen Sie anhand eines Beispiels wie über AUTO-ML mit Feature-Engineering Modelle erzeugt wer- den. Diese dann verglichen und visuell dargestellt werden.

Für die Szenarien können die üblicherweise verwendeten Testdaten wie der Iris-, Diamond- etc. Daten- satz verwendet werden.

Die Beispiel-Daten sollten aber sowohl kategoriale als auch nummerische Variablen enthalten.

Eingangsanalyse der Daten Einlesen eines Datensatzes. Die Daten werden in Form einer Tabelle dargestellt mit einfachen deskriptiven Statistiken zu den Da- ten. − Gesamtanzahl Zeilen und Spalten − Datentypen der Attribute − Anzahl der Zeilen mit fehlenden Werten. − Bei nominellen Variablen (wie zum Beispiel Alter) Min, Max, Standardabweichung, Mittel- wert. − Bei kategorialen Variablen (wie zum Beispiel Geschlecht) erfolgt eine Häufigkeitsauszählung. Filtern durch Attribute ist möglich

Datenaufbereitung Für die Aufbereitung der Daten ist folgendes möglich:  Missing-Values können ersetzt werden − Durch einen festen Wert − Durch einen Mittelwert (bei nummerischen Variablen, wie z.B.: Alter)

 Dummy Encoding kann umgesetzt werden. − Für eine Kategoriale Variable erfolgt eine Übersetzung in neue Attribute mit 1/0 Codierung

 Doppelte Zeilen können entfernt werden.  Attribute deren Anzahl an Missing Values höher ist als ein bestimmter Schwellenwert können aus- geschlossen werden.  Hinzufügen neuer Attribute (z.B. über eine Funktion, die auf Basis anderer Attribute zeilenweise das neue Attribut berechnet)  Diskretisieren von Attributen: Attribut wie Alter wird zu Altersklassen zusammengefasst. Dabei kann die Anzahl der Klassen vorgegeben werden.  Normalisierung der Variablen über Z-Standardisierung wird durchgeführt  Hoch korrelierte Attribute, wobei der Grad der Korrelation ebenfalls festgelegt werden kann, kön- nen ausgeschlossen werden. Mit Hilfe einer Korrelationsmatrix kann zusätzlich gezeigt werden, welche Attribute hoch korrelieren.

Visualisierungen Es werden Visualisierungen angeboten. Diese umfassen mindestens Histogramme, Box-Plots, Scatter- plots, sowie Ares- und Pie-Graphen. Zeigen Sie die Verteilung in Form eines Histogramms zu einem beliebigen Attribut (z.B. Alter). Diese können auch nach Kategorien, wie zum Beispiel Geschlecht, dar- gestellt werden. Zeigen sie zudem entsprechende BoxPlots zu ausgewählten Attributen und auch Kombinationen von Attributen. Zum Beispiel: zu den Kategorien Frauen und Männer die jeweilige Altersverteilung in Form eines BoxPlots.

[Seite 12]

Use-Case 5: Auto-ML und Feature Engineering 12

Entscheidungsbaum - Visualisierung Legen Sie für die Daten die Zielvariable und die Einflussvariablen fest. Zielvariable ist zum Beispiel das Überleben auf der Titanic des Titanic-Datensatzes.

Zeigen Sie den daraus erstellten Entscheidungsbaum der sowohl Graphisch als auch in Form von Text die Entscheidungsbaumregeln ausgibt.

Automatisches Feature Engineering und Auto-Modellierung Aufteilen des Datensatzes in Trainingsdaten und Testdaten Es müssen für die Modelle die jeweiligen relevanten Attribute ausgewählt werden (feature-enginee- ring). Zeigen Sie „Automatisches Feature-Engineering“ und wie die Auswahl transparent dargestellt wird. Zeigen Sie, dass durch das Feature-Engineering auch neue Attribute generiert werden können. Es werden verschiedene Modelle berechnet und die Hyper-Parameter entsprechend gesetzt Zeigen Sie mindestens: − Entscheidungsbaum − Naive Bayes − GLM (generalisierte lineare Modell)

Die verschiedenen Modelle werden verglichen (Transparenz) und eine Bewertung der geeigneten Mo- delle kann durchgeführt werden Modell-Bewertung: Genauigkeit der Modelle (Receiver Operating Characteristic (ROC) oder andere je Modell notwendige Prüfungen (k-falt cross validation, root mean square deviation (RMSD) oder root mean square error (RMSE)) Zu den Modellen werden die durch das Feature-Engineering ausgewählten Variablen angezeigt. Stellen Sie dar, dass dies sowohl für überwachtes als auch unüberwachtes Lernen funktioniert.

Tabelle 6: Anforderungen an die Bieterpräsentation Use-Case 5

	Anforderungs-		Titel	Anforderungen zur Darstellung der Szenarien
	nummer
5.1			Datenanalyse der Eingangsdaten	Die Darstellung der Eingangsdaten erfolgt tabellarisch und deskriptive Statistiken zu den Daten werden angezeigt. − Gesamtanzahl Zeilen und Spalten − Datentyp − Anzahl der Zeilen mit fehlenden Werten − Bei nominellen Variablen (wie zum Beispiel Alter) Min, Max, Standardabweichung, Mittelwert − Bei kategorialen Variablen (wie zum Beispiel Ge- schlecht) erfolgt eine Häufigkeitsauszählung Die Eingangsdaten können gefiltert werden. Es werden Visualisierungen angeboten. Diese umfassen mindestens Histogramme, Box-Plots, Scat- terplots, sowie Area- und Pie-Graphen. Die Graphiken kön- nen nach mehr als einer Variable differenziert werden. Zum Beispiel zu den Kategorien Frauen, Männer die jewei- lige Altersverteilung in Form eines BoxPlots.

[Seite 13]

13 Use-Case 5: Auto-ML und Feature Engineering

Anforderungs- nummer	Titel	Anforderungen zur Darstellung der Szenarien
5.2	Datenaufbereitungen (siehe KANN- Kriterium „interaktive Datenvorberei- tung“)		− Missing Values können ersetzt werden. Hierbei sowohl
			durch feste Werte oder aber auch durch zum Beispiel
			Mittelwert bei nummerischen Variablen.
			− Diskretisieren von Attributen ist möglich, wobei die
			Anzahl der Klassen (bins) vorgegeben werden kann.
			− Dummy Encoding ist möglich.
			− Ausschließen von doppelten Zeilen ist möglich.
			− Ausschließen von Attributen die eine gewisse Anzahl
			von Missing Values überschreiten ist möglich.
			− Reduzieren der Attribute bei hoch korrelierten Attribu-
			ten ist möglich.
			− Normalisierung der Daten mit mind. Z-Transformation
			(numerische Variablen) ist möglich
5.3	Entscheidungsbaum – Visualisierung (siehe KANN-Kriterium „Visualisierung von Entscheidungsbäumen“)	Eine Visualisierung eines Entscheidungsbaums ist möglich und es werden neben der Visualisierung auch die Auswei- sung der Entscheidungskriterien in Textform ausgegeben.
5.4	Feature Engineering und Auto-ML (siehe KANN-Kriterien „Modellverglei- che“, „Modelle“ und „Automatisches Feature Engineering“)		Für eine Reihe an Modellen wird für den Beispieldatensatz
			eine AUTO-ML Analyse mit automatisiertem Feature-Engi-
			neering gezeigt.
			− Die Auswahl der Features wird transparent dargestellt.
			− Die Modellgüte der verschiedenen Modelle wird trans-
			parent dargestellt.
			− Beim Feature-Engineering können auch neue Attribute
			generiert werden.
			− Es werden mind. Modelle zu Entscheidungsbaum, GLM
			und Naive Bayes gezeigt.

[Seite 14]

Tabellenverzeichnis 14

Tabellenverzeichnis

Tabelle 1: Beispiel Steuertabelle mit 2 Datensätzen............................................................................................ 4

Tabelle 2: Anforderungen an die Bieterpräsentation Use-Case 1 ........................................................................ 6

Tabelle 3: Anforderungen an die Bieterpräsentation Use-Case 2 ........................................................................ 8

Tabelle 4: Anforderungen an die Bieterpräsentation Use-Case 3 ........................................................................ 9

Tabelle 5: Anforderungen an die Bieterpräsentation Use-Case 4 ........................................................................ 10

Tabelle 6: Anforderungen an die Bieterpräsentation Use-Case 5 ........................................................................ 12

B4_UseCases Bieterpräsentation.pdf