Hochschuleigene Laderoutinen - Versionsgeschichte

Danielq: /* ETL Sonderladeroutinen */

2026-10-08T19:09:39Z

ETL Sonderladeroutinen

← Nächstältere Version		Version vom 8. Oktober 2026, 19:09 Uhr
Zeile 65:		Zeile 65:

	=ETL Sonderladeroutinen=		=ETL Sonderladeroutinen=
	Im ~~ETL-Modul~~ gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden~~. Voraussetzung dafür ist, dass das ETL-Modul aus dem [http://download.superx-projekt.de/ Downloadbereich] installiert ist~~. Eine Sonderladeroutine besteht aus einem ETL-Job mit mehreren ETL-Schritten. Die einzelnen Schritte können beispielsweise Daten aus einer Datenbank entladen, UNL-Dateien in Tabellen laden, SQL-Befehle ausführen oder vorhandene SQL-Skripte starten. Damit lassen sich sowohl kleine Datenübernahmen als auch umfangreichere und komplexere Ladeprozesse individuell zusammenstellen. Die Installation einer Sonderladeroutine läuft über ein [[Hochschuleigene_Laderoutinen#Aufbau_der_Definitionsdatei\|komplexes Script]], dass mit Freemarker-Variablen gefüllt wird und dann später zu reinem SQL transformiert wird, der die Installation ausführt.		Im Kernmodul gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden. Eine Sonderladeroutine besteht aus einem ETL-Job mit mehreren ETL-Schritten. Die einzelnen Schritte können beispielsweise Daten aus einer Datenbank entladen, UNL-Dateien in Tabellen laden, SQL-Befehle ausführen oder vorhandene SQL-Skripte starten. Damit lassen sich sowohl kleine Datenübernahmen als auch umfangreichere und komplexere Ladeprozesse individuell zusammenstellen. Die Installation einer Sonderladeroutine läuft über ein [[Hochschuleigene_Laderoutinen#Aufbau_der_Definitionsdatei\|komplexes Script]], dass mit Freemarker-Variablen gefüllt wird und dann später zu reinem SQL transformiert wird, der die Installation ausführt.

	== Voraussetzungen ==		== Voraussetzungen ==

John.imo am 2. Oktober 2026 um 08:16 Uhr

2026-10-02T08:16:50Z

← Nächstältere Version		Version vom 2. Oktober 2026, 08:16 Uhr
Zeile 1:		Zeile 1:
	=~~Übersicht~~ =		=Anwendungsfälle und Lade-Techniken=
	Eigene Laderoutinen sind öfter gewünscht, wenn bestimmte Daten von den bisherigen Modulen (noch) nicht übernommen werden.		Eigene Laderoutinen sind öfter gewünscht, wenn bestimmte Daten von den bisherigen Modulen (noch) nicht übernommen werden.
	~~Als Beispiele könnten sein~~		Mögliche Andwendungsfälle sind
	* erfasste Mathenote von Bewerbern		* erfasste Mathenote von Bewerbern
	* neue Tabelle zu Lehrbeauftragten		* neue Tabelle zu Lehrbeauftragten
	* bestimmte Zusatzfelder in MBS.inst		* bestimmte Zusatzfelder in MBS.inst
	Dabei geht es darum, die Daten zunächst aus dem Quellsystem zu entladen (CSV), sie dann in SuperX/BI einzuspielen und ggfs. noch zu transformieren.		Dabei geht es darum, die Daten zunächst aus dem Quellsystem zu entladen (CSV), sie dann in SuperX/BI einzuspielen und ggfs. noch zu transformieren. Folgende '''Lade-Techniken''' sind möglich:
	=Lade-Techniken=		{\| class="wikitable"
	~~Folgende~~ Lade-~~Techniken sind möglich:~~		! Lade-Typ
	* [[Kernmodul_Shellscripte~~#Umgang_mit_Tabellen~~\|Shellscripte]] (~~DOQUERY~~, ~~sx_upload_table~~.x )		! Anwendung
	* [[Kettle-Grundlagen\|Kettle]]		! Ausführung
	* [[~~Modul_ETL_Administrationshandbuch~~\|ETL-Sonderladeroutinen]]		\|-
			\| [[Kernmodul_Shellscripte\|Shellscripte]]
			\|
			*DB-, SQL-Skripte
			*Tabellenverwaltung (unload, upload, ...)
			*Modulverwaltung (install, upgrade, ...)
			*etc.
			\| Kommandozeile
			\|-
			\| [[Kettle-Grundlagen\|Kettle]]
			\|
			*Entladen aus Excel oder DB
			*Transformation
			*Laden in SuperX/BI
			*etc.
			\| SuperX-/BI-Masken
			\|-
			\| [[Hochschuleigene_Laderoutinen#ETL_Sonderladeroutinen\|ETL-Sonderladeroutinen]]
			\|
			*SQL-Befehle oder -Skripte ausführen
			*unl-Dateien verwalten
			*Kettle-Jobs ausführen
			*etc.
			\| Komponentenverwaltung
			\|}

	=Beispielanforderung Mathenote=		<!--=Beispielanforderung Mathenote=
	Die Technische Universität Hamburg (TUHH) erfasst die Mathematiknoten, welche Bewerber auf ihrem bisherigen Bildungsweg erreichten. Diese Mathematiknoten sollen zukünftig in Auswertungen einbezogen werden.		Die Technische Universität Hamburg (TUHH) erfasst die Mathematiknoten, welche Bewerber auf ihrem bisherigen Bildungsweg erreichten. Diese Mathematiknoten sollen zukünftig in Auswertungen einbezogen werden.
	==Ziel der Laderoutine==		==Ziel der Laderoutine==
Zeile 38:		Zeile 62:
	* sx_tables: Einfügen der Tabellennamen		* sx_tables: Einfügen der Tabellennamen
	* sx_fields: Einfügen der Spaltennamen inkl. Relationen (Fremdschlüssel-Beziehung von Bewerber-Mathenote zu Bewerbung Datenblatt (zul_bew_mathenote.bewnr = zul_antr_aggr.bewnr)		* sx_fields: Einfügen der Spaltennamen inkl. Relationen (Fremdschlüssel-Beziehung von Bewerber-Mathenote zu Bewerbung Datenblatt (zul_bew_mathenote.bewnr = zul_antr_aggr.bewnr)
			-->

	=ETL Sonderladeroutinen=		=ETL Sonderladeroutinen=

John.imo: /* Properties für UNLOAD-Steps */

2026-10-01T08:47:59Z

Properties für UNLOAD-Steps

← Nächstältere Version		Version vom 1. Oktober 2026, 08:47 Uhr
Zeile 248:		Zeile 248:
	\|}		\|}
	{{Hinweis\|Enthält das SQL selbst einfache Hochkommata, müssen diese verdoppelt werden. Statt: <code>select 1, 'Demo'</code> wird innerhalb von prop_value geschrieben: <code>select 1, <nowiki>''Demo''</nowiki></code>}}		{{Hinweis\|Enthält das SQL selbst einfache Hochkommata, müssen diese verdoppelt werden. Statt: <code>select 1, 'Demo'</code> wird innerhalb von prop_value geschrieben: <code>select 1, <nowiki>''Demo''</nowiki></code>}}
	{{Hinweis\|Bei Dateien sollten möglichst die vorhandenen SuperX- beziehungsweise Modulvariablen verwendet werden. Bspw. ~~<code><nowiki>$</nowiki>~~KERN_LOAD_PFAD/unl/datei.unl~~</code>~~ oder <code>$SVA_PFAD/schluesseltabellen/script.sql</code>}}		{{Hinweis\|Bei Dateien sollten möglichst die vorhandenen SuperX- beziehungsweise Modulvariablen verwendet werden. Bspw. $KERN_LOAD_PFAD/unl/datei.unl oder <code>$SVA_PFAD/schluesseltabellen/script.sql</code>}}
	Die folgenden Properties werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden.<source lang="SQL">		Die folgenden Properties werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden.<source lang="SQL">
	{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },		{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },

John.imo: /* Properties für UNLOAD-Steps */

2026-10-01T08:38:09Z

Properties für UNLOAD-Steps

← Nächstältere Version		Version vom 1. Oktober 2026, 08:38 Uhr
Zeile 248:		Zeile 248:
	\|}		\|}
	{{Hinweis\|Enthält das SQL selbst einfache Hochkommata, müssen diese verdoppelt werden. Statt: <code>select 1, 'Demo'</code> wird innerhalb von prop_value geschrieben: <code>select 1, <nowiki>''Demo''</nowiki></code>}}		{{Hinweis\|Enthält das SQL selbst einfache Hochkommata, müssen diese verdoppelt werden. Statt: <code>select 1, 'Demo'</code> wird innerhalb von prop_value geschrieben: <code>select 1, <nowiki>''Demo''</nowiki></code>}}
	{{Hinweis\|Bei Dateien sollten möglichst die vorhandenen SuperX- beziehungsweise Modulvariablen verwendet werden. Bspw. <code>$KERN_LOAD_PFAD/unl/datei.unl</code> oder <code>$SVA_PFAD/schluesseltabellen/script.sql</code>}}		{{Hinweis\|Bei Dateien sollten möglichst die vorhandenen SuperX- beziehungsweise Modulvariablen verwendet werden. Bspw. <code><nowiki>$</nowiki>KERN_LOAD_PFAD/unl/datei.unl</code> oder <code>$SVA_PFAD/schluesseltabellen/script.sql</code>}}
	Die folgenden Properties werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden.<source lang="SQL">		Die folgenden Properties werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden.<source lang="SQL">
	{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },		{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },

John.imo: /* ETL-Schritte */

2026-10-01T08:35:16Z

ETL-Schritte

← Nächstältere Version		Version vom 1. Oktober 2026, 08:35 Uhr
Zeile 248:		Zeile 248:
	\|}		\|}
	{{Hinweis\|Enthält das SQL selbst einfache Hochkommata, müssen diese verdoppelt werden. Statt: <code>select 1, 'Demo'</code> wird innerhalb von prop_value geschrieben: <code>select 1, <nowiki>''Demo''</nowiki></code>}}		{{Hinweis\|Enthält das SQL selbst einfache Hochkommata, müssen diese verdoppelt werden. Statt: <code>select 1, 'Demo'</code> wird innerhalb von prop_value geschrieben: <code>select 1, <nowiki>''Demo''</nowiki></code>}}
	{{Hinweis\|Bei Dateien sollten möglichst die vorhandenen SuperX- beziehungsweise Modulvariablen verwendet werden. Bspw. $KERN_LOAD_PFAD/unl/datei.unl oder $SVA_PFAD/schluesseltabellen/script.sql}}		{{Hinweis\|Bei Dateien sollten möglichst die vorhandenen SuperX- beziehungsweise Modulvariablen verwendet werden. Bspw. <code>$KERN_LOAD_PFAD/unl/datei.unl</code> oder <code>$SVA_PFAD/schluesseltabellen/script.sql</code>}}
	Die folgenden Properties werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden.<source lang="SQL">		Die folgenden Properties werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden.<source lang="SQL">
	{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },		{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },
Zeile 291:		Zeile 291:
	\|Verwendet bei PostgreSQL die COPY-basierte Ladefunktion. Standard ist <code>true</code>.		\|Verwendet bei PostgreSQL die COPY-basierte Ladefunktion. Standard ist <code>true</code>.
	\|}		\|}
	{{Hinweis\|Bei Dateien sollten möglichst die vorhandenen SuperX- beziehungsweise Modulvariablen verwendet werden. Bspw. $KERN_LOAD_PFAD/unl/datei.unl oder $SVA_PFAD/schluesseltabellen/script.sql}}		{{Hinweis\|Bei Dateien sollten möglichst die vorhandenen SuperX- beziehungsweise Modulvariablen verwendet werden. Bspw. <code>$KERN_LOAD_PFAD/unl/datei.unl</code> oder <code>$SVA_PFAD/schluesseltabellen/script.sql</code>}}
	Die folgenden Properties werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden, insbesondere header true könnte interessant sein.<source lang="SQL">		Die folgenden Properties werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden, insbesondere header true könnte interessant sein.<source lang="SQL">
	{"etl_step":"upload_fin_inst","prop_name":"database", "prop_value":"eduetl" },		{"etl_step":"upload_fin_inst","prop_name":"database", "prop_value":"eduetl" },
Zeile 315:		Zeile 315:
	</source>		</source>
	{{Hinweis\|Es sollte nicht mit SUPERX_DIR gearbeitet werden, denn bei Ausführung im Browser funktioniert das, per Shellscript ist es aber anders definiert.}}		{{Hinweis\|Es sollte nicht mit SUPERX_DIR gearbeitet werden, denn bei Ausführung im Browser funktioniert das, per Shellscript ist es aber anders definiert.}}
	{{Hinweis\|Bei Dateien sollten möglichst die vorhandenen SuperX- beziehungsweise Modulvariablen verwendet werden. Bspw. $KERN_LOAD_PFAD/unl/datei.unl oder $SVA_PFAD/schluesseltabellen/script.sql}}		{{Hinweis\|Bei Dateien sollten möglichst die vorhandenen SuperX- beziehungsweise Modulvariablen verwendet werden. Bspw. <code>$KERN_LOAD_PFAD/unl/datei.unl</code> oder <code>$SVA_PFAD/schluesseltabellen/script.sql</code>}}
	Wichtige Properties sind:		Wichtige Properties sind:
	*sqlScriptPath		*sqlScriptPath

John.imo: /* ETL Sonderladeroutinen */

2026-10-01T04:44:17Z

ETL Sonderladeroutinen

← Nächstältere Version		Version vom 1. Oktober 2026, 04:44 Uhr
Zeile 40:		Zeile 40:

	=ETL Sonderladeroutinen=		=ETL Sonderladeroutinen=
	Im ETL-Modul gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden.		Im ETL-Modul gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden. Voraussetzung dafür ist, dass das ETL-Modul aus dem [http://download.superx-projekt.de/ Downloadbereich] installiert ist. Eine Sonderladeroutine besteht aus einem ETL-Job mit mehreren ETL-Schritten. Die einzelnen Schritte können beispielsweise Daten aus einer Datenbank entladen, UNL-Dateien in Tabellen laden, SQL-Befehle ausführen oder vorhandene SQL-Skripte starten. Damit lassen sich sowohl kleine Datenübernahmen als auch umfangreichere und komplexere Ladeprozesse individuell zusammenstellen. Die Installation einer Sonderladeroutine läuft über ein [[Hochschuleigene_Laderoutinen#Aufbau_der_Definitionsdatei\|komplexes Script]], dass mit Freemarker-Variablen gefüllt wird und dann später zu reinem SQL transformiert wird, der die Installation ausführt.

	~~Voraussetzung dafür ist, dass das ETL-Modul aus dem [http://download.superx-projekt.de/ Downloadbereich] installiert ist.<br>~~

	Eine Sonderladeroutine besteht aus einem ETL-Job mit mehreren ETL-Schritten. Die einzelnen Schritte können beispielsweise Daten aus einer Datenbank entladen, UNL-Dateien in Tabellen laden, SQL-Befehle ausführen oder vorhandene SQL-Skripte starten.

	~~Damit lassen sich sowohl kleine Datenübernahmen als auch umfangreichere und komplexere Ladeprozesse individuell zusammenstellen.~~

	Die Installation einer Sonderladeroutine läuft über ein [[Hochschuleigene_Laderoutinen#Aufbau_der_Definitionsdatei\|komplexes Script]], dass mit Freemarker-Variablen gefüllt wird und dann später zu reinem SQL transformiert wird, der die Installation ausführt.<br>
	== Voraussetzungen ==		== Voraussetzungen ==

	Kontrollieren Sie, ob die BI-Tabelle etl_step_type mit fünf Datensätzen gefüllt ist.~~<br>~~		Kontrollieren Sie, ob die BI-Tabelle etl_step_type mit fünf Datensätzen gefüllt ist. Falls diese bei Ihnen leer ist, fügen Sie folgende Step-Types ein<source lang="SQL">
	Falls diese bei Ihnen leer ist, fügen Sie folgende Step-Types ein
	<source lang="SQL">
	INSERT INTO etl_step_type (tid,uniquename,caption,handler)		INSERT INTO etl_step_type (tid,uniquename,caption,handler)
	VALUES		VALUES
Zeile 62:		Zeile 53:
	(5,'MSG','Logausgabe','de.superx.elt.ActionHandler.EtlActionHandlerMsg');		(5,'MSG','Logausgabe','de.superx.elt.ActionHandler.EtlActionHandlerMsg');
	</source>		</source>

	Um fertigen SQL zu generieren muss in der verwendeten Datenbank in der Tabelle fm_templates die ETL_MAKRO aus mind. ETL-Modul 0.5 installiert sein. Damit ist nur die Generierung von Installations-SQL gemeint, zur Verwendung der Steps ist dies nicht nötig.		Um fertigen SQL zu generieren muss in der verwendeten Datenbank in der Tabelle fm_templates die ETL_MAKRO aus mind. ETL-Modul 0.5 installiert sein. Damit ist nur die Generierung von Installations-SQL gemeint, zur Verwendung der Steps ist dies nicht nötig.

John.imo: /* Fehlermeldungen FAQ */

2026-09-30T12:48:59Z

Fehlermeldungen FAQ

← Nächstältere Version		Version vom 30. September 2026, 12:48 Uhr
Zeile 626:		Zeile 626:

	'''[main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special org.springframework.jdbc.BadSqlGrammarException: PreparedStatementCallback; bad SQL grammar [SELECT tid, uniquename, caption, systeminfo_id, custom_job FROM etl_job WHERE uniquename like ?]; nested exception is org.postgresql.util.PSQLException: Cannot cast to boolean: "2.0"'''		'''[main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special org.springframework.jdbc.BadSqlGrammarException: PreparedStatementCallback; bad SQL grammar [SELECT tid, uniquename, caption, systeminfo_id, custom_job FROM etl_job WHERE uniquename like ?]; nested exception is org.postgresql.util.PSQLException: Cannot cast to boolean: "2.0"'''
	Für Ausführung per HisInOne ~~SHellscript~~ muss ein Job das Attribut custom_job = 1 haben (0= HIS Auslieferung, 1= hochschulspezfisch,2 Memtext ~~AUslieferung~~)~~<br>~~		Für Ausführung per HisInOne Shellscript muss ein Job das Attribut custom_job = 1 haben (0= HIS Auslieferung, 1= hochschulspezfisch,2 Memtext Auslieferung). Das Makro ETL erzeugt derzeit 2 Memtext Auslieferung, also für Ausführung per Shellscript noch nachbearbeiten:<br><code>UPDATE etl_job SET custom_job = 1 WHERE uniquename='fin_inst_proj_special';</code>
	Das Makro ETL erzeugt derzeit 2 Memtext Auslieferung, also für Ausführung per Shellscript noch nachbearbeiten:
	UPDATE etl_job SET custom_job = 1 WHERE uniquename='fin_inst_proj_special';

John.imo: /* Hinweise */

2026-09-30T12:47:19Z

Hinweise

← Nächstältere Version		Version vom 30. September 2026, 12:47 Uhr
Zeile 614:		Zeile 614:
	*Für kurze SQL-Befehle eignet sich <code>DOQUERY</code>, für umfangreichere vorhandene SQL-Dateien <code>DOSQL</code>.		*Für kurze SQL-Befehle eignet sich <code>DOQUERY</code>, für umfangreichere vorhandene SQL-Dateien <code>DOSQL</code>.
	*Bei Problemen das Jobprotokoll unter <code>WEB-INF/logs/jobs/JOBNAME.log</code> prüfen.		*Bei Problemen das Jobprotokoll unter <code>WEB-INF/logs/jobs/JOBNAME.log</code> prüfen.



	== Fehlermeldungen FAQ ==		== Fehlermeldungen FAQ ==

John.imo: /* Demo-Sonderladeroutine */

2026-09-30T12:45:55Z

Demo-Sonderladeroutine

← Nächstältere Version		Version vom 30. September 2026, 12:45 Uhr
Zeile 581:		Zeile 581:
	==Demo-Sonderladeroutine==		==Demo-Sonderladeroutine==

	Als Vorlage steht eine bewusst klein gehaltene Demo-Sonderladeroutine zur Verfügung.		Als Vorlage steht eine bewusst klein gehaltene Demo-Sonderladeroutine zur Verfügung. Die Demo-Datei befindet sich im Git-Repository '''BI_Maintenance'''. Sie kann als Ausgangspunkt für eigene Sonderladeroutinen verwendet werden. Dabei sollte nur der Definitionsbereich am Anfang der Datei angepasst werden. Der darunterliegende Makrobereich bleibt unverändert.
			Die Demo zeigt einen möglichst kleinen vollständigen Ablauf. Der erste Step entlädt einen einfachen Datensatz:<br><code>select 1 as id, 'Demo' as name;</code><br>Das Ergebnis wird in eine UNL-Datei geschrieben. Anschließend erzeugt ein <code>DOQUERY</code>-Step eine kleine Zieltabelle:<source lang="sql">
	Die Demo-Datei befindet sich im Git-Repository:

	~~<source lang="text">~~
	BI_Maintenance
	~~</source>~~

	Sie kann als Ausgangspunkt für eigene Sonderladeroutinen verwendet werden. Dabei sollte nur der Definitionsbereich am Anfang der Datei angepasst werden. Der darunterliegende Makrobereich bleibt unverändert.

	Die Demo zeigt einen möglichst kleinen vollständigen Ablauf.

	Der erste Step entlädt einen einfachen Datensatz:

	<~~source lang="sql"~~>
	select 1 as id, 'Demo' as name;
	</~~source~~>

	Das Ergebnis wird in eine UNL-Datei geschrieben.

	Anschließend erzeugt ein <code>DOQUERY</code>-Step eine kleine Zieltabelle:

	<source lang="sql">
	create table if not exists tmp_kern_special_demo		create table if not exists tmp_kern_special_demo
	(		(
Zeile 610:		Zeile 589:
	);		);
	</source>		</source>
			Der abschließende <code>LOAD</code>-Step lädt die zuvor erzeugte UNL-Datei in diese Tabelle. Der Ablauf ist damit:
	Der abschließende <code>LOAD</code>-Step lädt die zuvor erzeugte UNL-Datei in diese Tabelle.		Datenbank
			↓
	Der Ablauf ist damit:		UNLOAD
			↓
	~~<source lang="text">~~		UNL-Datei
	Datenbank		↓
	↓		LOAD
	UNLOAD		↓
	↓		Zieltabelle
	UNL-Datei
	↓
	LOAD
	↓
	Zieltabelle
	~~</source>~~

	Die Demo zeigt damit die grundlegende Arbeitsweise einer Sonderladeroutine, ohne dass komplexes SQL vom Aufbau der ETL-Schritte ablenkt.		Die Demo zeigt damit die grundlegende Arbeitsweise einer Sonderladeroutine, ohne dass komplexes SQL vom Aufbau der ETL-Schritte ablenkt.

John.imo: /* Ausführung per Shellscript */

2026-09-30T12:37:08Z

Ausführung per Shellscript

← Nächstältere Version		Version vom 30. September 2026, 12:37 Uhr
Zeile 565:		Zeile 565:

	== Ausführung per Shellscript ==		== Ausführung per Shellscript ==
	Für Ausführung per HisInOne SHellscript muss ein Job das Attribut custom_job = 1 haben (0= HIS Auslieferung, 1= hochschulspezfisch,2 Memtext AUslieferung)~~<br>~~		Für Ausführung per HisInOne SHellscript muss ein Job das Attribut custom_job = 1 haben (0= HIS Auslieferung, 1= hochschulspezfisch,2 Memtext AUslieferung). Das Makro ETL erzeugt derzeit 2 Memtext Auslieferung, also für Ausführung per Shellscript noch nachbearbeiten:<br><code>UPDATE etl_job SET custom_job = 1 WHERE uniquename='fin_inst_proj_special';</code><br>Allgemeine Hinweise zum Ausführen von Laderoutinen per Script finden sich im [https://wiki.his.de/mediawiki/index.php/Skriptbasierte_Komponentenverwaltung_-_HISinOne-BI HisWiki]. Kopieren Sie unter webapps/superx/scripts/shell die Datei component_admin_cli.sh.sam nach component_admin_cli.sh und passen darin die Variable SUPERX_DIR gemäß Ihrer Installation an. Dann geben Sie der Datei Ausführungsrechte. Eine Sonderladeroutine kann man ausführen mit<br><code>component_admin_cli.sh -e UNIQUENAME</code><br>z.B.<br><code>component_admin_cli.sh -e fin_inst_proj_special</code><br>Es erscheinen eine Menge Logausgaben wie<source lang="text">
	Das Makro ETL erzeugt derzeit 2 Memtext Auslieferung, also für Ausführung per Shellscript noch nachbearbeiten:
	UPDATE etl_job SET custom_job = 1 WHERE uniquename='fin_inst_proj_special';

	Allgemeine Hinweise zum Ausführen von Laderoutinen per Script finden sich im [https://wiki.his.de/mediawiki/index.php/Skriptbasierte_Komponentenverwaltung_-_HISinOne-BI HisWiki].~~<br>~~
	Kopieren Sie unter webapps/superx/scripts/shell die Datei component_admin_cli.sh.sam nach component_admin_cli.sh und passen darin die Variable SUPERX_DIR gemäß Ihrer Installation an.~~<br>~~Dann geben Sie der Datei Ausführungsrechte.
	Eine Sonderladeroutine kann man ausführen mit
	component_admin_cli.sh -e UNIQUENAME
	z.B.
	component_admin_cli.sh -e fin_inst_proj_special
	Es erscheinen eine Menge Logausgaben wie
	<~~pre~~>
	2025-06-17 09:31:00,558 [main] INFO org.springframework.batch.core.launch.support.SimpleJobLauncher - No TaskExecutor has been set, defaulting to synchronous executor.		2025-06-17 09:31:00,558 [main] INFO org.springframework.batch.core.launch.support.SimpleJobLauncher - No TaskExecutor has been set, defaulting to synchronous executor.
	2025-06-17 09:31:00,613 [main] WARN org.springframework.data.convert.CustomConversions - Registering converter from class java.lang.Boolean to class org.springframework.data.jdbc.core.convert.JdbcValue as writing converter although it doesn't convert to a store-supported type! You might want to check your annotation setup at the converter implementation.		2025-06-17 09:31:00,613 [main] WARN org.springframework.data.convert.CustomConversions - Registering converter from class java.lang.Boolean to class org.springframework.data.jdbc.core.convert.JdbcValue as writing converter although it doesn't convert to a store-supported type! You might want to check your annotation setup at the converter implementation.
Zeile 583:		Zeile 572:
	2025-06-17 09:29:41,741 [main] INFO de.superx.rest.EtlJobApi - Job not registered yet: Zusatzfelder Inst und Proj aus MBS übertragen		2025-06-17 09:29:41,741 [main] INFO de.superx.rest.EtlJobApi - Job not registered yet: Zusatzfelder Inst und Proj aus MBS übertragen
	2		2
	</~~pre~~>		</source>
	Die hier aufgeführten WARN Meldungen kann man ignorieren.Andererseits sind Meldungen, die sich konkret auf den Job beziehen wichtig. Im folgenden Beispiel wird ein Script nicht gefunden		Die hier aufgeführten WARN Meldungen kann man ignorieren. Andererseits sind Meldungen, die sich konkret auf den Job beziehen wichtig. Im folgenden Beispiel wird ein Script nicht gefunden
	2025-06-17 09:31:02,641 [main] WARN de.superx.spring.service.BatchJobDescriptionAdapter - SQL Skriptfile doesn't exist: $FIN_PFAD/potsdam/7950_update_fin_zusatzmerkmale.sql		2025-06-17 09:31:02,641 [main] WARN de.superx.spring.service.BatchJobDescriptionAdapter - SQL Skriptfile doesn't exist: $FIN_PFAD/potsdam/7950_update_fin_zusatzmerkmale.sql
	oder hier ein allgemeiner ERROR-Meldung		oder hier ein allgemeiner ERROR-Meldung
	2025-06-17 09:37:16,188 [main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special		2025-06-17 09:37:16,188 [main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special
			Der Exitstatus des Script scheint in HisInOne2024.12 auch bei Fehlern noch teilweise 0 zurückzuliefern. Man sollte also auf etwaige Fehler ggfs. manuell die Logdateien prüfen. Diese liegt unter webapps/superx/WEB-INF/logs/jobs/JOBNAME.log
	Der Exitstatus des Script scheint in HisInOne2024.12 auch bei Fehlern noch teilweise 0 zurückzuliefern. ~~<br>~~Man sollte also auf etwaige Fehler ggfs. manuell die Logdateien prüfen.~~<br>~~
	Diese liegt unter webapps/superx/WEB-INF/logs/jobs/JOBNAME.log

	==Demo-Sonderladeroutine==		==Demo-Sonderladeroutine==