SuperX - Benutzerbeiträge [de]

Datei:hsinfo superx server uhi.png

2025-06-27T10:52:56Z

Bisping:

Hochschuleigene Laderoutinen

2025-06-18T09:04:52Z

Bisping: /* Fehlermeldungen FAQ */

=Übersicht =
Eigene Laderoutinen sind öfter gewünscht, wenn bestimmte Daten von den bisherigen Modulen (noch) nicht übernommen werden.
Als Beispiele könnten sein
* erfasste Mathenote von Bewerbern
* neue Tabelle zu Lehrbeauftragten
* bestimmte Zusatzfelder in MBS.inst
Dabei geht es darum, die Daten zunächst aus dem Quellsystem zu entladen (CSV), sie dann in SuperX/BI einzuspielen und ggfs. noch zu transformieren.
=Lade-Techniken=
Folgende Lade-Techniken sind möglich:
* [[Kernmodul_Shellscripte#Umgang_mit_Tabellen|Shellscripte]] (DOQUERY, sx_upload_table.x )
* [[Kettle-Grundlagen|Kettle]]
* [[Modul_ETL_Administrationshandbuch|ETL-Sonderladeroutinen]]

=Beispielanforderung Mathenote=
Die Technische Universität Hamburg (TUHH) erfasst die Mathematiknoten, welche Bewerber auf ihrem bisherigen Bildungsweg erreichten. Diese Mathematiknoten sollen zukünftig in Auswertungen einbezogen werden.
==Ziel der Laderoutine==
Das Ziel der Laderoutine ist das Befüllen einer neuen Tabelle mit Bewerbernummer und Mathematiknote. Diese neue Tabelle wird über das Feld 'Weitere Tabellen' im "Bewerbungen und Zulassungen Datenblatt" erreichbar sein. Ggf. ist noch ein Zeitraum anzugeben. Tabellenstruktur:
* Tabellenname: zul_bew_mathenote
*Felder:
** Bewerbernummer (INT)
** Mathenote (FLOAT)
* Zusätzlich zum Hochladen noch eine "_neu"-Tabelle, die quasi als Zwischenlager dient.

==Implementierung der Laderoutine==
===Entscheidung über die Technik des Ladens===
* Shellscripte (DOQUERY, sx_upload_table.x )
* Kettle
* BI Sonderladeroutine
===Unload aus dem Vorsystem===
Entladen der Tabelle '''application_content''', im Ergebnis eine CSV Datei
===Laden der CSV-Datei===
Hochladen mit Kettle oder Shellscript in _neu-Tabelle
===Transformation in finale Tabelle===
Aus der _neu-Tabelle in die finale Tabelle schreiben, ggf. noch Tranformation, z.B. von Noten-Punkten zur Note Dezimal (z.B. 11="gut")
===Automatisierung===
Nächtliches Laden mit Shellscript oder Kettle
==Einbinden in das Bewerbungen Datenblatt==
* sx_tables: Einfügen der Tabellennamen
* sx_fields: Einfügen der Spaltennamen inkl. Relationen (Fremdschlüssel-Beziehung von Bewerber-Mathenote zu Bewerbung Datenblatt (zul_bew_mathenote.bewnr = zul_antr_aggr.bewnr)
=ETL Sonderladeroutinen=
Im ETL-Modul gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden.

Voraussetzung dafür ist, dass das ETL-Modul aus dem [https://download.superx-projekt.de Downloadbereich] installiert ist. 
Eine Laderoutine kann Entladeschritte, Ladeschritte und Transformationsschritte (SQL) enthalten.

Die Installation einer Sonderladeroutine läuft über ein komplexes Script, dass mit Freemarker-Variablen gefüllt wird und dann später zu reinem SQL transformiert wird, der die Installation ausführt. 
== Voraussetzungen ==
=== etl_step_type ===
Kontrollieren Sie, ob die BI-Tabelle etl_step_type mit fünf Datensätzen gefüllt ist. 
Falls diese bei Ihnen leer ist, fügen Sie folgende Step-Types ein
<source lang="SQL">
INSERT INTO etl_step_type (tid,uniquename,caption,handler)
VALUES
(1,'LOAD','Tabelle hochladen','de.superx.elt.ActionHandler.EtlActionHandlerUploadRecords'),
(2,'DOSQL','SQL-Script ausführen','de.superx.elt.ActionHandler.EtlActionHandlerDosql'),
(3,'DOQUERY','SQL-Query ausführen','de.superx.elt.ActionHandler.EtlActionHandlerDoquery'),
(4,'UNLOAD','SQL-Ergebnis entladen','de.superx.elt.ActionHandler.EtlActionHandlerUnloadRecords'),
(5,'MSG','Logausgabe','de.superx.elt.ActionHandler.EtlActionHandlerMsg');
</source>

=== ETL-Makros zur Generierung ===
Um fertigen SQL zu generieren muss in der verwendeten Datenbank in der Tabelle fm_templates die ETL_MAKRO aus mind. ETL-Modul 0.5 installiert sein. Damit ist nur die Generierung von Installations-SQL gemeint, zur Verwendung der Steps ist dies nicht nötig.

==Definition von Sonderladeroutinen==
Ausgangspunkt ist die Definition einer (oder mehrerer) Sonderladeroutinen.
Als uniquename muss eine eindeutige Kennung gewählt werden, die auf "special" endet und bei systeminfo, die ID zu welchem Teilbereich (wie Finanzen,Personal oder Studierende) entsprechend der Tabelle systeminfo die Sonderladeroutine gehört und unter deren Hauptkonnektor sie erscheinen soll. etl_job_params können leer bleiben.

<source lang="SQL">
<#assign etl_jobs = [
{"uniquename":"fin_inst_special", "name":"Zusatzfelder Inst und Proj aus MBS übertragen", "systeminfo_id":3 ,"logfile":""}
] />

<#assign etl_job_params = [
] />
</source>

== Beispiel Entladen/Laden-Schritte ==
In einem einfachen Fall will man bestimmte Zusatzfelder entladen. Dazu legt man zwei ETL-Steps an.
Das Attribut "etl_job" verweist auf den ETL-JOB ("fin_inst_special") zu dem die Steps gehören sollen. 
Dann gibt man ihnen einen uniquename, einen Namen und einen Typ
* UNLOAD zum Entladenaus einer Quell-Datenbank
* LOAD zum Einspielen in die BI-Datenbank

<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"fin_inst_special", "uniquename":"unload_fin_inst", "name":"Zusatzfelder Inst entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_special", "uniquename":"upload_fin_inst", "name":"Zusatzfelder Inst laden", "type":"LOAD", "parent":"" }
] />
</source>

== Parameter für UNLOAD-Steps ==
Folgende Parameter müssen für einen UNLOAD-Step hinterlegt werden datasource,sql und unlFile. 
Das attribut "datasource" gibt die Quelldatenbankverbindung in HisInOne an. (hier im Beispiel mbs). 
Im Script darf es für alle step_properties nur eine Definition mit <#assign etl_step_properties= .. geben, weitere StepProperties müssen in dieser Aufzählung ergänzt werden. 
<source lang="SQL">
<#assign etl_step_properties = [
{"etl_step":"unload_fin_inst","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_inst","prop_name":"sql", "prop_value":"select inst_nr, key_ext,lehr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.inst; " },
{"etl_step":"unload_fin_inst","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" }

] />
</source>

Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden
<source lang="SQL">
{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },
{"etl_step":"unload_fin_inst","prop_name":"custom", "prop_value":"true" },
{"etl_step":"unload_fin_inst","prop_name":"sourceVersions", "prop_value":"" },
{"etl_step":"unload_fin_inst","prop_name":"sqlVarSource", "prop_value":"" },
{"etl_step":"unload_fin_inst","prop_name":"systemInfoId", "prop_value":"xx" } -- des Jobs
</source>

== Parameter für LOAD-Steps ==
Folgende Parameter müssen für einen LOAD-Step hinterlegt werden. 
Das Attribut "tableName" (hier im Beispiel "fin_inst_plus")gibt die Zieltabelle an, in die vorher entladenen Daten eingespielt werden sollen. 
Im Script darf es für alle step_properties nur eine Definition mit <#assign etl_step_properties= .. geben, weitere StepProperties müssen in dieser Aufzählung ergänzt werden. 
<source lang="SQL">
<#assign etl_step_properties = [
{"etl_step":"upload_fin_inst","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },
{"etl_step":"upload_fin_inst","prop_name":"tableName", "prop_value":"fin_inst_plus" }
] />
</source>
Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden, insbesondere header true könnte interessant sein.
<source lang="SQL">
{"etl_step":"upload_fin_inst","prop_name":"database", "prop_value":"eduetl" },
{"etl_step":"upload_fin_inst","prop_name":"delimiter", "prop_value":"^" },
{"etl_step":"upload_fin_inst","prop_name":"custom", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"refresh", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"header", "prop_value":"false" },
{"etl_step":"upload_fin_inst","prop_name":"active", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
{"etl_step":"upload_fin_inst","prop_name":"usePostgresCopyApi", "prop_value":"true" },
</source>
== DOSQL-Step ==
Einen DOSQL-Step, der eine SQL-Datei ausführt legt man folgendermaßen an: 
Innerhalb der etl_steps Definition mach man einen Eintrag mit dem etl_job und einem eindeutigen uniquename, der später die SQL-Datei referenziert, Typ ist "DOSQL".
<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"meinJob", "uniquename":"update_fin_zusatzmerkmale", "name":"Aktualisierung Schlüsseltabelle fin_zusatzmerkmale", "type":"DOSQL", "parent":"" }
] />
</source>

Innerhalb der etl_step_properties muss für den DOSQL-Step der folgende Eintrag definiert werden
<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$FIN_PFAD/schluesseltabellen/update_fin_zusatzmerkmale.sql" },
] />
</source>
Hinweis:
Es sollte nicht mit SUPERX_DIR gearbeitet werden, denn bei Ausführung im Browser funktioniert das, per Shellscript ist es aber anders definiert.

<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"custom", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"databaseSystem", "prop_value":"postgres" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"dataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"limitDebugStmts", "prop_value":"-1" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlVarDataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
</source>

== DOQUERY-Step ==
Einen DOQUERY-Step, der einen einzelnen SQL-Befehli ausführt legt man folgendermaßen an: 
Innerhalb der etl_steps Definition mach man einen Eintrag mit dem etl_job und einem eindeutigen uniquename, der später die SQL-Datei referenziert, Typ ist "DOQUERY".
<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"meinJob", "uniquename":"update_test", "name":"Schlüsseltabelle fin_zusatzmerkmale aktiv schalten", "type":"DOQUERY", "parent":"" }
] />
</source>

Innerhalb der etl_step_properties müssen für den DOSQL-Step der folgende Eintrag definiert werden
<source lang="SQL">
{"etl_step":"update_test","prop_name":"sql", "prop_value":"update fin_zusatzmerkmale set aktiv=1;" }
] />
</source>
Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden
<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"custom", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"databaseSystem", "prop_value":"postgres" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"dataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlVarDataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
</source>
== MSG-Step ==
wird von HisInOne 2024.12 noch nicht unterstützt
== komplettes Beispiel ==
<source lang="SQL">
--Freemarker Template
<#assign etl_jobs = [
{"uniquename":"fin_inst_proj_special", "name":"Zusatzfelder Inst und Proj aus MBS übertragen", "systeminfo_id":3 ,"logfile":""}
] />

<#assign etl_job_params = [
] />
<#assign etl_steps = [
{"etl_job":"fin_inst_proj_special", "uniquename":"unload_fin_inst", "name":"Zusatzfelder Inst entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_proj_special", "uniquename":"unload_fin_proj", "name":"Zusatzfelder Proj entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_proj_special", "uniquename":"upload_fin_inst", "name":"Zusatzfelder Inst laden", "type":"LOAD", "parent":"" },
{"etl_job":"fin_inst_proj_special", "uniquename":"upload_fin_proj", "name":"Zusatzfelder Proj laden", "type":"LOAD", "parent":"" },
{"etl_job":"fin_inst_proj_special", "uniquename":"update_fin_zusatzmerkmale", "name":"Aktualisierung Schlüsseltabelle fin_zusatzmerkmale", "type":"DOSQL", "parent":"" }
] />

<#assign etl_step_properties = [
{"etl_step":"unload_fin_inst","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_inst","prop_name":"sql", "prop_value":"select inst_nr, key_ext,lehr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.inst; " },
{"etl_step":"unload_fin_inst","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },

{"etl_step":"unload_fin_proj","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_proj","prop_name":"sql", "prop_value":"select projnr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.proj; " },
{"etl_step":"unload_fin_proj","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_proj_plus.unl" },

{"etl_step":"upload_fin_inst","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },
{"etl_step":"upload_fin_inst","prop_name":"tableName", "prop_value":"fin_inst_plus" },

{"etl_step":"upload_fin_proj","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_proj_plus.unl" },
{"etl_step":"upload_fin_proj","prop_name":"tableName", "prop_value":"fin_proj_plus" },

{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$SUPERX_DIR/db/module/etl/potsdam/update_fin_zusatzmerkmale.sql" }

] />

<#assign testfaelle = [
] />

<@ETL_STEPS_FUELLEN/>
</source>
== Ausführung per Shellscript ==
Für Ausführung per HisInOne SHellscript muss ein Job das Attribut custom_job = 1 haben (0= HIS Auslieferung, 1= hochschulspezfisch,2 Memtext AUslieferung) 
Das Makro ETL erzeugt derzeit 2 Memtext Auslieferung, also für Ausführung per Shellscript noch nachbearbeiten:
UPDATE etl_job SET custom_job = 1 WHERE uniquename='fin_inst_proj_special';

Allgemeine Hinweise zum Ausführen von Laderoutinen per Script finden sich im [https://wiki.his.de/mediawiki/index.php/Skriptbasierte_Komponentenverwaltung_-_HISinOne-BI HisWiki]. 
Kopieren Sie unter webapps/superx/scripts/shell die Datei component_admin_cli.sh.sam nach component_admin_cli.sh und passen darin die Variable SUPERX_DIR gemäß Ihrer Installation an. Dann geben Sie der Datei Ausführungsrechte.
Eine Sonderladeroutine kann man ausführen mit
component_admin_cli.sh -e UNIQUENAME
z.B.
component_admin_cli.sh -e fin_inst_proj_special
Es erscheinen eine Menge Logausgaben wie
<pre>
2025-06-17 09:31:00,558 [main] INFO org.springframework.batch.core.launch.support.SimpleJobLauncher - No TaskExecutor has been set, defaulting to synchronous executor.
2025-06-17 09:31:00,613 [main] WARN org.springframework.data.convert.CustomConversions - Registering converter from class java.lang.Boolean to class org.springframework.data.jdbc.core.convert.JdbcValue as writing converter although it doesn't convert to a store-supported type! You might want to check your annotation setup at the converter implementation.
2025-06-17 09:31:01,098 [main] WARN org.springframework.batch.core.configuration.annotation.DefaultBatchConfigurer - No transaction manager was provided, using a DataSourceTransactionManager
2025-06-17 09:31:01,111 [main] INFO org.springframework.batch.core.repository.support.JobRepositoryFactoryBean - No database type set, using meta data indicating: POSTGRES
2025-06-17 09:29:41,741 [main] INFO de.superx.rest.EtlJobApi - Job not registered yet: Zusatzfelder Inst und Proj aus MBS übertragen
2
</pre>
Die hier aufgeführten WARN Meldungen kann man ignorieren.Andererseits sind Meldungen, die sich konkret auf den Job beziehen wichtig. Im folgenden Beispiel wird ein Script nicht gefunden
2025-06-17 09:31:02,641 [main] WARN de.superx.spring.service.BatchJobDescriptionAdapter - SQL Skriptfile doesn't exist: $FIN_PFAD/potsdam/7950_update_fin_zusatzmerkmale.sql
oder hier ein allgemeiner ERROR-Meldung
2025-06-17 09:37:16,188 [main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special

Der Exitstatus des Script scheint in HisInOne2024.12 auch bei Fehlern noch teilweise 0 zurückzuliefern. Man sollte also auf etwaige Fehler ggfs. manuell die Logdateien prüfen. 
Diese liegt unter webapps/superx/WEB-INF/logs/jobs/JOBNAME.log

== Fehlermeldungen FAQ ==

'''Cannot invoke "javax.sql.DataSource.unwrap(java.lang.Class)" because the return value of de.superx.spring.batch.reader.JdbcUnloadReader.getDataSource()" is null'''

bedeutet,dass bei einem UnloadStep als dataSource z.B. "mbs" angegeben wurde, aber in der databases.xml (oder Spezialversion davon) keine Datenquelle "mbs" definiert ist.

'''ERROR: null value in column "step_type_id" of relation "etl_step" violates not-null constraint'''

Kontrollieren Sie, ob die Tabelle etl_step_type gefüllt ist (s.o.).

'''[main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special org.springframework.jdbc.BadSqlGrammarException: PreparedStatementCallback; bad SQL grammar [SELECT tid, uniquename, caption, systeminfo_id, custom_job FROM etl_job WHERE uniquename like ?]; nested exception is org.postgresql.util.PSQLException: Cannot cast to boolean: "2.0"'''
Für Ausführung per HisInOne SHellscript muss ein Job das Attribut custom_job = 1 haben (0= HIS Auslieferung, 1= hochschulspezfisch,2 Memtext AUslieferung) 
Das Makro ETL erzeugt derzeit 2 Memtext Auslieferung, also für Ausführung per Shellscript noch nachbearbeiten:
UPDATE etl_job SET custom_job = 1 WHERE uniquename='fin_inst_proj_special';

Hochschuleigene Laderoutinen

2025-06-18T09:01:50Z

Bisping: /* Ausführung per Shellscript */

Hochschuleigene Laderoutinen

2025-06-17T08:56:39Z

Bisping: /* Ausführung per Shellscript */

=Übersicht =
Eigene Laderoutinen sind öfter gewünscht, wenn bestimmte Daten von den bisherigen Modulen (noch) nicht übernommen werden.
Als Beispiele könnten sein
* erfasste Mathenote von Bewerbern
* neue Tabelle zu Lehrbeauftragten
* bestimmte Zusatzfelder in MBS.inst
Dabei geht es darum, die Daten zunächst aus dem Quellsystem zu entladen (CSV), sie dann in SuperX/BI einzuspielen und ggfs. noch zu transformieren.
=Lade-Techniken=
Folgende Lade-Techniken sind möglich:
* [[Kernmodul_Shellscripte#Umgang_mit_Tabellen|Shellscripte]] (DOQUERY, sx_upload_table.x )
* [[Kettle-Grundlagen|Kettle]]
* [[Modul_ETL_Administrationshandbuch|ETL-Sonderladeroutinen]]

=Beispielanforderung Mathenote=
Die Technische Universität Hamburg (TUHH) erfasst die Mathematiknoten, welche Bewerber auf ihrem bisherigen Bildungsweg erreichten. Diese Mathematiknoten sollen zukünftig in Auswertungen einbezogen werden.
==Ziel der Laderoutine==
Das Ziel der Laderoutine ist das Befüllen einer neuen Tabelle mit Bewerbernummer und Mathematiknote. Diese neue Tabelle wird über das Feld 'Weitere Tabellen' im "Bewerbungen und Zulassungen Datenblatt" erreichbar sein. Ggf. ist noch ein Zeitraum anzugeben. Tabellenstruktur:
* Tabellenname: zul_bew_mathenote
*Felder:
** Bewerbernummer (INT)
** Mathenote (FLOAT)
* Zusätzlich zum Hochladen noch eine "_neu"-Tabelle, die quasi als Zwischenlager dient.

==Implementierung der Laderoutine==
===Entscheidung über die Technik des Ladens===
* Shellscripte (DOQUERY, sx_upload_table.x )
* Kettle
* BI Sonderladeroutine
===Unload aus dem Vorsystem===
Entladen der Tabelle '''application_content''', im Ergebnis eine CSV Datei
===Laden der CSV-Datei===
Hochladen mit Kettle oder Shellscript in _neu-Tabelle
===Transformation in finale Tabelle===
Aus der _neu-Tabelle in die finale Tabelle schreiben, ggf. noch Tranformation, z.B. von Noten-Punkten zur Note Dezimal (z.B. 11="gut")
===Automatisierung===
Nächtliches Laden mit Shellscript oder Kettle
==Einbinden in das Bewerbungen Datenblatt==
* sx_tables: Einfügen der Tabellennamen
* sx_fields: Einfügen der Spaltennamen inkl. Relationen (Fremdschlüssel-Beziehung von Bewerber-Mathenote zu Bewerbung Datenblatt (zul_bew_mathenote.bewnr = zul_antr_aggr.bewnr)
=ETL Sonderladeroutinen=
Im ETL-Modul gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden.

Voraussetzung dafür ist, dass das ETL-Modul aus dem [https://download.superx-projekt.de Downloadbereich] installiert ist. 
Eine Laderoutine kann Entladeschritte, Ladeschritte und Transformationsschritte (SQL) enthalten.

Die Installation einer Sonderladeroutine läuft über ein komplexes Script, dass mit Freemarker-Variablen gefüllt wird und dann später zu reinem SQL transformiert wird, der die Installation ausführt. 
== Voraussetzungen ==
=== etl_step_type ===
Kontrollieren Sie, ob die BI-Tabelle etl_step_type mit fünf Datensätzen gefüllt ist. 
Falls diese bei Ihnen leer ist, fügen Sie folgende Step-Types ein
<source lang="SQL">
INSERT INTO etl_step_type (tid,uniquename,caption,handler)
VALUES
(1,'LOAD','Tabelle hochladen','de.superx.elt.ActionHandler.EtlActionHandlerUploadRecords'),
(2,'DOSQL','SQL-Script ausführen','de.superx.elt.ActionHandler.EtlActionHandlerDosql'),
(3,'DOQUERY','SQL-Query ausführen','de.superx.elt.ActionHandler.EtlActionHandlerDoquery'),
(4,'UNLOAD','SQL-Ergebnis entladen','de.superx.elt.ActionHandler.EtlActionHandlerUnloadRecords'),
(5,'MSG','Logausgabe','de.superx.elt.ActionHandler.EtlActionHandlerMsg');
</source>

=== ETL-Makros zur Generierung ===
Um fertigen SQL zu generieren muss in der verwendeten Datenbank in der Tabelle fm_templates die ETL_MAKRO aus mind. ETL-Modul 0.5 installiert sein. Damit ist nur die Generierung von Installations-SQL gemeint, zur Verwendung der Steps ist dies nicht nötig.

==Definition von Sonderladeroutinen==
Ausgangspunkt ist die Definition einer (oder mehrerer) Sonderladeroutinen.
Als uniquename muss eine eindeutige Kennung gewählt werden, die auf "special" endet und bei systeminfo, die ID zu welchem Teilbereich (wie Finanzen,Personal oder Studierende) entsprechend der Tabelle systeminfo die Sonderladeroutine gehört und unter deren Hauptkonnektor sie erscheinen soll. etl_job_params können leer bleiben.

<source lang="SQL">
<#assign etl_jobs = [
{"uniquename":"fin_inst_special", "name":"Zusatzfelder Inst und Proj aus MBS übertragen", "systeminfo_id":3 ,"logfile":""}
] />

<#assign etl_job_params = [
] />
</source>

== Beispiel Entladen/Laden-Schritte ==
In einem einfachen Fall will man bestimmte Zusatzfelder entladen. Dazu legt man zwei ETL-Steps an.
Das Attribut "etl_job" verweist auf den ETL-JOB ("fin_inst_special") zu dem die Steps gehören sollen. 
Dann gibt man ihnen einen uniquename, einen Namen und einen Typ
* UNLOAD zum Entladenaus einer Quell-Datenbank
* LOAD zum Einspielen in die BI-Datenbank

<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"fin_inst_special", "uniquename":"unload_fin_inst", "name":"Zusatzfelder Inst entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_special", "uniquename":"upload_fin_inst", "name":"Zusatzfelder Inst laden", "type":"LOAD", "parent":"" }
] />
</source>

== Parameter für UNLOAD-Steps ==
Folgende Parameter müssen für einen UNLOAD-Step hinterlegt werden datasource,sql und unlFile. 
Das attribut "datasource" gibt die Quelldatenbankverbindung in HisInOne an. (hier im Beispiel mbs). 
Im Script darf es für alle step_properties nur eine Definition mit <#assign etl_step_properties= .. geben, weitere StepProperties müssen in dieser Aufzählung ergänzt werden. 
<source lang="SQL">
<#assign etl_step_properties = [
{"etl_step":"unload_fin_inst","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_inst","prop_name":"sql", "prop_value":"select inst_nr, key_ext,lehr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.inst; " },
{"etl_step":"unload_fin_inst","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" }

] />
</source>

Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden
<source lang="SQL">
{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },
{"etl_step":"unload_fin_inst","prop_name":"custom", "prop_value":"true" },
{"etl_step":"unload_fin_inst","prop_name":"sourceVersions", "prop_value":"" },
{"etl_step":"unload_fin_inst","prop_name":"sqlVarSource", "prop_value":"" },
{"etl_step":"unload_fin_inst","prop_name":"systemInfoId", "prop_value":"xx" } -- des Jobs
</source>

== Parameter für LOAD-Steps ==
Folgende Parameter müssen für einen LOAD-Step hinterlegt werden. 
Das Attribut "tableName" (hier im Beispiel "fin_inst_plus")gibt die Zieltabelle an, in die vorher entladenen Daten eingespielt werden sollen. 
Im Script darf es für alle step_properties nur eine Definition mit <#assign etl_step_properties= .. geben, weitere StepProperties müssen in dieser Aufzählung ergänzt werden. 
<source lang="SQL">
<#assign etl_step_properties = [
{"etl_step":"upload_fin_inst","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },
{"etl_step":"upload_fin_inst","prop_name":"tableName", "prop_value":"fin_inst_plus" }
] />
</source>
Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden, insbesondere header true könnte interessant sein.
<source lang="SQL">
{"etl_step":"upload_fin_inst","prop_name":"database", "prop_value":"eduetl" },
{"etl_step":"upload_fin_inst","prop_name":"delimiter", "prop_value":"^" },
{"etl_step":"upload_fin_inst","prop_name":"custom", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"refresh", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"header", "prop_value":"false" },
{"etl_step":"upload_fin_inst","prop_name":"active", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
{"etl_step":"upload_fin_inst","prop_name":"usePostgresCopyApi", "prop_value":"true" },
</source>
== DOSQL-Step ==
Einen DOSQL-Step, der eine SQL-Datei ausführt legt man folgendermaßen an: 
Innerhalb der etl_steps Definition mach man einen Eintrag mit dem etl_job und einem eindeutigen uniquename, der später die SQL-Datei referenziert, Typ ist "DOSQL".
<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"meinJob", "uniquename":"update_fin_zusatzmerkmale", "name":"Aktualisierung Schlüsseltabelle fin_zusatzmerkmale", "type":"DOSQL", "parent":"" }
] />
</source>

Innerhalb der etl_step_properties muss für den DOSQL-Step der folgende Eintrag definiert werden
<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$FIN_PFAD/schluesseltabellen/update_fin_zusatzmerkmale.sql" },
] />
</source>
Hinweis:
Es sollte nicht mit SUPERX_DIR gearbeitet werden, denn bei Ausführung im Browser funktioniert das, per Shellscript ist es aber anders definiert.

<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"custom", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"databaseSystem", "prop_value":"postgres" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"dataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"limitDebugStmts", "prop_value":"-1" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlVarDataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
</source>

== DOQUERY-Step ==
Einen DOQUERY-Step, der einen einzelnen SQL-Befehli ausführt legt man folgendermaßen an: 
Innerhalb der etl_steps Definition mach man einen Eintrag mit dem etl_job und einem eindeutigen uniquename, der später die SQL-Datei referenziert, Typ ist "DOQUERY".
<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"meinJob", "uniquename":"update_test", "name":"Schlüsseltabelle fin_zusatzmerkmale aktiv schalten", "type":"DOQUERY", "parent":"" }
] />
</source>

Innerhalb der etl_step_properties müssen für den DOSQL-Step der folgende Eintrag definiert werden
<source lang="SQL">
{"etl_step":"update_test","prop_name":"sql", "prop_value":"update fin_zusatzmerkmale set aktiv=1;" }
] />
</source>
Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden
<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"custom", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"databaseSystem", "prop_value":"postgres" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"dataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlVarDataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
</source>
== MSG-Step ==
wird von HisInOne 2024.12 noch nicht unterstützt
== komplettes Beispiel ==
<source lang="SQL">
--Freemarker Template
<#assign etl_jobs = [
{"uniquename":"fin_inst_proj_special", "name":"Zusatzfelder Inst und Proj aus MBS übertragen", "systeminfo_id":3 ,"logfile":""}
] />

<#assign etl_job_params = [
] />
<#assign etl_steps = [
{"etl_job":"fin_inst_proj_special", "uniquename":"unload_fin_inst", "name":"Zusatzfelder Inst entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_proj_special", "uniquename":"unload_fin_proj", "name":"Zusatzfelder Proj entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_proj_special", "uniquename":"upload_fin_inst", "name":"Zusatzfelder Inst laden", "type":"LOAD", "parent":"" },
{"etl_job":"fin_inst_proj_special", "uniquename":"upload_fin_proj", "name":"Zusatzfelder Proj laden", "type":"LOAD", "parent":"" },
{"etl_job":"fin_inst_proj_special", "uniquename":"update_fin_zusatzmerkmale", "name":"Aktualisierung Schlüsseltabelle fin_zusatzmerkmale", "type":"DOSQL", "parent":"" }
] />

<#assign etl_step_properties = [
{"etl_step":"unload_fin_inst","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_inst","prop_name":"sql", "prop_value":"select inst_nr, key_ext,lehr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.inst; " },
{"etl_step":"unload_fin_inst","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },

{"etl_step":"unload_fin_proj","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_proj","prop_name":"sql", "prop_value":"select projnr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.proj; " },
{"etl_step":"unload_fin_proj","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_proj_plus.unl" },

{"etl_step":"upload_fin_inst","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },
{"etl_step":"upload_fin_inst","prop_name":"tableName", "prop_value":"fin_inst_plus" },

{"etl_step":"upload_fin_proj","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_proj_plus.unl" },
{"etl_step":"upload_fin_proj","prop_name":"tableName", "prop_value":"fin_proj_plus" },

{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$SUPERX_DIR/db/module/etl/potsdam/update_fin_zusatzmerkmale.sql" }

] />

<#assign testfaelle = [
] />

<@ETL_STEPS_FUELLEN/>
</source>
== Ausführung per Shellscript ==
Allgemeine Hinweise zum Ausführen von Laderoutinen per Script finden sich im [https://wiki.his.de/mediawiki/index.php/Skriptbasierte_Komponentenverwaltung_-_HISinOne-BI HisWiki]. 
Kopieren Sie unter webapps/superx/scripts/shell die Datei component_admin_cli.sh.sam nach component_admin_cli.sh und passen darin die Variable SUPERX_DIR gemäß Ihrer Installation an. Dann geben Sie der Datei Ausführungsrechte.
Eine Sonderladeroutine kann man ausführen mit
component_admin_cli.sh -e UNIQUENAME
z.B.
component_admin_cli.sh -e fin_inst_proj_special
Es erscheinen eine Menge Logausgaben wie
<pre>
2025-06-17 09:31:00,558 [main] INFO org.springframework.batch.core.launch.support.SimpleJobLauncher - No TaskExecutor has been set, defaulting to synchronous executor.
2025-06-17 09:31:00,613 [main] WARN org.springframework.data.convert.CustomConversions - Registering converter from class java.lang.Boolean to class org.springframework.data.jdbc.core.convert.JdbcValue as writing converter although it doesn't convert to a store-supported type! You might want to check your annotation setup at the converter implementation.
2025-06-17 09:31:01,098 [main] WARN org.springframework.batch.core.configuration.annotation.DefaultBatchConfigurer - No transaction manager was provided, using a DataSourceTransactionManager
2025-06-17 09:31:01,111 [main] INFO org.springframework.batch.core.repository.support.JobRepositoryFactoryBean - No database type set, using meta data indicating: POSTGRES
2025-06-17 09:29:41,741 [main] INFO de.superx.rest.EtlJobApi - Job not registered yet: Zusatzfelder Inst und Proj aus MBS übertragen
2
</pre>
Die hier aufgeführten WARN Meldungen kann man ignorieren.Andererseits sind Meldungen, die sich konkret auf den Job beziehen wichtig. Im folgenden Beispiel wird ein Script nicht gefunden
2025-06-17 09:31:02,641 [main] WARN de.superx.spring.service.BatchJobDescriptionAdapter - SQL Skriptfile doesn't exist: $FIN_PFAD/potsdam/7950_update_fin_zusatzmerkmale.sql
oder hier ein allgemeiner ERROR-Meldung
2025-06-17 09:37:16,188 [main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special

Der Exitstatus des Script scheint in HisInOne2024.12 auch bei Fehlern noch teilweise 0 zurückzuliefern. Man sollte also auf etwaige Fehler ggfs. manuell die Logdateien prüfen. 
Diese liegt unter webapps/superx/WEB-INF/logs/jobs/JOBNAME.log

== Fehlermeldungen FAQ ==

'''Cannot invoke "javax.sql.DataSource.unwrap(java.lang.Class)" because the return value of de.superx.spring.batch.reader.JdbcUnloadReader.getDataSource()" is null'''

bedeutet,dass bei einem UnloadStep als dataSource z.B. "mbs" angegeben wurde, aber in der databases.xml (oder Spezialversion davon) keine Datenquelle "mbs" definiert ist.

'''ERROR: null value in column "step_type_id" of relation "etl_step" violates not-null constraint'''

Kontrollieren Sie, ob die Tabelle etl_step_type gefüllt ist (s.o.).

Hochschuleigene Laderoutinen

2025-06-17T08:20:57Z

Bisping: /* Ausführung per Shellscript */

=Übersicht =
Eigene Laderoutinen sind öfter gewünscht, wenn bestimmte Daten von den bisherigen Modulen (noch) nicht übernommen werden.
Als Beispiele könnten sein
* erfasste Mathenote von Bewerbern
* neue Tabelle zu Lehrbeauftragten
* bestimmte Zusatzfelder in MBS.inst
Dabei geht es darum, die Daten zunächst aus dem Quellsystem zu entladen (CSV), sie dann in SuperX/BI einzuspielen und ggfs. noch zu transformieren.
=Lade-Techniken=
Folgende Lade-Techniken sind möglich:
* [[Kernmodul_Shellscripte#Umgang_mit_Tabellen|Shellscripte]] (DOQUERY, sx_upload_table.x )
* [[Kettle-Grundlagen|Kettle]]
* [[Modul_ETL_Administrationshandbuch|ETL-Sonderladeroutinen]]

=Beispielanforderung Mathenote=
Die Technische Universität Hamburg (TUHH) erfasst die Mathematiknoten, welche Bewerber auf ihrem bisherigen Bildungsweg erreichten. Diese Mathematiknoten sollen zukünftig in Auswertungen einbezogen werden.
==Ziel der Laderoutine==
Das Ziel der Laderoutine ist das Befüllen einer neuen Tabelle mit Bewerbernummer und Mathematiknote. Diese neue Tabelle wird über das Feld 'Weitere Tabellen' im "Bewerbungen und Zulassungen Datenblatt" erreichbar sein. Ggf. ist noch ein Zeitraum anzugeben. Tabellenstruktur:
* Tabellenname: zul_bew_mathenote
*Felder:
** Bewerbernummer (INT)
** Mathenote (FLOAT)
* Zusätzlich zum Hochladen noch eine "_neu"-Tabelle, die quasi als Zwischenlager dient.

==Implementierung der Laderoutine==
===Entscheidung über die Technik des Ladens===
* Shellscripte (DOQUERY, sx_upload_table.x )
* Kettle
* BI Sonderladeroutine
===Unload aus dem Vorsystem===
Entladen der Tabelle '''application_content''', im Ergebnis eine CSV Datei
===Laden der CSV-Datei===
Hochladen mit Kettle oder Shellscript in _neu-Tabelle
===Transformation in finale Tabelle===
Aus der _neu-Tabelle in die finale Tabelle schreiben, ggf. noch Tranformation, z.B. von Noten-Punkten zur Note Dezimal (z.B. 11="gut")
===Automatisierung===
Nächtliches Laden mit Shellscript oder Kettle
==Einbinden in das Bewerbungen Datenblatt==
* sx_tables: Einfügen der Tabellennamen
* sx_fields: Einfügen der Spaltennamen inkl. Relationen (Fremdschlüssel-Beziehung von Bewerber-Mathenote zu Bewerbung Datenblatt (zul_bew_mathenote.bewnr = zul_antr_aggr.bewnr)
=ETL Sonderladeroutinen=
Im ETL-Modul gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden.

Voraussetzung dafür ist, dass das ETL-Modul aus dem [https://download.superx-projekt.de Downloadbereich] installiert ist. 
Eine Laderoutine kann Entladeschritte, Ladeschritte und Transformationsschritte (SQL) enthalten.

Die Installation einer Sonderladeroutine läuft über ein komplexes Script, dass mit Freemarker-Variablen gefüllt wird und dann später zu reinem SQL transformiert wird, der die Installation ausführt. 
== Voraussetzungen ==
=== etl_step_type ===
Kontrollieren Sie, ob die BI-Tabelle etl_step_type mit fünf Datensätzen gefüllt ist. 
Falls diese bei Ihnen leer ist, fügen Sie folgende Step-Types ein
<source lang="SQL">
INSERT INTO etl_step_type (tid,uniquename,caption,handler)
VALUES
(1,'LOAD','Tabelle hochladen','de.superx.elt.ActionHandler.EtlActionHandlerUploadRecords'),
(2,'DOSQL','SQL-Script ausführen','de.superx.elt.ActionHandler.EtlActionHandlerDosql'),
(3,'DOQUERY','SQL-Query ausführen','de.superx.elt.ActionHandler.EtlActionHandlerDoquery'),
(4,'UNLOAD','SQL-Ergebnis entladen','de.superx.elt.ActionHandler.EtlActionHandlerUnloadRecords'),
(5,'MSG','Logausgabe','de.superx.elt.ActionHandler.EtlActionHandlerMsg');
</source>

=== ETL-Makros zur Generierung ===
Um fertigen SQL zu generieren muss in der verwendeten Datenbank in der Tabelle fm_templates die ETL_MAKRO aus mind. ETL-Modul 0.5 installiert sein. Damit ist nur die Generierung von Installations-SQL gemeint, zur Verwendung der Steps ist dies nicht nötig.

==Definition von Sonderladeroutinen==
Ausgangspunkt ist die Definition einer (oder mehrerer) Sonderladeroutinen.
Als uniquename muss eine eindeutige Kennung gewählt werden, die auf "special" endet und bei systeminfo, die ID zu welchem Teilbereich (wie Finanzen,Personal oder Studierende) entsprechend der Tabelle systeminfo die Sonderladeroutine gehört und unter deren Hauptkonnektor sie erscheinen soll. etl_job_params können leer bleiben.

<source lang="SQL">
<#assign etl_jobs = [
{"uniquename":"fin_inst_special", "name":"Zusatzfelder Inst und Proj aus MBS übertragen", "systeminfo_id":3 ,"logfile":""}
] />

<#assign etl_job_params = [
] />
</source>

== Beispiel Entladen/Laden-Schritte ==
In einem einfachen Fall will man bestimmte Zusatzfelder entladen. Dazu legt man zwei ETL-Steps an.
Das Attribut "etl_job" verweist auf den ETL-JOB ("fin_inst_special") zu dem die Steps gehören sollen. 
Dann gibt man ihnen einen uniquename, einen Namen und einen Typ
* UNLOAD zum Entladenaus einer Quell-Datenbank
* LOAD zum Einspielen in die BI-Datenbank

<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"fin_inst_special", "uniquename":"unload_fin_inst", "name":"Zusatzfelder Inst entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_special", "uniquename":"upload_fin_inst", "name":"Zusatzfelder Inst laden", "type":"LOAD", "parent":"" }
] />
</source>

== Parameter für UNLOAD-Steps ==
Folgende Parameter müssen für einen UNLOAD-Step hinterlegt werden datasource,sql und unlFile. 
Das attribut "datasource" gibt die Quelldatenbankverbindung in HisInOne an. (hier im Beispiel mbs). 
Im Script darf es für alle step_properties nur eine Definition mit <#assign etl_step_properties= .. geben, weitere StepProperties müssen in dieser Aufzählung ergänzt werden. 
<source lang="SQL">
<#assign etl_step_properties = [
{"etl_step":"unload_fin_inst","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_inst","prop_name":"sql", "prop_value":"select inst_nr, key_ext,lehr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.inst; " },
{"etl_step":"unload_fin_inst","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" }

] />
</source>

Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden
<source lang="SQL">
{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },
{"etl_step":"unload_fin_inst","prop_name":"custom", "prop_value":"true" },
{"etl_step":"unload_fin_inst","prop_name":"sourceVersions", "prop_value":"" },
{"etl_step":"unload_fin_inst","prop_name":"sqlVarSource", "prop_value":"" },
{"etl_step":"unload_fin_inst","prop_name":"systemInfoId", "prop_value":"xx" } -- des Jobs
</source>

== Parameter für LOAD-Steps ==
Folgende Parameter müssen für einen LOAD-Step hinterlegt werden. 
Das Attribut "tableName" (hier im Beispiel "fin_inst_plus")gibt die Zieltabelle an, in die vorher entladenen Daten eingespielt werden sollen. 
Im Script darf es für alle step_properties nur eine Definition mit <#assign etl_step_properties= .. geben, weitere StepProperties müssen in dieser Aufzählung ergänzt werden. 
<source lang="SQL">
<#assign etl_step_properties = [
{"etl_step":"upload_fin_inst","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },
{"etl_step":"upload_fin_inst","prop_name":"tableName", "prop_value":"fin_inst_plus" }
] />
</source>
Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden, insbesondere header true könnte interessant sein.
<source lang="SQL">
{"etl_step":"upload_fin_inst","prop_name":"database", "prop_value":"eduetl" },
{"etl_step":"upload_fin_inst","prop_name":"delimiter", "prop_value":"^" },
{"etl_step":"upload_fin_inst","prop_name":"custom", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"refresh", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"header", "prop_value":"false" },
{"etl_step":"upload_fin_inst","prop_name":"active", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
{"etl_step":"upload_fin_inst","prop_name":"usePostgresCopyApi", "prop_value":"true" },
</source>
== DOSQL-Step ==
Einen DOSQL-Step, der eine SQL-Datei ausführt legt man folgendermaßen an: 
Innerhalb der etl_steps Definition mach man einen Eintrag mit dem etl_job und einem eindeutigen uniquename, der später die SQL-Datei referenziert, Typ ist "DOSQL".
<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"meinJob", "uniquename":"update_fin_zusatzmerkmale", "name":"Aktualisierung Schlüsseltabelle fin_zusatzmerkmale", "type":"DOSQL", "parent":"" }
] />
</source>

Innerhalb der etl_step_properties muss für den DOSQL-Step der folgende Eintrag definiert werden
<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$FIN_PFAD/schluesseltabellen/update_fin_zusatzmerkmale.sql" },
] />
</source>
Hinweis:
Es sollte nicht mit SUPERX_DIR gearbeitet werden, denn bei Ausführung im Browser funktioniert das, per Shellscript ist es aber anders definiert.

<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"custom", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"databaseSystem", "prop_value":"postgres" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"dataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"limitDebugStmts", "prop_value":"-1" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlVarDataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
</source>

== DOQUERY-Step ==
Einen DOQUERY-Step, der einen einzelnen SQL-Befehli ausführt legt man folgendermaßen an: 
Innerhalb der etl_steps Definition mach man einen Eintrag mit dem etl_job und einem eindeutigen uniquename, der später die SQL-Datei referenziert, Typ ist "DOQUERY".
<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"meinJob", "uniquename":"update_test", "name":"Schlüsseltabelle fin_zusatzmerkmale aktiv schalten", "type":"DOQUERY", "parent":"" }
] />
</source>

Innerhalb der etl_step_properties müssen für den DOSQL-Step der folgende Eintrag definiert werden
<source lang="SQL">
{"etl_step":"update_test","prop_name":"sql", "prop_value":"update fin_zusatzmerkmale set aktiv=1;" }
] />
</source>
Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden
<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"custom", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"databaseSystem", "prop_value":"postgres" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"dataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlVarDataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
</source>
== MSG-Step ==
wird von HisInOne 2024.12 noch nicht unterstützt
== komplettes Beispiel ==
<source lang="SQL">
--Freemarker Template
<#assign etl_jobs = [
{"uniquename":"fin_inst_proj_special", "name":"Zusatzfelder Inst und Proj aus MBS übertragen", "systeminfo_id":3 ,"logfile":""}
] />

<#assign etl_job_params = [
] />
<#assign etl_steps = [
{"etl_job":"fin_inst_proj_special", "uniquename":"unload_fin_inst", "name":"Zusatzfelder Inst entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_proj_special", "uniquename":"unload_fin_proj", "name":"Zusatzfelder Proj entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_proj_special", "uniquename":"upload_fin_inst", "name":"Zusatzfelder Inst laden", "type":"LOAD", "parent":"" },
{"etl_job":"fin_inst_proj_special", "uniquename":"upload_fin_proj", "name":"Zusatzfelder Proj laden", "type":"LOAD", "parent":"" },
{"etl_job":"fin_inst_proj_special", "uniquename":"update_fin_zusatzmerkmale", "name":"Aktualisierung Schlüsseltabelle fin_zusatzmerkmale", "type":"DOSQL", "parent":"" }
] />

<#assign etl_step_properties = [
{"etl_step":"unload_fin_inst","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_inst","prop_name":"sql", "prop_value":"select inst_nr, key_ext,lehr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.inst; " },
{"etl_step":"unload_fin_inst","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },

{"etl_step":"unload_fin_proj","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_proj","prop_name":"sql", "prop_value":"select projnr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.proj; " },
{"etl_step":"unload_fin_proj","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_proj_plus.unl" },

{"etl_step":"upload_fin_inst","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },
{"etl_step":"upload_fin_inst","prop_name":"tableName", "prop_value":"fin_inst_plus" },

{"etl_step":"upload_fin_proj","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_proj_plus.unl" },
{"etl_step":"upload_fin_proj","prop_name":"tableName", "prop_value":"fin_proj_plus" },

{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$SUPERX_DIR/db/module/etl/potsdam/update_fin_zusatzmerkmale.sql" }

] />

<#assign testfaelle = [
] />

<@ETL_STEPS_FUELLEN/>
</source>
== Ausführung per Shellscript ==
Allgemeine Hinweise zum Ausführen von Laderoutinen per Script finden sich im [https://wiki.his.de/mediawiki/index.php/Skriptbasierte_Komponentenverwaltung_-_HISinOne-BI HisWiki]. 
Kopieren Sie unter webapps/superx/scripts/shell die Datei component_admin_cli.sh.sam nach component_admin_cli.sh und passen darin die Variable SUPERX_DIR gemäß Ihrer Installation an. Dann geben Sie der Datei Ausführungsrechte.
Eine Sonderladeroutine kann man ausführen mit
component_admin_cli.sh -e UNIQUENAME
z.B.
component_admin_cli.sh -e fin_inst_proj_special
Es erscheinen eine Menge Logausgaben wie
<pre>
2025-06-17 09:31:00,558 [main] INFO org.springframework.batch.core.launch.support.SimpleJobLauncher - No TaskExecutor has been set, defaulting to synchronous executor.
2025-06-17 09:31:00,613 [main] WARN org.springframework.data.convert.CustomConversions - Registering converter from class java.lang.Boolean to class org.springframework.data.jdbc.core.convert.JdbcValue as writing converter although it doesn't convert to a store-supported type! You might want to check your annotation setup at the converter implementation.
2025-06-17 09:31:01,098 [main] WARN org.springframework.batch.core.configuration.annotation.DefaultBatchConfigurer - No transaction manager was provided, using a DataSourceTransactionManager
2025-06-17 09:31:01,111 [main] INFO org.springframework.batch.core.repository.support.JobRepositoryFactoryBean - No database type set, using meta data indicating: POSTGRES
2025-06-17 09:29:41,741 [main] INFO de.superx.rest.EtlJobApi - Job not registered yet: Zusatzfelder Inst und Proj aus MBS übertragen
2
</pre>
Die hier aufgeführten WARN Meldungen kann man ignorieren.Andererseits sind Meldungen, die sich konkret auf den Job beziehen wichtig. Im folgenden Beispiel wird ein Script nicht gefunden
2025-06-17 09:31:02,641 [main] WARN de.superx.spring.service.BatchJobDescriptionAdapter - SQL Skriptfile doesn't exist: $FIN_PFAD/potsdam/7950_update_fin_zusatzmerkmale.sql
oder hier ein allgemeiner ERROR-Meldung
2025-06-17 09:37:16,188 [main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special

Der Exitstatus des Script scheint in HisInOne2024.12 noch meist oder immer 0 zurückzuliefern. Man sollte also auf etwaige Fehler ggfs. manuell die Logdateien prüfen.

== Fehlermeldungen FAQ ==

'''Cannot invoke "javax.sql.DataSource.unwrap(java.lang.Class)" because the return value of de.superx.spring.batch.reader.JdbcUnloadReader.getDataSource()" is null'''

bedeutet,dass bei einem UnloadStep als dataSource z.B. "mbs" angegeben wurde, aber in der databases.xml (oder Spezialversion davon) keine Datenquelle "mbs" definiert ist.

'''ERROR: null value in column "step_type_id" of relation "etl_step" violates not-null constraint'''

Kontrollieren Sie, ob die Tabelle etl_step_type gefüllt ist (s.o.).

Hochschuleigene Laderoutinen

2025-06-17T08:20:29Z

Bisping: /* Fehlermeldungen FAQ */

=Übersicht =
Eigene Laderoutinen sind öfter gewünscht, wenn bestimmte Daten von den bisherigen Modulen (noch) nicht übernommen werden.
Als Beispiele könnten sein
* erfasste Mathenote von Bewerbern
* neue Tabelle zu Lehrbeauftragten
* bestimmte Zusatzfelder in MBS.inst
Dabei geht es darum, die Daten zunächst aus dem Quellsystem zu entladen (CSV), sie dann in SuperX/BI einzuspielen und ggfs. noch zu transformieren.
=Lade-Techniken=
Folgende Lade-Techniken sind möglich:
* [[Kernmodul_Shellscripte#Umgang_mit_Tabellen|Shellscripte]] (DOQUERY, sx_upload_table.x )
* [[Kettle-Grundlagen|Kettle]]
* [[Modul_ETL_Administrationshandbuch|ETL-Sonderladeroutinen]]

=Beispielanforderung Mathenote=
Die Technische Universität Hamburg (TUHH) erfasst die Mathematiknoten, welche Bewerber auf ihrem bisherigen Bildungsweg erreichten. Diese Mathematiknoten sollen zukünftig in Auswertungen einbezogen werden.
==Ziel der Laderoutine==
Das Ziel der Laderoutine ist das Befüllen einer neuen Tabelle mit Bewerbernummer und Mathematiknote. Diese neue Tabelle wird über das Feld 'Weitere Tabellen' im "Bewerbungen und Zulassungen Datenblatt" erreichbar sein. Ggf. ist noch ein Zeitraum anzugeben. Tabellenstruktur:
* Tabellenname: zul_bew_mathenote
*Felder:
** Bewerbernummer (INT)
** Mathenote (FLOAT)
* Zusätzlich zum Hochladen noch eine "_neu"-Tabelle, die quasi als Zwischenlager dient.

==Implementierung der Laderoutine==
===Entscheidung über die Technik des Ladens===
* Shellscripte (DOQUERY, sx_upload_table.x )
* Kettle
* BI Sonderladeroutine
===Unload aus dem Vorsystem===
Entladen der Tabelle '''application_content''', im Ergebnis eine CSV Datei
===Laden der CSV-Datei===
Hochladen mit Kettle oder Shellscript in _neu-Tabelle
===Transformation in finale Tabelle===
Aus der _neu-Tabelle in die finale Tabelle schreiben, ggf. noch Tranformation, z.B. von Noten-Punkten zur Note Dezimal (z.B. 11="gut")
===Automatisierung===
Nächtliches Laden mit Shellscript oder Kettle
==Einbinden in das Bewerbungen Datenblatt==
* sx_tables: Einfügen der Tabellennamen
* sx_fields: Einfügen der Spaltennamen inkl. Relationen (Fremdschlüssel-Beziehung von Bewerber-Mathenote zu Bewerbung Datenblatt (zul_bew_mathenote.bewnr = zul_antr_aggr.bewnr)
=ETL Sonderladeroutinen=
Im ETL-Modul gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden.

Voraussetzung dafür ist, dass das ETL-Modul aus dem [https://download.superx-projekt.de Downloadbereich] installiert ist. 
Eine Laderoutine kann Entladeschritte, Ladeschritte und Transformationsschritte (SQL) enthalten.

Die Installation einer Sonderladeroutine läuft über ein komplexes Script, dass mit Freemarker-Variablen gefüllt wird und dann später zu reinem SQL transformiert wird, der die Installation ausführt. 
== Voraussetzungen ==
=== etl_step_type ===
Kontrollieren Sie, ob die BI-Tabelle etl_step_type mit fünf Datensätzen gefüllt ist. 
Falls diese bei Ihnen leer ist, fügen Sie folgende Step-Types ein
<source lang="SQL">
INSERT INTO etl_step_type (tid,uniquename,caption,handler)
VALUES
(1,'LOAD','Tabelle hochladen','de.superx.elt.ActionHandler.EtlActionHandlerUploadRecords'),
(2,'DOSQL','SQL-Script ausführen','de.superx.elt.ActionHandler.EtlActionHandlerDosql'),
(3,'DOQUERY','SQL-Query ausführen','de.superx.elt.ActionHandler.EtlActionHandlerDoquery'),
(4,'UNLOAD','SQL-Ergebnis entladen','de.superx.elt.ActionHandler.EtlActionHandlerUnloadRecords'),
(5,'MSG','Logausgabe','de.superx.elt.ActionHandler.EtlActionHandlerMsg');
</source>

=== ETL-Makros zur Generierung ===
Um fertigen SQL zu generieren muss in der verwendeten Datenbank in der Tabelle fm_templates die ETL_MAKRO aus mind. ETL-Modul 0.5 installiert sein. Damit ist nur die Generierung von Installations-SQL gemeint, zur Verwendung der Steps ist dies nicht nötig.

==Definition von Sonderladeroutinen==
Ausgangspunkt ist die Definition einer (oder mehrerer) Sonderladeroutinen.
Als uniquename muss eine eindeutige Kennung gewählt werden, die auf "special" endet und bei systeminfo, die ID zu welchem Teilbereich (wie Finanzen,Personal oder Studierende) entsprechend der Tabelle systeminfo die Sonderladeroutine gehört und unter deren Hauptkonnektor sie erscheinen soll. etl_job_params können leer bleiben.

<source lang="SQL">
<#assign etl_jobs = [
{"uniquename":"fin_inst_special", "name":"Zusatzfelder Inst und Proj aus MBS übertragen", "systeminfo_id":3 ,"logfile":""}
] />

<#assign etl_job_params = [
] />
</source>

== Beispiel Entladen/Laden-Schritte ==
In einem einfachen Fall will man bestimmte Zusatzfelder entladen. Dazu legt man zwei ETL-Steps an.
Das Attribut "etl_job" verweist auf den ETL-JOB ("fin_inst_special") zu dem die Steps gehören sollen. 
Dann gibt man ihnen einen uniquename, einen Namen und einen Typ
* UNLOAD zum Entladenaus einer Quell-Datenbank
* LOAD zum Einspielen in die BI-Datenbank

<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"fin_inst_special", "uniquename":"unload_fin_inst", "name":"Zusatzfelder Inst entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_special", "uniquename":"upload_fin_inst", "name":"Zusatzfelder Inst laden", "type":"LOAD", "parent":"" }
] />
</source>

== Parameter für UNLOAD-Steps ==
Folgende Parameter müssen für einen UNLOAD-Step hinterlegt werden datasource,sql und unlFile. 
Das attribut "datasource" gibt die Quelldatenbankverbindung in HisInOne an. (hier im Beispiel mbs). 
Im Script darf es für alle step_properties nur eine Definition mit <#assign etl_step_properties= .. geben, weitere StepProperties müssen in dieser Aufzählung ergänzt werden. 
<source lang="SQL">
<#assign etl_step_properties = [
{"etl_step":"unload_fin_inst","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_inst","prop_name":"sql", "prop_value":"select inst_nr, key_ext,lehr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.inst; " },
{"etl_step":"unload_fin_inst","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" }

] />
</source>

Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden
<source lang="SQL">
{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },
{"etl_step":"unload_fin_inst","prop_name":"custom", "prop_value":"true" },
{"etl_step":"unload_fin_inst","prop_name":"sourceVersions", "prop_value":"" },
{"etl_step":"unload_fin_inst","prop_name":"sqlVarSource", "prop_value":"" },
{"etl_step":"unload_fin_inst","prop_name":"systemInfoId", "prop_value":"xx" } -- des Jobs
</source>

== Parameter für LOAD-Steps ==
Folgende Parameter müssen für einen LOAD-Step hinterlegt werden. 
Das Attribut "tableName" (hier im Beispiel "fin_inst_plus")gibt die Zieltabelle an, in die vorher entladenen Daten eingespielt werden sollen. 
Im Script darf es für alle step_properties nur eine Definition mit <#assign etl_step_properties= .. geben, weitere StepProperties müssen in dieser Aufzählung ergänzt werden. 
<source lang="SQL">
<#assign etl_step_properties = [
{"etl_step":"upload_fin_inst","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },
{"etl_step":"upload_fin_inst","prop_name":"tableName", "prop_value":"fin_inst_plus" }
] />
</source>
Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden, insbesondere header true könnte interessant sein.
<source lang="SQL">
{"etl_step":"upload_fin_inst","prop_name":"database", "prop_value":"eduetl" },
{"etl_step":"upload_fin_inst","prop_name":"delimiter", "prop_value":"^" },
{"etl_step":"upload_fin_inst","prop_name":"custom", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"refresh", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"header", "prop_value":"false" },
{"etl_step":"upload_fin_inst","prop_name":"active", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
{"etl_step":"upload_fin_inst","prop_name":"usePostgresCopyApi", "prop_value":"true" },
</source>
== DOSQL-Step ==
Einen DOSQL-Step, der eine SQL-Datei ausführt legt man folgendermaßen an: 
Innerhalb der etl_steps Definition mach man einen Eintrag mit dem etl_job und einem eindeutigen uniquename, der später die SQL-Datei referenziert, Typ ist "DOSQL".
<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"meinJob", "uniquename":"update_fin_zusatzmerkmale", "name":"Aktualisierung Schlüsseltabelle fin_zusatzmerkmale", "type":"DOSQL", "parent":"" }
] />
</source>

Innerhalb der etl_step_properties muss für den DOSQL-Step der folgende Eintrag definiert werden
<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$FIN_PFAD/schluesseltabellen/update_fin_zusatzmerkmale.sql" },
] />
</source>
Hinweis:
Es sollte nicht mit SUPERX_DIR gearbeitet werden, denn bei Ausführung im Browser funktioniert das, per Shellscript ist es aber anders definiert.

<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"custom", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"databaseSystem", "prop_value":"postgres" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"dataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"limitDebugStmts", "prop_value":"-1" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlVarDataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
</source>

== DOQUERY-Step ==
Einen DOQUERY-Step, der einen einzelnen SQL-Befehli ausführt legt man folgendermaßen an: 
Innerhalb der etl_steps Definition mach man einen Eintrag mit dem etl_job und einem eindeutigen uniquename, der später die SQL-Datei referenziert, Typ ist "DOQUERY".
<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"meinJob", "uniquename":"update_test", "name":"Schlüsseltabelle fin_zusatzmerkmale aktiv schalten", "type":"DOQUERY", "parent":"" }
] />
</source>

Innerhalb der etl_step_properties müssen für den DOSQL-Step der folgende Eintrag definiert werden
<source lang="SQL">
{"etl_step":"update_test","prop_name":"sql", "prop_value":"update fin_zusatzmerkmale set aktiv=1;" }
] />
</source>
Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden
<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"custom", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"databaseSystem", "prop_value":"postgres" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"dataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlVarDataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
</source>
== MSG-Step ==
wird von HisInOne 2024.12 noch nicht unterstützt
== komplettes Beispiel ==
<source lang="SQL">
--Freemarker Template
<#assign etl_jobs = [
{"uniquename":"fin_inst_proj_special", "name":"Zusatzfelder Inst und Proj aus MBS übertragen", "systeminfo_id":3 ,"logfile":""}
] />

<#assign etl_job_params = [
] />
<#assign etl_steps = [
{"etl_job":"fin_inst_proj_special", "uniquename":"unload_fin_inst", "name":"Zusatzfelder Inst entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_proj_special", "uniquename":"unload_fin_proj", "name":"Zusatzfelder Proj entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_proj_special", "uniquename":"upload_fin_inst", "name":"Zusatzfelder Inst laden", "type":"LOAD", "parent":"" },
{"etl_job":"fin_inst_proj_special", "uniquename":"upload_fin_proj", "name":"Zusatzfelder Proj laden", "type":"LOAD", "parent":"" },
{"etl_job":"fin_inst_proj_special", "uniquename":"update_fin_zusatzmerkmale", "name":"Aktualisierung Schlüsseltabelle fin_zusatzmerkmale", "type":"DOSQL", "parent":"" }
] />

<#assign etl_step_properties = [
{"etl_step":"unload_fin_inst","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_inst","prop_name":"sql", "prop_value":"select inst_nr, key_ext,lehr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.inst; " },
{"etl_step":"unload_fin_inst","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },

{"etl_step":"unload_fin_proj","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_proj","prop_name":"sql", "prop_value":"select projnr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.proj; " },
{"etl_step":"unload_fin_proj","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_proj_plus.unl" },

{"etl_step":"upload_fin_inst","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },
{"etl_step":"upload_fin_inst","prop_name":"tableName", "prop_value":"fin_inst_plus" },

{"etl_step":"upload_fin_proj","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_proj_plus.unl" },
{"etl_step":"upload_fin_proj","prop_name":"tableName", "prop_value":"fin_proj_plus" },

{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$SUPERX_DIR/db/module/etl/potsdam/update_fin_zusatzmerkmale.sql" }

] />

<#assign testfaelle = [
] />

<@ETL_STEPS_FUELLEN/>
</source>
== Ausführung per Shellscript ==
Allgemeine Hinweise zum Ausführen von Laderoutinen per Script finden sich im [https://wiki.his.de/mediawiki/index.php/Skriptbasierte_Komponentenverwaltung_-_HISinOne-BI HisWiki].
Kopieren Sie unter webapps/superx/scripts/shell die Datei component_admin_cli.sh.sam nach component_admin_cli.sh und passen darin die Variable SUPERX_DIR gemäß Ihrer Installation an. Dann geben Sie der Datei Ausführungsrechte.
Eine Sonderladeroutine kann man ausführen mit
component_admin_cli.sh -e UNIQUENAME
z.B.
component_admin_cli.sh -e fin_inst_proj_special
Es erscheinen eine Menge Logausgaben wie
<pre>
2025-06-17 09:31:00,558 [main] INFO org.springframework.batch.core.launch.support.SimpleJobLauncher - No TaskExecutor has been set, defaulting to synchronous executor.
2025-06-17 09:31:00,613 [main] WARN org.springframework.data.convert.CustomConversions - Registering converter from class java.lang.Boolean to class org.springframework.data.jdbc.core.convert.JdbcValue as writing converter although it doesn't convert to a store-supported type! You might want to check your annotation setup at the converter implementation.
2025-06-17 09:31:01,098 [main] WARN org.springframework.batch.core.configuration.annotation.DefaultBatchConfigurer - No transaction manager was provided, using a DataSourceTransactionManager
2025-06-17 09:31:01,111 [main] INFO org.springframework.batch.core.repository.support.JobRepositoryFactoryBean - No database type set, using meta data indicating: POSTGRES
2025-06-17 09:29:41,741 [main] INFO de.superx.rest.EtlJobApi - Job not registered yet: Zusatzfelder Inst und Proj aus MBS übertragen
2
</pre>
Die hier aufgeführten WARN Meldungen kann man ignorieren.Andererseits sind Meldungen, die sich konkret auf den Job beziehen wichtig. Im folgenden Beispiel wird ein Script nicht gefunden
2025-06-17 09:31:02,641 [main] WARN de.superx.spring.service.BatchJobDescriptionAdapter - SQL Skriptfile doesn't exist: $FIN_PFAD/potsdam/7950_update_fin_zusatzmerkmale.sql
oder hier ein allgemeiner ERROR-Meldung
2025-06-17 09:37:16,188 [main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special

Der Exitstatus des Script scheint in HisInOne2024.12 noch meist oder immer 0 zurückzuliefern. Man sollte also auf etwaige Fehler ggfs. manuell die Logdateien prüfen.

== Fehlermeldungen FAQ ==

'''Cannot invoke "javax.sql.DataSource.unwrap(java.lang.Class)" because the return value of de.superx.spring.batch.reader.JdbcUnloadReader.getDataSource()" is null'''

bedeutet,dass bei einem UnloadStep als dataSource z.B. "mbs" angegeben wurde, aber in der databases.xml (oder Spezialversion davon) keine Datenquelle "mbs" definiert ist.

'''ERROR: null value in column "step_type_id" of relation "etl_step" violates not-null constraint'''

Kontrollieren Sie, ob die Tabelle etl_step_type gefüllt ist (s.o.).

Hochschuleigene Laderoutinen

2025-06-17T07:45:17Z

Bisping: /* DOSQL-Step */

=Übersicht =
Eigene Laderoutinen sind öfter gewünscht, wenn bestimmte Daten von den bisherigen Modulen (noch) nicht übernommen werden.
Als Beispiele könnten sein
* erfasste Mathenote von Bewerbern
* neue Tabelle zu Lehrbeauftragten
* bestimmte Zusatzfelder in MBS.inst
Dabei geht es darum, die Daten zunächst aus dem Quellsystem zu entladen (CSV), sie dann in SuperX/BI einzuspielen und ggfs. noch zu transformieren.
=Lade-Techniken=
Folgende Lade-Techniken sind möglich:
* [[Kernmodul_Shellscripte#Umgang_mit_Tabellen|Shellscripte]] (DOQUERY, sx_upload_table.x )
* [[Kettle-Grundlagen|Kettle]]
* [[Modul_ETL_Administrationshandbuch|ETL-Sonderladeroutinen]]

=Beispielanforderung Mathenote=
Die Technische Universität Hamburg (TUHH) erfasst die Mathematiknoten, welche Bewerber auf ihrem bisherigen Bildungsweg erreichten. Diese Mathematiknoten sollen zukünftig in Auswertungen einbezogen werden.
==Ziel der Laderoutine==
Das Ziel der Laderoutine ist das Befüllen einer neuen Tabelle mit Bewerbernummer und Mathematiknote. Diese neue Tabelle wird über das Feld 'Weitere Tabellen' im "Bewerbungen und Zulassungen Datenblatt" erreichbar sein. Ggf. ist noch ein Zeitraum anzugeben. Tabellenstruktur:
* Tabellenname: zul_bew_mathenote
*Felder:
** Bewerbernummer (INT)
** Mathenote (FLOAT)
* Zusätzlich zum Hochladen noch eine "_neu"-Tabelle, die quasi als Zwischenlager dient.

==Implementierung der Laderoutine==
===Entscheidung über die Technik des Ladens===
* Shellscripte (DOQUERY, sx_upload_table.x )
* Kettle
* BI Sonderladeroutine
===Unload aus dem Vorsystem===
Entladen der Tabelle '''application_content''', im Ergebnis eine CSV Datei
===Laden der CSV-Datei===
Hochladen mit Kettle oder Shellscript in _neu-Tabelle
===Transformation in finale Tabelle===
Aus der _neu-Tabelle in die finale Tabelle schreiben, ggf. noch Tranformation, z.B. von Noten-Punkten zur Note Dezimal (z.B. 11="gut")
===Automatisierung===
Nächtliches Laden mit Shellscript oder Kettle
==Einbinden in das Bewerbungen Datenblatt==
* sx_tables: Einfügen der Tabellennamen
* sx_fields: Einfügen der Spaltennamen inkl. Relationen (Fremdschlüssel-Beziehung von Bewerber-Mathenote zu Bewerbung Datenblatt (zul_bew_mathenote.bewnr = zul_antr_aggr.bewnr)
=ETL Sonderladeroutinen=
Im ETL-Modul gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden.

Voraussetzung dafür ist, dass das ETL-Modul aus dem [https://download.superx-projekt.de Downloadbereich] installiert ist. 
Eine Laderoutine kann Entladeschritte, Ladeschritte und Transformationsschritte (SQL) enthalten.

Die Installation einer Sonderladeroutine läuft über ein komplexes Script, dass mit Freemarker-Variablen gefüllt wird und dann später zu reinem SQL transformiert wird, der die Installation ausführt. 
== Voraussetzungen ==
=== etl_step_type ===
Kontrollieren Sie, ob die BI-Tabelle etl_step_type mit fünf Datensätzen gefüllt ist. 
Falls diese bei Ihnen leer ist, fügen Sie folgende Step-Types ein
<source lang="SQL">
INSERT INTO etl_step_type (tid,uniquename,caption,handler)
VALUES
(1,'LOAD','Tabelle hochladen','de.superx.elt.ActionHandler.EtlActionHandlerUploadRecords'),
(2,'DOSQL','SQL-Script ausführen','de.superx.elt.ActionHandler.EtlActionHandlerDosql'),
(3,'DOQUERY','SQL-Query ausführen','de.superx.elt.ActionHandler.EtlActionHandlerDoquery'),
(4,'UNLOAD','SQL-Ergebnis entladen','de.superx.elt.ActionHandler.EtlActionHandlerUnloadRecords'),
(5,'MSG','Logausgabe','de.superx.elt.ActionHandler.EtlActionHandlerMsg');
</source>

=== ETL-Makros zur Generierung ===
Um fertigen SQL zu generieren muss in der verwendeten Datenbank in der Tabelle fm_templates die ETL_MAKRO aus mind. ETL-Modul 0.5 installiert sein. Damit ist nur die Generierung von Installations-SQL gemeint, zur Verwendung der Steps ist dies nicht nötig.

==Definition von Sonderladeroutinen==
Ausgangspunkt ist die Definition einer (oder mehrerer) Sonderladeroutinen.
Als uniquename muss eine eindeutige Kennung gewählt werden, die auf "special" endet und bei systeminfo, die ID zu welchem Teilbereich (wie Finanzen,Personal oder Studierende) entsprechend der Tabelle systeminfo die Sonderladeroutine gehört und unter deren Hauptkonnektor sie erscheinen soll. etl_job_params können leer bleiben.

<source lang="SQL">
<#assign etl_jobs = [
{"uniquename":"fin_inst_special", "name":"Zusatzfelder Inst und Proj aus MBS übertragen", "systeminfo_id":3 ,"logfile":""}
] />

<#assign etl_job_params = [
] />
</source>

== Beispiel Entladen/Laden-Schritte ==
In einem einfachen Fall will man bestimmte Zusatzfelder entladen. Dazu legt man zwei ETL-Steps an.
Das Attribut "etl_job" verweist auf den ETL-JOB ("fin_inst_special") zu dem die Steps gehören sollen. 
Dann gibt man ihnen einen uniquename, einen Namen und einen Typ
* UNLOAD zum Entladenaus einer Quell-Datenbank
* LOAD zum Einspielen in die BI-Datenbank

<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"fin_inst_special", "uniquename":"unload_fin_inst", "name":"Zusatzfelder Inst entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_special", "uniquename":"upload_fin_inst", "name":"Zusatzfelder Inst laden", "type":"LOAD", "parent":"" }
] />
</source>

== Parameter für UNLOAD-Steps ==
Folgende Parameter müssen für einen UNLOAD-Step hinterlegt werden datasource,sql und unlFile. 
Das attribut "datasource" gibt die Quelldatenbankverbindung in HisInOne an. (hier im Beispiel mbs). 
Im Script darf es für alle step_properties nur eine Definition mit <#assign etl_step_properties= .. geben, weitere StepProperties müssen in dieser Aufzählung ergänzt werden. 
<source lang="SQL">
<#assign etl_step_properties = [
{"etl_step":"unload_fin_inst","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_inst","prop_name":"sql", "prop_value":"select inst_nr, key_ext,lehr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.inst; " },
{"etl_step":"unload_fin_inst","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" }

] />
</source>

Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden
<source lang="SQL">
{"etl_step":"unload_fin_inst","prop_name":"active", "prop_value":"true" },
{"etl_step":"unload_fin_inst","prop_name":"custom", "prop_value":"true" },
{"etl_step":"unload_fin_inst","prop_name":"sourceVersions", "prop_value":"" },
{"etl_step":"unload_fin_inst","prop_name":"sqlVarSource", "prop_value":"" },
{"etl_step":"unload_fin_inst","prop_name":"systemInfoId", "prop_value":"xx" } -- des Jobs
</source>

== Parameter für LOAD-Steps ==
Folgende Parameter müssen für einen LOAD-Step hinterlegt werden. 
Das Attribut "tableName" (hier im Beispiel "fin_inst_plus")gibt die Zieltabelle an, in die vorher entladenen Daten eingespielt werden sollen. 
Im Script darf es für alle step_properties nur eine Definition mit <#assign etl_step_properties= .. geben, weitere StepProperties müssen in dieser Aufzählung ergänzt werden. 
<source lang="SQL">
<#assign etl_step_properties = [
{"etl_step":"upload_fin_inst","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },
{"etl_step":"upload_fin_inst","prop_name":"tableName", "prop_value":"fin_inst_plus" }
] />
</source>
Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden, insbesondere header true könnte interessant sein.
<source lang="SQL">
{"etl_step":"upload_fin_inst","prop_name":"database", "prop_value":"eduetl" },
{"etl_step":"upload_fin_inst","prop_name":"delimiter", "prop_value":"^" },
{"etl_step":"upload_fin_inst","prop_name":"custom", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"refresh", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"header", "prop_value":"false" },
{"etl_step":"upload_fin_inst","prop_name":"active", "prop_value":"true" },
{"etl_step":"upload_fin_inst","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
{"etl_step":"upload_fin_inst","prop_name":"usePostgresCopyApi", "prop_value":"true" },
</source>
== DOSQL-Step ==
Einen DOSQL-Step, der eine SQL-Datei ausführt legt man folgendermaßen an: 
Innerhalb der etl_steps Definition mach man einen Eintrag mit dem etl_job und einem eindeutigen uniquename, der später die SQL-Datei referenziert, Typ ist "DOSQL".
<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"meinJob", "uniquename":"update_fin_zusatzmerkmale", "name":"Aktualisierung Schlüsseltabelle fin_zusatzmerkmale", "type":"DOSQL", "parent":"" }
] />
</source>

Innerhalb der etl_step_properties muss für den DOSQL-Step der folgende Eintrag definiert werden
<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$FIN_PFAD/schluesseltabellen/update_fin_zusatzmerkmale.sql" },
] />
</source>
Hinweis:
Es sollte nicht mit SUPERX_DIR gearbeitet werden, denn bei Ausführung im Browser funktioniert das, per Shellscript ist es aber anders definiert.

<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"custom", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"databaseSystem", "prop_value":"postgres" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"dataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"limitDebugStmts", "prop_value":"-1" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlVarDataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
</source>

== DOQUERY-Step ==
Einen DOQUERY-Step, der einen einzelnen SQL-Befehli ausführt legt man folgendermaßen an: 
Innerhalb der etl_steps Definition mach man einen Eintrag mit dem etl_job und einem eindeutigen uniquename, der später die SQL-Datei referenziert, Typ ist "DOQUERY".
<source lang="SQL">
<#assign etl_steps = [
{"etl_job":"meinJob", "uniquename":"update_test", "name":"Schlüsseltabelle fin_zusatzmerkmale aktiv schalten", "type":"DOQUERY", "parent":"" }
] />
</source>

Innerhalb der etl_step_properties müssen für den DOSQL-Step der folgende Eintrag definiert werden
<source lang="SQL">
{"etl_step":"update_test","prop_name":"sql", "prop_value":"update fin_zusatzmerkmale set aktiv=1;" }
] />
</source>
Die folgenden Parameter werden vom Script automatisch mit defaultwerten gefüllt, könnten bei Bedarf aber zusätzlich definiert werden
<source lang="SQL">
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"custom", "prop_value":"true" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"databaseSystem", "prop_value":"postgres" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"dataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlVarDataSource", "prop_value":"eduetl" },
{"etl_step":"update_fin_zusatzmerkmale","prop_name":"systemInfoId", "prop_value":"xx" }, -- vom Job
</source>
== MSG-Step ==
wird von HisInOne 2024.12 noch nicht unterstützt
== komplettes Beispiel ==
<source lang="SQL">
--Freemarker Template
<#assign etl_jobs = [
{"uniquename":"fin_inst_proj_special", "name":"Zusatzfelder Inst und Proj aus MBS übertragen", "systeminfo_id":3 ,"logfile":""}
] />

<#assign etl_job_params = [
] />
<#assign etl_steps = [
{"etl_job":"fin_inst_proj_special", "uniquename":"unload_fin_inst", "name":"Zusatzfelder Inst entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_proj_special", "uniquename":"unload_fin_proj", "name":"Zusatzfelder Proj entladen", "type":"UNLOAD", "parent":""},
{"etl_job":"fin_inst_proj_special", "uniquename":"upload_fin_inst", "name":"Zusatzfelder Inst laden", "type":"LOAD", "parent":"" },
{"etl_job":"fin_inst_proj_special", "uniquename":"upload_fin_proj", "name":"Zusatzfelder Proj laden", "type":"LOAD", "parent":"" },
{"etl_job":"fin_inst_proj_special", "uniquename":"update_fin_zusatzmerkmale", "name":"Aktualisierung Schlüsseltabelle fin_zusatzmerkmale", "type":"DOSQL", "parent":"" }
] />

<#assign etl_step_properties = [
{"etl_step":"unload_fin_inst","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_inst","prop_name":"sql", "prop_value":"select inst_nr, key_ext,lehr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.inst; " },
{"etl_step":"unload_fin_inst","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },

{"etl_step":"unload_fin_proj","prop_name":"datasource", "prop_value":"mbs" },
{"etl_step":"unload_fin_proj","prop_name":"sql", "prop_value":"select projnr,freitext01,freitext02,freitext03,freitext04,freitext05,freitext06,freitext07,freitext08,freitext09,freitext10 from cob.proj; " },
{"etl_step":"unload_fin_proj","prop_name":"unlFile", "prop_value":"$FIN_LOAD_PATH/unl/fin_proj_plus.unl" },

{"etl_step":"upload_fin_inst","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_inst_plus.unl" },
{"etl_step":"upload_fin_inst","prop_name":"tableName", "prop_value":"fin_inst_plus" },

{"etl_step":"upload_fin_proj","prop_name":"unlFilePath", "prop_value":"$FIN_LOAD_PATH/unl/fin_proj_plus.unl" },
{"etl_step":"upload_fin_proj","prop_name":"tableName", "prop_value":"fin_proj_plus" },

{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$SUPERX_DIR/db/module/etl/potsdam/update_fin_zusatzmerkmale.sql" }

] />

<#assign testfaelle = [
] />

<@ETL_STEPS_FUELLEN/>
</source>
== Fehlermeldungen FAQ ==

'''Cannot invoke "javax.sql.DataSource.unwrap(java.lang.Class)" because the return value of de.superx.spring.batch.reader.JdbcUnloadReader.getDataSource()" is null'''

bedeutet,dass bei einem UnloadStep als dataSource z.B. "mbs" angegeben wurde, aber in der databases.xml (oder Spezialversion davon) keine Datenquelle "mbs" definiert ist.

'''ERROR: null value in column "step_type_id" of relation "etl_step" violates not-null constraint'''

Kontrollieren Sie, ob die Tabelle etl_step_type gefüllt ist (s.o.).

Datei:Selektionsvorbelegung angular.jpg

2025-05-20T07:25:28Z

Bisping:

Datei:cifx stammdatenverwaltung.jpg

2025-05-20T07:23:06Z

Bisping:

Datei:His202506 sos bug.jpg

2025-05-20T07:20:51Z

Bisping:

Datei:SOS Stichtage verwalten.jpg

2025-05-20T07:12:07Z

Bisping:

Moduldokumentation

2025-05-19T09:49:55Z

Bisping: /* SuperX-Entwicklung */

=SuperX.Nummernkreise=
* [[Nummernkreise|Nummernkreise Masken]]
* [[Nummernkreise Sachgebiete und Komponenten]]

=SuperX.Kern=
* [[Moduldokumentation Kernmodul|Kernmodul]]
* [[Kern_Installation_Upgrade|Installation / Upgrade]]
* [[Kernmodul_Tomcat-Einrichtung|Tomcat-Einrichtung]]
* [[Kernmodul_LDAP-Einrichtung|LDAP-Einrichtung (obsolet?)]]
* [[Kern_Konfiguration|Konfiguration]]
* [[Kern_Oberflaeche|Anpassung der Oberfläche]]
* [[Kernmodul_Komponentenverwaltung|Komponentenverwaltung]]
* [[Kernmodul_Regelbetrieb|BI Regelbetrieb]]
* [[Kernmodul_Shellscripte|Shellscripte]]
* [[Kern_Bestandteile|Bestandteile]]
* [[Kern_Clientwerkzeuge|Client-Werkzeuge]]
* [https://wiki.his.de/mediawiki/index.php/Administration_-_HISinOne-BI Administrationsmasken (HISWIKI)]
* [[Kern_Benutzerverwaltung|Benutzerverwaltung]]

=SuperX-Entwicklung=
* [[SuperX-Entwicklung|Übersicht]]
* [[Masken-Tutorial]]
* [[Erweiterte Maskenprogrammierung: Freemarker Templates]]
* [[Masken- und Tabellengestaltung]]
* [[Masken für das XML-Frontend vorbereiten]] (obsolet)
* [[Masken für externe Datenbanken (operatives Berichtswesen)]]
* [[Hochschuleigene Laderoutinen]]
* [[Abfragemakros (einschl. Schleifen u. Grafiken)]]
* [https://wiki.his.de/mediawiki/index.php/SXimport_zur_Maskengestaltung_verwerden-HISinOne-BI Teile aus anderen Masken oder externen Tabellen importieren]
* [[Neue Layouts in SuperX 5.1]] (obsolet)
* [[Neue Layouts in SuperX 5.2]]
* [[Entwicklerschulung]]
* HISWIKI
** [https://wiki.his.de/mediawiki/index.php/Entwicklerdokumentation_HISinOne Leitfäden für Entwickler]
** [https://wiki.his.de/mediawiki/index.php/Leitf%C3%A4den_f%C3%BCr_Entwickler_der_HISinOne-BI Leitfäden für Entwickler (BI)]
* [[Maschinenlesbare Schnittstellen für Ergebnistabellen]]
* [[Kettle-Grundlagen]]
* [[Kettle Kurs Teil 2]]
* [[Kettle Automat. Berichtsausführung und Mailversand]]
* [[LM-Modul validieren (Abgleich mit EXA)]]
* [[Dashboards erstellen]]
* [[Entwicklerhandbuch_xcube]]
* [[Gxstage-Standalone]]

=SuperX.Campus-Management=

* [[Moduldokumentation Bewerbung_Zulassung|Bewerbungen, Zulassungen]]
** [[Leitfaden Bewerberstammdaten]]
** [[Auswertungsuebersicht_Bereich_Bewerbung_Zulassung | Auswertungsübersicht]]
** [[Anwendungshandbuch Bewerbung, Zulassung]]
** [[Konfigurationshandbuch Bewerbung, Zulassung]]
* [[Moduldokumentation Studierende_Pruefungen|Studierende, Prüfungen]]
** [[Auswertungsuebersicht_Bereich_Studierende_Pruefungen | Auswertungsübersicht]]
** [[Anwendungshandbuch Studierende]]
** [[Anwendungshandbuch Pruefungen|Anwendungshandbuch Prüfungen]]
** [[Konfigurationshandbuch Studierenden-Komponente|Konfigurationshandbuch Studierende]]
** [[Konfiguration Studierende, Pruefungen|Konfiguration Studierende, Prüfungen]]
* [[Moduldokumentation Studienerfolg|Studienerfolg]]
** [[Studienerfolg_Akkreditierungsberichte|Akkreditierungsberichte]]
** [[Studienerfolg Bachelor-Master Übergang|Bachelor-Master Übergang]]
** [[Anwendungshandbuch_Studienverlauf|Anwendungshandbuch Studienverlauf]]
** [[Konfigurationshandbuch_Studienverlauf|Konfigurationshandbuch Studienverlauf]]
* [[Moduldokumentation Leistungsmonitoring|Leistungsmonitoring]]
** [[Konfigurationshanbuch Leistungsmonitoring|Konfigurationshandbuch]]
** [[Nutzungshandbuch Leistungsmonitoring|Nutzungshandbuch]]
* [[Moduldokumentation Studiengaenge|Studiengänge]]
** [[Konfigurationshandbuch Studiengaenge|Konfigurationshandbuch]]
** [[Anwendungshandbuch_Studiengaenge|Anwendungshandbuch Studiengänge]]
* [[Moduldokumentation COSTAGE| COStage (TU Graz CampusOnline)]]
** [[Modul_COSTAGE_Administrationshandbuch|Konfigurationshandbuch]]
** [[Modul_COSTAGE_Nutzungshandbuch|Nutzungshandbuch]]
** [[COSTAGE_in_Deutschland|COStage in Deutschland]]

=SuperX.Ressourcen-Management=
* [[Moduldokumentation Personal, Stellen|Personal, Stellen]]
** [[Konfigurationshandbuch Personal und Stellen|Konfigurationshandbuch]]
** [[Nutzungshandbuch Personal und Stellen|Nutzungshandbuch]]
* [[Moduldokumentation Finanzrechnung|Finanzen]]
* [[Moduldokumentation Kostenrechnung|Kostenrechnung]]
* [[Moduldokumentation Inventar|Inventar]]
* [[Moduldokumentation Bau|Flächen, Räume]]
* [[Moduldokumentation GXStage|GXStage]]

=SuperX.Campus-Ressourcen-Übergreifend=
* [[Moduldokumentation Managementkennzahlen|Managementkennzahlen]]
**[[Modul_Managementkennzahlen_Administrationshandbuch|Konfigurationshandbuch]]
**[[Modul_Managementkennzahlen_Nutzungshandbuch|Nutzungshandbuch]]
* [[Moduldokumentation Grunddaten und Kennzahlen|Landeskennzahlen]]
** [[Modul_KENN_Nutzungshandbuch|Nutzungshandbuch]]
* [[SuperX-Connect|SuperX-Connect]]
* [[Moduldokumentation Wissensbasis|Wissensbasis]]

=SuperX.Technologie und Qualitätssicherung=
* [[Heartbeat|Moduldokumentation Heartbeat]]
* [[Moduldokumentation Laderoutinen| Moduldokumentation Laderoutinen (ETL)]]
**[[Modul_ETL_Administrationshandbuch|Konfigurationshandbuch]]
**[[Modul_ETL_Nutzungshandbuch|Nutzungshandbuch]]
* [[Moduldokumentation Qualitätssicherung |Moduldokumentation Qualitätssicherung (QA)]]
** [[Modul_Qualitätssicherung Administrationshandbuch|Konfigurationshandbuch]]
** [[Modul_Qualitätssicherung Benutzerhandbuch|Nutzungshandbuch]]
*[[Modul_Visualisierung|Moduldokumentation Visualisierung (VIZ)]]
** [[Modul_Visualisierung_Konfigurationshandbuch| Konfigurationshandbuch]]
** [[Modul_Visualisierung_Nutzungshandbuch| Nutzungshandbuch]]
*[[Modul_xCube|Moduldokumentation Kreuztabellen (Xcube)]]
** [[Modul_xCube_Konfigurationshandbuch| Konfigurationshandbuch]]
** [[Modul_xCube_Nutzungshandbuch| Nutzungshandbuch]]
**[[Entwicklerhandbuch_xcube|Entwicklerhandbuch]]
*[[Modul_Berichtsassistent|Moduldokumentation Berichtsassistent (RPTA)]]
** [[Modul_Berichtsassistent_Konfigurationshandbuch| Konfigurationshandbuch]]
** [[Modul_Berichtsassistent_Nutzungshandbuch| Nutzungshandbuch]]
** [[RPTA_TODOs|TODOs (Intern)]]

=SuperX.Bedienung=
* [[SuperX-Benutzungshandbuch_Basics|SuperX-Benutzungshandbuch: Basics]]
* [[SuperX_barrierefrei | SuperX barrierefrei?]]