Hochschuleigene Laderoutinen - Versionsgeschichte

Bisping: /* Fehlermeldungen FAQ */

2025-06-18T09:04:52Z

Fehlermeldungen FAQ

← Nächstältere Version		Version vom 18. Juni 2025, 09:04 Uhr
Zeile 264:		Zeile 264:

	Kontrollieren Sie, ob die Tabelle etl_step_type gefüllt ist (s.o.).		Kontrollieren Sie, ob die Tabelle etl_step_type gefüllt ist (s.o.).

			'''[main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special org.springframework.jdbc.BadSqlGrammarException: PreparedStatementCallback; bad SQL grammar [SELECT tid, uniquename, caption, systeminfo_id, custom_job FROM etl_job WHERE uniquename like ?]; nested exception is org.postgresql.util.PSQLException: Cannot cast to boolean: "2.0"'''
			Für Ausführung per HisInOne SHellscript muss ein Job das Attribut custom_job = 1 haben (0= HIS Auslieferung, 1= hochschulspezfisch,2 Memtext AUslieferung)<br>
			Das Makro ETL erzeugt derzeit 2 Memtext Auslieferung, also für Ausführung per Shellscript noch nachbearbeiten:
			UPDATE etl_job SET custom_job = 1 WHERE uniquename='fin_inst_proj_special';

Bisping: /* Ausführung per Shellscript */

2025-06-18T09:01:50Z

Ausführung per Shellscript

← Nächstältere Version		Version vom 18. Juni 2025, 09:01 Uhr
Zeile 228:		Zeile 228:
	</source>		</source>
	== Ausführung per Shellscript ==		== Ausführung per Shellscript ==
			Für Ausführung per HisInOne SHellscript muss ein Job das Attribut custom_job = 1 haben (0= HIS Auslieferung, 1= hochschulspezfisch,2 Memtext AUslieferung)<br>
			Das Makro ETL erzeugt derzeit 2 Memtext Auslieferung, also für Ausführung per Shellscript noch nachbearbeiten:
			UPDATE etl_job SET custom_job = 1 WHERE uniquename='fin_inst_proj_special';

	Allgemeine Hinweise zum Ausführen von Laderoutinen per Script finden sich im [https://wiki.his.de/mediawiki/index.php/Skriptbasierte_Komponentenverwaltung_-_HISinOne-BI HisWiki].<br>		Allgemeine Hinweise zum Ausführen von Laderoutinen per Script finden sich im [https://wiki.his.de/mediawiki/index.php/Skriptbasierte_Komponentenverwaltung_-_HISinOne-BI HisWiki].<br>
	Kopieren Sie unter webapps/superx/scripts/shell die Datei component_admin_cli.sh.sam nach component_admin_cli.sh und passen darin die Variable SUPERX_DIR gemäß Ihrer Installation an.<br>Dann geben Sie der Datei Ausführungsrechte.		Kopieren Sie unter webapps/superx/scripts/shell die Datei component_admin_cli.sh.sam nach component_admin_cli.sh und passen darin die Variable SUPERX_DIR gemäß Ihrer Installation an.<br>Dann geben Sie der Datei Ausführungsrechte.

Bisping: /* Ausführung per Shellscript */

2025-06-17T08:56:39Z

Ausführung per Shellscript

← Nächstältere Version		Version vom 17. Juni 2025, 08:56 Uhr
Zeile 248:		Zeile 248:
	2025-06-17 09:37:16,188 [main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special		2025-06-17 09:37:16,188 [main] ERROR de.superx.bin.ComponentAdminCLI - ERROR executing job fin_inst_proj_special

	Der Exitstatus des Script scheint in HisInOne2024.12 noch ~~meist oder immer~~ 0 zurückzuliefern. Man sollte also auf etwaige Fehler ggfs. manuell die Logdateien prüfen.		Der Exitstatus des Script scheint in HisInOne2024.12 auch bei Fehlern noch teilweise 0 zurückzuliefern. <br>Man sollte also auf etwaige Fehler ggfs. manuell die Logdateien prüfen.<br>
			Diese liegt unter webapps/superx/WEB-INF/logs/jobs/JOBNAME.log

	== Fehlermeldungen FAQ ==		== Fehlermeldungen FAQ ==

Bisping: /* Ausführung per Shellscript */

2025-06-17T08:20:57Z

Ausführung per Shellscript

← Nächstältere Version		Version vom 17. Juni 2025, 08:20 Uhr
Zeile 228:		Zeile 228:
	</source>		</source>
	== Ausführung per Shellscript ==		== Ausführung per Shellscript ==
	Allgemeine Hinweise zum Ausführen von Laderoutinen per Script finden sich im [https://wiki.his.de/mediawiki/index.php/Skriptbasierte_Komponentenverwaltung_-_HISinOne-BI HisWiki].		Allgemeine Hinweise zum Ausführen von Laderoutinen per Script finden sich im [https://wiki.his.de/mediawiki/index.php/Skriptbasierte_Komponentenverwaltung_-_HISinOne-BI HisWiki].<br>
	Kopieren Sie unter webapps/superx/scripts/shell die Datei component_admin_cli.sh.sam nach component_admin_cli.sh und passen darin die Variable SUPERX_DIR gemäß Ihrer Installation an.<br>Dann geben Sie der Datei Ausführungsrechte.		Kopieren Sie unter webapps/superx/scripts/shell die Datei component_admin_cli.sh.sam nach component_admin_cli.sh und passen darin die Variable SUPERX_DIR gemäß Ihrer Installation an.<br>Dann geben Sie der Datei Ausführungsrechte.
	Eine Sonderladeroutine kann man ausführen mit		Eine Sonderladeroutine kann man ausführen mit
Zeile 249:		Zeile 249:

	Der Exitstatus des Script scheint in HisInOne2024.12 noch meist oder immer 0 zurückzuliefern. Man sollte also auf etwaige Fehler ggfs. manuell die Logdateien prüfen.		Der Exitstatus des Script scheint in HisInOne2024.12 noch meist oder immer 0 zurückzuliefern. Man sollte also auf etwaige Fehler ggfs. manuell die Logdateien prüfen.




	== Fehlermeldungen FAQ ==		== Fehlermeldungen FAQ ==

Bisping: /* Fehlermeldungen FAQ */

2025-06-17T08:20:29Z

Fehlermeldungen FAQ

@@ Zeile 227: / Zeile 227: @@
   <@ETL_STEPS_FUELLEN/>
 </source>
 == Fehlermeldungen FAQ ==

Bisping: /* DOSQL-Step */

2025-06-17T07:45:17Z

DOSQL-Step

← Nächstältere Version		Version vom 17. Juni 2025, 07:45 Uhr
Zeile 143:		Zeile 143:
	Innerhalb der etl_step_properties muss für den DOSQL-Step der folgende Eintrag definiert werden		Innerhalb der etl_step_properties muss für den DOSQL-Step der folgende Eintrag definiert werden
	<source lang="SQL">		<source lang="SQL">
	{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$~~SUPERX_DIR~~/~~db/module/etl~~/update_fin_zusatzmerkmale.sql" },		{"etl_step":"update_fin_zusatzmerkmale","prop_name":"sqlScriptPath", "prop_value":"$FIN_PFAD/schluesseltabellen/update_fin_zusatzmerkmale.sql" },
	] />		] />
	</source>		</source>
	~~Die folgenden Parameter~~ werden ~~vom Script automatisch mit defaultwerten gefüllt~~, ~~könnten~~ bei ~~Bedarf~~ aber ~~zusätzlich~~ definiert ~~werden~~		Hinweis:
			Es sollte nicht mit SUPERX_DIR gearbeitet werden, denn bei Ausführung im Browser funktioniert das, per Shellscript ist es aber anders definiert.

	<source lang="SQL">		<source lang="SQL">
	{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },		{"etl_step":"update_fin_zusatzmerkmale","prop_name":"active", "prop_value":"true" },

Danielq: /* ETL Sonderladeroutinen */

2025-05-08T07:46:55Z

ETL Sonderladeroutinen

← Nächstältere Version		Version vom 8. Mai 2025, 07:46 Uhr
Zeile 40:		Zeile 40:
	=ETL Sonderladeroutinen=		=ETL Sonderladeroutinen=
	Im ETL-Modul gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden.		Im ETL-Modul gibt es die Möglichkeit, eigene Sonderladeroutinen zu entwerfen. Diese können dann auch in der HISinOne-BI ab Version 2024.12 in der [https://wiki.his.de/mediawiki/index.php/Konnektoren_ausfuehren_-_HISinOne-BI neuen Komponentenverwaltung] genutzt werden.
	~~<br>~~
	Voraussetzung dafür ist, dass das ETL-Modul aus dem [https://download.superx-projekt.de Downloadbereich] installiert ist.<br>		Voraussetzung dafür ist, dass das ETL-Modul aus dem [https://download.superx-projekt.de Downloadbereich] installiert ist.<br>
	Eine Laderoutine kann Entladeschritte, Ladeschritte und Transformationsschritte (SQL) enthalten.		Eine Laderoutine kann Entladeschritte, Ladeschritte und Transformationsschritte (SQL) enthalten.

Danielq: /* BI Sonderladeroutinen */

2025-05-08T07:43:47Z

BI Sonderladeroutinen

Änderungen zeigen

Danielq: /* mögliche Lade-Techniken */

2025-05-08T07:32:25Z

mögliche Lade-Techniken

← Nächstältere Version		Version vom 8. Mai 2025, 07:32 Uhr
Zeile 6:		Zeile 6:
	* bestimmte Zusatzfelder in MBS.inst		* bestimmte Zusatzfelder in MBS.inst
	Dabei geht es darum, die Daten zunächst aus dem Quellsystem zu entladen (CSV), sie dann in SuperX/BI einzuspielen und ggfs. noch zu transformieren.		Dabei geht es darum, die Daten zunächst aus dem Quellsystem zu entladen (CSV), sie dann in SuperX/BI einzuspielen und ggfs. noch zu transformieren.
	=~~mögliche~~ Lade-Techniken=		=Lade-Techniken=
	* Shellscripte (DOQUERY, sx_upload_table.x )		Folgende Lade-Techniken sind möglich:
	* Kettle		* [[Kernmodul_Shellscripte#Umgang_mit_Tabellen\|Shellscripte]] (DOQUERY, sx_upload_table.x )
	* BI Sonderladeroutinen		* [[Kettle-Grundlagen\|Kettle]]
			* [[Modul_ETL_Administrationshandbuch\|ETL-Sonderladeroutinen]]

	=Beispielanforderung Mathenote=		=Beispielanforderung Mathenote=
	Die Technische Universität Hamburg (TUHH) erfasst die Mathematiknoten, welche Bewerber auf ihrem bisherigen Bildungsweg erreichten. Diese Mathematiknoten sollen zukünftig in Auswertungen einbezogen werden.		Die Technische Universität Hamburg (TUHH) erfasst die Mathematiknoten, welche Bewerber auf ihrem bisherigen Bildungsweg erreichten. Diese Mathematiknoten sollen zukünftig in Auswertungen einbezogen werden.

Bisping: /* ETL-Makros zur Generierung */

2025-04-29T12:42:27Z

ETL-Makros zur Generierung

← Nächstältere Version		Version vom 29. April 2025, 12:42 Uhr
Zeile 57:		Zeile 57:

	=== ETL-Makros zur Generierung ===		=== ETL-Makros zur Generierung ===
	Um fertigen SQL zu generieren muss in der verwendeten Datenbank in der Tabelle fm_templates die ETL_MAKRO aus mind. ETL-Modul 0.5 installiert sein.		Um fertigen SQL zu generieren muss in der verwendeten Datenbank in der Tabelle fm_templates die ETL_MAKRO aus mind. ETL-Modul 0.5 installiert sein. Damit ist nur die Generierung von Installations-SQL gemeint, zur Verwendung der Steps ist dies nicht nötig.

	==Definition von Sonderladeroutinen==		==Definition von Sonderladeroutinen==