| Zeile 4: | Zeile 4: | ||
=Versionierung von Jobs= | =Versionierung von Jobs= | ||
* Kettle Jobs und git-Versionierung | * Kettle Jobs und git-Versionierung | ||
==Das Problem== | |||
<blockquote> | |||
Beim Speichern eines Jobs wird immer die Connection mitgespeichert. Daher muss sie vor dem Commit ins git gelöscht werden. Hierzu ist der gesamte Tag sowohl im Job, als auch in den Transformationen zu löschen. | |||
{{ImagePara |imgsrc=kettle_integration_1.png|width=600|caption=}} | |||
</blockquote> | |||
<blockquote> | |||
Die Connection-Information in den einzelnen Schritten bleibt jedoch enthalten. | |||
{{ImagePara |imgsrc=kettle_integration_2.png|width=600|caption=}} | |||
</blockquote> | |||
<blockquote> | |||
=Jobmanagement= | =Jobmanagement= | ||
* Jobs "on demand" direkt aus HISinOne (oder superx?) vom Nutzer starten lassen. | * Jobs "on demand" direkt aus HISinOne (oder superx?) vom Nutzer starten lassen. | ||
Version vom 2. Dezember 2022, 18:59 Uhr
Monitoring/Logging von Kettle Jobs
- Loglevel und -dateien
- Mailversand
Versionierung von Jobs
- Kettle Jobs und git-Versionierung
Das Problem
Beim Speichern eines Jobs wird immer die Connection mitgespeichert. Daher muss sie vor dem Commit ins git gelöscht werden. Hierzu ist der gesamte Tag sowohl im Job, als auch in den Transformationen zu löschen.
Die Connection-Information in den einzelnen Schritten bleibt jedoch enthalten.
Jobmanagement
- Jobs "on demand" direkt aus HISinOne (oder superx?) vom Nutzer starten lassen.
BI Ladejob ausführen
Den Ladejob in das BI-System integrieren
Um den Job im System bekannt zu machen wird ein Eintrag in der eduetl-Tabelle sx_jobs angelegt.
Feld Beschreibung tid tid uniquename Unique Name caption Bezeichnung filepath Pfad zur Datei sachgebiete_id Sachgebiet kenn_profil Optional: Kenn-Profil hs_nr Optional: Hochschulnummer modus_supported Modus unterstützt? params optionale Parameter check_sql optionaler Prüf-SQL Ein Beispiel - Datensatz sieht wie folgt aus:
tid uniquename caption filepath ... check_sql 1450 nhs_stbb_hhpl_manuell Stellen lt. HH-Plan manuell einlesen kenn/etl/nhs_stbb_manuell/stbb_hhpl_manual_upload.kjb ... select count(*) from kenn_stelle_hhpl Das Ergebnis des Prüfprotokolls erscheint nach Ausführen des Jobs im Ladeprotokoll. Hier wird die Anzahl Datensätze in der Zieltabelle gezählt.
Die Masken, welche Ladejobs ausführen benötigen zwingend das Feld dokettlejob. Anhand dieses Feldes wird dem System mitgeteilt, dass ein Kettle-Job auszuführen ist. Das Feld darf versteckt werden.
Um die auswählbaren Kettle-Jobs zu definieren wird auf die Tabelle sx_jobs zugegriffen.
Kettle unter Linux
- DB-Anbindung
Kettle Goodies
- Coole neue Features
