Zuletzt bearbeitet vor 2 Monaten
von Daniel Quathamer

Kettle Kurs Teil 2: Unterschied zwischen den Versionen

(Die Seite wurde neu angelegt: „=Monitoring/Logging von Kettle Jobs= *Loglevel und -dateien *Mailversand =Versionierung von Jobs= * Kettle Jobs und git-Versionierung =Jobmanagement= * Jobs "…“)
 
Zeile 6: Zeile 6:
=Jobmanagement=
=Jobmanagement=
*  Jobs "on demand" direkt aus HISinOne (oder superx?) vom Nutzer starten lassen.
*  Jobs "on demand" direkt aus HISinOne (oder superx?) vom Nutzer starten lassen.
==BI Ladejob ausführen==
===Den Ladejob in das BI-System integrieren===
Um den Job im System bekannt zu machen wird ein Eintrag in der eduetl-Tabelle ''sx_jobs'' angelegt.
{| class="wikitable" border="1"
|-
!Feld
!Beschreibung
|-
|tid
|tid
|-
|uniquename
|Unique Name
|-
|caption
|Bezeichnung
|-
|filepath
|Pfad zur Datei
|-
|sachgebiete_id
|Sachgebiet
|-
|kenn_profil
|Optional: Kenn-Profil
|-
|hs_nr
|Optional: Hochschulnummer
|-
|modus_supported
|Modus unterstützt?
|-
|params
|optionale Parameter
|-
|check_sql
|optionaler Prüf-SQL
|}
Ein Beispiel - Datensatz sieht wie folgt aus:
{| class="wikitable" border="1"
|-
!tid
!uniquename
!caption
!filepath
!...
!check_sql
|-
|1450
|nhs_stbb_hhpl_manuell
|Stellen lt. HH-Plan manuell einlesen
|kenn/etl/nhs_stbb_manuell/stbb_hhpl_manual_upload.kjb
|...
|select count(*) from kenn_stelle_hhpl
|}
Das Ergebnis des Prüfprotokolls erscheint nach Ausführen des Jobs im Ladeprotokoll. Hier wird die Anzahl Datensätze in der Zieltabelle gezählt.
</blockquote>
<blockquote>
Die Masken, welche Ladejobs ausführen benötigen zwingend das Feld dokettlejob. Anhand dieses Feldes wird dem System mitgeteilt, dass ein Kettle-Job auszuführen ist. Das Feld darf versteckt werden.
{{ImagePara |imgsrc=kettle_integration_3.png|width=600|caption=}}
</blockquote>
<blockquote>
Um die auswählbaren Kettle-Jobs zu definieren wird auf die Tabelle sx_jobs zugegriffen.
{{ImagePara |imgsrc=kettle_integration_4.png|width=600|caption=}}
</blockquote>
=Kettle unter Linux=
=Kettle unter Linux=
* DB-Anbindung
* DB-Anbindung
=Kettle Goodies=
=Kettle Goodies=
* Coole neue Features
* Coole neue Features

Version vom 2. Dezember 2022, 18:58 Uhr

Monitoring/Logging von Kettle Jobs

  • Loglevel und -dateien
  • Mailversand

Versionierung von Jobs

  • Kettle Jobs und git-Versionierung

Jobmanagement

  • Jobs "on demand" direkt aus HISinOne (oder superx?) vom Nutzer starten lassen.

BI Ladejob ausführen

Den Ladejob in das BI-System integrieren

Um den Job im System bekannt zu machen wird ein Eintrag in der eduetl-Tabelle sx_jobs angelegt.

Feld Beschreibung
tid tid
uniquename Unique Name
caption Bezeichnung
filepath Pfad zur Datei
sachgebiete_id Sachgebiet
kenn_profil Optional: Kenn-Profil
hs_nr Optional: Hochschulnummer
modus_supported Modus unterstützt?
params optionale Parameter
check_sql optionaler Prüf-SQL

Ein Beispiel - Datensatz sieht wie folgt aus:

tid uniquename caption filepath ... check_sql
1450 nhs_stbb_hhpl_manuell Stellen lt. HH-Plan manuell einlesen kenn/etl/nhs_stbb_manuell/stbb_hhpl_manual_upload.kjb ... select count(*) from kenn_stelle_hhpl

Das Ergebnis des Prüfprotokolls erscheint nach Ausführen des Jobs im Ladeprotokoll. Hier wird die Anzahl Datensätze in der Zieltabelle gezählt.

Die Masken, welche Ladejobs ausführen benötigen zwingend das Feld dokettlejob. Anhand dieses Feldes wird dem System mitgeteilt, dass ein Kettle-Job auszuführen ist. Das Feld darf versteckt werden.

kettle integration 3.png

Um die auswählbaren Kettle-Jobs zu definieren wird auf die Tabelle sx_jobs zugegriffen.

kettle integration 4.png

Kettle unter Linux

  • DB-Anbindung

Kettle Goodies

  • Coole neue Features