Kettle - Versionsgeschichte

Danielq: /* xmlstarlet */

2025-10-05T18:25:53Z

xmlstarlet

← Nächstältere Version		Version vom 5. Oktober 2025, 18:25 Uhr
Zeile 19:		Zeile 19:

	=== xmlstarlet ===		=== xmlstarlet ===
	Zum Entfernen von dbconnections aus Kettle-Quellen: Komfortabel geht es unter Linux mit ~~xmlstarletAnwendung~~. Hier ein Script removeConnection.x		Zum Entfernen von dbconnections aus Kettle-Quellen: Komfortabel geht es unter Linux mit der xmlstarlet-Anwendung. Hier ein Script removeConnection.x
	<~~pre~~>		<source lang="bash">
	#!/bin/bash		#!/bin/bash
	#sudo apt install xmlstarlet		#sudo apt install xmlstarlet
Zeile 29:		Zeile 29:
	xmlstarlet ed -d "//connection[name and server and type and access and database]" "$file" > "${file}.tmp" && mv "${file}.tmp" "$file"		xmlstarlet ed -d "//connection[name and server and type and access and database]" "$file" > "${file}.tmp" && mv "${file}.tmp" "$file"
	done		done
	</~~pre~~>		</source>

			Das Script wird im jew. Verzeichnis ausgeführt, ohne Parameter.

	=Grundsätzliches zum Datenflow=		=Grundsätzliches zum Datenflow=

Danielq: /* xmlstarlet */

2025-10-05T18:24:25Z

xmlstarlet

← Nächstältere Version		Version vom 5. Oktober 2025, 18:24 Uhr
Zeile 19:		Zeile 19:

	=== xmlstarlet ===		=== xmlstarlet ===
	~~Komfortabler~~ geht es mit xmlstarletAnwendung		Zum Entfernen von dbconnections aus Kettle-Quellen: Komfortabel geht es unter Linux mit xmlstarletAnwendung. Hier ein Script removeConnection.x
	Hier ein Script removeConnection.x
	<pre>		<pre>
	#!/bin/bash		#!/bin/bash

Bisping: /* Datenbankverbindungen in Kettle-Dateien */

2025-03-17T11:42:30Z

Datenbankverbindungen in Kettle-Dateien

@@ Zeile 1: / Zeile 1: @@
 ==Datenbankverbindungen in Kettle-Dateien==
-Nach der Installation von Spoon ist folgendes zu beachten: Beim Bearbeiten von Kettle Dateien mit Spoon wird die jeweilige dbconnection der lokalen "eduetl"-Datenbank in den KTR/KJB Dateien gespeichert. Vor dem Commit ins GIT muss diese entfern werden. Dafür gibt es ein Groovy-Script im Kernmodul in superx/scripts/groovy/copy_kettlejob.groovy. Dieses wiederum benötigte groovy im PATH, daher muss man
+Nach der Installation von Spoon ist folgendes zu beachten: Beim Bearbeiten von Kettle Dateien mit Spoon wird die jeweilige dbconnection der lokalen "eduetl"-Datenbank in den KTR/KJB Dateien gespeichert. Vor dem Commit ins GIT muss diese entfern werden.
 # groovy installieren, z.B. in /home/superx/tools/groovy/groovy-2.4.10
@@ Zeile 15: / Zeile 17: @@
   cp -a sap_hr_sva/* $SVA_PFAD/etl/sap_hr
 =Grundsätzliches zum Datenflow=

Danielq: /* Dateiformate */

2022-10-17T08:17:28Z

Dateiformate

← Nächstältere Version		Version vom 17. Oktober 2022, 08:17 Uhr
Zeile 1:		Zeile 1:
	~~=Dateiformate=~~
	~~Kettle unterscheidet Jobs und Transformationen. Beide werden lokal im XML Format gespeichert, die Endung ist jeweils "*.kjb" fürs Jobs und ".ktr" für Transformationen.~~
	==Datenbankverbindungen in Kettle-Dateien==		==Datenbankverbindungen in Kettle-Dateien==
	Nach der Installation von Spoon ist folgendes zu beachten: Beim Bearbeiten von Kettle Dateien mit Spoon wird die jeweilige dbconnection der lokalen "eduetl"-Datenbank in den KTR/KJB Dateien gespeichert. Vor dem Commit ins GIT muss diese entfern werden. Dafür gibt es ein Groovy-Script im Kernmodul in superx/scripts/groovy/copy_kettlejob.groovy. Dieses wiederum benötigte groovy im PATH, daher muss man		Nach der Installation von Spoon ist folgendes zu beachten: Beim Bearbeiten von Kettle Dateien mit Spoon wird die jeweilige dbconnection der lokalen "eduetl"-Datenbank in den KTR/KJB Dateien gespeichert. Vor dem Commit ins GIT muss diese entfern werden. Dafür gibt es ein Groovy-Script im Kernmodul in superx/scripts/groovy/copy_kettlejob.groovy. Dieses wiederum benötigte groovy im PATH, daher muss man

Danielq: /* Start nach der Installation */

2022-10-17T08:16:57Z

Start nach der Installation

← Nächstältere Version		Version vom 17. Oktober 2022, 08:16 Uhr
Zeile 1:		Zeile 1:
	~~=Start nach der Installation=~~
	~~Kettle beinhaltet drei "Anwendungen"~~
	* Spoon (Entwicklungsumgebung)
	* Kitchen (Kommandozeilenaufruf)
	* Pan
	~~Am besten beginnen Sie mit der graphischen Entwicklungsumgebung "Spoon".~~
	~~==Allgemeines zu Spoon==~~
	~~Das Kommandozeilen-Script "spoon.sh" bzw. "spoon.bat" liegt im obersten Verzeichnis der Auslieferung. Wenn Java 1.8 installiert ist, reicht es die Datei mit Doppelklick zu starten.~~
	~~Aus der Kommandozeile starten Sie mit~~
	~~spoon.bat /norep~~
	~~oder~~
	~~spoon.sh /norep~~

	~~"/norep" setzt den Parameter, dass Kettle nicht nach einen Repository Server sucht.~~
	~~====Spoon Besonderheiten für Linux====~~
	Unter Linux sucht Spoon zunächst nach einer passenden Java-Runtime: entweder Sie setzen die Variable JAVA_HOME / JRE_HOME, oder Sie installieren oberhalb von spoon.sh im Verzeichnis java eine passende runtime. Wenn Sie nur eine spezielle Runtime verwenden wollen, setzen Sie z.B.
	~~PENTAHO_JAVA_HOME=/usr/lib/java~~
	~~export PENTAHO_JAVA_HOME~~

	~~Hinweis: Spoon stürzt unter manchen Linux-Versionen ab sobald man auf "Preview" klickt oder eine Transformation starten will.~~
	~~;Ursache: vermutlich ist die SWT Bibliothek in Spoon nicht kompatibel mit dem Betriebssystem.~~
	~~;Lösung: Besorgen Sie sich eine swt-Datei z.B. aus dem aktuellen Eclipse-Paket. Es liegt im Ordner "plugins", ermittelbar dort mit~~
	~~ls org.eclipse.swt*jar~~
	~~Diese Dateien kopiert man ins Spoon Verzeichnis nach~~
	~~libswt/linux~~
	~~(jeweils x86 und x86_64), die alten Dateien benennt man um nach swt.old. Danach startet man Spoon neu.~~

	~~===Spoon unter Windows===~~
	~~Unter Windows installieren Sie zunächst Java, und setzen dann in der Systemsteuerung die Umgebungsvariable JAVA_HOME auf den Pfad, wo Java installiert ist, z.B.~~
	~~C:\Program Files\Java\jre1.8.0_45~~

	Probieren Sie den Start mit Doppelklick auf die Datei spoon.bat. Bei Startproblemen unter Windows öffnen Sie eine DOS-Box ("Eingabeaufforderung") und gehen mit cd in das Verzeichnis, wo Kettle installiert ist (z.B. C:\Users\superx\pdi-ce-7.0.0.0-25\data-integration ).
	~~Führen Sie in der DOS Box das Kommando aus:~~
	~~set JAVA_HOME=C:\Program Files\Java\jre1.8.0_45~~
	Editieren Sie dann die Datei spoon.bat und ersetzen Sie den Aufruf "javaw" durch "java". Achtung: das geht nicht mit Windows Notepad, weil es die Unix Zeilenumbrüche nicht versteht, Sie müssen einen alternativen Editor. z. B. Windows WordPad nehmen
	~~und starten Sie das Script~~

	~~spoondebug.bat~~
	~~Beantworten Sie alle Fragen mit "Y", am Ende wird eine Datei~~
	~~SpoonDebug.txt~~
	geschrieben, der Sie diagnostische Meldungen entnehmen können. Wenn z.B. das RAM nicht ausreicht, müssen Sie die Datei spoon.bat editieren, und den Passus "-Xmx2048m" ersetzen z.B. durch "-Xmx1024m".
	~~Weitere Hilfen bei Startproblemen siehe den [http://wiki.pentaho.com/display/EAI/Beginners+FAQ#BeginnersFAQ-Problemsstartingspoon FAQ].~~
	~~===Spoon Einstellungen===~~
	~~Als erstes sollten Sie die Sprachumgebung von Spoon einstellen:~~
	~~Im Menü Tools -> Options wählen Sie im Reiter "UI Settings" die deutsche Umgebung:~~

	~~{{ImagePara \|imgsrc=kettle_deutsch.png\|width=400px\|caption=Einstellungen}}~~

	~~Achten Sie darauf, daß Sie bei "Alternative Language" English angeben, damit Menüs, die noch nicht übersetzt sind, in Englisch angezeigt werden.~~

	=Dateiformate=		=Dateiformate=
	Kettle unterscheidet Jobs und Transformationen. Beide werden lokal im XML Format gespeichert, die Endung ist jeweils "*.kjb" fürs Jobs und ".ktr" für Transformationen.		Kettle unterscheidet Jobs und Transformationen. Beide werden lokal im XML Format gespeichert, die Endung ist jeweils "*.kjb" fürs Jobs und ".ktr" für Transformationen.

Danielq: /* Installation und Einrichtung */

2022-10-17T08:16:13Z

Installation und Einrichtung

← Nächstältere Version		Version vom 17. Oktober 2022, 08:16 Uhr
Zeile 1:		Zeile 1:
	~~=Installation und Einrichtung=~~
	~~==Voraussetzungen==~~
	*Kettle läuft unter Windows und Linux bzw. anderen Systemen mit Java Runtime
	*Derzeit wird Java 1.8 vorausgesetzt, und zwar nur genau diese Version. Ältere Java Versionen und Java 11 oder höher werden derzeit nicht unterstützt.
	~~Entgegen der Dokumentation funktioniert auch ein Open Source Java, z.B. openjdk, Sie müssen nicht Oracle Java nehmen.~~

	~~==Download und Installation==~~
	~~Kettle oder PDI (Pentaho Date Integration) steht unter Apache License V.2.0.~~
	* Es gibt einen Community Bereich bei Hitachi, wo Sie die Software nach Registrierung herunterladen können: https://community.hitachivantara.com/home
	* Einen Download ohne Registrierung erhalten Sie auch
	** auf Sourceforge: https://sourceforge.net/projects/pentaho/
	** auf github: https://github.com/pentaho/pentaho-kettle (nur Quellcode)

	=Start nach der Installation=		=Start nach der Installation=
	Kettle beinhaltet drei "Anwendungen"		Kettle beinhaltet drei "Anwendungen"

Danielq: /* Kettle-Grundlagen */

2022-10-17T08:15:45Z

Kettle-Grundlagen

← Nächstältere Version		Version vom 17. Oktober 2022, 08:15 Uhr
Zeile 1:		Zeile 1:
	~~=Kettle-Grundlagen=~~
	~~==Zielsetzung==~~
	Das Anwendungsspektrum vom OpenSource-Werkzeug zum Datenmanagement Kettle / Pentaho Data Integration reicht vom Kopieren einzelner Daten zwischen zwei Quellen bis zum professionellen "Data Warehousing". Für diesen Zweck bietet das Werkzeug eine mächtige Funktionalität und graphische Oberfläche. Die Nutzung des Werkzeugs wird unten anhand von praktischen Beispielen aus der Hochschulverwaltung vorgestellt.

	~~==Geschichte von Kettle==~~

	~~{\| class="wikitable"~~
	\|-
	~~\|Zeitpunkt<br />~~
	~~\|Was passierte...<br />~~
	\|-
	~~\|Sommer 2001<br />~~
	~~\|Der Belgier Matt Casters gründet eigenes Unternehmen als BI-Consultant~~
	\|-
	~~\|Ab 2003<br />~~
	\|Start der Arbeiten an Kettle. Ursprünglich war geplant, Kettle als KDE-Anwendung zu implementieren, daher der Name '''K'''DE '''E'''xtraction, '''T'''ransportation, '''T'''ransformation and '''L'''oading '''E'''nvironment.
	\|-
	~~\|2004<br />~~
	~~\|Kettle Version 1.2 mit SWT statt AWT. Das belgische Verkehrszentrum setzt Kettle ein~~
	\|-
	~~\|2005<br />~~
	~~\|Kettle 2.0 wird veröffentlicht, mit Plugin-Architektur und SAP-Plugin. Matt Casters stellt Kettle unter OpenSource-Lizenz. In der ersten Woche hat Kettle 35.000 Downloads~~
	\|-
	~~\|2006<br />~~
	~~\|Pentaho wechselt von Octopus zu Kettle, Matt Casters wird angestellt. Kettle wird zu PDI (Pentaho Data Integration)~~
	\|-
	~~\|2010<br />~~
	~~\|Kettle / PDI 4.0 Release~~
	\|-
	~~\|2015~~
	~~\|Pentaho wurde von Hitachi Data Systems aufgekauft.~~
	\|-
	~~\|2022~~
	~~\|Der Kettle Fork "hop" wird ein Top-Level Produkt der Apache Foundation.~~
	\|}

	Wir sehen dass die Software eine "bewegte" Geschichte hat. Durch die ganzen Namensänderungen bleiben wir erstmal beim Namen "kettle". Weitere Details siehe [https://de.wikipedia.org/wiki/Pentaho Wikipedia-Eintrag].

	~~==Alternativen==~~
	~~Eine Übersicht finden Sie auf Wikipedia:~~

	~~{{ImagePara \|imgsrc=etl_tools.png\|width=200px\|caption=Wikipedia}}~~

	~~Kommerzielle Produkte im DWH-Bereich:~~
	* IBM InfoSphere
	* Informatica

	~~OSS-Tools~~
	* Talend
	* PDI / Kettle
	* Octopus

	=Installation und Einrichtung=		=Installation und Einrichtung=
	==Voraussetzungen==		==Voraussetzungen==

Danielq: /* Literaturtipps */

2022-10-15T19:21:10Z

Literaturtipps

← Nächstältere Version		Version vom 15. Oktober 2022, 19:21 Uhr
Zeile 559:		Zeile 559:
	* Haneke, U. et al. (2010). Open Source Business Intelligence. Möglichkeiten, Chancen und Risiken quelloffener BI-Lösungen. Wien: Hanser		* Haneke, U. et al. (2010). Open Source Business Intelligence. Möglichkeiten, Chancen und Risiken quelloffener BI-Lösungen. Wien: Hanser
	* Roldan, M.C. (2013). Pentaho Data Integration Second Edition. Beginner's Guide. Birmingham, UK: Packt Publishing		* Roldan, M.C. (2013). Pentaho Data Integration Second Edition. Beginner's Guide. Birmingham, UK: Packt Publishing
	* Javascript Guide des Mozilla Projektes:		* Javascript Guide des Mozilla Projektes: https://developer.mozilla.org/En/Core_JavaScript_1.5_Guide
	https://developer.mozilla.org/En/Core_JavaScript_1.5_Guide		* Javascript Anleitung im SelfHTML-Projekt: http://de.selfhtml.org/javascript/index.htm
	* Javascript Anleitung im SelfHTML-Projekt:
	http://de.selfhtml.org/javascript/index.htm

Danielq: /* "Zeitscheiben" ermitteln */

2022-10-15T19:20:44Z

"Zeitscheiben" ermitteln

← Nächstältere Version		Version vom 15. Oktober 2022, 19:20 Uhr
Zeile 552:		Zeile 552:

	vergl. db/module/sva/etl/sap_hr/sap_load_pbv_art_dienstart.ktr		vergl. db/module/sva/etl/sap_hr/sap_load_pbv_art_dienstart.ktr

			=Literaturtipps=
			* Pentaho Kettle Homepage: http://kettle.pentaho.com/
			* Kettle FAQs: http://wiki.pentaho.com/display/EAI/Frequently+Asked+Questions
			* Casters, M., Bouman,R., von Dongen, J. (2010). Pentaho Kettle Solutions. Building Open Source ETL Solutions with Pentaho Data Integration. Indianapolis, IN: Wiley.
			* Haneke, U. et al. (2010). Open Source Business Intelligence. Möglichkeiten, Chancen und Risiken quelloffener BI-Lösungen. Wien: Hanser
			* Roldan, M.C. (2013). Pentaho Data Integration Second Edition. Beginner's Guide. Birmingham, UK: Packt Publishing
			* Javascript Guide des Mozilla Projektes:
			https://developer.mozilla.org/En/Core_JavaScript_1.5_Guide
			* Javascript Anleitung im SelfHTML-Projekt:
			http://de.selfhtml.org/javascript/index.htm

Danielq: /* Start nach der Installation */

2022-10-15T19:19:08Z

Start nach der Installation

← Nächstältere Version		Version vom 15. Oktober 2022, 19:19 Uhr
Zeile 66:		Zeile 66:
	=Start nach der Installation=		=Start nach der Installation=
	Kettle beinhaltet drei "Anwendungen"		Kettle beinhaltet drei "Anwendungen"
	* Spoon		* Spoon (Entwicklungsumgebung)
	* Kitchen		* Kitchen (Kommandozeilenaufruf)
	* Pan		* Pan
	Am besten beginnen Sie mit der graphischen Entwicklungsumgebung "Spoon".		Am besten beginnen Sie mit der graphischen Entwicklungsumgebung "Spoon".
Zeile 113:		Zeile 113:

	Achten Sie darauf, daß Sie bei "Alternative Language" English angeben, damit Menüs, die noch nicht übersetzt sind, in Englisch angezeigt werden.		Achten Sie darauf, daß Sie bei "Alternative Language" English angeben, damit Menüs, die noch nicht übersetzt sind, in Englisch angezeigt werden.

	=Dateiformate=		=Dateiformate=
	Kettle unterscheidet Jobs und Transformationen. Beide werden lokal im XML Format gespeichert, die Endung ist jeweils "*.kjb" fürs Jobs und ".ktr" für Transformationen.		Kettle unterscheidet Jobs und Transformationen. Beide werden lokal im XML Format gespeichert, die Endung ist jeweils "*.kjb" fürs Jobs und ".ktr" für Transformationen.