Performance beim Datenimport

[TobeIsClutch]

Hi Leute,
bei mir steht eine Datenübernahme an und ich habe mehrere "Integration Services Packages" vorliegen. Alle Dateien haben inhaltlich den gleichen Aufbau. Die Zeilenanzahl geht über die Millionen hinaus.

Lohnt es sich Daten zu splitten und parallel zu importieren oder ist es effizienter Daten zusammen zu führen und als Gesamtpaket einzuschießen?

 

[fromNulltoNothing]

Hey,

meinst du SSIS? Und willst du mehrere Dateien in eine Tabelle laden?
Um was für Dateien handelt es sich? Hast du hier nur ein begenztes Zeitfenster?

 

[TobeIsClutch]

Hi, danke das du antwortest
Ja genau. SSIS
Ja, ich würde dann auch mehrere Dateien in eine Tabelle laden.
Der Dateityp heißt "Integration Services Package".
Es sind ERP Daten wie Auftragsköpfe, Auftragspositionen usw.

 

[fromNulltoNothing]

hilfreich wäre ein screenshot von SSIS Paket.

aber so wie ich es jetzt verstehe, muss die die Pakete serielell abarbeiten. Exportiere auf diesen Weg Täglich Datenfeed, das sind ca. 1 mio Zeilen, läuft aber in 15 min durch, dazu musst man aber auch sagen das noch andere Task ausgeführt werden.
Grundsätzlich kann man aber sagen das die Laufleistung an der Maschine, Netzwerk, Festplatten und mit welchem ODBC Treiber du die Verbindung erstellt zusammenhängt.

Mache doch einen Test, schaue dir im SQL Studio die Zeiten an. Dann solltest du hier keine Probleme bekommen.
Welche ERP nutzt ihr?