ftpuploader - zuviele Daten

[meteo]

Guten Abend ins Forum

Ein Kollege von mir hat vor einigen Jahren WsWin installiert und schon damals mehrere vorgängige Jahre aus Weatherlink importiert. Nun sind die Daten inzwischen derart angewachsen, dass er 816MB aufgeteilt auf 40'884 Dateien auf dem Server hat.

Bevor der Uploader weiss, was er raufladen muss, vergleicht er die Dateien. Auch mit einem schnellen Anschluss hat er mehr als 5 Minuten. Das gibt dann schon mal eine "Zeitüberlappung", wenn man 5 min eingestellt hat im WsWin. WsWin stürzt dann nach einigen solchen erfolglosen "Versuchen" auch oft einfach ab.

Wie kriegt man dieses Problem sinnvoll in den Griff?

Im uploader alte Dateien aus der Dateiliste nehmen? oder gibts elegantere lösungen?

Danke für die Info

Markus

[weneu]

Hallo Markus,
die einfachste Möglichkeit ist, bereits vergangene Jahre vom Hochladen auszuschließen, denn dort ändert sich ja nichts mehr.
Konkret im ftp-Uploader:
Button "Ausschluss" drücken und dort wählen "Dateien ausschließen"
Damit wird die Überprüfung auf hochzuladende Daten aufs aktuelle Jahr begrenzt und es geht blitzschnell.

[bb3005]

Hallo zusammen,

ich habe auch das gleiche Problem. Die Wetterstation mit WSWin und dem FTP-Uploader läuft seit 2005.
Nun liest er jedesmal über 10.000 Dateien ein und das dauert ewig mittlerweile. Ab und zu stürzt der Rechner sogar ab.

Ich hbe Deinen Tip mit dem "Ausschliessen" befolgt und die Dateien 2005 bis 2008 "Ausgeschlossen". Trotzdem liest der FTP Uplader immer noch die ganzen Dateien ein.

Gibt es event. noch eine andere Möglichkeit? Vielleicht nur den Pfad von der 2009 Datei angeben oder so?

Beste Grüße

Norbert

[Fonso]

Hallo

Ich verwende SyncBack. Ich lade eigentlich nur ein PHP File von ca. 50k alle 5 Minuten hoch, indem alle von der Homepage verwendeten Variablen von WsWin abgefüllt wurde. Die Variabel rufe ich mit include in die entsprechenden Seiten auf. Die Aktuellen Grafiken liegen auf meinem Wetter Server und werden von der Homepage verlinkt. Dies musste ich so lösen, da mir der Provider die IP sperrte, da er mit enormen FTP zugriffen nicht einverstanden war. Die Archivdaten Lade ich immer um 01:00 auf die Homepage hoch. Natürlich aktualisiere ich nur das Archiv 2009. Der beim Rest ändert sich ja nichts.

Gruss Philipp

[bb3005]

Hallo Phillip,

das ist ja eine sehr Interessante Sache mit dem PHP. Und Du hast eine sehr schöne Homepage. Kompliment.

Aber ich glaube das mit dem PHP ist eine zu komplizierte Sache für mich. Ich bin Blond

Aber das wäre wirklich keine Schlechte Idee .. das würde den FTP-Transfer erheblich reduzieren.

Beste Grüße

Norbert

[Fruchtzwerg]

Gibt es event. noch eine andere Möglichkeit? Vielleicht nur den Pfad von der 2009 Datei angeben oder so?

Hallo.

Mein kleiner Beitrag zum Helfen.

Hast du die Jahre getrennt ?

Wenn ja müssen die alten Dateien nur einmal auf dem Server sein.
Dannach sollten eigentlich nur die sich veränderten oder neu erstellten Daten
auf den Server geladen werden.

Und somit auch der Transfer verringern.

[meteo]

Vielen Dank an alle die geholfen haben.

Jup, ich musste die Jahre zuerst trennen. Das macht WsWin alles selbständig. Den "Haken" setzen und dann wird das alles neu aufgebaut.

Wichtig: Diese Struktur muss man dann nochmals komplett auf den Server laden, wenn man das Archiv komplett oben haben will. Erst danach kann man die alten Jahre ausschliessen.

Das rausch wieder wie wil

Besten Dank für alle Tipps.

Markus

[bb3005]

Hallo..

die jahre sind Getrennt im HTML Ordner.

Vielleicht ist ja nicht das Problem des Transfers.. ich habe gerade festgestellt das er nicht viele neue Dateien hochschiebt, somit wird das "ausschliessen" doch geklappt haben.

Doch das Einlesen sobald der FTP-Uploader Startet dauert ewig... Teilweise bis 10 Minuten. Dann kann es auch passieren das der Rechner abstürzt oder einfach stehenbleibt. Nun ja.. hab Win98SE dafür am laufen.

Aber bisher hat es ja Jahrelang geklappt ohne Probleme. Es sind einfach anscheinend zu viele Dateien.

[Fruchtzwerg]

Es sind einfach anscheinend zu viele Dateien.

Normalerweise werden immer nur die neu Erstellten Daten hochgeladen.
Denn was einmal oben ist, brauch ja nicht nochmal hoch.

[meteo]

Genau, bei mir war auch nicht das Hochladen das Problem. Das sind nur ein paar Dateien. Sondern eben der Abgleich vorher.

Auch wenn die HTML-Dateien in Jahresordner aufgetrennt sind musst Du unbedingt die alten Jahre ausschliessen, die werden sonst alle 5 min vollständig verglichen. Und wenn dann die "Vergleichszeit länger dauert als der Intervall zwischen den Uploads, dann kann es Probleme geben.

Ich habe bei mir nun 2005-2008 vollständig ausgeschlossen. Und der Wetterkollege auch, das geht prima.

Grüsse

Markus

[bb3005]

Hallo Markus, Enrico,

das hört sich ja mal stark nach einer Lösung an. Aber nochmals zum mitschreiben.

Muss ich bei WsWin auch was einstellen bzw. Häkchen setzen? Wie gesagt habe ich beim FTP-Uploader die Jahre 2005 bis 2008 ALLE ausgeschlossen.

Muss ich vorhher nochmals ALLES hochladen und dann ausschliessen?

[meteo]

- WsWin aufzeichnung stoppen
- menu "internet", dann "Einstellungen" dann Reiter "Startseite"
- dort wählen: "Jahre trennen"

Dann macht WsWin das und Du hast anschliessend im Verzeichnis "/html/ die Jahre schön getrennt.

Und nun kommts: genau diese Struktur muss zuerst auf den Server !!!!!!

Also:
- ftpuloader starten und nix machen.
- suchen lassen
- "stundenlang" raufladen lassen
- löschen lassen.

Danach sind alle Daten auf dem Server in den Unterordnern verteilt.
Der grosse Knäuel aller Dateien nur im "html" Verzeichnis ist dann
weg und gelöscht.

Kontrolle, ob Daten im Internet (server) in Ordnung läuft.

Erst danach:
- uploader starten und sofort grüner Balken "abbrechen"
- Knopf "Ausschluss" drücken
- Der Rest dort drin ist selbstsprechend, einfach die Jahresunterordner
wählen, die nicht mehr immer gecheckt und hochgeladen werden sollen.
(Sind ja schon oben auf dem Server)

Thats all.

[bb3005]

Danke für die Ausführliche Erklärung.

Die Dateien sind bei mir schon getrennt. Nun.. ich werde nochmals einen kompletten FTP Upload starten und dann den "Ausschluss" vornehmen.

Wenn es bei Dir geklappt hat so sollte es bei mir ja auch funktionieren.

Gruß

Norbert

[bb3005]

Soo.. habe alles nochmals hochladen lassen und dann die Jahre 2005 bis 2008 ausgeschlossen.

Trotzdem liest der sich einen Wolf ein... immer noch 10358 Dateien. Und das dauert. Langsam glaube ich das mit dem FTP Uploader was nicht stimmt. Oder es sind noch andere Einstellungen zu machen.

[meteo]

Guck Dir mal das normale HTML-Verzeichnis an.... nicht in den Unterordner. Ich vermute schwer, dass dort noch die 10'000 Dateien drin sind, die nun auch in den Jahresordnern sind......

Die brauchts direkt im HTML-Verzeichnis nicht mehr. Aber achtung: Nur die Jahresdateien löschen ! Nicht einfach grad alles.

Grüsse

Markus