FTP-Uploader dauert sehr lange bei grossem html Order

Fragen, Anregungen zur PC-Wetterstations-Software

Moderatoren: Werner, Tex, weneu

Antworten
redzonk
Beiträge: 3
Registriert: 08 Aug 2017 17:38

FTP-Uploader dauert sehr lange bei grossem html Order

Beitrag von redzonk »

Hallo zusammen

Ich habe am Wochenende meine ganze Wetterdaten-Aufzeichnung auf einen neuen PC migriert. Dabei habe ich auch gleich vom HS_Uploader auf den FTP_Uploader umgestellt.
Nach dem Start des FTP_Uploader braucht der fast 15 Minuten bis er überhaupt mit dem Kopieren der Daten beginnt. Im Status heisst es dann immer "Lese Projekt". Die CPU des PC geht dann auf über 50%.
Ich denke es hat damit zutun, dass mein HTML Folder recht gross ist. Es sind da Daten seit 2013 drin. Insgesamt sind das 1230'000 Dateien mit 1.3GB.
Der FTP Upload läuft alle 30 Minuten.

Ich denke es hat mit der grossen Anzahl Datein zu tun welche er jeweils auf Veränderung überprüft werden.
Würde es Sinn machen die Option "Jahre Trennen" anzuwählen?
Oder könnte man die alten Dateien aus dem HTML Ordner in ein HTML_old Verzeichnis verschieben, um sie noch auzubewahren.

Wie verhält sich das bei euch?
Habt ihr einen Tip.

Merci und Grüsse
Patrick
Benutzeravatar
LE-Wetter
Beiträge: 359
Registriert: 02 Feb 2011 17:13
Hat sich bedankt: 5 mal
Danksagung erhalten: 14 mal
Kontaktdaten:

Beitrag von LE-Wetter »

Sagen wir mal so:
"Jahre trennen" ist ein Muss, denn es wird sonst immer unübersichtlicher.
Deshalb wird aber deine Datei zunächst nicht kleiner. Und ich denke (das ist aber nur eine Vermutung) der Ftp-Uploader checkt schneller Veränderungen eines kleineren Ordners als einen riesigen).Du hast vermutlich fast alle Optionen (Erstellen von Grafiken und Tabellen) angehakt, die möglich sind. Bedenkenswert wäre, welche wirklich wichtig sind. Interessiert irgendein ein Mensch eine Minigrafik Taupunkt vom 12.10. 2014 frage ich mal überspitzt... Wenn jemand irgend etwas Spezielles braucht, wird er sich bei dir melden und du kannst das manuell immer noch erstellen. Aber das ist ja nun jedermanns Sache.
Meine Vorschlag: Jahre trennen, Urdner weitgehend leer machen (natürlich die Symbole Icons belassen), reduzieren auf Monatsgrafik, ggf. Wochengrafik, Monatstabellen/Wochentabellen, Jahresgrafik/Tabelle und natürlich die Langzeitgrafiken/Klimadiagramme. Ich habe jetzt Daten seit 2007 und der Ordner html ist 153MB groß.
Und abschließend, logisch dauert das erstmalige Hochladen lange. Du solltest ggf. in dieser Zeit keine anderen unnötigen Prozesse laufen lassen und ggf. Wetteraufzeichnung anhalten
Liebe Grüße
LE-Wetter
Benutzeravatar
Tex
Moderator
Beiträge: 1872
Registriert: 04 Aug 2014 17:47
Wohnort: Woldegk
Hat sich bedankt: 2 mal
Danksagung erhalten: 38 mal
Kontaktdaten:

Beitrag von Tex »

Es wird auch mit dem ftp-uploader so sein, wie mit allen anderen ftp-clienten, die Dateien überwachen können: man muß beim allerersten mal alle Dateien als "alt" markieren. Dann werden beim nächsten upload nur die neuen/geänderten Dateien hochgeladen.

Trotzdem: Dateien nach Jahren trennen, ist fast unabdingbar - wie LE-Wetter ja genau beschrieben hat.
Benutzeravatar
weneu
Site Admin
Beiträge: 11560
Registriert: 22 Feb 2002 01:00
Wohnort: Donauwörth
Danksagung erhalten: 15 mal
Kontaktdaten:

Beitrag von weneu »

Hallo,
zunächst mal:
dringend die Aussage von LE-Wetter beachten und die Trennung durchführen mit dem Menüpunkt "Jahre trennen"
Aber nun kommt das Wichtige bezüglich ftp-uploader:
Es gibt im ftp-uploader die Möglichkeit, Ordner vom Upload auszuschließen. Das heißt, alle Jahresordner von 2013 bis 2019 sollten vom Upload ausgeschlosssen werden, da die Daten ja schon auf dem Server sind und es den ftp-uploader sinnlos ausbremst, jedesmal alle Ordner zu überprüfen. (sieht man ja in Deinem Fall)
Dieses Ausschließen kann in Deinem Fall auch einmalig ziemlich lange dauern, aber dann ist Ruhe.
redzonk
Beiträge: 3
Registriert: 08 Aug 2017 17:38

Beitrag von redzonk »

Vielen Dank für eure schnellen und wertvollen Tips.

Ich habe nun die Option "Jahre Trennen" aktiviert.
Ja ich war sicher etwas grosszügig bei der Auswahl an Optionen zur Bilder und Tabellen Erstellung. Ich werde das überarbeiten um etwas weniger Dateien zu generieren.

Ich habe auf dem Webserver einmal alle Daten in einen anderen Ordner verschoben und bin nun an der initiallen Kopie. Das wird nun etwas dauern.

Da ich zukünftig SFTP nutzen möchte, habe ich den FTP_Uploader in der v3 Beta am Laufen. Da habe ich das Ausschliessen von Ordnern so auf die Schnelle nicht gefunden. Da sich auch das GUI etwas geändert hat, stimmen die ScreenShots in der Hilfe nicht überein. Wisst ihr gerade wo sich das nun befindet? Sonst suche ich dann wenn der Kopiervorgang beendet ist.

Merci und Grüsse
Patrick
Benutzeravatar
weneu
Site Admin
Beiträge: 11560
Registriert: 22 Feb 2002 01:00
Wohnort: Donauwörth
Danksagung erhalten: 15 mal
Kontaktdaten:

Beitrag von weneu »

Hallo Patrick,
Projekte - Ausschluss verwalten
redzonk
Beiträge: 3
Registriert: 08 Aug 2017 17:38

Beitrag von redzonk »

Super, vielen Dank für Eure Tips.

Das mit dem Ausschluss der Ordner habe ich gefunden.
Nun ist der Upload in wenigen Sekunden durch. :lol:
Antworten