Seite 1 von 1

FTP-Uploader dauert sehr lange bei grossem html Order

Verfasst: 27 Okt 2020 08:01
von redzonk
Hallo zusammen

Ich habe am Wochenende meine ganze Wetterdaten-Aufzeichnung auf einen neuen PC migriert. Dabei habe ich auch gleich vom HS_Uploader auf den FTP_Uploader umgestellt.
Nach dem Start des FTP_Uploader braucht der fast 15 Minuten bis er überhaupt mit dem Kopieren der Daten beginnt. Im Status heisst es dann immer "Lese Projekt". Die CPU des PC geht dann auf über 50%.
Ich denke es hat damit zutun, dass mein HTML Folder recht gross ist. Es sind da Daten seit 2013 drin. Insgesamt sind das 1230'000 Dateien mit 1.3GB.
Der FTP Upload läuft alle 30 Minuten.

Ich denke es hat mit der grossen Anzahl Datein zu tun welche er jeweils auf Veränderung überprüft werden.
Würde es Sinn machen die Option "Jahre Trennen" anzuwählen?
Oder könnte man die alten Dateien aus dem HTML Ordner in ein HTML_old Verzeichnis verschieben, um sie noch auzubewahren.

Wie verhält sich das bei euch?
Habt ihr einen Tip.

Merci und Grüsse
Patrick

Verfasst: 27 Okt 2020 09:38
von LE-Wetter
Sagen wir mal so:
"Jahre trennen" ist ein Muss, denn es wird sonst immer unübersichtlicher.
Deshalb wird aber deine Datei zunächst nicht kleiner. Und ich denke (das ist aber nur eine Vermutung) der Ftp-Uploader checkt schneller Veränderungen eines kleineren Ordners als einen riesigen).Du hast vermutlich fast alle Optionen (Erstellen von Grafiken und Tabellen) angehakt, die möglich sind. Bedenkenswert wäre, welche wirklich wichtig sind. Interessiert irgendein ein Mensch eine Minigrafik Taupunkt vom 12.10. 2014 frage ich mal überspitzt... Wenn jemand irgend etwas Spezielles braucht, wird er sich bei dir melden und du kannst das manuell immer noch erstellen. Aber das ist ja nun jedermanns Sache.
Meine Vorschlag: Jahre trennen, Urdner weitgehend leer machen (natürlich die Symbole Icons belassen), reduzieren auf Monatsgrafik, ggf. Wochengrafik, Monatstabellen/Wochentabellen, Jahresgrafik/Tabelle und natürlich die Langzeitgrafiken/Klimadiagramme. Ich habe jetzt Daten seit 2007 und der Ordner html ist 153MB groß.
Und abschließend, logisch dauert das erstmalige Hochladen lange. Du solltest ggf. in dieser Zeit keine anderen unnötigen Prozesse laufen lassen und ggf. Wetteraufzeichnung anhalten

Verfasst: 27 Okt 2020 10:15
von Tex
Es wird auch mit dem ftp-uploader so sein, wie mit allen anderen ftp-clienten, die Dateien überwachen können: man muß beim allerersten mal alle Dateien als "alt" markieren. Dann werden beim nächsten upload nur die neuen/geänderten Dateien hochgeladen.

Trotzdem: Dateien nach Jahren trennen, ist fast unabdingbar - wie LE-Wetter ja genau beschrieben hat.

Verfasst: 27 Okt 2020 10:19
von weneu
Hallo,
zunächst mal:
dringend die Aussage von LE-Wetter beachten und die Trennung durchführen mit dem Menüpunkt "Jahre trennen"
Aber nun kommt das Wichtige bezüglich ftp-uploader:
Es gibt im ftp-uploader die Möglichkeit, Ordner vom Upload auszuschließen. Das heißt, alle Jahresordner von 2013 bis 2019 sollten vom Upload ausgeschlosssen werden, da die Daten ja schon auf dem Server sind und es den ftp-uploader sinnlos ausbremst, jedesmal alle Ordner zu überprüfen. (sieht man ja in Deinem Fall)
Dieses Ausschließen kann in Deinem Fall auch einmalig ziemlich lange dauern, aber dann ist Ruhe.

Verfasst: 27 Okt 2020 14:24
von redzonk
Vielen Dank für eure schnellen und wertvollen Tips.

Ich habe nun die Option "Jahre Trennen" aktiviert.
Ja ich war sicher etwas grosszügig bei der Auswahl an Optionen zur Bilder und Tabellen Erstellung. Ich werde das überarbeiten um etwas weniger Dateien zu generieren.

Ich habe auf dem Webserver einmal alle Daten in einen anderen Ordner verschoben und bin nun an der initiallen Kopie. Das wird nun etwas dauern.

Da ich zukünftig SFTP nutzen möchte, habe ich den FTP_Uploader in der v3 Beta am Laufen. Da habe ich das Ausschliessen von Ordnern so auf die Schnelle nicht gefunden. Da sich auch das GUI etwas geändert hat, stimmen die ScreenShots in der Hilfe nicht überein. Wisst ihr gerade wo sich das nun befindet? Sonst suche ich dann wenn der Kopiervorgang beendet ist.

Merci und Grüsse
Patrick

Verfasst: 27 Okt 2020 16:50
von weneu
Hallo Patrick,
Projekte - Ausschluss verwalten

Verfasst: 28 Okt 2020 10:34
von redzonk
Super, vielen Dank für Eure Tips.

Das mit dem Ausschluss der Ordner habe ich gefunden.
Nun ist der Upload in wenigen Sekunden durch. :lol: