Wswin-Daten für Weewx exportieren

[Werner]

auch mit WeeWx 5.x, dauert aber für den Import von einem Jahr (2023) bei Minuten-Intervall ewig auf dem RaspB4B

Ja, das weiß ich
Bei einer Station mit Datenlogger (Vantage) ist das auch kein großes Problem.
Bei anderen Stationen mache ich es in einer eigenen Instanz oder auf dem Computer mit
einer Debian Vmware (was natürlich viel viel schneller geht) und mit dem DB Browser for SQLite
spiele ich dann beide Datenbanken zusammen.

[xray77]

Moin Werner,
Habe mal das "calculating missing Values" abgeschaltet, dann gehts schon mal bedeutend schneller.. Vermutlich ist dieser Schritt bei der Vantage auch gar nicht unbedingt nötig, oder? Man kann ja z.B. den Taupunkt direkt mit auslesen lassen..
Aber ansonsten funktioniert's ja gut, das importieren.
WSWin läuft auf einem separaten Rechner natürlich weiter, da habe ich ja Daten seit 2002 drin..
Beste Grüsse aus dem schaurig schönen Norden,
Michael

[moppedhausi]

Guten Tag zusammen.

nachdem nun auch bei mir weewx 5.0.2 auf einem Raspberry läuft, wollte ich die WsWin Daten importieren.

Der Aufruf sollte doch so korrekt sein, oder?
sudo weectl import --import-config=/etc/weewx/csv-wswin.conf --verbose

Antwort:

Code: Alles auswählen

Using configuration file /etc/weewx/weewx.conf
Starting weectl import...
**** Unable to parse source-to-WeeWX field map.
**** No units specified for source field 'Date' in /etc/weewx/csv-wswin.conf.
**** Nothing done, exiting.

[Werner]

@Wilfried,

vermutlich hast Du die spezielle Export-Funktion für Weewx nicht verwendet,
den Weewx benötigt Datum und Zeit in einer Spalte
Beispiel:

Code: Alles auswählen

Date;1;2;3;17;18;19;133;34;35;36;37;39;40;41;42;45;46;96;97;98
01.01.2020 00:00;22.1;-3.3;-2.2;23;83;87;1032.4;0.000;4.8;360;0;0;0.000;0.0;0;6.4;93.86;360.0;0;9
01.01.2020 00:05;22.0;-3.3;-2.8;23;82;87;1032.4;0.000;4.8;22;0;0;0.000;0.0;0;6.4;98.25;22.5;0;9

Auch solltest Du die config-Datei nehmen
wo auch diese Felder enthalten sind oder ergänzen, dann braucht Weewx diese nicht neu berechnen.
sunshineDur = 37, minute
dewpoint = 43, degree_C
windchill = 44, degree_C

Und der Import dauert sehr, sehr lange (so war es jedenfalls auf einem Raspi4)

[moppedhausi]

Guten Tag Werner,

die spezielle Export-Funktion für Weewx habe ich genutzt:

wswin_weewx.png (80.22 KiB) 7114 mal betrachtet

So sieht der Export aus:

Code: Alles auswählen

Date;1;2;3;4;5;6;7;13;14;17;18;19;20;21;22;23;133;34;35;36;37;39;40;41;42;43;44;45;96;97;98
01.06.2024 00:00;23.7;14.8;22.6;22.7;21.6;22.2;20.9;11.1;0.0;53;94;58;58;61;59;74;1014.0;0.000;9.0;177;0;0;0.000;0.0;0;13.8;13.4;14.4;0;0.0;0;0
01.06.2024 00:01;23.7;14.8;22.6;22.7;21.6;22.2;20.9;11.0;0.0;53;94;58;58;61;59;74;1013.9;0.000;9.0;170;0;0;0.000;0.0;0;13.8;13.4;14.4;0;0.0;0;0

Trotzdem kommt diese Meldung:

Code: Alles auswählen

pi5@raspberrypi:/etc/weewx $ sudo weectl import --import-config=/etc/weewx/csv-wswin.conf --verbose
Using configuration file /etc/weewx/weewx.conf
Starting weectl import...
**** Unable to parse source-to-WeeWX field map.
**** No units specified for source field 'Date' in /etc/weewx/csv-wswin.conf.
**** Nothing done, exiting.

[Werner]

@Wilfried,

ich vermute es liegt an Deinem Datum-Format vom Raspi5 (dd/mm/yy) und das scheint hier auch
WeeWx zu erwarten.

Vielleicht komme morgen dazu, es auf meinem Raspi5 mit Datumformat (dd.mm.yyyy) auszuprobieren.

[moppedhausi]

ich vermute es liegt an Deinem Datum-Format vom Raspi5 (dd/mm/yy) und das scheint hier auch
WeeWx zu erwarten.

Das Datumsformat sollte jetzt stimmen, trotzdem kommt noch dieser Fehler:
https://wing-willich.de/wetter/raspi5/celestial.html

[Werner]

@Wilfried,

hast Du den Dateinamen in der csv-wswin.conf bzw. csv-wswin0.conf angepasst?

[CSV]
# Parameters used when importing from a CSV file

# Path and name of our CSV source file. Format is:
# file = full path and filename
file = /data/wswin.csv

[moppedhausi]

@Werner,

habe beide Dateien im Ordner von Weewx liegen und habe den Pfad angepasst:
file = wswin.csv

[moppedhausi]

Nach meinen Nachforschungen, kann der CSV-Import mit den gelieferten Konfig-Dateien
gar nicht funktionieren, da sich in WeeWx 5.x das Import-Format geändert hat.

Die angepasste Konfig-Datei für WeeWx 5 findet ihr als csv-wswin5.conf
im Verzeichnis /weewx/etc/weewx/import/
https://www.pc-wetterstation.de/weewx/e ... swin5.conf

Daten sind von einer VantagePro
Meine Import-Datei weewx_EXP_20220101.CSV (ganze Jahr 2022) hat eine Größe von 17216860 Byte
sind 107972 Datensätze

Code: Alles auswählen

 sudo weectl import --config /etc/weewx/weewx3.conf --import-config /etc/weewx/import/csv-wswin5.conf --verbose
Using configuration file /etc/weewx/weewx3.conf
Starting weectl import...
A CSV import from source file '/etc/weewx/weewx_EXP_20220101.CSV' has been requested.
The following options will be used:
     config=/etc/weewx/weewx3.conf, import-config=/etc/weewx/import/csv-wswin5.conf
     source=/etc/weewx/weewx_EXP_20220101.CSV, from=None, to=None
     dry-run=False, calc_missing=True, ignore_invalid_data=True
     tranche=250, interval=5, date/time_string_format=%d.%m.%Y %H:%M
     delimiter=';', rain=discrete, wind_direction=[1.0, 360.0]
     UV=True, radiation=True
Using database binding 'wx_binding', which is bound to database 'weewx_wlludp_test.sdb'
Destination table 'archive' unit system is '0x01' (US).
The following imported field-to-WeeWX field map will be used:
     source field 'Date' in units 'unix_epoch' --> WeeWX field 'dateTime'
     source field '133' in units 'mbar' --> WeeWX field 'barometer'
     source field '1' in units 'degree_C' --> WeeWX field 'inTemp'
     source field '2' in units 'degree_C' --> WeeWX field 'outTemp'
     source field '17' in units 'percent' --> WeeWX field 'inHumidity'
     source field '18' in units 'percent' --> WeeWX field 'outHumidity'
     source field '35' in units 'km_per_hour' --> WeeWX field 'windSpeed'
     source field '36' in units 'degree_compass' --> WeeWX field 'windDir'
     source field '45' in units 'km_per_hour' --> WeeWX field 'windGust'
     source field '96' in units 'degree_compass' --> WeeWX field 'windGustDir'
     source field '34' in units 'mm' --> WeeWX field 'rain'
       (source field '34' will be treated as a cumulative value)
     source field '40' in units 'mm' --> WeeWX field 'ET'
     source field '41' in units 'uv_index' --> WeeWX field 'UV'
     source field '42' in units 'watt_per_meter_squared' --> WeeWX field 'radiation'
     source field '43' in units 'degree_C' --> WeeWX field 'dewpoint'
     source field '44' in units 'degree_C' --> WeeWX field 'windchill'
     source field '46' in units 'percent' --> WeeWX field 'rxCheckPercent'
     source field '3' in units 'degree_C' --> WeeWX field 'extraTemp1'
     source field '19' in units 'percent' --> WeeWX field 'extraHumid1'
     source field '13' in units 'degree_C' --> WeeWX field 'soilTemp1'
     source field '14' in units 'degree_C' --> WeeWX field 'soilTemp2'
     source field '15' in units 'degree_C' --> WeeWX field 'soilTemp3'
     source field '16' in units 'degree_C' --> WeeWX field 'soilTemp4'
     source field '29' in units 'centibar' --> WeeWX field 'soilMoist1'
     source field '30' in units 'centibar' --> WeeWX field 'soilMoist2'
     source field '31' in units 'centibar' --> WeeWX field 'soilMoist3'
     source field '32' in units 'centibar' --> WeeWX field 'soilMoist4'
     source field '9' in units 'degree_C' --> WeeWX field 'leafTemp1'
     source field '10' in units 'degree_C' --> WeeWX field 'leafTemp2'
     source field '26' in units 'count' --> WeeWX field 'leafWet1'
     source field '27' in units 'count' --> WeeWX field 'leafWet2'
     source field '37' in units 'minute' --> WeeWX field 'sunshineDur'
     source field '39' in units 'minute' --> WeeWX field 'rainDur'
Missing derived observations will be calculated.
Starting import ...
Obtaining raw import data for period 1 ...
Raw import data read successfully for period 1.
Mapping raw import data for period 1 ...
Warning: Import field '27' is mapped to WeeWX field 'leafWet2' but the
         import field '27' could not be found in one or more records.
         WeeWX field 'leafWet2' will be set to 'None' in these records.
Mapped 107972 records.
Raw import data mapped successfully for period 1.
Saving mapped data to archive for period 1 ...

[moppedhausi]

Vielen Dank Werner.

Nun funktioniert es, super.

[Donnerwetter]

Wer seine Wswin Daten in Weewx weiter nutzen möchte, kann das seit der V2.99.8.9 machen.

Beim Exportieren der Daten: Datei, Exportieren..., Wetterdaten exportieren
zusätzlich die Option Weewx aktivieren:
wswin_weewx_export.png

Hallo,
nachdem ich Weewx erfolgreich installiert habe, möchte ich natürlich auch meine Wswin Daten in die Weewx Datenbank integrieren.
Ich habe hierzu einige Anfängerfragen:

1. Ich habe z.B die Monatsdateien für das Jahr 2013 nach obiger Anweisung mit WsWin konvertiert. Es wurde eine Datei EXP_20130101.CSV im Ordner Alldata in Wswin erstellt(Win-PC). Muss diese Datei auf dem Linux Rechner (Kubuntu) kopiert werden, damit sie weiter verarbeitet werden kann? Wenn ja, in welchen Ordner? Win Rechner und Linux Rechner befinden sich im selben Heimnetzwerk.

2. Die csv-wswin.conf habe ich im Verz. etc/weewx/import kopiert. Habe ich es richtig verstanden, dass die Zeilen 9 - 473 dieser Datei auch in der weewx.conf enthalten sein müssen?

3. Da ich Weewx aus verschiedenen Gründen mehrmals installiert und deinstalliert habe, gibt es zwei Dateien weewx.sdb und weewx1.sdb.
Die aktuellen Wetterdaten werden in weewx. sdb gespeichert. Die weewx1.sdb hat eine Größe von 1,6 MB. Wie kann ich die beiden Dateien zu einer Datenbank zusammenführen?

[Werner]

1)
nicht unbedingt, wenn Du mit Deinem Linux-Computer auf die Datei Zugriff hast,
den in der Import-Konfig-Datei gibt/muß man den Pfad und Dateinamen dazu angeben:

Code: Alles auswählen

[CSV]
    # Parameters used when importing from a CSV file

    # Path and name of our CSV source file. Format is:
    #   file = full path and filename
    file = /var/EXP_20130101.CSV

2)
Nein. Das entscheidende ist was in der

Code: Alles auswählen

  [[FieldMap]]

        [[[dateTime]]]
            source_field = Date
            unit = unix_epoch
        [[[barometer]]]
            source_field = 133
            unit = mbar

steht. Es sollten natürlich die da genutzten Datenbankfelder auch in der Datenbank vorhanden sein!

3) z.B. unter Windows mit DB Browser for SQLite

[Donnerwetter]

Hallo Werner,
vielen Dank für die schnelle Antwort. Leider hat der Import nicht gestartet.
Ich bin wie folgt vorgegangen:

1. Aus dem User-Download-Bereich [url][https://www.pc-wetterstation.de/weewx/u ... sv.zip/url] wswincsv.zip herunter geladen und entpackt als wswincsv.py.

2. in wswincsv.py die nicht benötigten Sensoren auskommentiert und Datei gespeichert als csv-wswin0.conf im Ordner /etc/weewx/import

[/attachment][/img]

3.sudo systemctl stop weewx

4, EXP_20140101.CSV in Ordner /var/ kopiert

4.sudo wee_import --import-config=/etc/weewx/import/csv-wswin0.conf --from=2014-01-01 --to=2024-12-31 --verbose

5.sudo: wee_import: Befehl nicht gefunden

weewximport.png (43.28 KiB) 133 mal betrachtet

[Werner]

Welche WeeWx Version?

unter V5 geht der import so:

Code: Alles auswählen

sudo weectl import --config=/etc/weewx/weewx.conf --import-config=/etc/weewx/import/csv-wswin0.conf  --verbose

oder ohne Angabe der weewx.conf Datei:

Code: Alles auswählen

sudo weectl import --import-config=/etc/weewx/import/csv-wswin0.conf  --verbose

Und da ist auch die *5.conf (csv-wswin5.conf ) zu verwenden.

Ich denke nicht, dass Du noch WeeWx V4.x verwendest!

Code: Alles auswählen

usage: weectl import --help
       weectl import --import-config=IMPORT_CONFIG_FILE
                     [--config=CONFIG_FILE]
                     [[--date=YYYY-mm-dd] | [[--from=YYYY-mm-dd[THH:MM]] [--to=YYYY-mm-dd[THH:MM]]]]
                     [--update]
                     [--dry-run][--verbose]
                     [--no-prompt][--suppress-warnings]

Deine genannte 2) ist zum Exportieren aus Weewx - erzeugt Datei für Wswin zur Dateiüberwachung.
also vollkommen irrelevant


Und wenn ich Dich nicht falsch verstanden habe, willst Du "alte Daten" von Wswin in WeeWx übernehmen?