Wswin-Daten für Weewx exportieren

[Werner]

auch mit WeeWx 5.x, dauert aber für den Import von einem Jahr (2023) bei Minuten-Intervall ewig auf dem RaspB4B

Ja, das weiß ich
Bei einer Station mit Datenlogger (Vantage) ist das auch kein großes Problem.
Bei anderen Stationen mache ich es in einer eigenen Instanz oder auf dem Computer mit
einer Debian Vmware (was natürlich viel viel schneller geht) und mit dem DB Browser for SQLite
spiele ich dann beide Datenbanken zusammen.

[xray77]

Moin Werner,
Habe mal das "calculating missing Values" abgeschaltet, dann gehts schon mal bedeutend schneller.. Vermutlich ist dieser Schritt bei der Vantage auch gar nicht unbedingt nötig, oder? Man kann ja z.B. den Taupunkt direkt mit auslesen lassen..
Aber ansonsten funktioniert's ja gut, das importieren.
WSWin läuft auf einem separaten Rechner natürlich weiter, da habe ich ja Daten seit 2002 drin..
Beste Grüsse aus dem schaurig schönen Norden,
Michael

[moppedhausi]

Guten Tag zusammen.

nachdem nun auch bei mir weewx 5.0.2 auf einem Raspberry läuft, wollte ich die WsWin Daten importieren.

Der Aufruf sollte doch so korrekt sein, oder?
sudo weectl import --import-config=/etc/weewx/csv-wswin.conf --verbose

Antwort:

Code: Alles auswählen

Using configuration file /etc/weewx/weewx.conf
Starting weectl import...
**** Unable to parse source-to-WeeWX field map.
**** No units specified for source field 'Date' in /etc/weewx/csv-wswin.conf.
**** Nothing done, exiting.

[Werner]

@Wilfried,

vermutlich hast Du die spezielle Export-Funktion für Weewx nicht verwendet,
den Weewx benötigt Datum und Zeit in einer Spalte
Beispiel:

Code: Alles auswählen

Date;1;2;3;17;18;19;133;34;35;36;37;39;40;41;42;45;46;96;97;98
01.01.2020 00:00;22.1;-3.3;-2.2;23;83;87;1032.4;0.000;4.8;360;0;0;0.000;0.0;0;6.4;93.86;360.0;0;9
01.01.2020 00:05;22.0;-3.3;-2.8;23;82;87;1032.4;0.000;4.8;22;0;0;0.000;0.0;0;6.4;98.25;22.5;0;9

Auch solltest Du die config-Datei nehmen
wo auch diese Felder enthalten sind oder ergänzen, dann braucht Weewx diese nicht neu berechnen.
sunshineDur = 37, minute
dewpoint = 43, degree_C
windchill = 44, degree_C

Und der Import dauert sehr, sehr lange (so war es jedenfalls auf einem Raspi4)

[moppedhausi]

Guten Tag Werner,

die spezielle Export-Funktion für Weewx habe ich genutzt:

wswin_weewx.png (80.22 KiB) 1044 mal betrachtet

So sieht der Export aus:

Code: Alles auswählen

Date;1;2;3;4;5;6;7;13;14;17;18;19;20;21;22;23;133;34;35;36;37;39;40;41;42;43;44;45;96;97;98
01.06.2024 00:00;23.7;14.8;22.6;22.7;21.6;22.2;20.9;11.1;0.0;53;94;58;58;61;59;74;1014.0;0.000;9.0;177;0;0;0.000;0.0;0;13.8;13.4;14.4;0;0.0;0;0
01.06.2024 00:01;23.7;14.8;22.6;22.7;21.6;22.2;20.9;11.0;0.0;53;94;58;58;61;59;74;1013.9;0.000;9.0;170;0;0;0.000;0.0;0;13.8;13.4;14.4;0;0.0;0;0

Trotzdem kommt diese Meldung:

Code: Alles auswählen

pi5@raspberrypi:/etc/weewx $ sudo weectl import --import-config=/etc/weewx/csv-wswin.conf --verbose
Using configuration file /etc/weewx/weewx.conf
Starting weectl import...
**** Unable to parse source-to-WeeWX field map.
**** No units specified for source field 'Date' in /etc/weewx/csv-wswin.conf.
**** Nothing done, exiting.

[Werner]

@Wilfried,

ich vermute es liegt an Deinem Datum-Format vom Raspi5 (dd/mm/yy) und das scheint hier auch
WeeWx zu erwarten.

Vielleicht komme morgen dazu, es auf meinem Raspi5 mit Datumformat (dd.mm.yyyy) auszuprobieren.

[moppedhausi]

ich vermute es liegt an Deinem Datum-Format vom Raspi5 (dd/mm/yy) und das scheint hier auch
WeeWx zu erwarten.

Das Datumsformat sollte jetzt stimmen, trotzdem kommt noch dieser Fehler:
https://wing-willich.de/wetter/raspi5/celestial.html

[Werner]

@Wilfried,

hast Du den Dateinamen in der csv-wswin.conf bzw. csv-wswin0.conf angepasst?

[CSV]
# Parameters used when importing from a CSV file

# Path and name of our CSV source file. Format is:
# file = full path and filename
file = /data/wswin.csv

[moppedhausi]

@Werner,

habe beide Dateien im Ordner von Weewx liegen und habe den Pfad angepasst:
file = wswin.csv

[moppedhausi]

Nach meinen Nachforschungen, kann der CSV-Import mit den gelieferten Konfig-Dateien
gar nicht funktionieren, da sich in WeeWx 5.x das Import-Format geändert hat.

Die angepasste Konfig-Datei für WeeWx 5 findet ihr als csv-wswin5.conf
im Verzeichnis /weewx/etc/weewx/import/
https://www.pc-wetterstation.de/weewx/e ... swin5.conf

Daten sind von einer VantagePro
Meine Import-Datei weewx_EXP_20220101.CSV (ganze Jahr 2022) hat eine Größe von 17216860 Byte
sind 107972 Datensätze

Code: Alles auswählen

 sudo weectl import --config /etc/weewx/weewx3.conf --import-config /etc/weewx/import/csv-wswin5.conf --verbose
Using configuration file /etc/weewx/weewx3.conf
Starting weectl import...
A CSV import from source file '/etc/weewx/weewx_EXP_20220101.CSV' has been requested.
The following options will be used:
     config=/etc/weewx/weewx3.conf, import-config=/etc/weewx/import/csv-wswin5.conf
     source=/etc/weewx/weewx_EXP_20220101.CSV, from=None, to=None
     dry-run=False, calc_missing=True, ignore_invalid_data=True
     tranche=250, interval=5, date/time_string_format=%d.%m.%Y %H:%M
     delimiter=';', rain=discrete, wind_direction=[1.0, 360.0]
     UV=True, radiation=True
Using database binding 'wx_binding', which is bound to database 'weewx_wlludp_test.sdb'
Destination table 'archive' unit system is '0x01' (US).
The following imported field-to-WeeWX field map will be used:
     source field 'Date' in units 'unix_epoch' --> WeeWX field 'dateTime'
     source field '133' in units 'mbar' --> WeeWX field 'barometer'
     source field '1' in units 'degree_C' --> WeeWX field 'inTemp'
     source field '2' in units 'degree_C' --> WeeWX field 'outTemp'
     source field '17' in units 'percent' --> WeeWX field 'inHumidity'
     source field '18' in units 'percent' --> WeeWX field 'outHumidity'
     source field '35' in units 'km_per_hour' --> WeeWX field 'windSpeed'
     source field '36' in units 'degree_compass' --> WeeWX field 'windDir'
     source field '45' in units 'km_per_hour' --> WeeWX field 'windGust'
     source field '96' in units 'degree_compass' --> WeeWX field 'windGustDir'
     source field '34' in units 'mm' --> WeeWX field 'rain'
       (source field '34' will be treated as a cumulative value)
     source field '40' in units 'mm' --> WeeWX field 'ET'
     source field '41' in units 'uv_index' --> WeeWX field 'UV'
     source field '42' in units 'watt_per_meter_squared' --> WeeWX field 'radiation'
     source field '43' in units 'degree_C' --> WeeWX field 'dewpoint'
     source field '44' in units 'degree_C' --> WeeWX field 'windchill'
     source field '46' in units 'percent' --> WeeWX field 'rxCheckPercent'
     source field '3' in units 'degree_C' --> WeeWX field 'extraTemp1'
     source field '19' in units 'percent' --> WeeWX field 'extraHumid1'
     source field '13' in units 'degree_C' --> WeeWX field 'soilTemp1'
     source field '14' in units 'degree_C' --> WeeWX field 'soilTemp2'
     source field '15' in units 'degree_C' --> WeeWX field 'soilTemp3'
     source field '16' in units 'degree_C' --> WeeWX field 'soilTemp4'
     source field '29' in units 'centibar' --> WeeWX field 'soilMoist1'
     source field '30' in units 'centibar' --> WeeWX field 'soilMoist2'
     source field '31' in units 'centibar' --> WeeWX field 'soilMoist3'
     source field '32' in units 'centibar' --> WeeWX field 'soilMoist4'
     source field '9' in units 'degree_C' --> WeeWX field 'leafTemp1'
     source field '10' in units 'degree_C' --> WeeWX field 'leafTemp2'
     source field '26' in units 'count' --> WeeWX field 'leafWet1'
     source field '27' in units 'count' --> WeeWX field 'leafWet2'
     source field '37' in units 'minute' --> WeeWX field 'sunshineDur'
     source field '39' in units 'minute' --> WeeWX field 'rainDur'
Missing derived observations will be calculated.
Starting import ...
Obtaining raw import data for period 1 ...
Raw import data read successfully for period 1.
Mapping raw import data for period 1 ...
Warning: Import field '27' is mapped to WeeWX field 'leafWet2' but the
         import field '27' could not be found in one or more records.
         WeeWX field 'leafWet2' will be set to 'None' in these records.
Mapped 107972 records.
Raw import data mapped successfully for period 1.
Saving mapped data to archive for period 1 ...

[moppedhausi]

Vielen Dank Werner.

Nun funktioniert es, super.