Wswin-Daten für Weewx exportieren

wenn es um andere Software geht
Benutzeravatar
Werner
Site Admin
Beiträge: 5737
Registriert: 04 Dez 2001 01:00
Wohnort: Lackenhäuser
Danksagung erhalten: 71 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von Werner »

auch mit WeeWx 5.x, dauert aber für den Import von einem Jahr (2023) bei Minuten-Intervall ewig auf dem RaspB4B
Ja, das weiß ich ;)
Bei einer Station mit Datenlogger (Vantage) ist das auch kein großes Problem.
Bei anderen Stationen mache ich es in einer eigenen Instanz oder auf dem Computer mit
einer Debian Vmware (was natürlich viel viel schneller geht) und mit dem DB Browser for SQLite
spiele ich dann beide Datenbanken zusammen.
xray77
Beiträge: 55
Registriert: 31 Dez 2021 11:32
Wohnort: Büdelsdorf, SH
Hat sich bedankt: 1 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von xray77 »

Moin Werner,
Habe mal das "calculating missing Values" abgeschaltet, dann gehts schon mal bedeutend schneller.. Vermutlich ist dieser Schritt bei der Vantage auch gar nicht unbedingt nötig, oder? Man kann ja z.B. den Taupunkt direkt mit auslesen lassen..
Aber ansonsten funktioniert's ja gut, das importieren.
WSWin läuft auf einem separaten Rechner natürlich weiter, da habe ich ja Daten seit 2002 drin..
Beste Grüsse aus dem schaurig schönen Norden,
Michael
Benutzeravatar
moppedhausi
Beiträge: 755
Registriert: 01 Jan 2007 11:37
Wohnort: Willich / Niederrhein
Hat sich bedankt: 22 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von moppedhausi »

Guten Tag zusammen.

nachdem nun auch bei mir weewx 5.0.2 auf einem Raspberry läuft, wollte ich die WsWin Daten importieren.

Der Aufruf sollte doch so korrekt sein, oder?
sudo weectl import --import-config=/etc/weewx/csv-wswin.conf --verbose

Antwort:

Code: Alles auswählen

Using configuration file /etc/weewx/weewx.conf
Starting weectl import...
**** Unable to parse source-to-WeeWX field map.
**** No units specified for source field 'Date' in /etc/weewx/csv-wswin.conf.
**** Nothing done, exiting.
Gruss Wilfried
Benutzeravatar
Werner
Site Admin
Beiträge: 5737
Registriert: 04 Dez 2001 01:00
Wohnort: Lackenhäuser
Danksagung erhalten: 71 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von Werner »

@Wilfried,

vermutlich hast Du die spezielle Export-Funktion für Weewx nicht verwendet,
den Weewx benötigt Datum und Zeit in einer Spalte
Beispiel:

Code: Alles auswählen

Date;1;2;3;17;18;19;133;34;35;36;37;39;40;41;42;45;46;96;97;98
01.01.2020 00:00;22.1;-3.3;-2.2;23;83;87;1032.4;0.000;4.8;360;0;0;0.000;0.0;0;6.4;93.86;360.0;0;9
01.01.2020 00:05;22.0;-3.3;-2.8;23;82;87;1032.4;0.000;4.8;22;0;0;0.000;0.0;0;6.4;98.25;22.5;0;9
Auch solltest Du die config-Datei nehmen
wo auch diese Felder enthalten sind oder ergänzen, dann braucht Weewx diese nicht neu berechnen.
sunshineDur = 37, minute
dewpoint = 43, degree_C
windchill = 44, degree_C

Und der Import dauert sehr, sehr lange (so war es jedenfalls auf einem Raspi4)
Benutzeravatar
moppedhausi
Beiträge: 755
Registriert: 01 Jan 2007 11:37
Wohnort: Willich / Niederrhein
Hat sich bedankt: 22 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von moppedhausi »

Guten Tag Werner,

die spezielle Export-Funktion für Weewx habe ich genutzt:
wswin_weewx.png
wswin_weewx.png (80.22 KiB) 96 mal betrachtet
So sieht der Export aus:

Code: Alles auswählen

Date;1;2;3;4;5;6;7;13;14;17;18;19;20;21;22;23;133;34;35;36;37;39;40;41;42;43;44;45;96;97;98
01.06.2024 00:00;23.7;14.8;22.6;22.7;21.6;22.2;20.9;11.1;0.0;53;94;58;58;61;59;74;1014.0;0.000;9.0;177;0;0;0.000;0.0;0;13.8;13.4;14.4;0;0.0;0;0
01.06.2024 00:01;23.7;14.8;22.6;22.7;21.6;22.2;20.9;11.0;0.0;53;94;58;58;61;59;74;1013.9;0.000;9.0;170;0;0;0.000;0.0;0;13.8;13.4;14.4;0;0.0;0;0
Trotzdem kommt diese Meldung:

Code: Alles auswählen

pi5@raspberrypi:/etc/weewx $ sudo weectl import --import-config=/etc/weewx/csv-wswin.conf --verbose
Using configuration file /etc/weewx/weewx.conf
Starting weectl import...
**** Unable to parse source-to-WeeWX field map.
**** No units specified for source field 'Date' in /etc/weewx/csv-wswin.conf.
**** Nothing done, exiting.
Gruss Wilfried
Benutzeravatar
Werner
Site Admin
Beiträge: 5737
Registriert: 04 Dez 2001 01:00
Wohnort: Lackenhäuser
Danksagung erhalten: 71 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von Werner »

@Wilfried,

ich vermute es liegt an Deinem Datum-Format vom Raspi5 (dd/mm/yy) und das scheint hier auch
WeeWx zu erwarten.

Vielleicht komme morgen dazu, es auf meinem Raspi5 mit Datumformat (dd.mm.yyyy) auszuprobieren.
Benutzeravatar
moppedhausi
Beiträge: 755
Registriert: 01 Jan 2007 11:37
Wohnort: Willich / Niederrhein
Hat sich bedankt: 22 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von moppedhausi »

Werner hat geschrieben: 13 Jun 2024 21:22 ich vermute es liegt an Deinem Datum-Format vom Raspi5 (dd/mm/yy) und das scheint hier auch
WeeWx zu erwarten.
Das Datumsformat sollte jetzt stimmen, trotzdem kommt noch dieser Fehler:
https://wing-willich.de/wetter/raspi5/celestial.html
Gruss Wilfried
Benutzeravatar
Werner
Site Admin
Beiträge: 5737
Registriert: 04 Dez 2001 01:00
Wohnort: Lackenhäuser
Danksagung erhalten: 71 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von Werner »

@Wilfried,

hast Du den Dateinamen in der csv-wswin.conf bzw. csv-wswin0.conf angepasst?

[CSV]
# Parameters used when importing from a CSV file

# Path and name of our CSV source file. Format is:
# file = full path and filename
file = /data/wswin.csv
Benutzeravatar
moppedhausi
Beiträge: 755
Registriert: 01 Jan 2007 11:37
Wohnort: Willich / Niederrhein
Hat sich bedankt: 22 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von moppedhausi »

@Werner,

habe beide Dateien im Ordner von Weewx liegen und habe den Pfad angepasst:
file = wswin.csv
Gruss Wilfried
Benutzeravatar
Werner
Site Admin
Beiträge: 5737
Registriert: 04 Dez 2001 01:00
Wohnort: Lackenhäuser
Danksagung erhalten: 71 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von Werner »

Nach meinen Nachforschungen, kann der CSV-Import mit den gelieferten Konfig-Dateien
gar nicht funktionieren, da sich in WeeWx 5.x das Import-Format geändert hat.

Die angepasste Konfig-Datei für WeeWx 5 findet ihr als csv-wswin5.conf
im Verzeichnis /weewx/etc/weewx/import/
https://www.pc-wetterstation.de/weewx/e ... swin5.conf

Daten sind von einer VantagePro
Meine Import-Datei weewx_EXP_20220101.CSV (ganze Jahr 2022) hat eine Größe von 17216860 Byte
sind 107972 Datensätze

Code: Alles auswählen

 sudo weectl import --config /etc/weewx/weewx3.conf --import-config /etc/weewx/import/csv-wswin5.conf --verbose
Using configuration file /etc/weewx/weewx3.conf
Starting weectl import...
A CSV import from source file '/etc/weewx/weewx_EXP_20220101.CSV' has been requested.
The following options will be used:
     config=/etc/weewx/weewx3.conf, import-config=/etc/weewx/import/csv-wswin5.conf
     source=/etc/weewx/weewx_EXP_20220101.CSV, from=None, to=None
     dry-run=False, calc_missing=True, ignore_invalid_data=True
     tranche=250, interval=5, date/time_string_format=%d.%m.%Y %H:%M
     delimiter=';', rain=discrete, wind_direction=[1.0, 360.0]
     UV=True, radiation=True
Using database binding 'wx_binding', which is bound to database 'weewx_wlludp_test.sdb'
Destination table 'archive' unit system is '0x01' (US).
The following imported field-to-WeeWX field map will be used:
     source field 'Date' in units 'unix_epoch' --> WeeWX field 'dateTime'
     source field '133' in units 'mbar' --> WeeWX field 'barometer'
     source field '1' in units 'degree_C' --> WeeWX field 'inTemp'
     source field '2' in units 'degree_C' --> WeeWX field 'outTemp'
     source field '17' in units 'percent' --> WeeWX field 'inHumidity'
     source field '18' in units 'percent' --> WeeWX field 'outHumidity'
     source field '35' in units 'km_per_hour' --> WeeWX field 'windSpeed'
     source field '36' in units 'degree_compass' --> WeeWX field 'windDir'
     source field '45' in units 'km_per_hour' --> WeeWX field 'windGust'
     source field '96' in units 'degree_compass' --> WeeWX field 'windGustDir'
     source field '34' in units 'mm' --> WeeWX field 'rain'
       (source field '34' will be treated as a cumulative value)
     source field '40' in units 'mm' --> WeeWX field 'ET'
     source field '41' in units 'uv_index' --> WeeWX field 'UV'
     source field '42' in units 'watt_per_meter_squared' --> WeeWX field 'radiation'
     source field '43' in units 'degree_C' --> WeeWX field 'dewpoint'
     source field '44' in units 'degree_C' --> WeeWX field 'windchill'
     source field '46' in units 'percent' --> WeeWX field 'rxCheckPercent'
     source field '3' in units 'degree_C' --> WeeWX field 'extraTemp1'
     source field '19' in units 'percent' --> WeeWX field 'extraHumid1'
     source field '13' in units 'degree_C' --> WeeWX field 'soilTemp1'
     source field '14' in units 'degree_C' --> WeeWX field 'soilTemp2'
     source field '15' in units 'degree_C' --> WeeWX field 'soilTemp3'
     source field '16' in units 'degree_C' --> WeeWX field 'soilTemp4'
     source field '29' in units 'centibar' --> WeeWX field 'soilMoist1'
     source field '30' in units 'centibar' --> WeeWX field 'soilMoist2'
     source field '31' in units 'centibar' --> WeeWX field 'soilMoist3'
     source field '32' in units 'centibar' --> WeeWX field 'soilMoist4'
     source field '9' in units 'degree_C' --> WeeWX field 'leafTemp1'
     source field '10' in units 'degree_C' --> WeeWX field 'leafTemp2'
     source field '26' in units 'count' --> WeeWX field 'leafWet1'
     source field '27' in units 'count' --> WeeWX field 'leafWet2'
     source field '37' in units 'minute' --> WeeWX field 'sunshineDur'
     source field '39' in units 'minute' --> WeeWX field 'rainDur'
Missing derived observations will be calculated.
Starting import ...
Obtaining raw import data for period 1 ...
Raw import data read successfully for period 1.
Mapping raw import data for period 1 ...
Warning: Import field '27' is mapped to WeeWX field 'leafWet2' but the
         import field '27' could not be found in one or more records.
         WeeWX field 'leafWet2' will be set to 'None' in these records.
Mapped 107972 records.
Raw import data mapped successfully for period 1.
Saving mapped data to archive for period 1 ...

Diese Benutzer haben sich bei Werner für den Beitrag bedankt:
moppedhausi
Benutzeravatar
moppedhausi
Beiträge: 755
Registriert: 01 Jan 2007 11:37
Wohnort: Willich / Niederrhein
Hat sich bedankt: 22 mal
Kontaktdaten:

Re: Wswin-Daten für Weewx exportieren

Beitrag von moppedhausi »

Vielen Dank Werner.

Nun funktioniert es, super.
Gruss Wilfried
Antworten