Wswin-Daten für Weewx exportieren

Antwort erstellen

Bestätigungscode
Gib den Code genau so ein, wie du ihn siehst; Groß- und Kleinschreibung wird nicht unterschieden.
Smilies
:D :) :( :o :shock: :? 8) :lol: :x :P :oops: :cry: :evil: :twisted: :roll: :wink: :!: :?: :idea: :arrow: :| :mrgreen:

BBCode ist eingeschaltet
[img] ist eingeschaltet
[flash] ist ausgeschaltet
[url] ist eingeschaltet
Smilies sind eingeschaltet

Die letzten Beiträge des Themas
   

Ansicht erweitern Die letzten Beiträge des Themas: Wswin-Daten für Weewx exportieren

Re: Wswin-Daten für Weewx exportieren

von moppedhausi » 14 Jun 2024 21:00

Vielen Dank Werner.

Nun funktioniert es, super.

Re: Wswin-Daten für Weewx exportieren

von Werner » 14 Jun 2024 19:26

Nach meinen Nachforschungen, kann der CSV-Import mit den gelieferten Konfig-Dateien
gar nicht funktionieren, da sich in WeeWx 5.x das Import-Format geändert hat.

Die angepasste Konfig-Datei für WeeWx 5 findet ihr als csv-wswin5.conf
im Verzeichnis /weewx/etc/weewx/import/
https://www.pc-wetterstation.de/weewx/e ... swin5.conf

Daten sind von einer VantagePro
Meine Import-Datei weewx_EXP_20220101.CSV (ganze Jahr 2022) hat eine Größe von 17216860 Byte
sind 107972 Datensätze

Code: Alles auswählen

 sudo weectl import --config /etc/weewx/weewx3.conf --import-config /etc/weewx/import/csv-wswin5.conf --verbose
Using configuration file /etc/weewx/weewx3.conf
Starting weectl import...
A CSV import from source file '/etc/weewx/weewx_EXP_20220101.CSV' has been requested.
The following options will be used:
     config=/etc/weewx/weewx3.conf, import-config=/etc/weewx/import/csv-wswin5.conf
     source=/etc/weewx/weewx_EXP_20220101.CSV, from=None, to=None
     dry-run=False, calc_missing=True, ignore_invalid_data=True
     tranche=250, interval=5, date/time_string_format=%d.%m.%Y %H:%M
     delimiter=';', rain=discrete, wind_direction=[1.0, 360.0]
     UV=True, radiation=True
Using database binding 'wx_binding', which is bound to database 'weewx_wlludp_test.sdb'
Destination table 'archive' unit system is '0x01' (US).
The following imported field-to-WeeWX field map will be used:
     source field 'Date' in units 'unix_epoch' --> WeeWX field 'dateTime'
     source field '133' in units 'mbar' --> WeeWX field 'barometer'
     source field '1' in units 'degree_C' --> WeeWX field 'inTemp'
     source field '2' in units 'degree_C' --> WeeWX field 'outTemp'
     source field '17' in units 'percent' --> WeeWX field 'inHumidity'
     source field '18' in units 'percent' --> WeeWX field 'outHumidity'
     source field '35' in units 'km_per_hour' --> WeeWX field 'windSpeed'
     source field '36' in units 'degree_compass' --> WeeWX field 'windDir'
     source field '45' in units 'km_per_hour' --> WeeWX field 'windGust'
     source field '96' in units 'degree_compass' --> WeeWX field 'windGustDir'
     source field '34' in units 'mm' --> WeeWX field 'rain'
       (source field '34' will be treated as a cumulative value)
     source field '40' in units 'mm' --> WeeWX field 'ET'
     source field '41' in units 'uv_index' --> WeeWX field 'UV'
     source field '42' in units 'watt_per_meter_squared' --> WeeWX field 'radiation'
     source field '43' in units 'degree_C' --> WeeWX field 'dewpoint'
     source field '44' in units 'degree_C' --> WeeWX field 'windchill'
     source field '46' in units 'percent' --> WeeWX field 'rxCheckPercent'
     source field '3' in units 'degree_C' --> WeeWX field 'extraTemp1'
     source field '19' in units 'percent' --> WeeWX field 'extraHumid1'
     source field '13' in units 'degree_C' --> WeeWX field 'soilTemp1'
     source field '14' in units 'degree_C' --> WeeWX field 'soilTemp2'
     source field '15' in units 'degree_C' --> WeeWX field 'soilTemp3'
     source field '16' in units 'degree_C' --> WeeWX field 'soilTemp4'
     source field '29' in units 'centibar' --> WeeWX field 'soilMoist1'
     source field '30' in units 'centibar' --> WeeWX field 'soilMoist2'
     source field '31' in units 'centibar' --> WeeWX field 'soilMoist3'
     source field '32' in units 'centibar' --> WeeWX field 'soilMoist4'
     source field '9' in units 'degree_C' --> WeeWX field 'leafTemp1'
     source field '10' in units 'degree_C' --> WeeWX field 'leafTemp2'
     source field '26' in units 'count' --> WeeWX field 'leafWet1'
     source field '27' in units 'count' --> WeeWX field 'leafWet2'
     source field '37' in units 'minute' --> WeeWX field 'sunshineDur'
     source field '39' in units 'minute' --> WeeWX field 'rainDur'
Missing derived observations will be calculated.
Starting import ...
Obtaining raw import data for period 1 ...
Raw import data read successfully for period 1.
Mapping raw import data for period 1 ...
Warning: Import field '27' is mapped to WeeWX field 'leafWet2' but the
         import field '27' could not be found in one or more records.
         WeeWX field 'leafWet2' will be set to 'None' in these records.
Mapped 107972 records.
Raw import data mapped successfully for period 1.
Saving mapped data to archive for period 1 ...

Re: Wswin-Daten für Weewx exportieren

von moppedhausi » 14 Jun 2024 16:19

@Werner,

habe beide Dateien im Ordner von Weewx liegen und habe den Pfad angepasst:
file = wswin.csv

Re: Wswin-Daten für Weewx exportieren

von Werner » 14 Jun 2024 16:06

@Wilfried,

hast Du den Dateinamen in der csv-wswin.conf bzw. csv-wswin0.conf angepasst?

[CSV]
# Parameters used when importing from a CSV file

# Path and name of our CSV source file. Format is:
# file = full path and filename
file = /data/wswin.csv

Re: Wswin-Daten für Weewx exportieren

von moppedhausi » 14 Jun 2024 07:37

Werner hat geschrieben: 13 Jun 2024 21:22 ich vermute es liegt an Deinem Datum-Format vom Raspi5 (dd/mm/yy) und das scheint hier auch
WeeWx zu erwarten.
Das Datumsformat sollte jetzt stimmen, trotzdem kommt noch dieser Fehler:
https://wing-willich.de/wetter/raspi5/celestial.html

Re: Wswin-Daten für Weewx exportieren

von Werner » 13 Jun 2024 21:22

@Wilfried,

ich vermute es liegt an Deinem Datum-Format vom Raspi5 (dd/mm/yy) und das scheint hier auch
WeeWx zu erwarten.

Vielleicht komme morgen dazu, es auf meinem Raspi5 mit Datumformat (dd.mm.yyyy) auszuprobieren.

Re: Wswin-Daten für Weewx exportieren

von moppedhausi » 13 Jun 2024 13:18

Guten Tag Werner,

die spezielle Export-Funktion für Weewx habe ich genutzt:
wswin_weewx.png
wswin_weewx.png (80.22 KiB) 6784 mal betrachtet
So sieht der Export aus:

Code: Alles auswählen

Date;1;2;3;4;5;6;7;13;14;17;18;19;20;21;22;23;133;34;35;36;37;39;40;41;42;43;44;45;96;97;98
01.06.2024 00:00;23.7;14.8;22.6;22.7;21.6;22.2;20.9;11.1;0.0;53;94;58;58;61;59;74;1014.0;0.000;9.0;177;0;0;0.000;0.0;0;13.8;13.4;14.4;0;0.0;0;0
01.06.2024 00:01;23.7;14.8;22.6;22.7;21.6;22.2;20.9;11.0;0.0;53;94;58;58;61;59;74;1013.9;0.000;9.0;170;0;0;0.000;0.0;0;13.8;13.4;14.4;0;0.0;0;0
Trotzdem kommt diese Meldung:

Code: Alles auswählen

pi5@raspberrypi:/etc/weewx $ sudo weectl import --import-config=/etc/weewx/csv-wswin.conf --verbose
Using configuration file /etc/weewx/weewx.conf
Starting weectl import...
**** Unable to parse source-to-WeeWX field map.
**** No units specified for source field 'Date' in /etc/weewx/csv-wswin.conf.
**** Nothing done, exiting.

Re: Wswin-Daten für Weewx exportieren

von Werner » 12 Jun 2024 18:44

@Wilfried,

vermutlich hast Du die spezielle Export-Funktion für Weewx nicht verwendet,
den Weewx benötigt Datum und Zeit in einer Spalte
Beispiel:

Code: Alles auswählen

Date;1;2;3;17;18;19;133;34;35;36;37;39;40;41;42;45;46;96;97;98
01.01.2020 00:00;22.1;-3.3;-2.2;23;83;87;1032.4;0.000;4.8;360;0;0;0.000;0.0;0;6.4;93.86;360.0;0;9
01.01.2020 00:05;22.0;-3.3;-2.8;23;82;87;1032.4;0.000;4.8;22;0;0;0.000;0.0;0;6.4;98.25;22.5;0;9
Auch solltest Du die config-Datei nehmen
wo auch diese Felder enthalten sind oder ergänzen, dann braucht Weewx diese nicht neu berechnen.
sunshineDur = 37, minute
dewpoint = 43, degree_C
windchill = 44, degree_C

Und der Import dauert sehr, sehr lange (so war es jedenfalls auf einem Raspi4)

Re: Wswin-Daten für Weewx exportieren

von moppedhausi » 12 Jun 2024 12:47

Guten Tag zusammen.

nachdem nun auch bei mir weewx 5.0.2 auf einem Raspberry läuft, wollte ich die WsWin Daten importieren.

Der Aufruf sollte doch so korrekt sein, oder?
sudo weectl import --import-config=/etc/weewx/csv-wswin.conf --verbose

Antwort:

Code: Alles auswählen

Using configuration file /etc/weewx/weewx.conf
Starting weectl import...
**** Unable to parse source-to-WeeWX field map.
**** No units specified for source field 'Date' in /etc/weewx/csv-wswin.conf.
**** Nothing done, exiting.

Re: Wswin-Daten für Weewx exportieren

von xray77 » 10 Apr 2024 08:42

Moin Werner,
Habe mal das "calculating missing Values" abgeschaltet, dann gehts schon mal bedeutend schneller.. Vermutlich ist dieser Schritt bei der Vantage auch gar nicht unbedingt nötig, oder? Man kann ja z.B. den Taupunkt direkt mit auslesen lassen..
Aber ansonsten funktioniert's ja gut, das importieren.
WSWin läuft auf einem separaten Rechner natürlich weiter, da habe ich ja Daten seit 2002 drin..
Beste Grüsse aus dem schaurig schönen Norden,
Michael

Re: Wswin-Daten für Weewx exportieren

von Werner » 09 Apr 2024 09:21

auch mit WeeWx 5.x, dauert aber für den Import von einem Jahr (2023) bei Minuten-Intervall ewig auf dem RaspB4B
Ja, das weiß ich ;)
Bei einer Station mit Datenlogger (Vantage) ist das auch kein großes Problem.
Bei anderen Stationen mache ich es in einer eigenen Instanz oder auf dem Computer mit
einer Debian Vmware (was natürlich viel viel schneller geht) und mit dem DB Browser for SQLite
spiele ich dann beide Datenbanken zusammen.

Re: Wswin-Daten für Weewx exportieren

von xray77 » 09 Apr 2024 07:37

WsWin8145 hat geschrieben: 25 Mär 2024 20:11
xray77 hat geschrieben: 24 Mär 2024 19:11

Die Anpassung sollte doch eingentlich kein Problem sein.
Den Pfad mit den Klarnamen der Icons sicher, dann die Klarnamen im Ordner des Scripts jeweils in den Zahlencode umbenennen.
Schon sollte das Problem gelöst sein.
Hallo,
Habe das jetzt so ähnlich gemacht: Die Icons lagen ja im DWD-Ordner mit den Namen der Zahlencodes, diese habe ich jetzt nach und nach umbenannt in die einigermassen passenden Klarnamen. Aber eigentlich sollte das MosMix-Script des Templates die vom DWD dort übermittelten Klarnamen der Icons ja automatisch in die Zahlencode-Namen umwandeln, das macht es aber nicht. Na egal, es funktioniert ja soweit erstmal. Komisch ist's trotzdem..
Gruss
Michael

Re: Wswin-Daten für Weewx exportieren

von xray77 » 09 Apr 2024 07:24

Moin Werner,
Nur als Info: Funktioniert auch mit WeeWx 5.x, dauert aber für den Import von einem Jahr (2023) bei Minuten-Intervall ewig auf dem RaspB4B, er ist seit 00:04 Uhr dabei und ist jetzt gerade bei Anfang April..
Unique records processed: 522771; Last timestamp: 2023-12-31 23:59:00 CET (1704063540))
Calculating missing derived observations ...
Processing record: 143000; Last record: 2023-04-12 06:06:00 CEST (1681272360)
und das mit der wswin0.conf.. Aber macht ja nichts, WeeWx holt sich die dadurch fehlenden aktuellen Daten ja dann aus dem Logger, zumindest bei meiner Vantage II..
Gruss
Michael

Re: Wswin-Daten für Weewx exportieren

von WsWin8145 » 25 Mär 2024 20:11

xray77 hat geschrieben: 24 Mär 2024 19:11
Gerade ärgere ich mich mit dem weewx_wdc-Skin herum (WeatherCenter), läuft soweit ja gut bis auf die Icons bei der DWD-Wettervorhersage. Die Icons werden vom mosmix-script einfach nicht in die numerischen Namen umgewandelt, in der dwd.html werden die originalen Namen eingetragen, die dann natürlich nicht funktionieren..
"icon": "../dwd/icons/mostly-cloudy-day.png",
"icontitle": "Bewölkung zunehmend 72%"
An der rot markierten Stelle sollte hier ja so etwas wie dwd/icons/2-8.png stehen..
Ich suche schon seit Stunden nach dem Fehler, jetzt ist erstmal Schluss für heute..

Beste Grüsse
Michael
Die Anpassung sollte doch eingentlich kein Problem sein.
Den Pfad mit den Klarnamen der Icons sicher, dann die Klarnamen im Ordner des Scripts jeweils in den Zahlencode umbenennen.
Schon sollte das Problem gelöst sein.

Re: Wswin-Daten für Weewx exportieren

von xray77 » 24 Mär 2024 19:11

Hallo Werner,
Danke für Deine schnelle Antwort, werde es bei Gelegenheit mal probieren.

Gerade ärgere ich mich mit dem weewx_wdc-Skin herum (WeatherCenter), läuft soweit ja gut bis auf die Icons bei der DWD-Wettervorhersage. Die Icons werden vom mosmix-script einfach nicht in die numerischen Namen umgewandelt, in der dwd.html werden die originalen Namen eingetragen, die dann natürlich nicht funktionieren..
"icon": "../dwd/icons/mostly-cloudy-day.png",
"icontitle": "Bewölkung zunehmend 72%"
An der rot markierten Stelle sollte hier ja so etwas wie dwd/icons/2-8.png stehen..
Ich suche schon seit Stunden nach dem Fehler, jetzt ist erstmal Schluss für heute..

Beste Grüsse
Michael

Nach oben