WsWin und Datenimport

Fragen, Anregungen zur PC-Wetterstations-Software

Moderatoren: Werner, Tex, weneu

JayYou
Beiträge: 9
Registriert: 19 Mär 2021 17:35
Hat sich bedankt: 1 mal

Re: WsWin und Datenimport

Beitrag von JayYou »

Ja, entschuldige, natürlich die 34 und die 134.
Die DP1500 übergibt ja mehrere Werte.

hourlyrainin, dailyrainin, weeklyrainin, monthlyrainin und yearlyrainin kann man glaub ich ignorieren

Bei den anderen bin ich mir nicht sicher:
eventrainin würde ich als 34 setzen
rainratein kann ich mir nichts drunter vorstellen

Wenn ich totalrainin als 134 importiere, wird mit jedem Import der Wert addiert.

Edit: Ich habe nun 134 und dailyrainin genommen, das scheint zu funktionieren... Jetzt brauche ichj nur noch die Vollversion zum automatischen Importieren...
Lutz Schenk
Beiträge: 117
Registriert: 07 Okt 2021 11:32
Hat sich bedankt: 5 mal
Danksagung erhalten: 5 mal

Re: WsWin und Datenimport

Beitrag von Lutz Schenk »

Hallo Zusammen,

ich bin mal wieder Gast hier, da ich mir eine neue WS zugelegt habe (HP1000E Pro). Ich war in 2006 schon mal hier, damals mit meiner WS3600, die aber schon läger rumgezickt hat und der Datenimport per RS232 dann doch aufgrund der Entfernung zur Station zu umständlich wurde. Mit WsWin bis ich daher schon lange vertraut.

Tja, nun habe ich das neue Schätzchen am Laufen und bekomme auch über Cumulus MX die Daten in den PC, aber nun eher nur noch große Fragezeichen, wie das Ganze zu WsWin? Oder gibt es eine sinnvollere Software anstatt CumulusMX, welche für WSWin besser zu verarbeitende Daten liefert?

Ich habe mal so ein bissel rumgelesen, irgendwie kann man wohl aus dem User-Verzeichnis "ecowitt_froggit_davislive_airlink" irgendwelche Dateien herunterladen. Ich weiß es aber nicht genau, und wüsste ebenso nicht, was ich dann wie damit anstellen müsste um die Daten in WSWin zu bekommen.

Ich würde mich sehr über erhellende Auskunft freuen.
LG, Lutz
-------------------------------------------------------------------------------------
http://lutz-schenk.de/wetter/ws/wswin-custom-x.html
(Windrichtungsgrafiken diametral gespiegelt)
Benutzeravatar
Werner
Site Admin
Beiträge: 5674
Registriert: 04 Dez 2001 01:00
Wohnort: Lackenhäuser
Danksagung erhalten: 58 mal
Kontaktdaten:

Re: WsWin und Datenimport

Beitrag von Werner »

Hallo Lutz,

im Verzeichnis "ecowitt_froggit_davislive_airlink" liegt eine Datei updateweatherstation_ecowitt.zip
in der eine updateweatherstation.php enthalten ist.
Diese php-Datei ist dafür ausgelegt, die Daten einer Ecowitt Station (z.B. Deiner HP1000E Pro) über die Custom-Server-Funktion (entweder einstellbar in der WsViewPro, Ws View [= alte Version davon]
oder eben in der Konsole) mit Hilfe eines Web-Servers zu empfangen und zu verarbeiten.
Unter Windows kann man einen Web-Server erhalten, wenn man XAMPP (liegt auch in dem o.g. Verzeichnis) installiert. Ist auch möglich via eines Windows eigenen Web-Server - meiner Meinung nach, aber viel zu aufwändig.
Diese php-Datei erzeugt direkt eine csv-Datei, welche Wswin im Datei-Überwachungsmodus direkt übernehmen kann (Einstellung Wetterstation Vantage).
Diese php-Datei kann man auch nutzen um eine MySQL-Datenbank zu speisen, nur die Daten im Debug-Modus anzuzeigen, zusätzliche eine CSV-Datei mit allen Daten der Ecowitt-Station zu speichern (Wswin wird sehr wahrscheinlich alle diese Daten mal nutzen können).

Das eigentliche Problem ist, da diese Station(en) keinen Datenlogger haben, muss immer der PC laufen. Deshalb hier eindeutig meine Empfehlung ein System mit einem Linux-Betriebssystem zu verwenden. z.B. vorhandes NAS oder eben einen Raspberry PI (3/4).
Vorteil davon (ich bleibe mal bei RasPI) braucht viel weniger Energie - meine php-Datei läuft da natürlich auch.
Es gibt da ein paar Tools, wo man sich nicht mehr entscheiden muss, welches System man nutzen will - ich spreche hier von Olivers FOSHKplugin ( https://www.loxwiki.eu/display/LOXBERRY ... ic+version)
Du kannt damit sowohl CumulusMX, PWSDashboard, WeeWx, Wswin usw. "versorgen"

Ich zeige hier eine paar Beispiele (Achtung sind statisch - werden nicht automatisch aktualisiert)
https://www.pc-wetterstation.de/wetter/weewx1
https://www.pc-wetterstation.de/wetter/ ... elchertown
https://www.pc-wetterstation.de/wetter/weewx2
Hab hier Weewx genommen, da Wswin dafür auch die alten Daten exportieren kann und dort mit einer config-Datei von mir in Weewx übernehmen (Deshalb auch meine WeeWx Daten beginnend mit 2001 :wink: ). Ausserdem gibt es von mir mittlerweile eine Weewx-Erweiterung welche auch so eine import-Datei für Wswin direkt erzeugen kann.

Dir stehen damit eigentlich alle Möglichkeiten offen.
Wenn Du dazu Hilfe brauchst bzw. weitere Fragen hast, einfach melden.
Benutzeravatar
Tex
Moderator
Beiträge: 1872
Registriert: 04 Aug 2014 17:47
Wohnort: Woldegk
Hat sich bedankt: 2 mal
Danksagung erhalten: 38 mal
Kontaktdaten:

Re: WsWin und Datenimport

Beitrag von Tex »

Tja, nun habe ich das neue Schätzchen am Laufen und bekomme auch über Cumulus MX die Daten in den PC,...
Frage: wie bekommst du denn die Daten in Cumulus? Wenn das tatsächlich so einfach wäre, gäbe es die Möglichkeit über die Cumulus-Monatsdatei die Daten via WSWIN-X-CSV zu importieren. Aber wie Werner schon sagte: ohne Datenlogger... deshalb meine Frage: wie bekommst du die Daten in Cumulus?
Lutz Schenk
Beiträge: 117
Registriert: 07 Okt 2021 11:32
Hat sich bedankt: 5 mal
Danksagung erhalten: 5 mal

Re: WsWin und Datenimport

Beitrag von Lutz Schenk »

Hallo Tex,

in der HP1000 habe folgendes eingestellt:
hp1000-setup.jpg
hp1000-setup.jpg (57.53 KiB) 4603 mal betrachtet
in CMX:
cmx-setup.JPG
cmx-setup.JPG (58.85 KiB) 4603 mal betrachtet
Server: CMX IP Adrtress = IP des Rechners auf dem CMX lauft.

Dann CMX gestartet und über den Browser in der Web-Konsole ist alles sichtbar.

Die Monatsdatei zu importieren hatte ich schon versucht, aber vielleicht hatte ich da auch was falsch gemacht. Das würde ich noch mal testen.

Allerdings möchte ich ja langfristig eine automatische Dateiüberwachung und da will WsWin keine .txt Dateien, (auch wenn diese intern wie eine csv aufgebaut sind), welche von CMX generiert werden.

LG, Lutz

Vielleicht sollte ich noch nachtragen, dass es zuerst dauernd nicht geklappt hatte, weil in der Fritzbox die HP1000 noch nicht in der Liste war, welche Geräte sich unterhalten dürfen. Da bin ich auch nur durch Zufall im anderen Forum (wetterstationsforum.info) drauf gestoßen (worden) da mal nachzusehen...
Zuletzt geändert von Lutz Schenk am 07 Okt 2021 20:01, insgesamt 1-mal geändert.
-------------------------------------------------------------------------------------
http://lutz-schenk.de/wetter/ws/wswin-custom-x.html
(Windrichtungsgrafiken diametral gespiegelt)
Lutz Schenk
Beiträge: 117
Registriert: 07 Okt 2021 11:32
Hat sich bedankt: 5 mal
Danksagung erhalten: 5 mal

Re: WsWin und Datenimport

Beitrag von Lutz Schenk »

Hallo Werner,

vielen Dank für deine umfangreiche Antwort!

Mein Problem ist, dass ich bisher mit Anwendungen wie z.B. XAmpp keinerlei berührungspunkte hatte. Ich weiß einfach nicht was ich da wie konfigurieren muss, wo muss das php-script (updateweatherstation.php) hin, und wie muss ich xampp ansteuern, respektive welche einstellungen in der HP1000SE vornehmen...

Das mit dem FOSHKplugin kommt für mich derzeit nicht in Frage (Win-Plattform) und es ist für mich völlig undurchsichtig.

Ich nehme an, dass dann CumulusMX überflüssig ist?

Auf was für ein System ich das dann mal abschließend portiere (NAS, RasPI, etc.) muss ich dann mal sehen.
Ich wüsste auch gar nicht, wie ich das im NAS oder einem RasPI aufsetzen müsste...

Eigentlich hatte ich vor, erst mal einen Win-Barebone laufen zu lasssen, der ja auch schon halbwegs sparsam läuft.

Aktuell möchte ich aber erst mal alles überhaupt verstehen und zum Laufen bekommen, was ich vorübergehend auf meinem Haupt-PC laufen lassen würde. Dazu habe ich mir den XAmpp installiert und das php, herunter geladen. Ich hoffe, das wäre erst mal der richige Weg (für mich).

Tja, wie gesagt installiert und nu? ;-)

Sorry, ist leider recht viel Neuland für mich.

LG, Lutz

Nachtrag: WeeWX sieht auch recht interessant aus, habe auch python 3.8 auf dem Rechner. Aber auch hier das Gleiche:
Weewx heruntergeladenund entpackt, und nun?
Zuletzt geändert von Lutz Schenk am 07 Okt 2021 21:01, insgesamt 1-mal geändert.
-------------------------------------------------------------------------------------
http://lutz-schenk.de/wetter/ws/wswin-custom-x.html
(Windrichtungsgrafiken diametral gespiegelt)
Lutz Schenk
Beiträge: 117
Registriert: 07 Okt 2021 11:32
Hat sich bedankt: 5 mal
Danksagung erhalten: 5 mal

Re: WsWin und Datenimport

Beitrag von Lutz Schenk »

Tex hat geschrieben: 07 Okt 2021 19:34 ...gäbe es die Möglichkeit über die Cumulus-Monatsdatei die Daten via WSWIN-X-CSV zu importieren. ...
Hallo Tex, habe es noch mal probiert die Monatsdatei zu importieren, aber irgendwie klappt es nicht.
-------------------------------------------------------------------------------------
http://lutz-schenk.de/wetter/ws/wswin-custom-x.html
(Windrichtungsgrafiken diametral gespiegelt)
Benutzeravatar
Tex
Moderator
Beiträge: 1872
Registriert: 04 Aug 2014 17:47
Wohnort: Woldegk
Hat sich bedankt: 2 mal
Danksagung erhalten: 38 mal
Kontaktdaten:

Re: WsWin und Datenimport

Beitrag von Tex »

Welche X-CSV hast du denn dafür genommen?
Lutz Schenk
Beiträge: 117
Registriert: 07 Okt 2021 11:32
Hat sich bedankt: 5 mal
Danksagung erhalten: 5 mal

Re: WsWin und Datenimport

Beitrag von Lutz Schenk »

wswin_x-csv_hp1000se.cfg

und habe die monatsdatei kopiert un in HP1000SE.CSV umbenannt.

Díe Monatsdatei sieht wie folgt aus:

06.10.21;21:10;21,6;60;13,5;0,0;0,0;0;0,0;0,0;1021,7;0,7;21,4;60;0,0;21,6;21,6;0,0;1;0,00;0,00;22,7;0;0,0;180;0,0;0,0;22,9;24,6
06.10.21;21:15;21,5;61;13,7;0,0;0,0;0;0,0;0,0;1021,6;0,7;21,4;60;0,0;21,5;21,5;0,0;2;0,00;0,00;22,6;0;0,0;180;0,0;0,0;22,8;24,6
06.10.21;21:20;14,3;71;9,1;0,9;2,4;42;0,0;0,0;1021,8;0,7;21,4;60;2,4;14,3;14,3;0,0;0;0,00;0,00;13,5;0;0,0;160;0,0;0,0;14,1;15,1
06.10.21;21:25;12,0;80;8,7;1,4;2,4;82;0,0;0,0;1021,9;0,7;21,4;60;1,1;12,0;12,0;0,0;0;0,00;0,00;10,7;0;0,0;99;0,0;0,0;11,8;12,7
06.10.21;21:30;11,2;84;8,6;1,6;2,4;124;0,0;0,0;1021,8;0,7;21,4;60;1,5;11,2;11,2;0,0;0;0,00;0,00;9,8;0;0,0;120;0,0;0,0;10,9;11,9
06.10.21;21:35;11,0;85;8,6;1,6;2,2;121;0,0;0,0;1021,9;0,7;21,4;60;1,3;11,0;11,0;0,0;0;0,00;0,00;9,6;0;0,0;85;0,0;0,0;10,7;11,6
06.10.21;21:40;10,8;85;8,4;1,9;3,4;126;0,0;0,0;1022,1;0,7;21,3;60;1,7;10,8;10,8;0,0;0;0,00;0,00;9,1;0;0,0;130;0,0;0,0;10,1;11,3
06.10.21;21:45;10,9;85;8,5;2,3;3,4;127;0,0;0,0;1022,2;0,7;21,3;60;1,7;10,9;10,9;0,0;0;0,00;0,00;8,9;0;0,0;139;0,0;0,0;10,0;11,5
06.10.21;21:50;10,8;86;8,5;2,0;2,6;115;0,0;0,0;1022,0;0,7;21,3;60;1,3;10,8;10,8;0,0;0;0,00;0,00;9,0;0;0,0;96;0,0;0,0;10,0;11,4

Der zugehörige Fileheader:
Date (dd/mm/yy),Time,Temperature,Humidity,Dew point,Wind speed,Recent high gust,Average wind bearing,Rainfall rate,Rainfall so far,Sea level pressure,Rainfall counter,Inside temperature,Inside humidity,Current gust,Wind chill,Heat Index,UV Index,Solar Radiation,Evapotranspiration,Annual Evapotranspiration,Apparent temperature,Max Solar radiation,Hours of sunshine,Wind bearing,RG-11 Rain,Rain Since Midnight,Feels Like,Humidex

Da ich ein anderes Datumsformat verwende und auch utc, habe ich da mal etwas angepasst, klappt aber auch nicht:
Unbenannt.JPG
Unbenannt.JPG (43.65 KiB) 4592 mal betrachtet
Btw: Warum eigentlich für die Minuten nn anstatt mm?
-------------------------------------------------------------------------------------
http://lutz-schenk.de/wetter/ws/wswin-custom-x.html
(Windrichtungsgrafiken diametral gespiegelt)
Benutzeravatar
Tex
Moderator
Beiträge: 1872
Registriert: 04 Aug 2014 17:47
Wohnort: Woldegk
Hat sich bedankt: 2 mal
Danksagung erhalten: 38 mal
Kontaktdaten:

Re: WsWin und Datenimport

Beitrag von Tex »

Du mußt die Cumulus X-CSV nehmen: wswin_x-csv_cumulus.cfg
Lutz Schenk
Beiträge: 117
Registriert: 07 Okt 2021 11:32
Hat sich bedankt: 5 mal
Danksagung erhalten: 5 mal

Re: WsWin und Datenimport

Beitrag von Lutz Schenk »

Vielen Dank Tex.

Mir dämmerte auch gerade, dass die zu importierenden Felder in dem WsWin Dialog zur HP1000-X-CSV nicht zum Dateiheader passen.
War bereits am herumfummeln für die einzelnen Zeilen und ein Import hatte auch geklappt, bis auf den den Regen.

Hatte die cumulus.cfg übersehen, bzw, gar nicht auf dem Schirm.
Jetzt im Nachgang wirds logisch. Vermutlich ist die HP1000.cfg gedacht für Webdaten vom ecowitt-Server?

Da ich nun schon einen Import mit den falschen Regen-Daten hatte, brachte ein neuer Import nichts, musste erst die DB löschen.
Hier wäre vielleicht auch ein Optionshaken hilfreich "nur neue Daten" oder "komplett ersetzen".

Habe jetzt auch mal die Extra-Sensoren importiert, was natürlich mit der Standard-Cumulus.cfg so nicht funktioniert, da muss was Separates her.
Cumulus_extra.cfg o.Ä.

Jetzt weiß ich aber schon mal, wie der Import bestehender Daten laufen sollte.

Bleibt nur noch das Problem der dann zu überwachenden Dateien, um die automatische Fortschreibung dann zu regeln.
Hier sehe ich aber auch das Problem mit Cumulus, welches die Trennung von Grunddaten und Extra-Sensoren in separate Dateien mit sich bringt.
Das wird wohl einem automatischen Datenimport schwer im Wege stehen.

Cumulus scheidet daher wohl aus, hoffe es könnte eine brauchbare Variante mit XAmpp geben.

In diesem Zusammenhang muss ich mal los werden, das diese ganze Datenmisere nur daran liegt, dass die Hersteller/Distributoren der WS einfach dem User kein brauchbares lokales Interface mit Erstellung lokaler Datenlogs mehr mitliefern. Einfach nur traurig und aus meiner Sicht eine falsche Entwicklung.

Gruß, Lutz
-------------------------------------------------------------------------------------
http://lutz-schenk.de/wetter/ws/wswin-custom-x.html
(Windrichtungsgrafiken diametral gespiegelt)
Lutz Schenk
Beiträge: 117
Registriert: 07 Okt 2021 11:32
Hat sich bedankt: 5 mal
Danksagung erhalten: 5 mal

Re: WsWin und Datenimport

Beitrag von Lutz Schenk »

Hallo Zusammen,
einen großen Teil des Problems konnte ich schon mal selbst lösen, nach langer Suche stolperte ich über Werners Video bezüglich der x-csv Bedienung auch für die Dateiüberwachung. Somit läuft der Auto-Import erst mal, allerdings sind die Extrasensoren nicht dabei, weil Cumulus diese in eine separate Datei schreibt.

Hier bräuchte man "nur" eine Routine, welche die beiden CMX-Dateien automatisch in einer csv zusammenführt.

Habe aber leider keine Ahnung, wie so etwas gehen könnte.

Gruß, Lutz
Benutzeravatar
Tex
Moderator
Beiträge: 1872
Registriert: 04 Aug 2014 17:47
Wohnort: Woldegk
Hat sich bedankt: 2 mal
Danksagung erhalten: 38 mal
Kontaktdaten:

Re: WsWin und Datenimport

Beitrag von Tex »

Wie man die beiden Cumulusdateien zusammenführen kann, weiß ich auch nicht - habe dazu leider monentan auch keine Idee. Es würde aber über eine 2. WSWIN-Instanz gehen:

Hier liest du die 2. Cumulusdatei ein (per wswin-x-csv). Allerdings mußt du diese x-csv an die 2. Cumulusdatei anpassen (nur Zusatzsensoren mit entsprechneden IDs).
Dann kannst du diese Zusatzsensoren via merge-Funktion an die 1. WSWIN-Instanz senden. Die 1. Instanz übernimmt jetzt diese Zusatzsensoren. Nachteil: es geht nur bei permanentem Onlinebetrieb (24/7) - sonst hat man Lücken.
Wichtig: es dürfen keine IDs doppelt sein!
Lutz Schenk
Beiträge: 117
Registriert: 07 Okt 2021 11:32
Hat sich bedankt: 5 mal
Danksagung erhalten: 5 mal

Re: WsWin und Datenimport

Beitrag von Lutz Schenk »

Hallo Tex,

das würde ich gern mal ausprobieren, 24/7 Betrieb ist eh geplant.
Wenn es funktioniert, wäre das als Übergangslösung erst mal OK.

Für die 2. Instanz: klar, x-csv,cfg muss angepasst werden, nur die Daten, oder muss trotzdem Datum und Uhrzeit vorne weg? (Denke mal ja?)
Dann kannst du diese Zusatzsensoren via merge-Funktion an die 1. WSWIN-Instanz senden. Die 1. Instanz übernimmt jetzt diese Zusatzsensoren.
Was bedeutet in diesem Zusammenhang "An die 1. Instanz senden"?

Mit dieser Merge-Funktion habe ich bisher noch nicht gearbeitet.

Was mir dabei auch noch fraglich ist: Man kann ja die ...x-csv_import.cfg nur ein mal vergeben. Oder darf die im Teil vor "_import.cfg" auch anders benannt werden? Wenn nein, bedeutet dies, dass ich eine 2. Instanz auch aus einer separaten Installation von WsWin laufen lassen muss, da sich sonst die Dateien in die Quere kommen?

Gruß LUtz
Lutz Schenk
Beiträge: 117
Registriert: 07 Okt 2021 11:32
Hat sich bedankt: 5 mal
Danksagung erhalten: 5 mal

Re: WsWin und Datenimport

Beitrag von Lutz Schenk »

So, habe das Ganze jetzt auf dem Barebone aufgesetzt, 2x WsWin in je eigener Installation, die brav die CMX-Daten auslesen.
Soweit fein. Nur mit dem merge, das ist mir unklar wie das gehen soll/kann.

LG, Lutz
-------------------------------------------------------------------------------------
http://lutz-schenk.de/wetter/ws/wswin-custom-x.html
(Windrichtungsgrafiken diametral gespiegelt)
Antworten