Ämne: Mängd mätvärden för historik?

[Videonisse]

Finns det nÃ¥gon "best practice" när det gäller i vilka intervaller som man bör spara/logga mätvärden för temperatur och elförbruking sÃ¥ de kan användas pÃ¥ ett bra sätt för lÃ¥ngsiktig historik och visualisering i grafer mm? 

T.ex om man bör spara (medel-) mätvärden var 5:e, 15:e eller 60:e minut för att senare kunna följa hur värderna fördelas över dygnet. Det är alltså rekommendation på hur noggrann data som man bör ha för historiken som jag är ute efter.


MÃ¥lbild
Jag kommer ha bla temperaturvärden ifrån minst 3 olika system och de kan avläsas med ca 1 minuts intervaller. Tänker mig att jag sparar all data ifrån senaste 1-2 dygnen men sedan så har jag bara kvar genomsnittsdata per givare med ngn lämplig tidsintervall. Denna data sparas sedan i SQL-databas och skall finnas tillgänglig flera år efteråt.

Givarna kommer ifrån min Thermia bergvärmepump som har ett ThermIQ-kort, samt ifrån ett 1-wirenät och ifrån trådlösa termometrar via Tellstick Duo. Den senare kommer förmodligen ersättas med ett system baserat på KNX och/eller Z-wave.

Syftet med mätdatan är att kunna följa och optimera driften i huset för att öka komfort och minimera kostnader.

[purjo__]

Jag sparar min/max/medel för varje minut i 366 dagar och motsvarande varje timme i 10 år med hjälp av RRDTool. Dessutom sparar jag max, min och medel tillsammans med tidsstämpel för varje timme, dygn, vecka, månad och år i en SQL-databas (Mest för att jag vill veta exakt när det var som varmast/kallast).

RRD-filerna för varje givare blir 15MB stora.

Fördelen med RRDTool är att det är väldigt enkelt att göra grafer och plocka ut statistik för olika tidsperioder.

[Erik Renberg]

Att göra som Purjo låter smart. För det finns problem med medelvärden (om man inte också har min/max) om du loggar saker som ändrar temperatur/värden snabbt (mycket snabbare än perioden du beräknar medel på):

Du missar toppar och dalar och medelvärdet blir inte "realistiskt"/representativt för verkliga värden på variabeln. Exmpel: Om man mäter något som är "jättevarmt" när kompressorn går (hetgas?) och kallt när den står stilla och sedan tar medelvärde, så får man ett medelvärde som är svårtolkat sedan (när inte originaldatat finns längre).

[purjo__]

Precis. RRDTool är ju så smart så man behöver bara stoppa in värden med hyfsat jämna mellanrum så sköter den max, min och medel helt automatiskt. När man sen skapar grafer så är det bara att bestämma viket värde man vill ha för respektive givare så får man en snygg bild tillbaks...

[Videonisse]

Verkar vara smart som ni gör och RRDtool måste ju vara en bra och robust programvara för ändamålet.

Men jag hittar inget enkelt sätt att fÃ¥ igÃ¥ng det pÃ¥ en Windows (7) PC och Linux har jag aldrig nyttjat... 

Ngt tips om Win-programvara som har liknande funktioner?

[David Rinnan]

men den fungerar ju för windows också
http://oss.oetiker.ch/rrdtool/

[purjo__]

Varför inte ta chansen och lära dig lite Linux?

[Videonisse]

Jag mÃ¥ste vara blind för även om det stÃ¥r att de stödjer Windows sÃ¥ är de enda binärfilerna jag hittar för Cygwin och senaste är ifrÃ¥n 2006. Är det fel pÃ¥ mina ögon? 

Nja slipper jag Linux är jag glad, är den typ som gillar grafiskt GUI och ogillar hacka i textfiler. Ã… andra sidan sÃ¥ försöker jag fÃ¥ tag pÃ¥ en Raspberry Pi och dÃ¥ skall det in Debian i den sÃ¥ i höst kanske jag är Linux-frälst 

[David Rinnan]

ja raspberry pi blir fint!!

I övrigt vad gäller windows och rrdtool så sa jag bara vad som stod på siten. jag har inte själv testat det på windows

[purjo__]

Jag mÃ¥ste vara blind för även om det stÃ¥r att de stödjer Windows sÃ¥ är de enda binärfilerna jag hittar för Cygwin och senaste är ifrÃ¥n 2006. Är det fel pÃ¥ mina ögon? 

http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.2.15-win32-perl58.zip
i rrdtool\Release finns de nödvändiga .exe-filerna.

Men jag rekommenderar att köra det i Linux. Allt blir så mycket lättare med webserver, scriptning, fjärrstyrning, etc, etc...

[Videonisse]

http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.2.15-win32-perl58.zip
i rrdtool\Release finns de nödvändiga .exe-filerna.

Det var den releasen som jag menade med min kommentar, den är ju gammal, är ifrån 2006... Min erfarenhet säger att försöka köra en gammalversion är att tigga om problem och stor risk att man slänger bort en massa tid i onödan.

Ingen som har ngt alternativt som fungerar bra på Win 7?

[Videonisse]

Efter att ha läst och funderat på era intressanta förslag samt googlat runt en del så tror jag mig ha kommit fram till nedan intervaller för hur man önskar se och utvärdera sensordata.

Tycker ni de verkar rimliga eller hur resonerar ni?

Olika nivåer på hur man vill kunna titta på sensordata ifrån t.ex termometrar och elmätare:

• (Nästan) realtid - för att exakt kunna se när individuell sensor pÃ¥verkas. Äkta realtid med millisekundintervall blir säkert svÃ¥rt men intervall med 1-30 sekunder borde kunna uppfyllas. Om sensorn har display bör den ju visa datan i realtid.
  
  För att centralt titta på datan så initieras detta vid behov och den visas bara under tiden man aktiverat "realtidsläget" för den/de specifika sensorerna.
   
  
• Nu - aggregerad data eller ett ögonblicksvärde med viss intervall, t.ex 1 eller 5 minuter.
  
  Denna data visas i övriga visualiseringsverktyg/-displayer.
   
  
• Historik - aggregerad data med min, max och medelvärde som lÃ¥ngtidssparas. Tidsintervall kan kanske öka med tiden. T.ex senaste mÃ¥nad 5 min, senaste Ã¥ret 15 min, därefter 1 tim.
  
  Om datan inte ger stora datavolymer så eftersträvar man ju givetvis att ha kortare tid för aggregeringen, kanske 5 eller 15 min fungerar bäst även för långtidshistorik över flera år.
  
  Datan skall kunna användas i diverse olika analys- och visualiseringsverktyg. Lagras förmodligen centralt i någon SQL-databas (med regelbunden och fungerande backup givetvis).
  

Sedan börjar jag förstå att alla sensorer som producerar kontinuerlig realtidsdata och vars värden skall kunna visualiseras så bör man ha en "riktig" datalogger, t.ex Logger2020 eller liknande.

Är mycket intresserad av om ni har tips om andra fabrikat av dataloggers som klarar av flera olika typer av sensorer?

[rgx107]

Jag är ocksÃ¥ i startgroparna för att börja logga. Om du vill ha tips om andra loggers fÃ¥r du nog kolla nÃ¥t annat forum dock 

Men diskussionen om att aggregera, filtrera eller på andra sätt minska datamängderna håller på att bli överspelad. Även om man sparar allt på ett ganska fluffigt format (textfil) och utan komprimering så blir det väl max några GB per år. Så tio års loggning ryms på en USB-sticka. Jag tänker spara allt rådata för alltid, sen kan det finnas andra skäl att bearbeta datat och räkna ut medelvärden m.m.

[raven76]

Jag loggar datat från mina tellstick net i rrd-databaser. Jag läser av 1ggr/min och har databaser som ska klara 10 års loggning. Det tar upp 602MB disk. Loggar ett par mätvärden fler från frånluftsvärmepumpen, så den rrd-filen blir 843 MB. Har iofs 5.4 TB disk totalt att tillgå, så det blir ju en fis i rymden.
Jag får inte in värden oftare från varken tellsticken eller pumpen så att läsa av oftare är helt bortkastat för min del.

[David Rinnan]

Jag har en loggning som loggar varje sekund, på de värden jag så önskar. Detta håller den dock bara en kortare tid. Den skriver alltså löpande över sig själv. Jag tycker detta är en bra metod då man exempelvis felsöker eller gör andra tester. Att kunna gå in och se en körning i detalj sekund för sekund eller i grafer. Jag tror jag får ungefär 1 timma - men det är beroende på hur många värden jag lagrar.