Ämne: Summering/preprocessning/aggregering av loggvärden för att minska filstorleken?

[Erik Renberg]

Jag har loggat till USB-minne med min Nibe 1245 var 5:e sekund typ ett halvår. En fil varje dag. Tyvärr rätt stor fil och onödigt detaljerad. Det är alltså en textfil där varje rad har datum/tid som första kolumn och sedan ett gäng kolumner med alla värden som loggas.

Är det någon som har gjort (eller har tips på) ett program som jag kan köra för att "förbehandla" alla mina loggfiler så att jag får endast ett värde per minut. T ex som tar bort rader så att endast ett värde per minut återstår eller räknar ut medelvärden, och skapar nya loggfiler som är en tjugondel* tolvtedel så stora... och därmed snabbare att analysera med olika program.

Tänkte undvika att uppfinna ett eget hjul om någon har ett färdigt. 

* Edit: Purjo tycker det är bättre med 60 sekunder per minut en 100 så OK då.

[Smurfen.]

Du vet väl att du kan ändra loggningsintervall på nya loggfiler.

[Erik Renberg]

Japp, men jag har ju många gamla som sagt. Dessutom kanske det finns något var 5:e sekund som är jätteintressant som jag missar om jag loggar så "sällan" som varje minut. 

[purjo__]

Det är inte så svårt att göra ett 'fulhack' för det. Dock blir ju inte filerna en tjugondel så stora såvida vi inte bestämmer att det går hundra sekunder på en minut 

[torbjorn_forsman]

En gång i tiden knåpade jag ihop ett quickbasicprogram för ungefär sådana ändamål. Programmet tar bort varannan rad ur godtycklig textfil och så får man köra det så många gånger som behövs.
Lägg till namn på infil och utfil på kommandoraden. Programmet svarar med felkod 62 eller något sånt om det fungerar som det ska.

Hm. Det verkar inte gå att bifoga exekverbara filer här. Då kommer källkoden istället, bör gå att kompilera med i stort sett vilken Quickbasic som helst:

ON ERROR GOTO fel

DEFINT A-O
cline$ = COMMAND$
length = LEN(cline$)
max = (length / 2) + 1
DIM arg$(max)

GOSUB argsplit

'IF COMMAND$ = "" THEN GOTO
IF num <> 1 THEN GOTO
PRINT cline$
PRINT "number of arguments = "; num + 1
PRINT "arguments are:"
FOR i = 0 TO num: PRINT arg$(i): NEXT



OPEN arg$(0) FOR input AS #1
'FIELD #1, 1 AS fi$

OPEN arg$(1) FOR OUTPUT AS #2

while not eof(1)
line input #1, a$
print #2, a$
line input #1, b$
a$ = ""
b$ = ""
wend

CLOSE


END


argsplit:
   true = -1: false = 0
   i = 1: num = 0: inword = true
   WHILE i <= length
      ch$ = MID$(cline$, i, 1)
      IF ch$ <> " " THEN
         IF NOT inword THEN inword = true
         arg$(num) = arg$(num) + ch$
      ELSEIF inword THEN
         num = num + 1
         inword = false
      END IF
      i = i + 1
   WEND
RETURN

fel:
CLOSE
PRINT "Felkod = "; ERR
'ON ERROR GOTO 0
GOTO


:
END

[purjo__]

Men, då får man ju inte medelvärde för den 'aggregerade' perioden...

[Erik Renberg]

Nä, men undrar hur det är om man loggar varje minut från värmepumpen (i mitt fall Nibe 1245); får man medelvärden då? Eller momentanvärden? Jag lutar åt det senare. Då spelar det (förstås) ingen roll att man rensar sin loggfil genom att ta bort rader på motsvarande sätt.

Fast medelvärden kanske är bättre? Tar ju bort tillfälliga toppar/dalar på ett effektivt sätt. Vet inte vilket som är bäst.

[mikkola]

Använder du LogPro?

Har funderingar på en funktion ungifär som denna i LogPro. Att kunna t.ex. välja att hämta enbart var 60:e sekunds värde. Eller att slå samman tll ett medelvärde.

Då skulle man kunna behålla loggningen med 10s intervaller utan att LogPro blir som sirap Även öppna t.ex. 6 månader från databasen skulle LogPro må bättre av. Då skulle man kunna glesa ut värdena i t.ex. 5 minuter(valbart)

[Erik Renberg]

Jo, det är faktiskt just pga "sirapen" i LogPro jag behöver glesa ut mitt gamla data

(Men jag postade en mer allmän fråga eftersom det kan vara av intresse även utan LogPro. Men jag ser gärna bra funktioner för det i LogPro, men det kan vi/du ju skriva om i den tråden!)

[purjo__]

Skicka loggen till mig så skall jag hacka ihop ett aggregeringsprogram.

[Erik Renberg]

Fast medelvärden kanske är bättre? Tar ju bort tillfälliga toppar/dalar på ett effektivt sätt. Vet inte vilket som är bäst.

Kom på att medelvärden inte går att använda rakt av för alla kolumner: Bland annat loggas Alarm-nummer och det kan man inte gärna ta medel på. Däremot är man intresserad av att se alla larm även om de inte råkar hamna på en jämn minut (ifall det är så att larm kan komma en viss rad i filen för att sedan återgå till 0 direkt efter 5 sekunder vid nästa sampling).

[doman]

Hej!

Finns det någon som kan kompilera detta program och bifoga här under felaktig filändelse eller kanske ladda upp på ett filestore?

Jag vill gärna, som många andra, logga i "full" upplösning och arkivera, men kunna göra mig av med data innan jag analyserar grafer osv.

Vore super! 

En gång i tiden knåpade jag ihop ett quickbasicprogram för ungefär sådana ändamål. Programmet tar bort varannan rad ur godtycklig textfil och så får man köra det så många gånger som behövs.
Lägg till namn på infil och utfil på kommandoraden. Programmet svarar med felkod 62 eller något sånt om det fungerar som det ska.

Hm. Det verkar inte gå att bifoga exekverbara filer här. Då kommer källkoden istället, bör gå att kompilera med i stort sett vilken Quickbasic som helst:

ON ERROR GOTO fel

DEFINT A-O
cline$ = COMMAND$
length = LEN(cline$)
max = (length / 2) + 1
DIM arg$(max)

GOSUB argsplit

'IF COMMAND$ = "" THEN GOTO
IF num <> 1 THEN GOTO
PRINT cline$
PRINT "number of arguments = "; num + 1
PRINT "arguments are:"
FOR i = 0 TO num: PRINT arg$(i): NEXT



OPEN arg$(0) FOR input AS #1
'FIELD #1, 1 AS fi$

OPEN arg$(1) FOR OUTPUT AS #2

while not eof(1)
line input #1, a$
print #2, a$
line input #1, b$
a$ = ""
b$ = ""
wend

CLOSE


END


argsplit:
   true = -1: false = 0
   i = 1: num = 0: inword = true
   WHILE i <= length
      ch$ = MID$(cline$, i, 1)
      IF ch$ <> " " THEN
         IF NOT inword THEN inword = true
         arg$(num) = arg$(num) + ch$
      ELSEIF inword THEN
         num = num + 1
         inword = false
      END IF
      i = i + 1
   WEND
RETURN

fel:
CLOSE
PRINT "Felkod = "; ERR
'ON ERROR GOTO 0
GOTO


:
END