Hur länge sparar ni mätvärden?

[mickeborgholm]

Jag håller på att sätta igång loggning av lite olika temperaturer, tex. ute, inne, värmesystem, pool m.m.
Använder RRDTool, och svårt att bestämma mig villken upplösning samt hur länge jag ska spara värdena.
Hur gör ni?
Hur länge sparar Temperatur.nu sina värden i olika "upplösningar" ?
Finns det någon nackdel att skapa en databas för varje givare, eller ska man samla flera i samma?
Backup?

Tacksam för alla synpunkter och tips!

[elf98]

På temperatur.nu sparar jag timmedelvärden för alltid (Längsta serien är 12 år just nu).

Har för mig att 2-min medel sparas i en månad, men det är mest för att få till snygga grafer.

[riro]

Jag sparar allting, dock inte i RRD utan i en MySQL-databas.

Har runda slängar 30 Miljoner rader idag.

Har faktiskt ingen aning om vad jag ska med allt data till, men det tar å andra sidan så lite plats på disken så varför inte spara.

[ekdahl]

Jag sparar också allt. Loggar en gång/min och det tar som sagt väldigt lite plats så varför ta bort något?
Sparar i MySQL.

[elf98]

Totalt sett sparar jag lite drygt 1 mätvärde per sekund. Sen ska jag i realtid kunna grafa allt utan fördröjning. Då blir det tungt att spara allt.

[riro]

Totalt sett sparar jag lite drygt 1 mätvärde per sekund. Sen ska jag i realtid kunna grafa allt utan fördröjning. Då blir det tungt att spara allt.

... nu ska vi nog inte blanda in antalet värden på temperatur.nu med antalet värden i ett system som man har hemma.

[elf98]

Jo då! Trådstartaren frågade efter precis det!

Trots att jag kör en snabb stripad raid-array med fläskigt batteribackupad hårdvaruraid har det varit lite tungt prestandamässigt att hantera all data. Nu ligger alla RRD-filerna (~3GB) i en ramdisk och då går det bra.

[riro]

Trots att jag kör en snabb stripad raid-array med fläskigt batteribackupad hårdvaruraid har det varit lite tungt prestandamässigt att hantera all data. Nu ligger alla RRD-filerna (~3GB) i en ramdisk och då går det bra.

En bit OT men är lite intresserad...

Hur många grafer genereras det egentligen?

3 GB databas känns som en liten mängd för att börja få problem med disksystem, men å andra sidan så är väl RRD inte världens bästa databasmotor (om man ens ska skriva motor i samma mening som RRD).

[mickeborgholm]

Tack för era svar!
Det var lite intressant att höra att hela temperatur.nu databasen bara tar 3GB!
Om jag fattat det hela riktigt angående RRD så bestämmer man från början storleken på databasen, är det inte så?
D.v.s. man bestämmer från början att databasen ska innehålla t.ex. 20 år, eller blandar jag ihop begreppen?

[elf98]

Trots att jag kör en snabb stripad raid-array med fläskigt batteribackupad hårdvaruraid har det varit lite tungt prestandamässigt att hantera all data. Nu ligger alla RRD-filerna (~3GB) i en ramdisk och då går det bra.

En bit OT men är lite intresserad...

Hur många grafer genereras det egentligen?

3 GB databas känns som en liten mängd för att börja få problem med disksystem, men å andra sidan så är väl RRD inte världens bästa databasmotor (om man ens ska skriva motor i samma mening som RRD).

Hitinitills i dag är det 32000 grafer, eller en varannan sekund. Jag har inte koll på exakt hur RRDb-filerna skrivs, men sannolikt lär en stor del av dem skrivas om vid varje skrivning. Vilket innebär att lite drygt 2GB data ska skrivas på tre minuter. Samtidigt som datat skall läsas in för att generera grafer. Raidarrayen klarar visserligen många hundra MB/sek vid sekventiell läsning, men det blir det ju inte nu. Plus att det är en massa annat skit som körs på servern med.

När det var problem var det lite annat som strulade och det var mer trafik mot sidan. Efter det här resonemanget inser jag att det borde gå att gå ifrån Ramdisken...

Som kuriosa har apiet accessats 400 000 gånger idag. Eller ca 6 gånger per sekund. Genererar så klart inte någon disktrafik mer än graferna.

[riro]

En graf varannan sekund är inte så blodigt... du har inte funderat på att gå över till en riktigt DB-motor?

RRD är smidigt i mindre skala, men precis som du skriver behöver den skriva om hela filen när den lägger till ett värde...


Och när vi ändå pratar OT, som skapare av ett par applikationer som använder APIet, går det att få ut någon form av statistik?
Vet att Win7/Vista-Gadgeten vart nerladdad ~80t ggr från Microsofts sida innan dom lade ner den, men hur pass många som egentligen använder den har jag noll koll på.