Raspberry pi 3 som mätstation, en vision

[Holton]

Ja rrdtool update kommandot ska ha data för alla ds i databasen. Resten av skriptet är helt upp till dig hur du gör. Du kan ju prova köra "rrdtool update databasfil.rrd N:0:0:0:0:0:0:0:0:0:0:0:0:0:0:0:0:0:0:0:0" direkt utan skript.

Ja, såklart! 4Ute betyder att jag hämtar värdet från raden "Ute" i den övre halvan av scriptet och sätter in det i den första DS-posten. Det som står där:
rrdtool update $RRDDataDirectory$RRDDataFile N:$Ute
kan alltså egentligen skrivas dit för hand om man skulle vilja direkt i terminalen. typ så här:
rrdtool update tempdb.rrd N:1:2:3:4:5:6:7:8:9:0:10:11:12:13:14:15:16:17:18:19:20:21
och då får man
Ute: 1
Inne: 2
osv inskrivet i rrd-filen.

[Holton]

Nu ramlar det in värden =) Mellan de två sista värdena är det något knas, det är 19 värden, mellan värde 18 och 19 ser det knas ut. oich så fattas två värden. Ja ja, men det är bättre än någonsin i alla fall! Återigen ett stort tack till dig Motoz! Börjar bli skyldig dig ett flak öl vid det här laget =)

Kod: Markera allt

pi@raspberrypi:/mnt/ramdisk/rrddata/rrdbas $ rrdtool lastupdate tempdb.rrd
 Ute Inne Sovrum Altan Syd Norr Ost Temp_1 Temp_2 Temp_3 Temp_4 Temp_5 VP_Pool_1 VP_Pool_2 Drift_2 Drift_3 Pool Drift_1 Drift_Pool_1 Drift_Pool_2 El

1466950805: 24.25 24.25 24.50 24.50 24.50 24.50 24.50 24.50 24.50 24.50 24.50 24.50 24.50 24.50 24.50 24.50 24.50 24.50   24.50

[Holton]

Två steg fram och ett steg tillbaka... rrd-basen tempdb.rrd uppdateras inte av scrioptet. När jag skriver ./get1_temp.sh alltså manuellt kör skriptet får jag fortfarande ett felmeddelande:

Kod: Markera allt

pi@raspberrypi:~/bin $ ./get1_temp.sh
ERROR: /mnt/ramdisk/rrddata/rrdbas/tempdb.rrd: not a simple unsigned integer: '24.69'
./get1_temp.sh: rad 38: oväntat filslut vid sökning efter matchande """
./get1_temp.sh: rad 39: syntaxfel: oväntat filslut

När jag matar in rrdtool update så som i tidigare exempel (satte in lite olika värden bara för att få något att sedan rita graf på)

Kod: Markera allt

pi@raspberrypi:/mnt/ramdisk/rrddata/rrdbas $ rrdtool update tempdb.rrd N:1:2:3:4:5:5:0:0:0:0:0:0:0:0:0:7:0:0:5:1:0

...ser det ut som att det sker en skrivning:

Kod: Markera allt

pi@raspberrypi:/mnt/ramdisk/rrddata/rrdbas $ rrdtool lastupdate tempdb.rrd Ute Inne Sovrum Altan Syd Norr Ost Temp_1 Temp_2 Temp_3 Temp_4 Temp_5 VP_Pool_1 VP_Pool_2 Drift_2 Drift_3 Pool Drift_1 Drift_Pool_1 Drift_Pool_2 El

1466953527: 1 2 3 4 5 5 0 0 0 0 0 0 0 0 0 7 0 0 5 1 0

Men när man i GUI, alltså via desktop, kontrollerar när filen tempdb.rrd senast användes så ser man att den inte uppdaterats. Hm... något är mysko, Testade att skriva ett perl-script för att rita grafer ur tempdb-rrd men den grafen blir blank.

[Holton]

Hittade felet """ ja, det fanns ett " inne bland de där echo $Ute...osv

Men knölet med

Kod: Markera allt

ERROR: /mnt/ramdisk/rrddata/rrdbas/tempdb.rrd: not a simple unsigned integer: '24.69'

Ja, det vete gudarna. Får testa med att byta bort den sensorn kanske...

[Holton]

Bytte den sensor som gett upphov till förra felet mot en annan sensor. Felet kvarstår, men med hänvisning till denna nya sensor istället. Det där om att "not a simple unsigned integer"...
Googlat lie... derive och counter kan vara det som spökar.

[Holton]

Detektivarbetet fortskrider...
Det där om "ERROR: /mnt/ramdisk/rrddata/rrdbas/tempdb.rrd: not a simple unsigned integer: '24.69'" Testade först med att skapa en mapp med ett textdokument med endast siffran 1 i. Och sedan bytte jag ut alla de sensorer som kunde vara relaterade till DERIVE eller Counter mot denna fil. Det funkade ju bra, men scriptet är konstruerat så att det alltid ska vara två decimaler i värdena från 1wiresensorerna. så värdet som matades in blev 1.00 vilket inte var godkänt. Sedan mognade nog Motoz senaste inlägg i min skalle. Jag gick ner till raden "echo $Ute:$Inne:$Sovrum:$Altan:$Syd:$Norr:$Ost:$Temp_1:$Temp_2:$Temp_3:$Temp_4:$Temp_5:1:1:1:1:1:1:1:1:1:1" där har jag ju som ni ser tänkt halvvägs till målet. Nu när jag skriver detta fattar jag själv hur korttänkt man är... jag får här datorn att berätta att oavsett vilka jäkla värden jag stoppar in i rrd-filen så får jag svar på de sista sensorerna 1 1 1 1 1 1 ... smart eller hur
Nej, jag lär testa att ändra i den här radens slut istället

Kod: Markera allt

rrdtool update $RRDDataDirectory$RRDDataFile N:$Ute:$Inne:$Sovrum:$Altan:$Syd:$Norr:$Ost:$Temp_1:$Temp_2:$Temp_3:$Temp_4:$Temp_5:$VP_Pool_1:$VP_Pool_2:$Drift_2:$Drift_3:$Pool:$Drift_1:$Drift_pool_1:$Drift_Pool_2:$El

[Holton]

Ja, som jag skrev =) Jag är korttänkt men nu jäklar tror jag att jag listat ut det. När man vill ha blanka fält i rrd-basen med detta script på den här länken https://wiki.m.nu/index.php/RRDTool_HowTo
Som ser ut på detta vis:

Kod: Markera allt

#!/bin/bash

OutsideTempSensor="10.51777C010800"
RRDDataDirectory="/home/anders/rrddata/"
RRDDataFile="outside_temp.rrd"

# Get temps form OWFS
OutsideTemp=`cat /mnt/1wire/$OutsideTempSensor/temperature|sed -e s/" "//g|awk '{$1=$1 + 0.005;printf "%.2f", $1}'`

#Update RRD database
rrdtool update $RRDDataDirectory$RRDDataFile N:$OutsideTemp
echo $OutsideTemp

Detta:
OutsideTemp=`cat /mnt/1wire/$OutsideTempSensor/temperature|sed -e s/" "//g|awk '{$1=$1 + 0.005;printf "%.2f", $1}'`
Fungerar som ett script i sig, jag fick för mig att sätta # efter sed då fick jag upp följande:
Användning: sed [FLAGGA]... {skript-endast-om-inga-andra} [indatafil]...

-n, --quiet, --silent
förhindrar automatisk utskrift av mönsterutrymme
-e skript, --expression=skript
lägg till skript till de kommandon som ska utföras
-f skriptfil, --file=skriptfil
lägg till innehållet i skriptfil till de kommandon som ska
utföras
--follow-symlinks
följ symlänkar när behandling sker på plats
-i[SUFFIX], --in-place[=SUFFIX]
edit files in place (makes backup if SUFFIX supplied)
-l N, --line-length=N
ange önskad radbrytningslängd för "l"-kommandot
--posix
inaktivera alla GNU-utökningar.
-r, --regexp-extended
använd utökade reguljära uttryck i skriptet.
-s, --separate
betrakta filer som separata istället för som en
kontinuerlig lång dataström.
-u, --unbuffered
läs in minimala mängder data från indatafilerna och töm
utdatabufferterna oftare
-z, --null-data
separate lines by NUL characters
--help visa denna hjälptext och avsluta
--version visa versionsinformation och avsluta

Om ingen av flaggorna -e, --expression, -f, eller --file ges, blir det
första argumentet som inte är en flagga det sed-skript som tolkas. Alla
återstående argument är namn på indatafiler. Om inga indatafiler är angivna
läses standard in.

GNU sed home page: <http://www.gnu.org/software/sed/>.
General help using GNU software: <http://www.gnu.org/gethelp/>.
Så då ser man att om man vill ha tomt i rrdbasen så byter man -e mot -n

Sagt och gjort, -n:ade alla DERIVE och COUNTER raderna och ja... nu matas data in i rrdbaren. RRD-formatet verkar vara ytterligt petigt, grinigt, känsligt, noga och allmänt otrevligt till sin natur. Minsta lilla knöl och det bara vägrar funka. Gissar att om en sensor skulle glappa lite, så att den sensorns katalog inte dyker upp i 1wire-systemet så tjurar väl rrdbasen ihop som en dagisunge i overall och vinterskor med en liten knöl på strumpan och bara vägrar funger tills dess knölen slätats ut. Känns som att mina egna ungars småbarnsålder är visserligen förbi, men nu har jag fått en rrd-bas med samma lynne... Grattis =)

Nåväl, plötsligt dök det upp en graf i alla fall med data från tempdb.rrd =)

[Holton]

Ja, nu verkar RRD-fil fungera. Morgondagens äventyr verkar vara att få grafgenereringen i perl att fungera. Nu kan jag få värden för olika sensorer under diagrammen, om jag #-taggar första grafens Min-temp...men aldrig mer än två linjer i diagrammet. Men både linjer och värden under diagrammet kommer från olika sensorer =) Ett steg ytterligare frammåt

[Holton]

Ja, har man semester så har man =) Börjat klura ut hur graf-scriptet på den här sidan funkar nu https://wiki.m.nu/index.php/RRDTool_HowTo
Det ser ut så här:

Kod: Markera allt

#!/usr/bin/perl

use RRDs;

my $cur_time = time();
my $start_time = $cur_time - 86400;     # set end time to 24 hours ago 
                
RRDs::graph "/var/www/graph_temp.png",   
			"--start= $start_time",
			"--end= $cur_time",
			"--title= Temp ute",
			"--height= 300",
			"--width= 500",
			"--vertical-label= °C",
	      "DEF:OutsideTemp=/home/anders/rrddata/outside_temp.rrd:outsidetemp:AVERAGE",                          
			"COMMENT:\t\t\t\tNu     Medel    Max    Min\\n",
			"HRULE:0#0000FF",         
	      "LINE2:OutsideTemp#0000FF:Ute\t\t\t",    
			"GPRINT:OutsideTemp:LAST:%6.1lf",
			"GPRINT:OutsideTemp:AVERAGE:%6.1lf",
			"GPRINT:OutsideTemp:MAX:%6.1lf",
			"GPRINT:OutsideTemp:MIN:%6.1lf\\n";

my $err=RRDs::error;
if ($err) {print "problem generating the graph: $err\n";}

print "Done!\n"

Och att bara lägga till en rad till var inte framgångsrikt, ja alltså lägga in en" DEF:...osv" och en "Line2:osv..." med nästa sensor. Det jäklades ordentligt, fick bara in en linje hur jag än gjorde. Tills jag började leka med #-tecknet igen. Det visade sig att om jag #-märkte "Min-raden" så dök det upp ytterligare en linje i grafen. Ja, sedan laborerade jag med detta hela kvällen tills jag såg att just "Min-raden" hade ; islutet itället för , som alla de andra som definierar linjen. Bytte ; mot , och så dök nästa linje upp i grafen. Det där semikolonet verkar betyda att ja, inläsning av linjer i grafen är slut här. men att ett komma låter scriptet fortsätta. Ser man sedan till att inte upprepa Comment-raden och byta hex-färgerna, ja de som står efter Line2: och kan se ut så här 0#00FF00 mot andra hexadecimala tal, alltså tal i 16-bas. Då man efter siffran 9 har a (=tio) b(=11)c(=12)d(=13)e(=14) och f(=15), ja, då undrar man kanske var tog 16 vägen, ja, vi har 16 tecken 0123456789abcdef, därefter startar vi om med 10 som i hexadecimalatermer betyder antalet 16. Det blev lite mattenördande här. Men byt ut färgkoden mot ett sexsiffrigt tal bestyående av de 16 tecken som ingår så får man en annan färg på linjen helt enkelt. Det behöver ionte vara stora bkstäver heller.

HRULE... ja, den där raden med färgkod verkar itnte påverka någonting. Får dyka djupare i det imorgon, nu funkar mina grafer i alla fall =)

[motoz]

HRULE är en "horizontal ruler", alltså ett rakt streck som här är vid y=noll.

Nu då du har kommit igång så ska jag fresta med lite flotcharts och ajax. Minimalt demo:

Rita grafen i json format enligt modellen:

Kod: Markera allt

rrdtool graph --imgformat=JSONTIME graph.json DEF:a=db.rrd:data1:AVERAGE LINE1:a#FFFFFF

Ladda flot, jquery och lite exempel css från flotcharts.org:

Kod: Markera allt

wget http://www.flotcharts.org/flot/jquery.flot.js
wget http://www.flotcharts.org/flot/jquery.js
wget http://www.flotcharts.org/flot/examples/examples.css

En minimal index.html fil:

Kod: Markera allt

<!DOCTYPE html>
<html>
<head>
	<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
	<link href="examples.css" rel="stylesheet" type="text/css">
	<script language="javascript" type="text/javascript" src="jquery.js"></script>
	<script language="javascript" type="text/javascript" src="jquery.flot.js"></script>

	<script type="text/javascript">
	$(function() {
        $.get("graph.json", function(graphdata) {
    		$.plot("#placeholder", [graphdata.data]);
        });
	});
	</script>
</head>
<body>
	<div id="header">
		<h2>RRDtool -> FLOT example</h2>
	</div>

	<div id="content">
		<div class="demo-container">
			<div id="placeholder" class="demo-placeholder"></div>
		</div>
	</div>
</body>
</html>

Och servera det med

Kod: Markera allt

python -m SimpleHTTPServer

[Holton]

HRULE är en "horizontal ruler", alltså ett rakt streck som här är vid y=noll.

Nu då du har kommit igång så ska jag fresta med lite flotcharts och ajax. Minimalt demo:

Rita grafen i json format enligt modellen:

Kod: Markera allt

rrdtool graph --imgformat=JSONTIME graph.json DEF:a=db.rrd:data1:AVERAGE LINE1:a#FFFFFF

Ladda flot, jquery och lite exempel css från flotcharts.org:

Kod: Markera allt

wget http://www.flotcharts.org/flot/jquery.flot.js
wget http://www.flotcharts.org/flot/jquery.js
wget http://www.flotcharts.org/flot/examples/examples.css

En minimal index.html fil:

Kod: Markera allt

<!DOCTYPE html>
<html>
<head>
	<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
	<link href="examples.css" rel="stylesheet" type="text/css">
	<script language="javascript" type="text/javascript" src="jquery.js"></script>
	<script language="javascript" type="text/javascript" src="jquery.flot.js"></script>

	<script type="text/javascript">
	$(function() {
        $.get("graph.json", function(graphdata) {
    		$.plot("#placeholder", [graphdata.data]);
        });
	});
	</script>
</head>
<body>
	<div id="header">
		<h2>RRDtool -> FLOT example</h2>
	</div>

	<div id="content">
		<div class="demo-container">
			<div id="placeholder" class="demo-placeholder"></div>
		</div>
	</div>
</body>
</html>

Och servera det med

Kod: Markera allt

python -m SimpleHTTPServer

Ja, det här lär det bli små steg på mycket att förså och lära.
Men första delen först, script-strängen med json... Jag antar att man bygger upp lite mer runt om den där raden innan det är klart. Ja, givetvis byter man filnamn och sånt. Men i min värld ser det ut som att man gör ett Perl-script, eller Shell, det borde inte ha så stor betydelse.
rrdtool graph --imgformat=JSONTIME graph.json DEF:a=db.rrd:data1:AVERAGE LINE1:a#FFFFFF
Första delen talar om att rrdtool-tillägget graph ska användas. Bildformatet jsontime, det tror ja inte att min rpi känner igen, så det kommer jag att behöva dra hem. DEF=a:-tror jag är att man definierar vad "a" är för något. I detta fall är a det som finns i rrd-filen DB.rrd under rubriken och detta "a" ska illustereras med en smal linje i färgen FFFFFF, som jag har för mig är svart.

script-skrivande är guldgruva när det gäller att lära sig nya saker.

[motoz]

Äsch, glöm det. Raspbian jessie är kvar på rrdtool version 1.4.8. Där är det inte i närheten av så där enkelt. Dels saknas json som 'bildformat' till rrdtool graph och dels så är det en bug i rrdtool xport --json så att det man får ut inte ens är godkänd json så det måste bearbetas innan det tas emot av en jsonparser. Testade med nyaste rrdtool och konstaterade att de här gamla buggarna är borta men glömde kolla vilken version av rrdtool raspbian jessie har.

[Holton]

Ja, jag får kanske nöja mig ett tag med rrdgrafer, detta är ju ett långsiktigt projekt och förr eller senare kommer kanske nödvändiga uppdateringar, eller så får man jobba sig runt problemet

Nu har jag börjat skissa på en lösning för att mäta drifttid med temperatursensorer så som du föreslog. Jag har inte provat detta än, men en av mina idéer ser ut så här till en början:

Kod: Markera allt

$a=mnt/ramdisk/rrddata/rrdbas/tempdb.rrd:syd
$b=mnt/ramdisk/rrddata/rrdbas/tempdb.rrd:norr
$c=mnt/ramdisk/rrddata/rrdbas/tempdb.rrd:temp_5
if [ $a -gt $b + 2] then $c print 150


#Update RRD database
rrdtool update $RRDDataDirectory$RRDDataFile N:150
echo $vpdrift
Else 
#Update RRD database
rrdtool update $RRDDataDirectory$RRDDataFile N:0
echo $

Där a & b är sensorer och c är en rubrik i rrdbasen där jag samlar den beräknade driften. Vad tror du är jag inärheten av en fungerande lösning?

[motoz]

Själv undviker jag jag helst att skriva bashskript för allt som behöver någon form av kontrollstruktur (if, loop osv). Den krångliga syntaxen kan man ju bara inte komma ihåg...

Men nä, det ser inte helt rätt ut. Läs av sensorerna på samma sätt som i ditt existerande skript. Sedan kan du jämföra dem ungefär sådär, fast du kan inte addera två på det där sättet och det saknas nåt semikolon i ifsatsen. Vad är det meningen att "print 150" ska göra? För att sätta c till 150 så skriv bara c=150

Ungefär såhär

Kod: Markera allt

if [ $a -gt $(($b + 2))]; then c=150; else c=0; fi

Sedan använder du $c för för siffervärdet att uppdatera med i rrdtool update kommandot, vilket alltså då motsvarar 150 eller 0

Men det fungerar bara om a och b innehåller heltal. Det går förstås att fixa där du läser av sensorerna.

[Holton]

Print grejen i förra scriptet... =) Ja, inget jag är stolt över, läste det någonstans och ja...

Trixat lite med scriptet och tror att jag fått till det, får i alla fall svar som tyder på det =)

Kod: Markera allt

#!/bin/bash

vp1sensor="28.FFE45E001602"
vp2sensor="28.FFD06D001602"
RRDDataDirectory="/home/pi/bin/"
RRDDataFile="diff_temp.rrd"
# Get temps form OWFS
vp1=`cat /mnt/1wire/$vp1sensor/temperature|sed -e s/" "//g|awk '{$1=$1 + 0.005;printf "%.0f", $1}'`
vp2=`cat /mnt/1wire/$vp2sensor/temperature|sed -e s/" "//g|awk '{$1=$1 + 0.005;printf "%.0f", $1}'`
#rrdtool update $RRDDataDirectory$RRDDataFile N:$vp1:$vp2:
#echo:$vp1:$vp2:
if [ $vp1 -gt $(($vp2 + 2)) ]; then vpdrift=150; else vpdrift=0; fi
#Update RRD database
rrdtool update $RRDDataDirectory$RRDDataFile N:$vp1:$vp2:$vpdrift
echo $vp1:$vp2:$vpdrift

Det här avsnittet: awk '{$1=$1 + 0.005;printf "%.0f", $1}' %=0 tror jag ger heltal. Men den där "'{$1=$1 + 0.005;printf" vete gudarna om jag egentligen behöver ha med, men ja... det verkar ju funka i alla fall...

Att trixa en graf för drifttid får jag pyssla med imorgon. Men nu börjar jag få en liten förståelse för dessa script. Det var felmeddelande på felmeddelande på detta till en början, men så smått kunde jag ändra i texten och till sist slutade felmeddelandena komma. Jag har inte lagt detta som cron-jobb ännu, varken rrd eller annat ligger i ramdisken, men jag flyttar dit sakerna när det fungerar fullt ut. Gjorde en separat rrdbas för just detta, det kändes enklare. Ska nog göra om den förra rrd-basen med så den blir mer lätthanterlig, och inte så förbankat fet i storlek.

De närmaste dagarna blir nog, om bädret tillåter, att bygga 1-wire-nätet. Hade först tänkt mig cat-kabel, men hittade sedan enkeltråd, tänker göra två av dessa till ett tvinnat par (klassisk repslagning =) och sedan köra 5V-spänning som rak ledare intill. Tvinningen för att jag hört att detta minnimerar störningar, då tvinnas gnd och signalkabel. Spänningsmatningen ska inte tvinnas in har jag läst. Och fasen vet om det ens behövs någon spänningsmatning.