<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif;line-height:1.5">On Fri, Jan 4, 2019 at 7:25 PM Mike Dougherty <<a href="mailto:msd001@gmail.com">msd001@gmail.com</a>> wrote:</span><br></div></div><div class="gmail_quote"><div dir="ltr"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><i> <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>you read 1984 when you were X years old.  It contained a string of bytes that represembles the exact text authored by Orwell.  You read it again when you are 2X years old; same exact bytes so it's the same information - but you experience a slightly different story thanks to additional X years of subjective context.</i></blockquote><div><br></div><div><span style="line-height:1.5"> </span><br></div><div><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"></span><font size="4">Information content is a measure of surprise so if you're rereading 1984 it's not as surprising as the first time you read it even if you've forgotten some of it, so the informational context of rereading is less. Another example is a fire alarm, lets say in any given minute there is one chance it 10,000 it will go off so if the alarm doesn't go off <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">it's not very surprising so </span>you haven't learned much but you've learned a little and we calculate <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">exactly </span>how much. </font></div><div><font size="4"><br></font></div><div><font size="4">The informational content is the base 2 log of 1/p where p is the probability, the probability the alarm will <b>not</b> go off is 9999/10000 and the base 2 log of 10000/9999 is only .000144 .<span class="gmail_default" style="font-family:arial,helvetica,sans-serif"> </span>But the probability the alarm will go off is 1/10000 and the log base 2 of 10000 is 13.2877. So if the alarm does go off you get a 13.2877 bit message but if it doesn't <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">go off </span>you only get a .000144 bit message.<span class="gmail_default" style="font-family:arial,helvetica,sans-serif"> </span></font></div><div><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></font></div><div><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"> John K Clark</span></font></div><div><font size="4"><br></font></div><div><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></div><br>
</div></div></div></div></div></div></div></div></div></div>