<div dir="ltr"><br><br><div class="gmail_quote"><div dir="ltr">On Tue, Aug 21, 2018 at 4:20 PM Mike Dougherty <<a href="mailto:msd001@gmail.com">msd001@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div><div class="gmail_quote"><div dir="ltr">On Tue, Aug 21, 2018, 4:13 PM John Clark <<a href="mailto:johnkclark@gmail.com" target="_blank">johnkclark@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-family:arial,helvetica,sans-serif"><span style="font-family:arial,sans-serif">On Tue, Aug 21, 2018 at 2:54 PM, Mike Dougherty </span><span dir="ltr" style="font-family:arial,sans-serif"><<a href="mailto:msd001@gmail.com" rel="noreferrer" target="_blank">msd001@gmail.com</a>></span><span style="font-family:arial,sans-serif"> wrote:</span><br></div><div class="gmail_extra"><div class="gmail_quote"><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div style="font-family:arial,helvetica,sans-serif;display:inline">> </div>What's the error rate for the biological substrate humans that nature gave us for a starting/reference point?</div></div></blockquote><div><br></div><div style="font-family:arial,helvetica,sans-serif"><font size="4">In DNA replication one error in 10 billion base pairs.</font></div><div style="font-family:arial,helvetica,sans-serif"><font size="4"><br></font></div><div style="font-family:arial,helvetica,sans-serif"></div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">In the context of transhuman existence measured in gigayears, I was imagining the error rate in the connectome rather than genome. That's an interesting metric though. </div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div style="font-family:arial,helvetica,sans-serif"><br></div></div></div></div></blockquote></div></div></div></blockquote><div><br></div><div><br></div><div>For a given data storage component, there are two characteristics of its reliability:</div><div><br></div><div>1. <b>R</b> = the time to repair a failed memory component, and</div><div>2. <b>F</b> = the average time to time to failure of the memory component</div><div><br></div><div>In a redundant system composed of <b>N</b> such components, where <b>M</b> are redundant/extra components beyond the <b>K</b> components needed to store the data (N = K + M), the system reliability (in terms of mean time to irrecoverable data loss) is given by the formula:</div><div><br></div><div><br></div><div>       F / (K * (N choose K)) * (F / R)^(N-K)</div><div><br></div><div>Increasing the number of extra components (M) e.g. increasing (N-K) serves to increase the exponent in the formula.  The base of this exponent is the ratio of (F / R), either decreasing repair time, or increasing the mean time between component failures is equally important.</div><div><br></div><div>For a replication based system, K=1, while N=replica count.  For erasure coded systems, K and N are arbitrary, so long as 1 <= K <= N.</div><div><br></div><div>To give some common examples for modern data storage systems, a hard drive with a 4% Annual Failure Rate has F = 25 years.  Rebuilding a drive that has failed requires replacement of the drive and reconstructing its lost data. The time for this is based on the throughput of the drive, the time to read K other drives, and reconstruct the data in relation to how large the drive is.  For drives around 8 TB with 200 MB/s throughput, this is minimally 11 hours, but more typically 3 - 5 days (since the other drives are busy serving normal reads at the same time).</div><div><br></div><div>What this means is that a single drive system with no redundancy has a mean time to data loss of:</div><div><br></div><div><b><a href="https://www.google.com/search?ei=KIh8W8GjOcrIjwTYsq_wCw&q=25+years+%2F+%281+*+%281+choose+1%29%29+*+%2825+years+%2F+3+days%29%5E%281+-+1%29&oq=25+years+%2F+%281+*+%281+choose+1%29%29+*+%2825+years+%2F+3+days%29%5E%281+-+1%29&gs_l=psy-ab.3...155202.157531.0.157763.4.4.0.0.0.0.105.231.2j1.3.0....0...1c.1.64.psy-ab..1.0.0....0.f373FrMpd7w">25 years / (1 * (1 choose 1)) * (25 years / 3 days)^(1 - 1) = 25 years / 1 * (25 years / 3 days)^0</a> = 25 years</b></div><div><br></div><div>A system of two copies of drives, has a mean time to data loss of:</div><div><br></div><div><b><a href="https://www.google.com/search?q=25+years+%2F+(1+*+(2+choose+1))+*+(25+years+%2F+3+days)%5E(2+-+1)&oq=25+years+%2F+(1+*+(2+choose+1))+*+(25+years+%2F+3+days)%5E(2+-+1)">25 years / (1 * (2 choose 1)) * (25 years / 3 days)^(2 - 1) = (25 years / 2) * (25 years / 3 days)^1</a> = 38,046 years</b><br></div><div><br></div><div>A system of 3 drives, with 2 redundancies (e.g. RAID 6), has a mean time to data loss of:</div><div><br></div><div><b><a href="https://www.google.com/search?ei=yoh8W_T_Joy-jwTkuKGgDQ&q=25+years+%2F+%283+*+%285+choose+3%29%29+*+%2825+years+%2F+3+days%29%5E%285+-+3%29&oq=25+years+%2F+%283+*+%285+choose+3%29%29+*+%2825+years+%2F+3+days%29%5E%285+-+3%29&gs_l=psy-ab.3...90563.90563.0.91023.1.1.0.0.0.0.132.132.0j1.1.0....0...1c.2.64.psy-ab..0.0.0....0.kujbr_lk51A">25 years / (3 * (5 choose 3)) * (25 years / 3 days)^(5 - 3) = (25 years / 30) * (25 years / 3 days)^2</a> = 7,720,015 years</b><br></div><div><br></div><div><br></div><div>Note, however, that a mean time to data loss (MTTDL) does not mean there will be no failure for that period of time.  It is a statistical measurement with a very specific meaning. If the MTTDL were 25 years, it means that if you had 25 such systems, and ran all 25 for 1 year, you would expect one of them to fail.  Failures are random and can happen at any time.  To estimate the probability of a failure occuring over a given period of time, you use the following formula:</div><div><br></div><div>Probability of Data Loss = 1 - e^(-time / MTTDL)</div><div><br></div><div>So the two-copy system above, with a MTTDL of 38,000 years would have:</div><div><br></div><div>Over 1 year:<a href="https://www.google.com/search?ei=Zop8W5erMKzbjwTs7qXQBg&q=1+-+e%5E%28-1+year%2F38%2C000+years%29+in+percent&oq=1+-+e%5E%28-1+year%2F38%2C000+years%29+in+percent&gs_l=psy-ab.3..33i160k1l3.61505.64041.0.64159.13.12.0.0.0.0.179.1071.3j5.8.0....0...1c.1.64.psy-ab..5.5.796...33i21k1.0.GrFAasEfoYk"> 1 - e^(-1 year/38,000 years)</a> = 0.002631544% change of data loss</div><div><br></div><div>Over 10 years: <a href="https://www.google.com/search?ei=p4p8W43IMMnVjwSSvrGADA&q=1+-+e%5E%28-10+years%2F38%2C000+years%29+in+percent&oq=1+-+e%5E%28-10+years%2F38%2C000+years%29+in+percent&gs_l=psy-ab.3...42584.43805.0.44204.2.2.0.0.0.0.89.160.2.2.0....0...1c.1.64.psy-ab..0.0.0....0.xVyeNsZ3ESY"> 1 - e^(-1 year/38,000 years)</a> = 0.0263123272% change of data loss</div><div><br></div><div>Over 500,000 years: <a href="http://1 - e^(-500000 years/38,000 years) in percent"> 1 - e^(-1 year/38,000 years)</a> = 99.999807% change of data loss<br></div><div><br></div><div><br></div><div>Extropians, if they are to have lifetimes measured in billions of years, need to design substrates with MTTDL's many orders of magnitude greater than a billion years, to have a high chance of surviving that long.  Even then, there is still no guarantee that you won't get unlucky and suffer a data loss event before MTTDL has elapsed, in fact, 63% of the time this happens (a failure before MTTDL time has passed). This is given by (1 - e^(-1/1)) ~= 63%.</div><div><br></div><div>Fortunately, it is not hard to make MTTDL obscenely high.  For example, setting K = 100 and N = 200.  Using erasure codes, this only has a the overhead of 2 copies, but results in a system that can tolerate 100 concurrent faults.  With hard drives with the parameters given above, you gain about a 100X improvement in MTTDL for each increase of M by 1.  A system with M = 100 based on components with similar failure and rebuild times as hard drives could have a MTTDL on the order of 1 followed by 200 zeros.</div><div><br></div><div>Jason</div></div></div>