
<html><head></head><body><div><span data-mailaddress="rafal.smigrodzki@gmail.com" data-contactname="Rafal Smigrodzki" class="clickable"><span title="rafal.smigrodzki@gmail.com">Rafal Smigrodzki</span><span class="detail"> <rafal.smigrodzki@gmail.com></span></span> , 28/4/2015 11:19 PM:<br><blockquote class="mori" style="margin:0 0 0 .8ex;border-left:2px blue solid;padding-left:1ex;"><div><div class="mcntgmail_extra"><div class="mcntgmail_quote">On Tue, Apr 28, 2015 at 4:54 AM, Anders Sandberg <span><<a href="mailto:anders@aleph.se" target="_blank" title="mailto:anders@aleph.se" class="mailto">anders@aleph.se</a>></span> wrote:</div><div class="mcntgmail_quote"><br></div><div class="mcntgmail_quote"><span style="font-size:12.8000001907349px;">von Neumann probes also show how you can maintain the "unfailing will" - just outsource it to your machinery while you sleep. They can implement your policy, and wake up the nightguard when something unexpected happens.</span><br><div><br></div><div>### We are talking about an abyss of time. Will it be possible to assure flawless functioning of a an intelligence, whether you call it a machine or an upload, over a trillion of years? A machine capable of detecting new parasites, ones it has never seen before, therefore in need of a flexibility, careful calibration of behaviors in response to a never ending barrage of new threats?</div></div></div></div></blockquote></div><div><br></div><div>That depends on your tradeoffs. von Neumann systems do not have to be smart to do their work, and you can ensure their replication (and software) fidelity to an arbitrary degree using checksums - if you want one error in 10^100, you can get it. And for most purposes you likely do not need systems smarter than a dog. Having higher order smarter systems to coordinate when things look strange imposes a bit more uncertainty, but if they only get activated when needed the total amount of instance-hours can be pretty small. Many of the ideas in AI safety and control are likely applicable here for making them both flexible and rigidly adherent to certain goals. </div><div><br></div><div>Note that one can continue this chain, with a smarter exception handler for every level. The upper 1-2 levels would be the original Old Ones or their singleton. The smarter something is, the harder it is to ensure reliability and loyalty (unless we succeed with FAI very well), but it doesn't have to be used as much. I think it is likely the total amount of processing-hours performed on different levels declines exponentially with height in this model.</div><div><br></div><br><div><blockquote class="mori" style="margin:0 0 0 .8ex;border-left:2px blue solid;padding-left:1ex;"><div><div class="mcntgmail_extra"><div class="mcntgmail_quote"><div>### I may have been speaking in an obscure way, actually thinking about the future, not the present - I believe that the Old Ones have not been born yet, unless some of us get stupendously lucky :)</div></div></div></div></blockquote></div><div><br></div><div>Working on it :-)</div><br><div><blockquote class="mori" style="margin:0 0 0 .8ex;border-left:2px blue solid;padding-left:1ex;"><div><div class="mcntgmail_extra"><div class="mcntgmail_quote"><div></div></div></div></div></blockquote></div><br><br>Anders Sandberg, Future of Humanity Institute Philosophy Faculty of Oxford University</body></html>