<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Sun, Jun 15, 2014 at 3:29 PM, Anders Sandberg <span dir="ltr"><<a href="mailto:anders@aleph.se" target="_blank">anders@aleph.se</a>></span> wrote:<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div><div><br></div><div>Basically, I think this points towards external rational adversaries being relatively manageable. Singleton civilizations also prevent internal adversaries. The problem is the case where irrational adversaries are around (burning cosmic commons, the google-prime calculator), the case of utility functions that depend on each other (zorgons love to simulate humans in agony; our utility is decreased by theirs), and non-singleton civilizations where internal adversaries evolve. Have I missed anything?</div>
</div></blockquote><div><br></div><div>### Long term storage of mass is tricky - you want to avoid formation of stars and black holes, so you can't make it too dense but you don't want the expansion to rip stuff away, so you have to make it dense enough - and of course, higher density means shorter communication lines for your computations. But this matter soup might be an ideal broth for space grey goo. An external or internal adversary with high time preference might be hard to resist. Grey goo's rationality is starkly at odds with maximizing computational capacity of the lightcone.</div>
<div><br></div><div>Rafal</div></div>
</div></div>