<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Jan 3, 2014 at 6:35 PM, Anders Sandberg <span dir="ltr"><<a href="mailto:anders@aleph.se" target="_blank">anders@aleph.se</a>></span> wrote:</div>
<div class="gmail_quote"><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Exactly. However, partial transparency might not work: a mind that has transparent part X and opaque part Y might have X sincerely willing to fulfil an obligation, but X+Y is not. There are ways around it, though. If you are OK with "spurs", temporary short branches that get deleted, then you and your negotiation partner might send spurs into an encrypted black box where they credibly bare their minds to each other, check that they both agree, and then send a cryptographically signed agreement bit out before being deleted. That way you can show somebody a secret you know, and he can offer you a fair price for it, without the secret being leaked if there is no trade.</blockquote>
<div><br></div><div>### I have no problems making (or being) a discardable copy but I doubt that this would allow verifiable commitment, at least not without a lot of additional conditions being met. Your spur could be doctored, with your real self having hidden compartments, invisible to introspection but activated in some situations only. Imagine that most of the time you are your sunny good-natured self, your copies get along splendidly with others and cannot be tricked to show the dark side, since they have none. But, the real yous, under the right conditions (e.g. chance of a big win, resource grab, or conversely, risk of crippling resource loss) suddenly change - they renege on contracts, grow horns and a tail, and raise hell. </div>
<div><br></div><div>I don't know what technology might be needed to preclude this type of deception. The whole issue boils down to property relationships between different aspects of minds (thoughts) and resources. A mind owns a resource if no other mind (even a "subconscious" thought) can take the resource against its will - so somebody reading the mind and understanding its will can be assured the resource will only be used appropriately. If a different version of the same mind (in the sense of altered desires, not just an identical copy) can use the resource, then deception is possible and potentially lucrative.</div>
<div><br></div><div>It's a difficult problem.</div><div><br></div><div>Rafal</div><div> </div></div>
</div></div>