<br><br>
<div><span class="gmail_quote">On 2/26/07, <b class="gmail_sendername">Jef Allbright</b> <<a href="mailto:jef@jefallbright.net" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">jef@jefallbright.net
</a>> wrote:</span></div>
<div><span class="gmail_quote"></span> </div>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;">On 2/25/07, Stathis Papaioannou <<a href="mailto:stathisp@gmail.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">
stathisp@gmail.com</a>> wrote:<br>
> On 2/26/07, Jef Allbright <<a href="mailto:jef@jefallbright.net" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">jef@jefallbright.net</a>> wrote:<br>> > While it's fashionable and considered by some to be the height of
<br>> > morality to argue that all preferences are equally valid, it is
<br>> > morally indefensible.<br>><br>> For a start, it's difficult to define morality in any sense come the<br>> singularity.<br><br>I would agree there's virtually zero likelihood of successfully
<br>
predicting where specific actions would fall on a scale of morality<br>post-singularity.  But I think we can speak with increasing confidence<br>about what principles will apply to decisions about the relative<br>morality of specific actions--even post-singularity.  It's all about
<br>promoting (qualified) growth.</blockquote>
<div> </div>
<div>Post-singularity there would still be scope for moral behaviour towards the non-singularity universe, but I think the concept of morality within the singularity collapses. Conceivably one posthuman might try to delete or alter every copy of another posthuman, but it is difficult to see where the motivation to do this might come from when you have all the delights of heaven at your disposal.
<br> </div>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;">> If we live on a distributed computer network as near-gods we<br>> are physically invulnerable and psychologically invulnerable. Physically
<br>> invulnerable short of a planet- or solar system- or galaxy-destroying event;<br><br>I don't think invulnerability is ever effectively achievable.<br>Increasingly complex systems tend to develop increasingly subtle
<br>failure modes, and these will remain a concern.  Threats from outside,<br>both natural (gamma ray burster?) and competitive will continue to<br>drive improvements in system design as long as there's an entity<br>
present to care about its own future growth.  If you're referring to
<br>maintaining a static representation of humanity, however,   then the<br>problems become a non-issue since there's no future context to<br>consider.  In that case you might as well write your date out to<br>Slawomir's diary and be done.
</blockquote>
<div> </div>
<div>I would have thought you could be very safe on a distributed network, far safer than any single machine or organism could be. This is not the same as true invulnerability, but the wider the network is distributed, the closer it comes to this ideal.
<br>
</div><br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;">> psychologically invulnerable because if we don't like the way we feel, we<br>> can change it. If we suffer it will be because, perversely, we enjoy
<br>> suffering.<br><br>I think that claim is conceptually incoherent, but will save that for<br>another discussion.<br><br><br>> It's not even like someone who is depressed and self-harms, or is<br>> addicted to drugs: they don't really have a choice, but if they could decide
<br>> whether or not to be depressed as easily as they could decide between<br>> chocolate or vanilla ice-cream, that would be a different matter.<br><br>Such considerations are paradoxical unless one adopts a third-person,
<br>systems-oriented POV.</blockquote>
<div><br>You mean I look at myself as a third person? I suppose you could describe it that way, since if I modify my own mind I am both subject and object. 
</div>
<div> </div>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;">> > It's even more irksome than teleological references to "evolutionary<br>
> > goals and subgoals."
<br>><br>><br>> Fair enough, evolution doesn't really "want" anything from its creatures.<br>> However, we do have drives, which boil down to optimising the pleasure/pain<br>> equation (broadly construed: the pleasure of sleeping in and not going to
<br>> work is outweighed by the pain of explaining my laziness to people and<br>> running out of money, so I decide to go to work), even if these drives do<br>> not end up leading to "adaptive" behaviour.
<br><br>Here's where you and I go around and around due to fundamentally<br>different models.  To me it makes much better sense to understand the<br>organism acting in accord with its nature, and consciousness going<br>

along for the ride.  You continue to keep consciousness in the main<br>loop.</blockquote><div><br>Of course that's what happens: I can hardly decide to act differently to what my brain tells me to act, nor can my brain can't act in any way other than that dictated by physical laws. I know that both free will and its partial absence - the feeling that I have less control over my behaviour than I would like - are illusory, because whatever decision I make, I am bound to make. Nevertheless, I would like to continue having positive illusions: that I will remain conscious from moment to moment as myself, that I have control over my actions, that I could have acted differently had I wanted to. People watch films and convince themselves that the characters on the screen are not only in continuous motion, but real people about whom they care, so what's wrong with telling myself a few lies about my own mind?
<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;">> The problem is, although we can<br>> struggle against the drives, which means pushing the pain/pleasure equation
<br>> in a certain deirection, we can't arbitrarily and without any fuss just
<br>> decide to change them. If we understood enough about our minds to transfer<br>> them to computers, and probably well before then, we could do this, and at<br>> that point the human species as we know it would end.
<br><br>Yes, well, I agree with your statement within its intended context,<br>but I would consider humanity to be already significantly defined by<br>its culture, and thus you could say that original humanity has already
<br>ended, or (as I do) view the current phase as just one point along an<br>extended path of development.</blockquote><div><br>OK, but I think the point where we are able to directly access and modify the source code of our minds will be the most important change since the development of language. 
<br><br>Stathis Papaioannou<br></div><br><br>