<div class="gmail_quote">On 10 September 2012 15:02, Ben Zaiboc <span dir="ltr"><<a href="mailto:bbenzai@yahoo.com" target="_blank">bbenzai@yahoo.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Religion causes the biggest conflicts here, of course, but even if you ignore religious 'morality', there are still some pretty big differences of opinion.  Murder is bad.  Yes, of course.  But is it always bad?  Opinions differ.  When is it not bad?  Opinions differ widely.  Thieving is bad.  Yes, of course.  But is it always bad? Opinions differ.  Etc.<br>
</blockquote><div><br>Even before entering the field of exonerating or mitigating circumstances, the question of course is: what is murder? Basically, and in the broadest sense (inclusive, eg, of manslaughter) it is illegal killing, but this is an obvious tautology, which does not help in the least with regard to any minimally controversial scenario (embryos? people demanding assistance for suicide? slaves? miscreants? terminal patients? cerebral-death patients? animals? plants? armed enemy forces in war scenarios? death-sentenced convicted felons? people allowed to engage in dangerous sports? people sacrificed to save a larger number of lives? Turing-qualified AIs or emulations of existing people? cryo-turists? cryo-patients?).<br>
<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

The question still remains:  What would constitute ethical behaviour for a superintelligent being?  I suspect we have no idea.  We can't assume it would just take our ideas as being correct (assuming it could even codify a 'universal human ethics' in the first place).  It would almost certainly create its own from scratch.<br>
</blockquote></div><br>One wonders in the first place why "superintelligent beings" should be more in agreement amongst them about ethical dilemma than we are. This assumes that ethical predicates can be "calculated", something which is of course just the umpteenth variant of the naturalistic fallacy (no "ought" can be inferred from any "is").<br>
<br>-- <br>Stefano Vaj<br>