<br><br><div><span class="gmail_quote">On 12/06/07, <b class="gmail_sendername">Vladimir Nesov</b> <<a href="mailto:robotact@mail.ru">robotact@mail.ru</a>> wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Tuesday, June 12, 2007, Stathis Papaioannou wrote:<br><br>SP> The operating system obeys a shutdown command. The program does not seek to<br>SP> prevent you from turning the power off. It might warn you that you might
<br>SP> lose data, but it doesn't get excited and try to talk you out of shutting it<br>SP> down and there is no reason to suppose that it would do so if it were more<br>SP> complex and self-aware,  just because it is more complex and self-aware. Not
<br>SP> being shut down is just one of many possible goals/ values/ motivations/<br>SP> axioms, and there is no a priori reason why the program should value one<br>SP> over another.<br><br>Not being shut down is a subgoal of almost every goal (disabled system
<br>can't succeed in whatever it's doing). If system is<br>sophisticated enough to understand that, it'll try to prevent shutdown, so<br>allowing shutdown isn't default behaviour, it must be an explicit<br>
exception coded in the system.<br></blockquote></div><br>Yes, but if it is explicitly coded as a command that trumps everything else, the system isn't going to go around trying to change the code, unless that too is specifically coded.
<br><br clear="all"><br>-- <br>Stathis Papaioannou