<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 14 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:"Comic Sans MS";
        panose-1:3 15 7 2 3 3 2 2 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri","sans-serif";}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>>…</span></b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> <b>On Behalf Of </b>Kelly Anderson<br><b>Subject:</b> Re: [ExI] malevolent machines<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p> </o:p></span></p><div><div><div><p class=MsoNormal><span style='font-size:14.0pt'>On Tue, Apr 8, 2014 at 5:14 PM, William Flynn Wallace <<a href="mailto:foozler83@gmail.com" target="_blank">foozler83@gmail.com</a>> wrote:<o:p></o:p></span></p><div><div><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Comic Sans MS";color:#1F497D'>>>…</span><span style='font-size:11.0pt;font-family:"Comic Sans MS";color:#0B5394'>We all know that all of our machines are out to get us and frustrate us in various ways, but is it really possible?  </span><span style='font-size:11.0pt;font-family:"Comic Sans MS";color:#1F497D'>…</span><span style='font-size:7.0pt'><o:p></o:p></span></p></div></div><div><p class=MsoNormal><span style='font-size:7.0pt'> <o:p></o:p></span></p></div><blockquote style='border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in'><div><div><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Comic Sans MS";color:#0B5394'>Unless there is something really important that I don't know about computers, it seems to me that having a machine 'wake up' like Mike in Heinlein's The Moon is a Harsh Mistress, is just absurd.  It does what it is programmed to do and cannot do anything else.  Any other function is just some sort of mystical belief that is paradoxically held by hard scientists.  Comments?  billw<o:p></o:p></span></p></div></div></blockquote><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal><span style='color:#1F497D'>>…</span>Bill,<span style='color:#1F497D'> </span>Most people who study consciousness believe that it is an emergent quality. Emergence is mysterious in some ways, but well understood in others. <span style='color:#1F497D'>…</span>-Kelly<span style='color:#1F497D'><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>For war machinery, it wouldn’t need to be emergent to be malevolent.  Imagine for instance a quadruped robot like this one:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><a href="http://www.youtube.com/watch?v=W1czBcnX1Ww">http://www.youtube.com/watch?v=W1czBcnX1Ww</a><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>The Big Dog is noisy, but we could easily make one that is silent, if we would accept that it moves slowly.  It would be easy to mount a small caliber weapon on one of these, outfit it with an infrared detector and image recognition software, a fairly simple program that instructs it to walk up to within a couple hundred meters of the enemy encampment in the night and just shoot anything it recognizes as human or has a human IR signature.  It could fire off a few dozen rounds, then walk away into the darkness.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>There is nothing in this scenario outside of current technological capability.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Something like that would be difficult to defend against.  Its own IR signature could be minimized, as well as its radar cross section.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>spike<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p></div><div><p class=MsoNormal><o:p> </o:p></p></div></div></div></div></div></body></html>