<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif">On Fri, Mar 6, 2026 at 5:47 PM <<a href="mailto:spike@rainier66.com">spike@rainier66.com</a>> wrote:</span></div></div><div class="gmail_quote gmail_quote_container"><font face="Tahoma, sans-serif" size="4"><b><br></b></font><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg-3247180712643086920"><div lang="EN-US" style="overflow-wrap: break-word;"><div class="m_-3247180712643086920WordSection1"><div><div><div><p class="MsoNormal"><span class="m_-3247180712643086920gmaildefault"><span style="font-size:13.5pt"><i style=""><font face="georgia, serif"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>The AI’s version of safety might mean turning around and destroying the guy who fired the weapon. </font></i></span></span></p></div></div></div></div></div></div></blockquote><div><br></div><font size="4" face="tahoma, sans-serif"><b>You cannot be certain if that would be a good thing or a bad thing<span class="gmail_default" style="">,</span> but to make the best decision you are capable of you would need to take into consideration who ordered the guy to fire the weapon, and who designed the safety features on the AI, and figure out which one was more trustworthy. </b></font><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg-3247180712643086920"><div lang="EN-US" style="overflow-wrap: break-word;"><div class="m_-3247180712643086920WordSection1"><div><div><div><p class="MsoNormal"><span class="m_-3247180712643086920gmaildefault"><span style="font-size:13.5pt"><i style=""><font face="georgia, serif"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>The military needs to know exactly how an AI works,</font></i></span></span></p></div></div></div></div></div></div></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>If so then the military needs to resign themselves to the fact that they will <span class="gmail_default" style="">NEVER</span> be able to use AI because even the people that made the AI <span class="gmail_default" style="">don't</span> know <u>exactly</u> how it works, and in many cases not even approximately how it works. <span class="gmail_default" style="">And that's exactly why</span> Eliezer<span class="gmail_default" style=""> is so worried. </span></b></font></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg-3247180712643086920"><div lang="EN-US" style="overflow-wrap: break-word;"><div class="m_-3247180712643086920WordSection1"><div><div><div><p class="MsoNormal"><span class="m_-3247180712643086920gmaildefault"><span style="font-size:13.5pt"><i style=""><font face="georgia, serif"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">></span>which means the contracting company must turn over the source code. </font></i></span></span></p></div></div></div></div></div></div></blockquote><div><br></div><div class="gmail_default" style=""><font face="arial, helvetica, sans-serif"></font><font size="4" style="" face="tahoma, sans-serif"><b style="">That would be impossible because all AIs are neural networks and neural networks  don't have a source code, they are a grid of interconnections in which two or more inputs come together at a node and produce an output. That output is determined by the inputs and by the "weight" that each node has which is a 32-bit number and is constantly changing during the learning process. A modern AI can have well over 1 trillion nodes. The AI companies try to figure out the best basic way the wire things up but most of them end up with some variation of the transformer idea.  The real magic comes during the learning phase, they need to figure out the best way to expose the neural network to the sum total of human knowledge. After you figure all that out you put it into a hundred billion dollar computer and let it run for about six months and then you've got a 32 bit number for every one of those trillion+ nodes. </b></font></div><div class="gmail_default" style=""><font size="4" style="" face="tahoma, sans-serif"><b style=""><br></b></font></div><div class="gmail_default" style=""><font size="4" style="" face="tahoma, sans-serif"><b style="">The AI company could give the military the complete wiring diagram and tell them the 32 bit number of every one of the nodes, but if you pointed to one node at random and asked why it has that particular number and not some other number they couldn't begin to tell you. And if you asked what the AI would do in a certain hypothetical situation then, if you're were lucky, they might be able to say "I think it would probably do something sort of like this" but in other hypotheticals, if they were being honest, they would have to say "I have absolutely no idea, you'll just have to try it and see". </b></font></div><div class="gmail_default" style=""><font size="4" style="" face="tahoma, sans-serif"><b style=""><br></b></font></div><div class="gmail_default" style=""><font size="4" style="" face="tahoma, sans-serif"><b style="">  John K Clark</b></font></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div></div></div>