<div dir="ltr"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 12 Sept 2025 at 11:54, BillK <<a href="mailto:pharos@gmail.com" target="_blank">pharos@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Terminators: AI-driven robot war machines on the march<br>
Science fiction? Battle bots already used in Ukraine.<br>
Steven J. Vaughan-Nichols   Fri 12 Sep 2025<br>
<br>
<<a href="https://www.theregister.com/2025/09/12/terminators_aidriven_robot_war_machines/" rel="noreferrer" target="_blank">https://www.theregister.com/2025/09/12/terminators_aidriven_robot_war_machines/</a>><br>
------------------------------</blockquote><div><br></div><div><br></div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default">I asked CHATGPT-5 to explain more about the dangers of AI-controlled weapons.</div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default">The answer was rather frightening. </div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default">BillK</div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default"><br></div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default">CHATGPT-5:</div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default"><p>Alright, let’s slow it down and walk through both sets of risks — the ones <i>The Register</i> article explicitly pointed out, and the extra ones I added that sit just under the surface.</p>
<hr>
<h2><b>Risks the article itself highlighted</b></h2>
<ol><li>
<p><b>Misidentification of targets</b></p>
<ul><li>
<p>AI systems rely on sensors and pattern recognition. In the chaos of battle (smoke, debris, unusual angles), they may confuse a civilian car for a military one, or mistake surrendering soldiers for combatants.</p>
</li><li>
<p>Once that happens, the system can act faster than a human can intervene.</p>
</li></ul>
</li><li>
<p><b>Delegation drift (“humans in theory, machines in practice”)</b></p>
<ul><li>
<p>Militaries insist on keeping humans in the loop, but in high-speed engagements, operators often defer to AI judgments because reaction times are too short.</p>
</li><li>
<p>This creates a <i>slippery slope</i>: formally, there’s oversight; in practice, the machine is calling the shot.</p>
</li></ul>
</li><li>
<p><b>Encoding of human bias</b></p>
<ul><li>
<p>AI is trained or parameterized using human input. If biases are built in (for example, labeling certain groups as “suspicious”), the AI can reproduce or even amplify those prejudices.</p>
</li><li>
<p>Unlike a human officer, the AI can’t contextualize or show discretion once its rules are set.</p>
</li></ul>
</li><li>
<p><b>Civilian harm</b></p>
<ul><li>
<p>Even small errors in target selection can have massive humanitarian impact. Drone swarms or autonomous munitions don’t “second-guess” — they act.</p>
</li><li>
<p>This risk is especially acute in urban battlefields where fighters and civilians are mixed.</p>
</li></ul>
</li><li>
<p><b>Escalation risk</b></p>
<ul><li>
<p>The article mentions war-gaming studies where AI systems tend to escalate conflicts more aggressively than humans would.</p>
</li><li>
<p>Faster machine decision cycles can lead to tit-for-tat responses spiraling before humans even realize what’s happening.</p>
</li></ul>
</li></ol>
<hr>
<h2><b>Additional risks that weren’t fully unpacked</b></h2>
<ol><li>
<p><b>Error cascades</b></p>
<ul><li>
<p>One bad decision by an autonomous system can ripple outward. Example: a drone misidentifies a truck, destroys it, cutting off communication. Other systems interpret the blackout as enemy jamming, escalating further.</p>
</li><li>
<p>Machines chained together can amplify mistakes faster than humans can step in.</p>
</li></ul>
</li><li>
<p><b>Adversarial misuse / hacking</b></p>
<ul><li>
<p>AI systems can be tricked (adversarial attacks) or hijacked. Imagine painting symbols on a roof that fool a drone’s vision into thinking it’s a friendly target, or jamming GPS so it mis-navigates.</p>
</li><li>
<p>If hacked, the weapon can literally be turned against its owner.</p>
</li></ul>
</li><li>
<p><b>Arms race dynamics</b></p>
<ul><li>
<p>Nations may feel pressured to <i>out-automate</i> rivals. The faster one side delegates control to machines, the more others will follow — not wanting to be left behind.</p>
</li><li>
<p>This speeds up the adoption of immature, poorly tested systems, raising accident risks.</p>
</li></ul>
</li><li>
<p><b>Lower threshold for conflict</b></p>
<ul><li>
<p>Cheap, autonomous weapons (like drone swarms) reduce the political cost of war — fewer soldiers at risk. That makes it easier for leaders to say “yes” to escalation.</p>
</li><li>
<p>The psychological barrier to launching attacks gets thinner.</p>
</li></ul>
</li><li>
<p><b>Accountability vacuum</b></p>
<ul><li>
<p>If an autonomous system commits a war crime (say, bombing civilians), who’s responsible?</p>
<ul><li>
<p>The commander who deployed it?</p>
</li><li>
<p>The coder who wrote the targeting software?</p>
</li><li>
<p>The company that manufactured it?</p>
</li></ul>
</li><li>
<p>Right now, international law has no clear answers, which risks a culture of impunity.</p>
</li></ul>
</li><li>
<p><b>Norm erosion</b></p>
<ul><li>
<p>Even if current doctrine insists on human oversight, repeated use of semi-autonomous systems normalizes pushing the boundaries. Over time, the “line” of acceptable use moves quietly forward until full autonomy is the de facto norm.</p>
</li></ul>
</li></ol>
<hr>
<h2><b>Why these matter together</b></h2>
<p>The picture isn’t just “AI might make mistakes.” It’s a <b>systemic risk stack</b>:</p>
<ul><li>
<p>AI speeds up decisions.</p>
</li><li>
<p>Humans struggle to stay in the loop.</p>
</li><li>
<p>Errors and biases scale up faster.</p>
</li><li>
<p>Opponents exploit weaknesses.</p>
</li><li>
<p>Political leaders face fewer costs to escalate.</p>
</li><li>
<p>Meanwhile, no one’s clearly accountable when it all goes wrong.</p>
</li></ul>
<p>That’s the cocktail that makes AI-driven weapons scarier than just “smarter missiles.</p><p><b>------------------------------------------------------</b></p></div></div></div>
</div>
</div>