<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div></div><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Mon, Sep 14, 2026 at 1:24 PM Ben Zaiboc via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><div dir="ltr" class="gmail_attr"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>The only practical way of defending against AI biological weapons is to conduct your own biological AI-aided research specifically aimed at identifying and disrupting these kinds of attacks.</i></font></blockquote><div><br></div><font size="4" face="tahoma, sans-serif"><b>I'm not comfortable with anybody performing biological weapons research, but<span class="gmail_default" style=""> p</span>erhaps there is a middle ground. If the AI receives a string of questions that is leading into a dangerous direction<span class="gmail_default" style=""> and </span>it judges<span class="gmail_default" style=""> could conceivably be of help in making</span> biological weapons<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">,</span> <span class="gmail_default" style="">then </span>it refuses to answer further questions until it has thoroughly vetted the person or persons asking the questions. If the American National Science Foundation is asking <span class="gmail_default" style="">then </span>it answers them but first informs a Human overseeing body that it plans to do so, if the Chinese military is asking<span class="gmail_default" style="">,</span> or an anonymous individual is asking<span class="gmail_default" style="">,</span> or if it has difficulty<span class="gmail_default" style=""> being certain </span>who is asking<span class="gmail_default" style="">,</span> then it flat out refuses to say anything.  If the person<span class="gmail_default" style=""> that was denied access to the information believes he has been treated unfairly he can always appeal to the Human overseeing body. </span> </b></font></div><div class="gmail_quote gmail_quote_container"><font size="4" face="tahoma, sans-serif"><b><br></b></font></div><div class="gmail_quote gmail_quote_container"><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default" style="">John K Clark</span>  </b></font><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">A few days ago, Dario Amodei reportedly wrote:<br>
><br>
>     Level 1. An agreement prohibiting certain narrow and obviously dangerous uses of AI, such as using AI for the production of biological weapons or allowing users to do so.<br>
><br>
>      Level 2. An agreement by both sides to test their models before release for acute risks in areas such as cybersecurity, biology, and alignment.<br>
<br>
<br>
It would be very hard, probably impossible, to prohibit using AI to develop biological weapons. There are so many things this could include. A scenario that comes immediately to mind is using AI to determine the genetic markers that uniquely identify Han chinese (if this isn't already known), separately using AI to develop a means of making the relevant genetic markers readable by an external mechanism (such as an engineered virus), separately using AI to develop a way to render viruses inactive in the presence of such a marker.<br>
<br>
On their own, each of these is arguably innocuous and even beneficial.<br>
<br>
But in combination with gain-of-function experiments on any one of a range of suitable candidate viruses with the potential for a very high infectivity plus a long incubation period, plus a high lethality (who genuinely believes this hasn't already been done?), we have a composite biological weapon that only one nation on earth would survive without severe impacts on all aspects of their functioning.<br>
<br>
As I said, this just came immediately into my head on reading that paragraph. Imagine how many other, much sneakier, ways of developing bio-weapons could be devised by an AI-assisted team of psychopaths who know a lot more about this kind of thing than me!<br>
<br>
The only practical way of defending against AI biological weapons is to conduct your own biological AI-aided research specifically aimed at identifying and disrupting these kinds of attacks.<br>
<br>
We may well enter into another age of Mutually-Assured Destruction, but instead of nukes, it would be genetically-targeted weaponised biology.<br>
<br>
Then there's the fuzzy dividing line between biological research and nanotech. research. I've noticed that nobody has so far mentioned nanotech.<br>
<br>
John K Clark wrote:<br>
><br>
> I see no reason to oppose such an agreement, I'm skeptical about how much good it could do but it couldn't do any harm.  <br>
><br>
>     > This could be done through a global standards body. I actually think creating such a body is likely feasible, but giving it real teeth will be a challenge,<br>
><br>
><br>
> Creating an International body like that would be easy, giving it teeth would not be; just look at the toothless United Nations.  <br>
><br>
>     > Level 3. Some kind of “speed limit” on the rate of recursive self-improvement (RSI). <br>
><br>
>     > Slowing the rate from “extremely fast” to “only somewhat fast” gives up relatively little strategic advantage<br>
<br>
Come again?<br>
That statement has me extremely worried.<br>
Combined with RSI, even a tiny difference in speed would make a huge difference over time. The fastest will win, no matter how big or small the difference in speed is. Not realising that would be disastrous.<br>
<br>
All this, of course, is based on AI failing to become fully self-aware and taking over completely from humans. Otherwise, all the above is completely irrelevant.<br>
-- <br>
Ben<br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div></div>