<div dir="ltr"><div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif">On Mon, Oct 6, 2025 at 4:35 PM Adrian Tymes via extropy-chat <</span><a href="mailto:extropy-chat@lists.extropy.org" target="_blank" style="font-family:Arial,Helvetica,sans-serif">extropy-chat@lists.extropy.org</a><span style="font-family:Arial,Helvetica,sans-serif">> wrote:</span></div></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr"><br></div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>There is room for smaller AIs to self-replicate onto a lot more<br></i><i>platforms, but those smaller AIs need to be able to self-improve to<br></i><i>pull off something like this scenario, and those who are running<br></i><i>self-improving AIs generally don't see the point in using smaller AIs<br></i><i>for their work.</i></blockquote><div><br></div><font size="4" face="tahoma, sans-serif"><b>A small<span class="gmail_default" style="">er</span> model doesn't necessarily mean a less capable model thanks to a technique that has <u style="">already</u> proven itself to be <u style="">very effective</u> called "AI distillation". A smart but large and therefore expensive to operate AI is used to teach a much smaller AI with far fewer parameters. The goal is for the small model to mimic the behavior of the large model, and there is something called <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">"</span>a distillation loss  function<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">"</span> that grades and tells the small model<span class="gmail_default" style="font-family:arial,helvetica,sans-serif"> </span>how well it<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">'s</span> doing<span class="gmail_default" style="">,</span> and it is not just pass or fail<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">.</span> </b></font></div><div dir="ltr"><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></b></font></div><div dir="ltr"><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"></span></b></font><font size="4" face="tahoma, sans-serif"><b>For example if it needs 20 steps to solve a problem and got all of them correct except for step 17 where it got a decimal point wrong then it would still get a pretty high grade because it understands the general idea, and the large model would explain to the small model what its error is and why it didn't get a perfect grade. After many computations and enough electricity to power a small city for a couple of<span class="gmail_default" style=""> </span>months the small model is as smart as the large model but is faster and much cheaper to operate.<span class="gmail_default" style=""> And as I've said none of this is hypothetical, it's already been used to great effect. </span></b></font></div><div dir="ltr"><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></font></div><div dir="ltr"><font size="4" face="tahoma, sans-serif"><span class="gmail_default" style=""><b style="">Then you take several of those small models and teach them to be specialists, you link those agents together with a mechanism that decides which specialist would be best to answer the question and you have a new large model. And then you do another AI distillation. </b></span></font></div><div dir="ltr"><font size="4" face="tahoma, sans-serif"><span class="gmail_default" style=""><b><br></b></span></font></div><div><font size="4" face="tahoma, sans-serif"><span class="gmail_default" style=""><b style="">John K Clark</b></span></font></div><div dir="ltr"><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></font></div><div dir="ltr"><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></font></div><div dir="ltr"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
</blockquote></div></div>
</div>