<div dir="ltr">There's a fun anecdote from the late 80's or early 90's. A lab was using a small AI (probably genetic algorithms) to generate FPGA gate layouts for a small circuit that could reliably distinguish between audio samples of arbitrary speakers saying "yes" or "no". They were trying to get a reliable circuit that could do this using only 100 logic gates. <div><br></div><div>And they did it. Sort of. The winning circuit was /weird/. Like, no one could figure out how it was doing what it was doing. It didn't make any sense. Also, it had gates that were disconnected from the main logic flow, but if the researchers removed them, the circuit would no longer function. Also also, it turned out the circuit only worked at the precise temperature they did the testing at.</div><div><br></div><div>What they eventually puzzled out was that this particular solution was using the conductivity of the underlying layer of the chip to build up a cascade of electrical field waves /in the substrate of the chip/ that interfered with each other throughout the circuit and peaked at the output with a positive or negative result.</div><div><br></div><div>So yeah, unconstrained AIs can generate transhuman-quality weirdness, even (and perhaps especially) when you're not trying. and they were already doing that 30 years ago.</div><div><br></div><div>As for what could possibly go wrong, this is a major plot point in Vernor Vinge's "A Fire Upon the Deep." There is a species of intelligent plants who are utterly dependent on electronic prostheses to move and speak, and those prostheses have been designed by transhuman AIs and are utterly impenetrable to mere mortal software engineers. Suffice to say, it doesn't go well.</div><div><br></div><div>---------------------------</div><div><br></div><div>Man, remember how we used to talk about this in the 90s? If you'd told us that in 2025, human-level (or near) chatbots were the hot new thing, and we got there by simply training a fancy neural net to predict the next word in a block of text, using the entire corpus of human literature as digitized on the internet as training data, and that the same AI was pretty darned good at coding because there was a massive open-source code repository in it's training data, I don't know what we'd have thought.</div></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Wed, Jan 8, 2025 at 2:12 PM BillK via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">AI slashes cost and time for chip design, but that is not all<br>
By John Sullivan on January 6, 2025<br>
<br>
<<a href="https://engineering.princeton.edu/news/2025/01/06/ai-slashes-cost-and-time-chip-design-not-all" rel="noreferrer" target="_blank">https://engineering.princeton.edu/news/2025/01/06/ai-slashes-cost-and-time-chip-design-not-all</a>><br>
Quotes:<br>
What is more, the AI behind the new system has produced strange new<br>
designs featuring unusual patterns of circuitry. Kaushik Sengupta, the<br>
lead researcher, said the designs were unintuitive and unlikely to be<br>
developed by a human mind. But they frequently offer marked<br>
improvements over even the best standard chips.<br>
<br>
“We are coming up with structures that are complex and look random<br>
shaped and when connected with circuits, they create previously<br>
unachievable performance. Humans cannot really understand them, but<br>
they can work better,” said Sengupta, a professor of electrical and<br>
computer engineering and co-director of NextG, Princeton’s industry<br>
partnership program to develop next-generation communications.<br>
---------------------<br>
<br>
Now, what could possibly go wrong?<br>
<br>
BillK<br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>