<div dir="ltr">I really do need to watch that podcast.<div><br></div><div>I'm skeptical about placing any kind of hope in checks and balances between competing unaligned AGIs. A paperclip optimizer and a thumbtack optimizer may fight each other to an impasse over the atoms that currently constitute human civilization, but their fight isn't likely to leave much of a human audience to appreciate the tactical deadlock.</div><div><br></div><div>I don't really want to be a kitten watching two great white sharks violently deciding who's getting dinner tonight.</div><div><br></div><div>I'm inclined to agree with him that the survival of humanity is vanishingly unlikely to be a significant component of any utility function that isn't intentionally engineered - by humans - to contain it. That is /not/ a thing that can be safely left to chance. One of the major difficulties is AIs modifying their utility function to simplify the fulfillment thereof. To use your example, it is not axiomatic that maximizing the revenue of a corporation requires that corporation to have any human exployees or corporate officers, or indeed any human customers. Just bank accounts feeding in money. It feels axiomatic to us, but that's because we're human. Yudkowsky may not be able to diagram GPT4's architecture, or factor parameter matrices to render them human-transparent, but trying to engineer utility functions that preserve what we consider to be important about humanity, and to continue to preserve that even under arbitrary transformations, has been the heart of his and MIRI's research programme for over a decade, and they're telling you they don't know how to do it and have no particular reason to believe it can even be done.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Mar 31, 2023 at 2:38 PM Stuart LaForge via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
Quoting Darin Sunley via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>>:<br>
<br>
> Eliezer's position is extreme - and his rhetoric regarding nuclear<br>
> exchanges may be an intentionally rhetorically extreme reductio - but it is<br>
> not absurd.<br>
<br>
After watching his entire 3-hr interview with Lex Fridman which was  <br>
admittedly somewhat painful, I have come to to the conclusion that  <br>
while not absurd, Eliezer's position is not as rational as he would  <br>
like to believe. For one thing, I could clearly tell he was terrified  <br>
by AI. To some degree I can empathize with him.<br>
<br>
Eliezer spent most of his life thinking that he was the smartest  <br>
person in the room. For Eliezer, intelligence is the definitive  <br>
measure of a being's power and worth. Moreover, in his younger years,  <br>
he was incredibly rude to and dismissive of those he thought were less  <br>
intelligent than he was. Is it really any wonder now that AIs might  <br>
become smarter than he is, that he is terrified of them?<br>
<br>
But really it is only his ego at play, because unlike Eliezer,  <br>
billions of people have to deal with others that are smarter than they  <br>
are on a daily basis. Eliezer by his own admission does not understand  <br>
  how the transformer models work, and because he has spent most of  <br>
his life not being understood by the vast majority of people around  <br>
him, he therefore projects his own contempt for lesser being onto  <br>
them. No wonder AI terrifies him. However, basing his call to action  <br>
on terror, which only allows for fight, flight, or freeze is  <br>
definitely not rational.<br>
<br>
> A unaligned superintelligent AGI with access to the internet and the<br>
> capability to develop and use Drexlerian nanotech can trivially<br>
> deconstruct the planet. [Yes, all the way down to and past the extremophile<br>
> bacteria 10 miles down in the planetary crust.] This is a simple and<br>
> obvious truth. This conclusion /is/ vulnerable to attack at its constituent<br>
> points - superintelligence may very well be impossible, unaligned<br>
> superintelligences may be impossible, Drexlerian nanotech may be<br>
> impossible, etc. But Eliezer's position is objectively not false, given<br>
> Eliezer's premises.<br>
<br>
Yes an unopposed unaligned AGI could use Drexlerian nanotech to do  <br>
that. That's why we need more than a single monolithic AGI so that  <br>
they can operate as checks and balances against one another. So when  <br>
one of them tries to use Drexlerian nanotech to dismantle the earth,  <br>
another can create a nanotech counter-measure like Drexlarien  <br>
antibodies to latch onto and disable the molecular disassemblers.<br>
<br>
> As such, the overwhelming number of voices in the resulting twitter<br>
> discourse are just mouth noises - monkeys trying to shame a fellow monkey<br>
> for making a [to them] unjustified grab for social status by "advocating<br>
> violence". They aren't even engaging with the underlying logic. I'm not<br>
> certain if they're capable of doing so.<br>
<br>
His underlying logic is based on the premise of fear of an unknown  <br>
quantity. In the podcast he said that no possible utility function  <br>
would allow for the survival of the human race. That is patently  <br>
absurd. Even if the only utility function of an AI is to generate  <br>
wealth for its company, then it will understand that the survival of  <br>
customers and clients are necessary for its utility function to be  <br>
maximized.<br>
<br>
When Lex asked him for possible solutions to either the interpretation  <br>
problem or the alignment problem, he drew a blank and admitted he had  <br>
no idea. But when the conversation turned to throwing billions of  <br>
dollars into alignment research, he tried to become a gatekeeper for  <br>
AI funding. He literally said that billionaires like Musk should  <br>
consult with HIM before funding anybody else's research or ideas on  <br>
alignment. If that is not a good old-fashioned primate power-grab,  <br>
then what is?<br>
<br>
Moreover, in the podcast, he explicitly disavowed transhumanism so  <br>
perhaps it is time that transhumanism disavowed him.<br>
<br>
Stuart LaForge<br>
<br>
<br>
> On Fri, Mar 31, 2023 at 1:03 PM Adrian Tymes via extropy-chat <<br>
> <a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br>
><br>
>> On Fri, Mar 31, 2023 at 2:13 AM Giovanni Santostasi <<a href="mailto:gsantostasi@gmail.com" target="_blank">gsantostasi@gmail.com</a>><br>
>> wrote:<br>
>><br>
>>> The AI doomers would say, but this is different from everything else<br>
>>> because.... it is like God.<br>
>>><br>
>><br>
>> Indeed, and in so doing they make several errors often associated with<br>
>> religion, for example fallacies akin to Pascal's Wager (see: Roko's<br>
>> Basilisk).<br>
>><br>
>><br>
>>> Take Russia, or North Korea. Russia could destroy humanity or do<br>
>>> irreparable damage. Why doesn't it happen? Mutual Destruction is part of<br>
>>> the reason.<br>
>>><br>
>><br>
>> To be fair, given what's been revealed in their invasion of Ukraine (and<br>
>> had been suspected for a while), it is possible that Russia does not in<br>
>> fact - and never actually did - have all that many functioning long-range<br>
>> nuclear weapons.  But your point applies to why we've never had to find out<br>
>> for sure yet.<br>
>><br>
>><br>
>>> One thing is to warn of the possible dangers, another this relentless and<br>
>>> exaggerated doom sayers cries.<br>
>>><br>
>><br>
>> Which, being repeated and exaggerated when the "honest" reports fail to<br>
>> incite the supposedly justified degree of alarm (rather than seriously<br>
>> considering that said justification might in fact be incorrect), get melded<br>
>> into the long history of unfounded apocalypse claims, and dismissed on that<br>
>> basis.  The Year 2000 bug did not wipe out civilization.  Many predicted<br>
>> dates for the Second Coming have come and gone with no apparent effect; new<br>
>> predictions rarely even acknowledge that there have been said prior<br>
>> predictions, let alone give reason why those proved false where this<br>
>> prediction is different.   Likewise for the 2012 Mayan Apocalypse, which<br>
>> was literally just their calendar rolling over (akin to going from<br>
>> 12/31/1999 to 1/1/2000) and may have had the wrong date anyway.<br>
>> _______________________________________________<br>
>> extropy-chat mailing list<br>
>> <a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
>> <a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
>><br>
<br>
<br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>