<div dir="ltr"><div dir="ltr">On Tue, Jun 7, 2022 at 4:11 PM BillK via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Eli's response is to say that powerful groups like Facebook AI or the<br>
Chinese don't care about safety. They just want to win the race to get<br>
super-powerful AGI for themselves. Their assumption is that the first<br>
AGI will rule the world and they will own it.</blockquote><div> </div><div>Facebook doesn't seem to be in it to conquer the world, though.  Just to increase their profits, while leaving political power to others.  But China, maybe.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"> Eli fears that instead<br>
their recklessness will destroy the human race.<br></blockquote><div><br></div><div>ROKO'S BASILISK!</div><div><br></div><div>...is an example of a Pascal's Wager type fallacy; any such future AI could as easily be one that sees no value in punishment but does reward those who brought it about, meaning that not thinking about it would be the losing strategy.</div><div><br></div><div>...is also something that calling out can apparently make those who have fallen into this particular cognitive trap, flinch.</div></div></div>