<div dir="ltr"><div dir="ltr">On Mon, Mar 3, 2025 at 4:25 AM Rafal Smigrodzki via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:</div><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div>Nothing is definite but I bet you 100$ to 1$ that ten years from now there will be a superhuman AI on this planet, most likely a vastly superhuman AI, as much smarter than you or I as MuZero is better at Go than Lee Sedol.</div></div></div></blockquote><div><br></div><div>No bet.</div><div><br></div><div>If you win, then by your hypothesis, money will basically be worthless.  Someone with that attitude, I don't trust will have (or at least, be able to part with without complications) the money to pay up if I win.</div><div><br></div><div>More importantly, how exactly would we define and measure this?  Internationally recognized ladder rankings of Go, as might numerically compare MuZero to Lee Sedol, do not directly translate to measurements of overall intelligence.  The bet may prove impossible to adjudicate.</div><div><br></div><div>Though, by certain measures there already exist superhuman AIs.  Some would credit the most well known publicly usable LLMs as such, and computers have been able to outcompute humans for decades.  If we used those measures, you'd win the bet already.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div>But I only say it will be the last fork in the road that we take on our own, not the last developmental fork ever.</div></div></div></blockquote><div><br></div><div>If superhuman AGI is achieved by upgrading human intelligence - possibly mind upload, more likely external augmentations resulting in an entity that is a merger of AI and human - would that still be "we" who drives further forks after that?</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div>Lots of important choices will be made, but not by unenhanced humans who will pretty much equal mice in their ability to affect the world.</div></div></div></blockquote><div><br></div><div>That I will agree with, and go further: forms of this exist today.  What impact on the world does a third world subsistence farmer have, as compared to a typical worker in an AI company, considering the training and resources the latter has to increase their productivity?</div></div></div>