<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Nov 21, 2023, 7:25 PM Keith Henson <<a href="mailto:hkeithhenson@gmail.com">hkeithhenson@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Tue, Nov 21, 2023 at 12:08 PM Jason Resch <<a href="mailto:jasonresch@gmail.com" target="_blank" rel="noreferrer">jasonresch@gmail.com</a>> wrote:<br>
><br>
> On Tue, Nov 21, 2023 at 2:24 PM Keith Henson via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br>
>><br>
>> The LLM of AI chatbots are trained on what humans know.  They don't<br>
>> seem any more dangerous to me than exceptionally well-informed humans.<br>
>><br>
>> Of course, I could be wrong.<br>
><br>
> Nick Bostrom in "Superintelligence" defines three possible dimensions of superintelligence:<br>
><br>
> 1. Speed<br>
> 2. Depth<br>
> 3. Breadth<br>
><br>
> You have identified that LLMs, in having read everything on the Internet, every book, every wikipedia article, etc. already vastly outstrip humans in terms of their breadth of knowledge. I think another dimension in which they outpace us already is in terms of speed. They can compose entire articles in a matter of seconds, which might take a human hours or days to write.<br>
<br>
Agree.<br>
<br>
> This is another avenue by which superintelligence could run-away from us (if a population of LLMs could drive technological progress forward 100 years in one year's time,<br>
<br>
Drexler talked about this in the early 80s. </blockquote></div></div><div dir="auto"><br></div><div dir="auto">Very interesting, what great foresight.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> Even the combination of<br>
human engineers and LLMs is going to speed things up somewhat.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">That's also true. </div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
> then humans would no longer be in control, even if individual LLMs are no smarter than human engineers).<br>
<br>
I don't think humans have been in control for a long time, certainly<br>
not individual humans, and I just don't believe in "elders" or any<br>
other group that is exerting control.  Every single human is like a<br>
wood chip on a river.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I appreciate this analogy very much. I have sometimes thought similar things as well, that the greatest and scariest conspiracy theory of all is that no one is in control.</div><div dir="auto"><br></div><div dir="auto">But the river analogy adds another dimension which I think is more correct. We are subject to overarching trends and laws of evolution,  technological development, economics, etc. and we individual humans are like cells in this greater organism, all in the end replaceable cogs whose presence or absence might make a small difference as to when some inevitable discovery might happen, but will not prevent it entirely.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
> I think depth of reasoning may be one area where the best humans are currently dominant, but a small tweak, such as giving LLMs a working memory and recursion, as well as tightening up their ability to make multiple deductive logical steps/leaps, could quickly change this.<br>
<br>
Can you make a case that it would be worse than the current situation?<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I don't believe it will, but if tasked to make the case, I would say the greatest present danger is that it amplifies the agency of any user. So that ill-willed people might become more destructively capable than they otherwise would (e.g. the common example of a lone terrorist leveraging the AI's expertise in biotechnology to make a new pathogen) but the Internet has already done this to a lesser extent. I think agency amplification applies to everyone, and since there are more good-intentioned people than ill-intentioned ones, any generally-available amplification technology tends to be a net positive for humanity.</div><div dir="auto"><br></div><div dir="auto">Jason </div></div>