<div dir="auto">I've been thinking about that video that claimed a superintelligence can always perfectly outthink any lesser intelligence, such as a human.  The assumption of narrative godmodding aside, intelligence just doesn't work like that.  I think I may have come up with an imperfect but simple metaphor to explain this.<div dir="auto"><br></div><div dir="auto">I have been a member of Mensa since a young age.  While it has been a while since my IQ was measured (and I do not trust the free online tests), let us say my IQ is around 150: not the record highest ever, but comfortably into the top 2%.  So I am speaking from the experience of having lived with high intelligence.</div><div dir="auto"><br></div><div dir="auto">In cases where just your IQ applies, it's like rolling a die, with sides numbered from 1 to your IQ.  (Skills and training also factor in.  I'm nowhere near as good at fixing a car as a trained auto mechanic, for instance, regardless of our relative IQs.  But here we'll ne comparing me to hypothetical AIs where both of us have access to the same database - the Internet - and some training on relevant skills.)</div><div dir="auto"><br></div><div dir="auto">I will, on average for such matters, roll higher than someone with IQ 100.  This means I come up with the better answer: more efficient, more often correct, et cetera.  (This does not apply to subjective matters, such as politics, which shows one weakness of using just IQ to measure all intelligence, and why some speak of multiple kinds of intelligence.  But here we'll be looking into tactics, technology planning, and so on where there usually is an objectively superior answer.)</div><div dir="auto"><br></div><div dir="auto">But not always.  Sometimes I'll roll low and they'll roll high.  I know this.  Any AI that's as smart as I am, and ran for long enough to gain such experience, would know this too.  (The video's scenario started with the AI running for many subjective years.)</div><div dir="auto"><br></div><div dir="auto">From what I have seen, IQ may be partly about physical architecture but also largely depends on heuristics and optimizations: it is literally possible to "learn" to be smarter, especially for young children whose brains are still forming.  For an AI, we can map this to its hardware and software: a single-chip AI might be a million times smarter than an average human, and then run on a million GPUs.</div><div dir="auto"><br></div><div dir="auto">From what I have seen, IQ is not linear.  It's closer to log-based.  Twice as smart as me would not be IQ 300; it would be far closer to 151.  (I don't know if that is the exact scaling, but for this metaphor let's say it is.)  1,000, or 10^3, is approximately 2^10, so a thousand-fold increase in intelligence corresponds to a 10-point IQ increase by this metric.</div><div dir="auto"><br></div><div dir="auto">So, that "million by million" AI I just described would only be IQ 140.  Let's toss another million in there somewhere, or change both of those "million"s to "billion"s, either way getting to IQ 160.</div><div dir="auto"><br></div><div dir="auto">This IQ 160 AI will outthink me on average, but not always - not perfectly.  Further, the AI in the video wanted to be the only AI.  2% of humanity is in the tens of millions.  Even if we can only take our maximum collective roll, not adding our dice or anything, that AI will rarely outroll all of us - and it needs to do so several times in a row, reliably, in the video's scenario.  Otherwise, we figure out the AI is doing this, find a way to purge it, and stop its time bomb, so humanity lives.</div><div dir="auto"><br></div><div dir="auto">Knowing this, the AI would see its survival and growth - the imperatives that video assumes to explain the AI's actions - as more likely if it works with humanity instead of opposing it.</div></div>