On 5/15/07, <b class="gmail_sendername">Eugen Leitl</b> <<a href="mailto:eugen@leitl.org">eugen@leitl.org</a>> wrote:<div><span class="gmail_quote"></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
A little bird told me that AI doesn't fit into predictable memory<br>access, and is memory-bottlenecked, given today's architectures.</blockquote><div><br>Oh, well, for AI purposes it depends which school of thought you follow.
<br><br>Connectionism is mostly straight number crunching and memory access, SPECfp is a decent benchmark for this sort of workload.<br><br>In the domain of AI through software engineering, it's true that memory access is irregular, but it often caches reasonably well. It exercises a lot of things... database benchmarks are probably reasonably representative here... if I had to pick one thing that's the biggest bottleneck, I'd pick RAM _capacity_ - which of course is a direct function of integration density.
<br><br>But you're of the AI through brute force evolution school of thought! What are you worrying about? That's an embarrassingly parallel problem! It can easily use all the cores and cache you can throw at it with almost linear speedup ^.^
<br><br>(Okay, granted current architectures leave a lot of performance on the table for this kind of workload, in terms of making efficient use of all those transistors.)<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
When we make predictions, we need to make sure they're not based on<br>cherry-picked best case. Orelse our future model is faulty, and it<br>will come and bite us in the butt. Hard.</blockquote><div><br>True!<br></div>
</div><br>