On 8/18/06, <b class="gmail_sendername">spike</b> <<a href="mailto:spike66@comcast.net">spike66@comcast.net</a>> wrote:<div><span class="gmail_quote"></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Internet gurus, how does Google get its info?  If anyone puts up any<br>website, Google knows somehow, right?  It doesn't take any action on the<br>part of the author.  Google knows of every post on ExI as well as any other
<br>chat group too?  It knows when you are sleeping, it knows when you're awake.<br><br>How does it do that?</blockquote><div><br>
By spidering. A program (called a spider) starts off with a list of
known web pages, then checks all the pages they link to, then all the
pages those link to, etc; then when that process is complete, restarts
from the beginning. (I vaguely recall the cycle time for the major
search engines was measured in months, back in the early days; I'm
guessing Google's available bandwidth has outpaced the growth of the
web so the cycle time would now be shorter.)<br>
</div></div>