... مقدمهموتور جست و جوی وب از سه بخش تشکیل می شود : (1) یک دنبالگرد crawler که صفحات وب را پیدا می کند تا داخل مجموعه صفحات وب آن موتور قرار گیرد، (2) یک شاخص گذار indexer که شاخص معکوس inverted index ( نیز موسوم به شاخصindex ) را که ساختمان اصلی داده های مورد استفاده ی آن موتور جست وجو است و صفحات وب دنبال گشته crawled را ارائه می کند ، (3) یک پاسخ دهنده که پرس و جو های کاربر را با استفاده از شاخصها پاسخ می دهد ... در حد مقصود ما بگوییم، دنبالگرد، وب را به مثابه ی یک گراف می نگرد : هر صفحه وب یک گره است و هر ابرپیوند یک کمان است ... پرسش اساسی ای که دنبالگرد با آن رودررو است این است که کدام صفحه ها را پیدا کند تا ‹‹ مناسب ترین›› صفحات را در مجموعه ی خود داشت باشد ... - راه مؤثری برای یافتن میزبانهای دوگان Duplicate hosts می تواند به دنبالگرد کمک کند تا از دنبالگردی در دوگان‏‏ میزبانی که قبلا دنبالگردی کرده است ، پرهیز نماید ... بنابر این اگر این آمار برای وب معلوم باشد ، دنبالگرد می تواند تعیین کند که چه انواعی از صفحات وب تا بدینجا خیلی کمتر ارائه شده هستندو بکوشد بیشتر از آنها دنبالگردی کند ...  

منبع : شبکه فن آوری اطلاعات ایران    تاریخ : 16   اردیبهشت   1384   شاخه : وب