چکیده

«جدا از مشکلات مقیاس گذاری تکنیک های جستجوی قدیمی، برای داده های به این اندازه، تکنیک های جدید رقابتی که استفاده از نمایش اطلاعات اضافی در فرا متن ها را برای نتیجه‌ جستجوی بهتر شامل می‌شود وجود دارد… خیزش سریع تکنولوژی برای جمع آوری مستندات وب و نگهداری آن ها بصورت بروز لازم و ضروری است. فضای ذخیره سازی باید به نحو موثری جهت ذخیره ایندکس ها و مستندا تشان استفاده شود. سیستم indexing باید صدها گیگابایت از داده ها را به شکل موثری پردازش کند. پرس وجوها باید با سرعت صدتا هزار بار در هر ثانیه انجام شوند» سرجی برین ولاورنس پیج،

در ابتدا BackRub وجود داشت، سرویسی که به گوگل تبدیل شد. امروزه گوگل با دقت بیشتری به الگوریتم pageRank خود وابسته است. PageRank الگوریتمی انتخابی است که ارزش را به چیز مهمتر می دهد. نشانگر اهمیت یک صفحه وب تعداد صفحاتی است که به آن صفحه خاص لینک می شوند.