در سال ۱۹۵۷ پس از آنکه شوروی سابق اولین ماهواره یا قمر مصنوعی زمین به نام «اسپوتنیک» را به فضا پرتاب کرد، ایالات متحده هم بیکار ننشست و سازمان پروژه های تحقیقاتی پیشرفته (DARPA) را به عنوان بخشی از وزارت دفاع ایجاد کرد که هدف آن پیشگامی ایالات متحده در علم و تکنولوژی مورد استفاده در ارتش بود.
یکی از وظایف این سازمان تحقیقاتی، تهیه برنامه یی برای ایالات متحده بود که پس از یک حمله اتمی، کنترلش را بر موشک ها و بمب افکن های خود حفظ کند. به این ترتیب شبکه «آرپانت» که در حال حاضر به عنوان اینترنت شناخته می شود، به وجود آمد. اولین اتصالات «آرپانت» در سال ۱۹۶۹ ایجاد و در اکتبر ۱۹۷۲ این شبکه عمومی شد (البته نه برای تمام کشورهای جهان). تقریباً ۲۰ سال پس از پیدایش اینترنت، وب جهانی (www) به منظور ایجاد امکان تبادل عمومی اطلاعات بر پایه یک استاندارد فراگیر متولد شد. این شبکه به عنوان زیرساخت اینترنت مورد استفاده قرار گرفت.
براساس گفته «تیم برنزلی» طراح شبکه استاندارد وب، اینترنت شبکه یی از شبکه ها بوده و اساساً از کامپیوترها و کابل ها ساخته شده است. وب یک فضای خیالی شامل اطلاعات است. در اینترنت، اتصالات از طریق کابل های بین کامپیوترها و در وب، پیوندهای فرامتنی است.
وب به دلیل برنامه هایی که میان کامپیوترهای موجود در اینترنت ارتباط برقرار می کند، وجود دارد. وب بدون اینترنت معنایی ندارد. از آنجا که مردم واقعاً به اطلاعات جدید علاقه مند هستند و در عین حال نمی خواهند مجبور باشند مطالبی در مورد کابل ها و شبکه ها بدانند، وب موجب شده است که اینترنت مفید واقع شود.
به دلیل اطلاعاتی که در کل جهان بین کامپیوترها به اشتراک گذاشته شده است، به تدریج لازم شد این اطلاعات نظم پیدا کند. در همین راستا موتورهای جست وجوگر اینترنت به وجود آمد.
اولین جست وجوگر اینترنت آرچی نام داشت که در سال ۱۹۹۰ به وسیله «آلن امتیج» یکی از دانشجویان دانشگاه مک گیل در مونترال کانادا ایجاد شد. این برنامه با ایجاد یک پایگاه اطلاعاتی قابل جست وجو از اسامی فایل ها، فهرست فایل های موجود در سایت های FTP عمومی ناشناخته را در خود جای داده بود. بعد از آن جست وجوگری به نام گوفر در سال ۱۹۹۱ به وسیله «مارک مک کاهیل» در دانشگاه مینه سوتای ایالات متحده ساخته شد. در حالی که موتور جست وجوگر آرچی فایل های کامپیوتری را فهرست می کرد، روش کار گوفر این گونه بود که اسناد متنی را ایندکس گذاری می کرد. از آنجایی که اینها (متن های ایندکس گذاری شده) فایل های متنی بود، اکثر سایت های گوفر پس از ایجاد شبکه جهانی وب، به وب سایت تبدیل شدند.
در سال ۱۹۹۳ یعنی دو سال بعد یکی از دانشجویان دانشگاه ام آی تی امریکا به نام «متیو گری» اولین روبات جست وجوگر اینترنتی به نام world wide web wanderer را ساخت. این روبات در ابتدا برای شمارش وب سرورها به منظور اندازه گیری گستردگی وب به کار گرفته می شد. Wanderer از سال ۱۹۹۳ تا ۱۹۹۵ ماهانه ارتقا داده می شد و بعدها نیز با ایجاد اولین پایگاه اطلاعات وب سایت ها به نام وندیکس، از آن برای به دست آوردن آدرس ها استفاده می شد. یک روبات جست وجوگر در واقع برنامه یی است که به طور اتوماتیک ساختار فرامتنی وب را با بازیابی یک سند یا تمام اسناد ارجاع داده شده در آن طی می کند. گاه به روبات های وب، سیارهای وب، وب خز یا عنکبوت می گویند.
در ابتدا روبات ها اندکی بحث برانگیز بودند چراکه حجم زیادی از پهنای باند شبکه را اشغال می کردند و این مساله گاهی باعث از کار افتادن کامپیوترهای شبکه می شد. در روبات های جدیدتر تغییرات مهمی داده شده و در حال حاضر برای ساخت ایندکس ها اغلب موتورهای جست وجوگر به کار می روند. به طور مثال جست وجوگر گوگل از بیش از ۱۵۰ هزار روبات جست وجوگر تشکیل شده است.

در سال ۱۹۹۳ شش نفر از دانشجویان دانشگاه استنفورد امریکا موتور جست وجوگر اکسایت را عرضه کردند. این جست وجوگر از تحلیل آماری روابط کلمات برای کمک به روند جست وجو استفاده می کرد.
پس از یک سال جست وجوگر اکسایت ثبت شد و در دسامبر ۱۹۹۵ به صورت آنلاین شروع به کار کرد و در حال حاضر هم بخشی از جست وجوگر ASK محسوب می شود. در سال ۱۹۹۴ هم جست وجوگر Elnet Galaxy به عنوان بخشی از کنسرسیوم تحقیقات MCC در دانشگاه تگزاس انتشار یافت و اکنون خود یک شرکت کامپیوتری مستقل است که حاوی ویژگی های جست وجوی گوفر و تل نت (موتورهای جست وجوگر سابق) نیز هست. «جری یانگ» و «دیوید فلو» در سال ۱۹۹۴ جست وجوگر یاهو را تاسیس کردند. آنها کار را با لیست کردن وب سایت های محبوب خود شروع کردند. آنچه این موتور جست وجو را محبوب و متفاوت کرده بود، این بود که برای هر جست وجو علاوه بر آدرس آن، توضیح مختصری هم ارائه می شد. موسسان یاهو توانستند در طول یک سال بعد دو برابر سرمایه اولیه خود را دریافت کنند و به یک غول اینترنتی تبدیل شوند.
در همان سال ۱۹۹۴ وب کرالر هم ارائه شد که اولین موتور جست وجوی کاملاً متنی در اینترنت بود یعنی برای نخستین بار تمام متن هر صفحه از وب را برای جست وجو علامت گذاری می کرد.
در سال ۱۹۹۶ در دانشگاه برکلی کالیفرنیا، برنامه inktomi شروع به کار کرد. در ژوئن سال ۱۹۹۹ inktomi یک موتور جست وجوی دایرکتوری دارای تکنولوژی «استنباط مفهوم» را معرفی کرد. طبق گفته این کمپانی فناوری استنباط مفهوم از تجزیه و تحلیل انسانی استفاده می کند و عادت های یکسانی را برای تحلیل کامپیوتری پیوندها، کاربردها و سایر الگوهای تشخیص سایت های محبوب تر و پرکارتر به کار می برد. جالب اینکه این جست وجوگر در سال ۲۰۰۳ به وسیله شرکت یاهو خریداری شد.
گوگل در سال ۱۹۹۷ در دانشگاه استنفورد به عنوان بخشی از یک پروژه تحقیقاتی به وسیله «سرگئی برین» و «لری پیج» ساخته شد. این موتور جست وجو با استفاده از پیوندهای درونی، سایت ها را رتبه بندی می کند و به جست وجوی آنها می پردازد. در سال ۱۹۹۸ جست وجوگر MSN از شرکت مایکروسافت شروع به کار کرد که البته همراه با ویندوز که سیستم عامل اصلی بود، به کاربران معرفی شد. عرضه MSN سیستم عامل ویندوز یکی از مهم ترین دلایل موفقیت و پیشرفت این موتور جست وجوگر بود.
در همان سال ۱۹۹۸ جست وجوگر open Director هم شروع به کار کرد که طبق گفته این سایت جست وجوگر یادشده بزرگ ترین و کامل ترین دایرکتوری تنظیم شده به وسیله افراد در وب است که توسط انجمن جهانی ویرایشگران داوطلب متشکل از افراد علاقه مند به این تکنیک، ساخته شده و نگهداری می شود.
جست وجوگر فایرفاکس به معنای روباه آتشین هم سرانجام یکی از آخرین و جدیدترین جست وجوگرهای اینترنت است که با روشی ویژه به کمک کاربران آمده است. در مدت زمان کوتاهی که از عرضه فایرفاکس می گذرد، چنان جلب توجه کرده و پیشرفتی باورنکردنی داشته است که سال گذشته میلادی از طرف مجله معتبر PCWorld به عنوان بهترین نرم افزار دنیای کامپیوتر معرفی شد و توانست مدعیان مطرحی همچون گوگل و یاهو را پشت سر گذارد.
این در حالی است که امروزه استفاده از موتورهای جست وجوگر در اینترنت برای اکثر افراد به ویژه در ایالات متحده به یک عادت تبدیل شده است زیرا امریکا بیشترین تعداد کاربر اینترنتی را در جهان دارد و استفاده از اینترنت بدون موتورهای جست وجوگر بی معنا است. این دستاورد برای تکنولوژی که عمر آن ۱۵ سال بیشتر نیست، بسیار مهم و حائز اهمیت بوده و هم اکنون نیز روزبه روز در حال گسترش و پیشرفت است.


علیرضا سزاوار