عملکرد موتور های جستجو

امروزه اکثر افراد برای کارهای اینترنتی خود از موتورهای جستجو استفاده می کنند. تقریبا 3.8 میلیارد جستجوی روزانه تنها در گوگل انجام می شود. در حالیکه در گذشته افراد برای یافتن اطلاعات منابع زیادی در دسترس نداشتند و بیشتر سراغ کتاب ها و مجلات می رفتند تا اطلاعات مورد نیاز خود را کسب کنند. با پیدایش اینترنت و موتورهای جستجو، دستیابی به اطلاعات برای جستجوگران بسیار راحت تر گردید و منابع گسترده و انبوهی از اطلاعات در اختیار کاربران قرار گرفت. بنابراین مردم زیادی از موتورهای جستجو مثل گوگل، یاهو و بینگ برای جستجو استفاده می کنند. بنابراین کسب و کارهای اینترنتی برای موفقیت در زمینه فعالیت و بازار هدف خود باید در نتایج برتر موتورهای جستجو حضور پیدا کنند تا بتوانند تعداد بازدید کنندگان و مشتریان خود را افزایش دهند.

موتور جستجو وب Web search engine چیست؟

به مجموعه ای از ابزارها که برای پاسخگویی به سوالات کاربران، در میان انبوهی از داده ها و اطلاعات جستجو می کنند تا بهترین و مرتبط ترین نتیجه را به کاربر نشان دهند موتور جستجو می گویند و به موتور جستجویی که در وب برای یافتن اطلاعات مورد نیاز شما جستجو می کند موتور جستجوی وب گفته می شود. موتورهای جستجوگر وب در حقیقت یک نرم افزار تحت وب هستند که وظیفه‌ی پیدا کردن مرتبط‌ترین محتوا با عبارت جستجو شده توسط کاربر را دارند.

تاریخچه موتورهای جستجوگر:

دردهه 1960 در دانشگاه کرنل قبل از پیدایش اینترنت داستان موتور جستجو آغاز شد و جرارد سلتون و همکارانش در دانشگاه کرنل سیستم بازیابی اطلاعات smart را توسعه دادند.

اولین موتور جستجو "آرچی" (archie)، حاصل یک پروژه دانشجویی بود که در سال 1990 در دانشگاه مک گیل توسط "آلن امتیج" توسعه یافت.

از اواسط 1990 میلادی نخستین موتورهای جستجو شروع به فهرست کردن صفحات وب کردند و مدیران وبسایت، بهینه سازی وب سایت ها برای موتورهای جستجو را آغاز نمودند.

گوگل حاصل یک پروژه تحقیقی بود که توسط سرجی برین و لری پیج، درسال 1997 خلق گردید. از زمان پیدایش موتورهای جستجو تاکنون الگوریتم های موتور جستجو چندین بارمورد تغییر قرار گرفته اند.

مبنای کار موتورهای جستجو:

امروزه موتورهای جستجوی برتر جزء با ارزش ترین شرکت های فناوری در سراسر جهان هستند که می توان گفت تقریباً فناوری پیشگام موتورهای جستجو در تمام وب سایت ها در حال پیاده سازی است.

گوگل و دیگر موتورها برای رتبه بندی از یک سری الگوریتم های خاص و محرمانه استفاده می کنند. بازاریاب های جستجو با انجام آزمایشات بسیار سعی در یافتن این الگوریتم ها و پارامترهای تاثیر گذار در آن هستند. بعضاً خود این شرکت ها نیز (مانند گوگل یا بینگ) راهنمای بررسی کیفیت خود را برای رتبه دهی و کنترل سایت ها ارائه می کنند.

آنچه که به عنوان لیستی از سایت های مرتبط با موضوع مورد نظر کاربر به نمایش گذاشته می شود، حاصل جستجوی موتورهای جستجوگری مانند گوگل در بین هزاران پایگاه داده ای اینترنت است. موتورهای جستجوگر خود به تنهایی این محتوا را تولید نکرده و به کمک بخش های مختلف خود اطلاعات مورد نیاز را از بین این داده های ذخیره شده، جمع آوری و تجزیه و تحلیل می کنند. موتورهای جستجوگر اولین ابزار برای نشان دادن موفقیت ما در بازاریابی دیجیتال هستند که در ادامه مبنای کار آنها را شرح می دهیم:

عنکبوت یا اسپایدر : (Spiders)

اسپایدر یا روبوت (Robot)، اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینک ها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آن را در اختیار سایر بخش های موتور جستجوگر قرار می دهد. اسپایدر كدهای HTML  صفحات را می بیند .
اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می توانید مشخص كنید كه اسپایدر كدام یک از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی از فعالیتهای اصلی که در SEM انجام می شود تحلیل آمار همین دید و بازدیدها است.
اسپایدرها كاربردهای دیگری نیز دارند، به عنوان مثال عده ای از آنها به سایت های مختلف مراجعه می كنند و فقط به بررسی فعال بودن لینك های آنها می پردازند و یا به دنبال آدرس ایمیل (Email) می گردند.

خزنده یا کراولر (Crawler)

اسپایدر یا عنکبوت تحت فرمان خزنده ها می باشند. این ربات در صورت عدم وجود مشکلی، به صورت خزنده تمامی لینک های موجود در وب سایت ها را بررسی می کند. خزنده (Crawler) مشخص می کند که عنکبوت (Spiders) کدام صفحات را بررسی کند.

كراولر یا خزنده، نرم افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می كند. کراولر مشخص می كند که اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می گیرد كه كدام یك از لینك های صفحه ای كه اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی ها را دنبال كند و یا هیچ كدام را دنبال نكند.
کراولر، ممكن است قبلاً برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال كردن لینك های یک صفحه به این بستگی دارد كه موتور جستجوگر چه حجمی از اطلاعات یک سایت را می تواند (می خواهد) در پایگاه داده اش ذخیره كند. همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.

فهرست کننده (Indexer)

تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش های متفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است كه مشخص می شود اطلاعات از كدام صفحه ارسال شده است، چه حجمی دارد، كلمات موجود در آن كدامند،  و ...

ایندکسر اطلاعات تجزیه و تحلیل شده را فهرست و طبقه بندی می کند، تا برای پاسخگویی به سوالات مربوطه نمایش داده شوند.

پایگاه داده (Database)

حال اطلاعات طبقه بندی شده باید در یک پایگاه داده ذخیره و کدگذاری شوند. بنابراین موتور جستجوگر یک پایگاه داده گسترده باید داشته باشد.

رتبه بندی (Ranker)

بعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی به سوالات كاربران است. كاربران چند كلمه را در جعبه جستجوی (Search Box) آن وارد می كنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگویی به درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده كه به موضوع جستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عمل شده، آنها را از بیشترین ارتباط تا كمترین ارتباط مرتب می كند و به عنوان نتایج جستجو به كاربر نمایش می دهد.
حتی اگر موتور جستجوگر بهترین و كامل ترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی را ارایه دهد، یك موتور جستجوگر ضعیف بشمار می آید. در حقیقت سیستم رتبه بندی قلب تپنده یك موتور جستجوگر است و تفاوت اصلی موتورهای جستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالات كاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ ها را در اختیار آنها قرار دارد.

بهترین موتورهای جستجو:

گوگل: google.com

اکثر مردم می دانند که گوگل بیشترین سهم را در میان موتورهای جستجو دارد و قطعاً یکی از بهترین موتورهای جستجو در دنیای امروز است که یک منبع کامل اطلاعاتی محسوب می شود. چرا با وجود بیش از 30 موتور جستجو، گوگل برتری بیشتری در این میان دارد؟ چه چیزی باعث وجه تمایز گوگل از سایر موتورهای جستجو می شود؟ پاسخ کوتاه است؛ گوگل یک دارایی بزرگ دارد که شامل Google Maps و YouTubeو... است.

با وجود اینکه گوگل دیرتر از بعضی موتورهای جستجو پا به این عرصه نهاد، ولی جایگاه اول سایت الکسا را به خود اختصاص داد و از رقبای خود پیشه گرفت.

موتور جستجو گوگل برای یافتن یک صفحه مرتبط با جستجو شما، تنها به محتوا و چگالی کلمات سایت نمی پردازد، بلکه موقعیت مکانی کاربر را نیز در نظر می گیرد.

اکثر فرآیندهای مربوط به بهینه سازی ها بر روی موتور جستجو گوگل صورت می گیرد، ولی در برخی از کشورها متفاوت است. این موتور جستجوگر علاوه بر جستجوی کلمات و عبارات، امکانات بیشتری را برای جستجو شامل می شود مانند: جستجوی قیمت سهام، زمان پخش فیلم ها، مترادف ها، عبارات محاسباتی، پیش بینی وضع هوا، محدوده زمانی، واحد پول کشورهای مختلف و تبدیل آنها و...

یاهو: yahoo.com

در ژانویه 1994 پیدایش یاهو توسط جری یانگ و دیوید فیلو صورت گرفت و این موتور جستجو نهایتاً در 1 مارس 1995 بین مردم شناخته شد. یاهو به عنوان دومین موتور جستجوگر محبوب پس از گوگل معرفی شده است که کاربران قبل از پیدایش گوگل، از یاهو استفاده می کردند و مقام نخست را بین موتورهای جستجو داشت؛ اما با ظهور گوگل مقام نخست را به گوگل تقدیم کرد.

یکی از بهترین سرویس های یاهو، ایمیل یاهو می باشد و در سال 1997 نسخه اول ایمیل افتتاح گردید که توسط یاهو به صورت رایگان ارائه شده است. نسخه دوم ایمیل یاهو در سال 2005 و نسخه سوم ایمیل در اکتبر 2010 معرفی گردید. پیش فرض مرورگر فایرفاکس، به موتور جستجو یاهو اختصاص دارد و بخش ایمیل یاهو طرفداران زیادی در این میان دارد.

بینگ: bing.com

MSN search یکسال پس از پیدایش گوگل معرفی شد که چندین بار نامش تغییر کرد و به نام های Windows Live Search سپس Live Search  و در انتها به نام بینگ تغییر داده شد.

در 28 مه 2009 در سانفرانسیسکو، استیو بالمر از بیگ رونمایی کرد و از 3 ژوئن 2009 به طور کامل در اختیار افراد قرار گرفت.

موتور جستجوی بینگ وارد رقابت سرسختی با گوگل شده است و بعد از یاهو، بینگ مورد استفاده زیادی از کاربران قرار گرفت.

اسک: ask.com

اسک در سال 1995 توسط گرت گرونر معرفی شد. این موتور جستجو قبل از پیدایش گوگل، بهترین و پرکاربردترین موتور جستجو آن زمان شناخته شده است و همانطور که از نامش پیداست، پایه و اساس این موتور برمبنای پرسش و پاسخ کاربران یا جستجوگران است.

داک داک گو: duckduckgo.com

این موتور جستجو ادعا دارد که هیچگونه اطلاعات شخصی و حریم خصوصی را جمع آوری نمی کند و به اشتراک نمی گذارد. حتی تاریخچه جستجوهای کاربران را ذخیره نمی کند. این موتور جستجو حاصل نگرانی های حریم خصوصی افراد است.

داک داک گو برخلاف سایرین، همواره در تلاش است همه معانی واژه ی مورد جستجوی شما را در صفحه اول جستجو بگنجاند و با راهنمایی کاربران سبب می شود تا مقصود خود را به درستی بیان کنند.

شرکت اپل در 18 سپتامبر 2014 داک داک گو را به مرورگر سفاری خود افزود. سپس در 10 نوامبر 2014، توسط موزیلا به موتور جستجو مرورگر فایرفاکس پیوست و در 30 مه 2016 پیش فرض مرورگر تور قرار گرفت و در نهایت در مارس 2019، گوگل آن را به فهرست پیش فرض مرورگر کروم اضافه کرد.

ای او ال: aol.com

تاسیس شرکت ای او ال در سال 1983 انجام شده و در 12 مه 2015 این شرکت توسط ورایزن کامپونیکشنز خریداری شده است. ای او ال تاکنون 58 شرکت فناوری را از آن خود کرده است و به نام آمریکایی آنلاین معروف است که یک شرکت آمریکایی سرویس دهنده اینترنتی و رسانه ای است.

بایدو: baidu.com

موتور جستجوی محبوب در کشور چین است که 57 خدمت گوناگون از جستجو گرفته تا شبکه های اجتماعی را ارائه می دهد. موتور جستجو بایدو در سپتامبر 2011 مقام ششم را در بین وبگاه ها به دست آورده است.

یاندکس: yandex.com

یک شرکت فناوری اطلاعات روسی است که به عنوان محبوب ترین موتور جستجوی کشور روسیه و هشتمین موتور جستجوی جهان شناخته شده است. در روسیه یاندکس طرفداران زیادتری نسبت به گوگل دارد و صفحه خانگی Yandex.ru جز محبوب ترین وب سایت ها در کشور روسیه معرفی شده است.

لایکاس: lycos.com

موتور جستجوی لایکاس در سال 1995 در دانشگاه کارنگی ملون ایجاد گردیده که شبکه ای از میزبانی وب، شبکه اجتماعی، ایمیل و وب سایت های سرگرمی را در برمی گیرد.

اکسایت: excite.com

موتور جستجوی اکسایت در سال 1993 خلق و در سال 1995به عنوان یک موتور جستجوی تجاری عرضه شد.

حرف آخر:

از آنجا که گوگل محبوب‌ترین موتور جستجو است، بسیاری از وب مسترها سعی دارند تا رتبه وب سایت خود را از طریق تأثیرگذاری در رتبه‌بندی گوگل افزایش دهند. صنعتی که به مدیر وب سایت ها کمک می‌کند تا رتبه سایت خود را افزایش دهند، بهینه‌سازی موتور جستجو یا سئو نام دارد. افرادی که در این زمینه کار می‌کنند، سعی در تشخیص الگوهای موجود در لیست موتورهای جستجو دارند و سپس با آگاهی کامل از این روش ها به بهبود رتبه‌بندی و جذب کاربران بیشتر به سایت های مشتریان خود اقدام می‌کنند. بنابراین وب سایت ها می بایست بهینه شوند تا در میان انبوهی از داده ها جز نتایج برتر موتورهای جستجو قرار بگیرند.