اگر شما یک توسعه دهنده، متخصص طراحی سایت، صاحب مشاغل کوچک، متخصص بازاریابی، صاحب وب سایت هستید و یا فکر ایجاد یک وبلاگ شخصی یا وب سایت برای شغل خود هستید؛ پس حتماً درک درستی از نحوه عملکرد موتورهای جستجو دارید. داشتن درک واضح از نحوه کار موتورهای جستجو میتواند به شما در ایجاد وب سایتی که موتورهای جستجو آن را بشناسند، کمک بسیاری کند.
در این مقاله موتورهای جستجو چگونه کار می‌کنند؟ و چرا بهینه سازی آنها اهمیت دارد؟ را از وبلاگ پرگاس، فرآیندهای اصلی خزیدن (crawling) و نمایه سازی (indexing) را که موتورهای جستجو برای یافتن، سازماندهی و ارائه اطلاعات به کاربران دنبال می‌کنند، یاد خواهید گرفت.
موتورهای جستجو چگونه کار می‌کنند؟
- آیا تا کنون فکر کرده‌اید که چند بار در روز از گوگل یا هر موتور جستجو دیگری برای جستجو وب استفاده می‌کنید؟
- آیا این عدد ۵ بار، ۱۰ بار یا حتی گاهی بیشتر است؟
- آیا می‌دانید گوگل به‌تنهایی بیش از ۲ تریلیون جستجو در سال را کنترل میکند؟
عدد بسیار بزرگی است!! بهتر است بدانید که موتورهای جستجو بخشی از زندگی روزمره ما شده‌اند؛ ما از آنها به‌عنوان یک ابزار یادگیری، خرید، تفریح و اوقات فراغت و حتی تجارت نیز استفاده می‌کنیم. گفتن اینکه ما به نقطه‌ای رسیدیم که تقریباً در هر کاری که انجام می‌دهیم وابسته به موتورهای جستجو هستیم، اغراق‌آمیز نیست؛ دلیل این اتفاق بسیار ساده است. ما می‌دانیم که موتورهای جستجو و به‌ویژه گوگل پاسخ به تمام سؤالات ما به بهترین شکل ممکن جواب می‌دهند.
به نظر شما چه اتفاقی می‌افتد وقتی یک عبارت خاص را تایپ و روی جستجو کلیک می‌کنید؟ نحوه عملکرد موتورهای جستجو چگونه است و چطور تصمیم می‌گیرند که نتایج جستجو را به چه ترتیبی نشان دهند؟ در ادامه با ما همراه باشید تا به‌تفصیل شرح دهیم.
مرحله ۱: خزیدن «Crawling»
موتورهای جستجو تعدادی برنامه رایانه‌ای به نام خزنده‌های وب دارند که وظیفه آنها یافتن اطلاعاتی است که در اینترنت در دسترس عموم است. به‌عبارتِ‌دیگر کافی است بدانید که کار این خزنده‌ها «همچنین به‌عنوان عنکبوت موتور جستجو شناخته می‌شوند» اسکن اینترنت و یافتن سرورها است. خزنده مشخص میکند که عنکبوت کدام صفحات را مورد بازدید قرار دهد؛ در واقع خزنده تصمیم می‌گیرد که کدامیک از پیوندهای صفحه‌ای که عنکبوت در حال حاضر در آن قرار دارد دنبال شود. آنها این کار را به طور مداوم انجام می‌دهند و همچنین تغییرات ایجاد شده در یک وب سایت را پیگیری می‌کنند تا بداند که چه زمانی صفحات جدید اضافه یا حذف می‌شوند.
به‌عبارتِ‌دیگر عنکبوت جستجوگر «Spider» و خزنده «Crawler» هر دو کار خزش و کاوش در صفحات وب را انجام می‌دهند؛ اما با این تفاوت که خزنده مانند یک رهبر، به عنکبوت دستور می‌دهد که کدام صفحات دنبال و کدام یک اصلاً دنبال نشوند.
چرا باید به روند خزیدن یا crawling در کسب و کارتان اهمیت بدهید؟
اولین نگرانی شما هنگام بهینه‌سازی وب سایت آن است که از دسترسی موتورهای جستجو اطمینان حاصل کنید در غیر این صورت اگر آنها نتوانند وب سایت شما را بخوانند، ازنظر رتبه بالا یا ترافیک، نباید انتظار بالایی داشته باشید. همان طور که در بالاتر نیز توضیح داده شد، خزنده‌ها کارهای بسیار زیادی برای انجام دادن دارند و شما باید سعی کنید کار آنها را آسان‌تر کنید. چندین کار وجود دارد که باید اطمینان حاصل کنید که خزندگان میتوانند بدون مشکل در سریع‌ترین روش ممکن به وب سایت شما دسترسی پیدا کنند و به آنها دسترسی پیدا کنند؛ که به شرح زیر هستند:
- از Robots.txt استفاده کنید تا مشخص کنید به کدام صفحات وب سایت خود دسترسی ندارید. به‌عنوان‌مثال، صفحاتی مانند سرپرست سایت یا صفحات باقی‌مانده و سایر صفحاتی که نمی‌خواهید در اینترنت در دسترس عموم قرار گیرند.
- از ابزارهای وب مستر استفاده کنید ابزارهای موتورهای جستجوگر مانند Google و Bing که میتوانید از آنها استفاده کنید تا اطلاعات بیشتری درمورد وب سایت خود (تعداد صفحات، ساختار و غیره) در اختیار آنها قرار دهید تا مجبور نباشند آنها را پیدا کنند.
- از یک نقشه سایت XML استفاده کنید از این نقشه برای لیست کردن تمام صفحات مهم وب سایت خود استفاده کنید تا خزندگان بتوانند بدانند کدام صفحات برای نظارت بر تغییرات را پیدا کنند.
مرحله ۲: شاخص گذاری موتورهای جستجو «Indexing»
بهتر است بدانید فرایند خزیدن «Crawling» به‌تنهایی برای موتورهای جستجو کافی نیست. اطلاعاتی که توسط خزنده‌ها مشخص شده‌اند باید ساماندهی، مرتب‌سازی و ذخیره شوند تا بتوانند توسط الگوریتم‌های موتور جستجو قبل از آن که در دسترس کاربر قرار بگیرند، به‌صورت نهایی پردازش شوند. این فرایند «Indexing» نام دارد. موتورهای جستجو تمام اطلاعات موجود در یک صفحه را در فهرست خود ذخیره نمی‌کنند اما مواردی زیر را ذخیره میکند:
- هنگامی که صفحه جدید ایجاد شد
- به‌روزرسانی صفحات
- عنوان و توضیحات صفحه
- نوع محتوا
- کلمات کلیدی مرتبط
- لینک‌های ورودی و خروجی
چرا باید به روند Indexing اهمیت داد؟
جواب این سؤال بسیار ساده است، اگر وب سایت شما در فهرست آنها نباشد، برای جستجو مرتبط با کلمه کلیدی سایت شما در موتور جستجو، سایت شما ظاهر نخواهد شد؛ همچنین بهینه‌سازی بخش نمایه‌سازی باعث می‌شود تا هرچه تعداد صفحات بیشتری در فهرست‌های موتور جستجو وجود داشته باشید، وقتی شخصی یک کلمه کلیدی مرتبط با سایت شما را تایپ کند، شانس حضور سایت‌تان در نتایج جستجو بیشتر بشود.
برای اینکه در ۵ موقعیت اول SERP (صفحات نتایج موتور جستجو) ظاهر شوید، باید وب سایت خود را برای موتورهای جستجو با استفاده از فرآیندی به نام بهینه‌سازی موتورهای جستجو یا سئو بهینه کنید.
مرحله ۳: رتبه بندی
الگوریتم‌های رتبه بندی موتورهای جستجو
سومین و آخرین مرحله در فرایند بهینه‌سازی موتورهای جستجو، رتبه‌بندی است که موتورهای جستجو تصمیم بگیرند وقتی شخصی یک کلمه کلیدی را تایپ میکند، کدام صفحات را در SERPS به کاربر نشان دهد و به چه ترتیب باشد؛ این امر با استفاده از الگوریتم‌های رتبه‌بندی موتور جستجو بدست می‌آید. به زبان ساده، این قطعات نرم‌افزاری دارای تعدادی قانون هستند که آنچه کاربر به دنبال آن است را تجزیه‌وتحلیل می‌کنند. این قوانین و تصمیمات بر اساس اطلاعات موجود در فهرست آنها ساخته می‌شود.
نتیجه‌گیری
موتورهای جستجو به برنامه‌های رایانه‌ای بسیار پیچیده‌ای تبدیل شده‌اند و روند کاری آنها با خزیدن و شاخص گذاری شروع می‌شود. در طی این مرحله، خزنده‌های موتور جستجو حداکثر اطلاعات را برای همه وب سایت‌هایی که در اینترنت در دسترس هستند، جمع می‌کنند. آنها این اطلاعات را با استفاده از الگوریتم‌های موتورهای جستجو برای تصمیم‌گیری و بازگشت بهترین نتایج ممکن به کاربر، کشف، پردازش، مرتب‌سازی و ذخیره می‌کنند. میزان داده‌های لازم برای پردازش بسیار زیاد است و این فرایند کاملاً خودکار است.
به‌عنوان مدیر یک وب سایت، کار شما این است که با ایجاد وب سایتی که ساختار ساده و سرراست دارد، کار خزیدن و ایندکس کردن را آسان کنید.
هنگامی‌که آنها میتوانند وب سایت شما را بدون مشکل بخوانند، پس باید اطمینان حاصل کنید که به آنها سیگنال‌های مناسبی را برای کمک به الگوریتم‌های رتبه‌بندی جستجوی خود می‌دهید، وقتی کاربر یک درخواست مربوطه را تایپ میکند، وب سایت شما نمایش داده خواهد شد. برای به دست آوردن یک تجارت آنلاین موفق، سهم ناچیزی از کل ترافیک موتورهای جستجو کافی است.
سلام. چقدر این گوگل و ربات های خزنده ش و الگوریتم هاش پیچیده و جالبه، واقعا هر چقدر دارم در موردش یاد می گیرم کمه و بیشتر عاشق گوگل میشم.
خدارو شکر می کنم که سایتم رو شما طراحی کردید و با عشق دارم برای سئو و رشدش آموزش می بینم.
سلام جناب رستم زاده ، خوشحالیم که راضی هستید
چقدر جالب بود این مقاله، من تازه بااین مسائل اشنا شدم و اصلا طرز کار گوگل رو نمی دونستم. عجب دنیایی داره این تکنولوژی بکار برده شده در این موتور جستجو.
مرسی از مقاله و توضیحات جامع و مفیدتون. من در زمینه دنیای اینترنت خیلی نمی دونم اما این مقاله و اینکه گوگل چگونه کار می کنه خیلی برام جالب اومد و تازه دارم یک سری چیزها رو می فهمم.
دستتون درد نکنه.
سلام و خدا قوت به سایت خوب پرگاس.
من از پیجتون اومدم. انصافا خیلی مقالات خوبی دارید و حیفم اومد نظر نزارم.
من درس بزرگی که از گوگل یاد گرفته ام اینه که وقتی موتور جستجو یاهو وجود داشت، گوگل فقط یک ایده بود، اما اومد و با اختلاف بهترین شد، یعن یعنی خواستن توانستن است.
عه، پس اینجوریه. من اصلا فکرشم نمی کردم که موتورهای جستوجو یعنی خصوصا گوگل این مدلی کار می کنن.
واقعا دستتون درد نکنه.
موتور جستجوی گوگل اونقدر دیگه محبوب شده که بقیه حداقل توی ایران به فراموشی سپرده شدن.
دم لری بیج درد نکنه با اون هوش و ذکاوتش که اینقدر تونسته گوگل رو توسعه بده و هوشمندش کنه.