اگر شما یک توسعه‌دهنده، طراح وب، صاحب مشاغل کوچک، متخصص بازاریابی، صاحب وب‌سایت هستید و یا فکر ایجاد یک وبلاگ شخصی یا وب‌سایت برای شغل خود در سر می‌پرورانید؛ پس حتماً درک درستی از نحوه عملکرد موتورهای جستوجو دارید. داشتن درک واضح از نحوه کار موتورهای جستوجو می‌تواند به شما در ایجاد وب‌سایتی که موتورهای جستوجو آن را بشناسند، کمک بسیاری کند.
در این مقاله از وبلاگ پِرگاس انفورماتیک، فرآیندهای اصلی خزیدن (crawling) و نمایه سازی (indexing) را که موتورهای جستجو برای یافتن، سازمان‌دهی و ارائه اطلاعات به کاربران دنبال می‌کنند، یاد خواهید گرفت.
موتورهای جستوجو چگونه کار می‌کنند؟
آیا تاکنون فکر کرده‌اید که چندبار در روز از گوگل یا هر موتور جستوجو دیگری برای جستوجو وب استفاده می‌کنید؟ آیا این عدد ۵ بار، ۱۰ بار یا حتی گاهی بیشتر است؟ آیا می‌دانید گوگل به‌تنهایی بیش از ۲ تریلیون جستوجو در سال را کنترل می‌کند؟ عدد بسیار بزرگی است!! بهتر است بدانید که موتورهای جستوجو بخشی از زندگی روزمره ما شده‌اند؛ ما از آن‌ها به‌عنوان یک ابزار یادگیری، خرید، تفریح و اوقات‌فراغت و حتی تجارت نیز استفاده می‌کنیم. گفتن اینکه ما به نقطه‌ای رسیدیم که تقریباً در هر کاری که انجام می‌دهیم وابسته به موتورهای جستوجو هستیم، اغراق‌آمیز نیست؛ دلیل این اتفاق بسیار ساده است. ما می‌دانیم که موتورهای جستوجو و به‌ویژه گوگل پاسخ به تمام سؤالات ما به بهترین شکل ممکن جواب می‌دهند.
به نظر شما چه اتفاقی می‌افتد وقتی یک عبارت خاص را تایپ و روی جستوجو کلیک می‌کنید؟ نحوه عملکرد موتورهای جستوجو چگونه است و چطور تصمیم می‌گیرند که نتایج جستوجو را به چه ترتیبی نشان دهند؟ در ادامه با ما همراه باشید تا به‌تفصیل شرح دهیم.
مرحله ۱: خزیدن «Crawling»
موتورهای جستوجو تعدادی برنامه رایانه‌ای به نام خزنده‌های وب دارند که وظیفه آن‌ها یافتن اطلاعاتی است که در اینترنت در دسترس عموم است. به‌عبارتِ‌دیگر کافی است بدانید که کار این خزنده‌ها «همچنین به‌عنوان عنکبوت موتور جستجو شناخته می‌شوند» اسکن اینترنت و یافتن سرورها است. خزنده مشخص می‌کند که عنکبوت کدام صفحات را مورد بازدید قرار دهد؛ درواقع خزنده تصمیم می‌گیرد که کدام‌یک از پیوندهای صفحه‌ای که عنکبوت در حال حاضر در آن قرار دارد دنبال شود. آن‌ها این کار را به‌طور مداوم انجام می‌دهند و همچنین تغییرات ایجادشده در یک وب‌سایت را پیگیری می‌کنند تا بداند که چه زمانی صفحات جدید اضافه یا حذف می‌شوند.
به‌عبارتِ‌دیگر عنکبوت جست‌وجوگر «Spider» و خزنده «Crawler» هر دو کار خزش و کاوش در صفحات وب را انجام می‌دهند؛ اما با این تفاوت که خزنده مانند یک رهبر، به عنکبوت دستور می‌دهد که کدام صفحات دنبال و کدام یک اصلاً دنبال نشوند.
چرا باید به روند خزیدن یا crawling در کسب و کارتان اهمیت بدهید؟
اولین نگرانی شما هنگام بهینه‌سازی وب‌سایت آن است که از دسترسی موتورهای جستوجو اطمینان حاصل کنید در غیر این صورت اگر آن‌ها نتوانند وب‌سایت شما را بخوانند، ازنظر رتبه بالا یا ترافیک، نباید انتظار بالایی داشته باشید. همان طور که در بالاتر نیز توضیح داده شد، خزنده‌ها کارهای بسیار زیادی برای انجام دادن دارند و شما باید سعی کنید کار آن‌ها را آسان‌تر کنید. چندین کار وجود دارد که باید اطمینان حاصل کنید که خزندگان می‌توانند بدون مشکل در سریع‌ترین روش ممکن به وب‌سایت شما دسترسی پیدا کنند و به آن‌ها دسترسی پیدا کنند؛ که به شرح زیر هستند:
- از Robots.txt استفاده کنید تا مشخص کنید به کدام صفحات وب‌سایت خود دسترسی ندارید. به‌عنوان‌مثال، صفحاتی مانند سرپرست سایت یا صفحات باقی‌مانده و سایر صفحاتی که نمی‌خواهید در اینترنت در دسترس عموم قرار گیرند.
- موتورهای جست‌وجوگر بزرگی مانند Google و Bing، دارای ابزارهایی ازجمله ابزارهای وب مستر که می‌توانید از آن‌ها استفاده کنید تا اطلاعات بیشتری درمورد وب‌سایت خود (تعداد صفحات، ساختار و غیره) در اختیار آن‌ها قرار دهید تا مجبور نباشند آن‌ها را پیدا کنند.
- از یک نقشه سایت XML برای لیست کردن تمام صفحات مهم وب‌سایت خود استفاده کنید تا خزندگان بتوانند بدانند کدام صفحات برای نظارت بر تغییرات را پیدا کنند.
مرحله ۲: شاخص گذاری موتورهای جستوجو «Indexing»
بهتر است بدانید فرایند خزیدن «Crawling» به‌تنهایی برای موتورهای جستوجو کافی نیست. اطلاعاتی که توسط خزنده‌ها مشخص شده‌اند باید ساماندهی، مرتب‌سازی و ذخیره شوند تا بتوانند توسط الگوریتم‌های موتور جستوجو قبل از آن که در دسترس کاربر قرار بگیرند، به‌صورت نهایی پردازش شوند. این فرایند «Indexing» نام دارد. موتورهای جستوجو تمام اطلاعات موجود در یک صفحه را در فهرست خود ذخیره نمی‌کنند اما مواردی مانند:
- هنگامی که صفحه جدید ایجاد شد
- به‌روزرسانی صفحات
- عنوان و توضیحات صفحه
- نوع محتوا
- کلمات کلیدی مرتبط
- لینک‌های ورودی و خروجی
را حفظ می‌کند.
چرا باید به روند نمایه‌سازی اهمیت داد؟
جواب این سؤال بسیار ساده است، اگر وب سایت شما در فهرست آن‌ها نباشد، برای جستجو مرتبط با کلمه کلیدی سایت شما در موتور جستوجو، سایت شما ظاهر نخواهد شد؛ همچنین بهینه‌سازی بخش نمایه‌سازی باعث می‌شود تا هرچه تعداد صفحات بیشتری در فهرست‌های موتور جستوجو وجود داشته باشید، وقتی شخصی یک کلمه کلیدی مرتبط با سایت شما را تایپ کند، شانس حضور سایت‌تان در نتایج جستوجو بیشتر بشود.
برای اینکه در ۵ موقعیت اول SERP (صفحات نتایج موتور جستوجو) ظاهر شوید، باید وب‌سایت خود را برای موتورهای جستوجو با استفاده از فرآیندی به نام بهینه‌سازی موتورهای جستوجو یا سئو بهینه کنید.
مرحله ۳: رتبه بندی
الگوریتم‌های رتبه بندی موتورهای جستوجو
سومین و آخرین مرحله در فرایند بهینه‌سازی موتورهای جستوجو، رتبه‌بندی است که موتورهای جستوجو تصمیم بگیرند وقتی شخصی یک کلمه کلیدی را تایپ می‌کند، کدام صفحات را در SERPS به کاربر نشان دهد و به چه ترتیب باشد؛ این امر با استفاده از الگوریتم‌های رتبه‌بندی موتور جستوجو بدست می‌آید. به زبان ساده، این قطعات نرم‌افزاری دارای تعدادی قانون هستند که آنچه کاربر به دنبال آن است را تجزیه‌وتحلیل می‌کنند. این قوانین و تصمیمات بر اساس اطلاعات موجود در فهرست آن‌ها ساخته می‌شود.
نتیجه‌گیری
موتورهای جستوجو به برنامه‌های رایانه‌ای بسیار پیچیده‌ای تبدیل شده‌اند و روند کاری آن‌ها با خزیدن و شاخص گذاری شروع می‌شود. در طی این مرحله، خزنده‌های موتور جستوجو حداکثر اطلاعات را برای همه وب‌سایت‌هایی که در اینترنت در دسترس هستند، جمع می‌کنند. آن‌ها این اطلاعات را با استفاده از الگوریتم‌های موتورهای جستوجو برای تصمیم‌گیری و بازگشت بهترین نتایج ممکن به کاربر، کشف، پردازش، مرتب‌سازی و ذخیره می‌کنند. میزان داده‌های لازم برای پردازش بسیار زیاد است و این فرایند کاملاً خودکار است.
به‌عنوان مدیر یک وب‌سایت، کار شما این است که با ایجاد وب‌سایتی که ساختار ساده و سرراست دارد، کار خزیدن و ایندکس کردن را آسان کنید.
هنگامی‌که آن‌ها می‌توانند وب‌سایت شما را بدون مشکل بخوانند، پس باید اطمینان حاصل کنید که به آن‌ها سیگنال‌های مناسبی را برای کمک به الگوریتم‌های رتبه‌بندی جستجوی خود می‌دهید، وقتی کاربر یک درخواست مربوطه را تایپ می‌کند، وب‌سایت شما نمایش داده خواهد شد. برای به دست آوردن یک تجارت آنلاین موفق، سهم ناچیزی از کل ترافیک موتورهای جستجو کافی است.
سلام. چقدر این گوگل و ربات های خزنده ش و الگوریتم هاش پیچیده و جالبه، واقعا هر چقدر دارم در موردش یاد می گیرم کمه و بیشتر عاشق گوگل میشم.
خدارو شکر می کنم که سایتم رو شما طراحی کردید و با عشق دارم برای سئو و رشدش آموزش می بینم.
سلام جناب رستم زاده ، خوشحالیم که راضی هستید
چقدر جالب بود این مقاله، من تازه بااین مسائل اشنا شدم و اصلا طرز کار گوگل رو نمی دونستم. عجب دنیایی داره این تکنولوژی بکار برده شده در این موتور جستجو.
مرسی از مقاله و توضیحات جامع و مفیدتون. من در زمینه دنیای اینترنت خیلی نمی دونم اما این مقاله و اینکه گوگل چگونه کار می کنه خیلی برام جالب اومد و تازه دارم یک سری چیزها رو می فهمم.
دستتون درد نکنه.
سلام و خدا قوت به سایت خوب پرگاس انفورماتیک.
من از پیجتون اومدم. انصافا خیلی مقالات خوبی دارید و حیفم اومد نظر نزارم.
من درس بزرگی که از گوگل یاد گرفته ام اینه که وقتی موتور جستجو یاهو وجود داشت، گوگل فقط یک ایده بود، اما اومد و با اختلاف بهترین شد، یعن یعنی خواستن توانستن است.
عه، پس اینجوریه. من اصلا فکرشم نمی کردم که موتورهای جستوجو یعنی خصوصا گوگل این مدلی کار می کنن.
واقعا دستتون درد نکنه.
موتور جست و جوی گوگل اونقدر دیگه محبوب شده که بقیه حداقل توی ایران به فراموشی سپرده شدن.
دم لری بیج درد نکنه با اون هوش و ذکاوتش که اینقدر تونسته گوگل رو توسعه بده و هوشمندش کنه.