موتور جستجوی گوگل چطور کار می‌کند؟

موتور جستجوی گوگل یک موتور جستجوی کاملاً خودکار است که از یک تکنولوژی به نام خزنده‌های وب (Crawler’s) استفاده می‌کند که به طور منظم وب را برای یافتن صفحاتی برای افزودن به فهرست مورد نظر جستجو می‌کند. در واقع اکثر صفحات فهرست‌شده در نتایج، به‌صورت دستی برای گنجاندن ارسال نمی‌شوند، اما زمانی که خزنده‌های وب کاوش می‌کنند، به‌طور خودکار پیدا و اضافه می‌شوند. این مقاله مراحل نحوه عملکرد جستجو در گوگل را توضیح می‌دهد. اگر شما نیز صاحب یک سایت هستید، داشتن این دانش پایه می‌تواند به شما کمک کند مشکلات خزیدن خزنده‌های گوگل را برطرف کنید، صفحات خود را ایندکس کنید، و یاد بگیرید که چگونه سایت خود را در جستجوی گوگل بهینه کنید.

قبل از اینکه به جزئیات نحوه عملکرد جستجو بپردازیم، لازم به ذکر است عرض کنیم که Google برای خزیدن و ایندکس یک سایت یا رتبه‌بندی آن، مبلغی دریافت نمی‌کند و اساسا این کار بدون هزینه است. همچنین گوگل تضمین نمی‌کند که صفحه شما را بخزد، فهرست کند یا به آن سرویس دهد، حتی اگر صفحه شما از اصول جستجوی Google پیروی کند.

معرفی سه مرحله جستجوی گوگل

خزیدن: موتور جستجوی گوگل، متن، تصاویر و ویدیوها را از صفحاتی که در اینترنت پیدا کرده است با برنامه‌های خودکار به نام خزنده دانلود می‌کند.

نمایه سازی: موتور جستجوی گوگل، متن، تصاویر و فایل‌های ویدئویی موجود در صفحه را تجزیه و تحلیل می‌کند و اطلاعات را در فهرست گوگل که یک پایگاه داده بزرگ است ذخیره می‌کند.

ارائه نتایج جستجو: وقتی کاربر در گوگل جستجو می‌کند، Google اطلاعاتی را برمی‌گرداند که مربوط به درخواست کاربر است.

خزیدن

مرحله اول پیدا کردن و یافتن این است که چه صفحاتی در وب وجود دارد. یک رجیستری مرکزی برای همه صفحات وب وجود ندارد، بنابراین گوگل باید دائماً به دنبال صفحات جدید و به روز شده باشد و آنها را به لیست صفحات شناخته شده خود اضافه کند. این فرآیند “کشف URL” نامیده می‌شود.

برخی از صفحات به این دلیل شناخته شده‌اند که گوگل قبلاً از آنها بازدید کرده است. صفحات دیگر زمانی کشف می‌شوند که Google پیوندی را از یک صفحه شناخته شده به یک صفحه جدید دنبال می‌کند: برای مثال، یک صفحه هاب، مانند صفحه دسته‌بندی، به یک پست وبلاگ جدید پیوند می‌دهد. هنگامی که فهرستی از صفحات ( نقشه سایت ) را برای خزیدن گوگل ارسال می‌کنید، صفحات دیگری کشف می‌شوند.

هنگامی که Google یک صفحه را پیدا کرد، ممکن است از صفحه بازدید کند.

موتور جستجوی گوگل از مجموعه عظیمی از رایانه‌ها برای خزیدن میلیاردها صفحه در وب استفاده می‌کند. برنامه‌ای که واکشی را انجام می‌دهد Googlebot نامیده می شود (همچنین به عنوان خزنده، گوگل بات، ربات یا عنکبوت نیز شناخته می‌شود). Googlebot از یک فرآیند الگوریتمی برای تعیین اینکه کدام سایت‌ها، چند وقت یکبار و چند صفحه از هر سایت باید خزیده شود، استفاده می‌کند.

خزنده‌های گوگل نیز به گونه‌ای برنامه‌ریزی شده‌اند که سعی می‌کنند سایت را خیلی سریع و به فاصله کم خزش نکنند تا از بارگذاری بیش از حد آن جلوگیری شود. این مکانیسم بر اساس پاسخ‌های سایت (به عنوان مثال، خطاهای HTTP 500 به معنای “کم کردن سرعت” ) و تنظیمات در کنسول جستجو است.

با این حال، Googlebot تمام صفحاتی را که کشف کرده است نمی‌خزد. برخی از صفحات ممکن است توسط مالک سایت برای خزیدن مجاز نباشد ، صفحات دیگر ممکن است بدون ورود به سایت قابل دسترسی نباشند. مثل بخش پنل کاربران یا کنترل پنل مدیریت.

در حین خزیدن، Google صفحه را رندر می‌کند و هر جاوا اسکریپتی را که پیدا می‌کند با استفاده از نسخه اخیر Chrome اجرا می‌کند ، شبیه به نحوه نمایش مرورگر شما از صفحاتی که بازدید می‌کنید. رندر مهم است زیرا وب سایت‌ها اغلب برای آوردن محتوا به صفحه به جاوا اسکریپت متکی هستند و بدون رندر ممکن است گوگل آن محتوا را نبیند.

خزیدن بستگی به این دارد که آیا خزنده‌های گوگل می توانند به سایت دسترسی داشته باشند.

مشکلات رایج در دسترسی Googlebot

برخی از مشکلات رایج در دسترسی Googlebot به سایت‌ها عبارتند از:

• مشکل با سروری که سایت را مدیریت می‌کند
• مشکلات شبکه و اینترنت
• قوانین robots.txt که از دسترسی Googlebot به صفحه جلوگیری می‌کند

نمایه سازی

پس از خزیدن یک صفحه، گوگل سعی می‌کند بفهمد صفحه در مورد چیست. این مرحله فهرست‌سازی نامیده می‌شود و شامل پردازش و تحلیل محتوای متنی و برچسب‌ها و ویژگی‌های محتوای کلیدی مانند <title>عناصر و ویژگی‌های alt، تصاویر ، ویدیوها و غیره است.

در طول فرآیند نمایه سازی، گوگل تعیین می‌کند که آیا یک صفحه تکراری از صفحه دیگری در اینترنت است یا متعارف (Canonical).

آدرس Canonical صفحه‌ای است که ممکن است در نتایج جستجو نشان داده شود. برای انتخاب متعارف، ابتدا صفحاتی را که در اینترنت پیدا می‌شود به همراه محتوای مشابهی که پیدا شده، با هم گروهی می‌شود و سپس یکی را انتخاب می‌کمند که نماینده گروه است. صفحات دیگر این گروه نسخه‌های جایگزینی هستند که ممکن است در زمینه‌های مختلف ارائه شوند، مثلاً اگر کاربر از یک دستگاه تلفن همراه جستجو می‌کند یا به دنبال صفحه بسیار خاصی از آن دسته است.

گوگل همچنین سیگنال‌هایی را در مورد صفحه متعارف و محتوای آن جمع‌آوری می‌کند که ممکن است در مرحله بعد، جایی که صفحه را در نتایج جستجو ارائه می‌کنیم، استفاده شود. برخی از سیگنال ها شامل زبان صفحه، کشوری که محتوا در آن محلی است، قابلیت استفاده از صفحه و غیره است.

اطلاعات جمع‌آوری‌شده درباره صفحه متعارف و خوشه آن ممکن است در فهرست Google، یک پایگاه داده بزرگ که بر روی هزاران رایانه میزبانی می‌شود، ذخیره شود. نمایه سازی تضمین نشده است. هر صفحه‌ای که گوگل پردازش می‌کند ایندکس نمی‌شود.

مشکلات رایج نمایه سازی گوگل

نمایه سازی به محتوای صفحه و ابرداده آن نیز بستگی دارد. برخی از مشکلات رایج نمایه سازی می‌تواند شامل موارد زیر باشد:

• کیفیت محتوای صفحه پایین است
• متاهای ربات‌ صفحه قوانین نمایه سازی را ممنوع می‌کند مثلا متای noindex
• طراحی وب سایت ممکن است نمایه سازی را دشوار کند

ارائه نتایج جستجو

هنگامی که کاربر درخواستی را وارد می‌کند، گوگل فهرست را برای صفحات منطبق جستجو می‌کنند و نتایجی را که بالاترین کیفیت و مرتبط‌ترین با درخواست کاربر هستند را برمی‌گرداند. ارتباط توسط صدها عامل تعیین می‌شود که می‌تواند شامل اطلاعاتی مانند مکان کاربر، زبان و دستگاه (رومیزی یا تلفن) باشد. برای مثال، جستجوی «تعمیرگاه‌های دوچرخه» نتایج متفاوتی را برای کاربر در پاریس نسبت به کاربر هنگ‌کنگ نشان می‌دهد. (سئوی محلی)

بر اساس درخواست کاربر، ویژگی‌های جستجو که در صفحه نتایج جستجو ظاهر می شود نیز تغییر می‌کند. برای مثال، جستجوی «تعمیرگاه‌های دوچرخه» احتمالاً نتایج محلی و بدون نتیجه تصویری را نشان می‌دهد ، اما جستجوی «دوچرخه مدرن» به احتمال زیاد نتایج تصویر را نشان می‌دهد، اما نتایج محلی را نشان نمی‌دهد.

کنسول جستجو (Search Console) ممکن است به شما بگوید که یک صفحه ایندکس شده است، اما شما آن را در نتایج جستجو نمی‌بینید. این ممکن است به این دلیل باشد که:

• محتوای صفحه به سوالات کاربران بی ربط است
• کیفیت مطالب پایین است
• متاهای ربات مانع از سرویس دهی می‌شود

در حالی که این راهنما نحوه عملکرد جستجو را توضیح می‌دهد، گوگل همیشه در حال بهبود الگوریتم‌های خود است.

منبع: راهنمای گوگل