توضیح گوگل درباره متاتگ Index و Follow

جان مولر گوگل به سوالی درباره چگونگی برخورد گوگل با متاتگ Index و Follow که دارای دستورالعمل ایندکس و دنبال (index, follow) است، پاسخ می‌دهد.

جان مولر از گوگل در یک سوال در ردیت در مورد تگ متا ربات‌ها که به طور متداول استفاده می‌شود و اگر از آن کم باشد چه اتفاقی می‌افتد، پاسخ داد. پاسخ مولر، هرچند که منطقی و مستند است، ممکن است هنوز برخی از ناشران و اساتید سئو را متعجب کند.

متا تگ ربات ها

عنصر meta در HTML اطلاعات فراداده را ارسال می‌کند. اطلاعات فراداده اطلاعاتی قابل خواندن توسط یک کرال مانند گوگل بات هستند.

“عناصر متا انواع زیادی دارند مانند عنصر متا توضیحات، اما عنصر متا ربات‌ها با آن‌که متفاوت است، قابلیت کنترل کرالرهای موتورهای جستجو را دارد.

اطلاعات ارسال شده توسط تگ متا ربات‌ها به نام دستوری است، به این معنا که کرالرهای ربات موظف به اطاعت از دستورات در تگ متا ربات‌ها هستند.

راه‌های زیادی برای انتقال اطلاعات از طریق متا ربات‌ها وجود دارد، اما یکی از تگ‌های متا مرتبط با سوالی است که جان مولر به آن پاسخ داده است،

تگ متا noindex، nofollow

هرچند تگ متا فوق‌العاده معمول است، اما درباره آن مقدار زیادی از سوءفهم وجود دارد. یک استدلال وجود دارد که به این دلیل که گوگل از nofollow پشتیبانی می‌کند، باید منعکس کند که گوگل از دستورالعمل follow نیز پشتیبانی می‌کند.

من تعدادی از وب‌سایت‌های معتبر را پیدا کردم که می‌گویند گوگل از تگ متا ربات‌ها با دستورالعمل index و follow استفاده می‌کند.

اما واقعیت این است که گوگل این دستورات را چگونه استفاده می‌کند، همانطور که جان مولر در پاسخ خود واضح کرده است.”

تأثیر حذف تگ متا ربات‌ها با دستورالعمل index چیست؟

فردی در ردیت سوال زیر را پرسید:

من کمی گیج هستم در مورد یک وب سایتی که در حال کار بر روی آن هستم.

پس از آنکه تکه‌های متا در اکثر وب‌سایت‌هایی که بر روی آن کار می‌کنم مانند زیر هستند:

اما در مورد وب‌سایت مورد نظر، تگ ‘index’ حذف شده است.

سوال من این است: تأثیر حذف تگ ‘index’ از سایت چیست؟

جان مولر به این صورت پاسخ داد

“تگ متا ‘index’ (در کمال احتمال در گوگل) هیچ کاربردی ندارد – کاملاً نادیده گرفته می‌شود. همچنین ‘follow’.

گوگل دارای

https://developers.google.com/search/docs/crawling-indexing/special-tags

و

https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag

برای اسناد تگ‌های متا با کاربردها است. شما هر چیز دیگری را هم می‌توانید استفاده کنید، کاملاً نادیده گرفته می‌شود.یک گزینه است، اگر بخواهید مردم را گمراه کنید.”

دلیل ساده نادیده گرفته شدن تگ متا ‘index’ و ‘follow’ توسط گوگل این است که این عملیاتها (ایندکس کردن و دنبال کردن) به عنوان پیش‌فرض‌ها در نظر گرفته شده‌اند. ربات‌های موتور جستجو برای اینکه محتوا را ایندکس کنند و به لینک‌ها دنبال کنند، نیاز به دستور ندارند، چرا که همین اهداف اصلی آن‌ها هستند.”

آیا استفاده از Index, Follow کاملاً بی‌اثر است؟

صحت دارد و مستند است که در مورد Googlebot،یک تلف کد HTML است و توسط Googlebot نادیده گرفته می‌شود.

بینگ هم Index, Follow را به یک شیوه مشابه با اختلاف کوچکی در نظر می‌گیرد، همانطور که در مستندات رسمی بینگ برای تگ‌های متا توضیح داده شده است.

این است که مستندات بینگ چه می‌گویند در مورد دستورالعمل index:”

به طور پیش‌فرض، ما فرض می‌کنیم ‘index’، اما اگر نیاز باشد، می‌توانید ازاستفاده کنید تا به وضوح بیان شود که ممکن است صفحه را ایندکس کنیم.

و در مورد دستورالعمل follow

“به طور پیش‌فرض، ما فرض می‌کنیم ‘follow’، اما اگر بخواهید می‌توانید به صورت صریح ‘follow’ را بیان کنید.”

در ۲۰ سال گذشته که در زمینه‌ی بهینه‌سازی وب‌سایت‌ها فعال بوده‌ام و آن‌ها را بهینه‌سازی و رتبه‌بندی کرده‌ام، همیشه به عنوان یک سیاست خوب در نظر گرفته‌ام که به ربات‌ها آنچه را انتظار دارند بدهیم و سعی کنیم هیچ چیزی که غیرمنتظره باشد به آن‌ها ندهیم. بنابراین، اگر یک توضیحات متا لازم نباشد، انگیزه من این است که آن را حذف کنم، چرا که هدف اصلی از بهینه‌سازی این است که فرآیند ایندکس کردن و درک محتوا برای موتورهای جستجو را هرچه ساده‌تر کنیم، به این معنا که از هر چیزی که ممکن است با این هدف مغایرت داشته باشد، دوری کنیم.

در این مورد، احتمالاً احتمالاً تأثیری نخواهد داشت یا بر یک سمت یا بر یک سمت دیگر.

اما… یک راه دیگر وجود دارد که دستورالعمل‌های follow و index را برخی از افراد گیج می‌کند.

بعضی از ناشران از این تگ متا ربات‌ها استفاده می‌کنند:

برخی از سایت‌ها توصیه می‌کنند که اگر صفحه در ایندکس قرار نگرفته باشد، استفاده از دستورالعمل “follow” موتور جستجو را مجبور به دنبال کردن لینک‌ها می‌کند.

اما این درست نیست در متاتگ Index و Follow  اگر دستورالعمل “noindex” وجود داشته باشد به دلیل ساده بودن: گوگل نمی‌تواند یک لینک را در صفحه‌ای که در ایندکس نیست، دنبال کند. اگر در ایندکس نباشد، لینک‌های موجود در آن صفحات نیز در ایندکس نیستند.

سخن پایانی

به طور کلی، درک دقیق از نحوه عملکرد تگ‌های متا ربات‌ها امری بسیار حیاتی برای بهینه‌سازی وب‌سایت‌هاست. همانطور که مطلع شدیم، استفاده از تگ‌های متا باید با دقت و با شناخت کامل از عملکرد آن‌ها انجام شود. در صورت نیاز به بهبود سئو و جلب بک لینک‌های کیفی، استراتژی‌های مدون و سازگار با دستورالعمل‌های موتورهای جستجوی اصلی را رعایت کنید. در نهایت، توصیه می‌شود که در خرید بک لینک و بهینه‌سازی سایت، به کلمه کلیدی توجه ویژه داشته باشید. با این تدابیر، امکان دستیابی به نتایج مثبت و تقویت سئو وب‌سایت شما بیشتر خواهد شد. با تشکر از همراهی شما.