ربات‌های گوگل یا موتورهای جستجو نقش بسیار بزرگی در معرفی سایت برای موتورهای جستجو بر عهده دارند. فایل robots.txt در سئو تکنیکال، نرخ بودجه سایت را تنظیم می‌کند. فعالیت‌ها و اقداماتی که در راستای بهینه سازی بر روی سایت انجام می‌گیرد باید توسط ربات‌های گوگل ایندکس شود و سایت رتبه بندی شود. از این جهت باید گوگل را به سمت درستی هدایت کنیم که ایندکس به طور صحیح در صفحات ما بخزد و صفحات ما را ایندکس کند. نحوه دسترسی ربات گوگل به سایت‌های مختلف چگونه است؟ چگونه می‌توانیم این ربات‌ها را به صفحات خاصی محدود کنیم؟ فایل robots.txt فایلی است که توسط آن می‌توانید کارهای مختلفی مانند میزان دسترسی یا محدود کردن ربات موتورهای جستجو را انجام دهید.    

فایل robots.txt چیست؟

فایل robots.txt جز موارد فنی در سئو است که برای بهینه سازی ایندکس صفحات سایت می‌توانید از آن استفاده کنید. فایل robots.txt فایلی متنی است که خزنده‌های گوگل را به سمت صفحات هدایت می‌کند و به ایندکس شدن سایت کمک می‌کند. همانطور که اشاره کردیم فایل متنی robots.txt ربات‌ها را به سمت سایت هدایت می‌کنند، به همین علت باید نحوه استفاده و تنظیم فایل را بدانید. برای جلوگیری از ایندکس شدن صفحات سایت خود می‌توانید از تگ noindex استفاده نمایید. استفاده از این تگ برای تمامی صفحات امری دشوار است که در این قسمت از فایل robots.txt کمک گرفته می‌شود. در شرایطی که فایل به طور robots.t ناصحیح تنظیم شده باشد می‌تواند خزنده‌های گوگل را نیز به اشتباه بیندازد. بهتر است هر دفعه که کمپین سئو جدیدی را آغاز می‌کنید فایل خود را نیز با ابزار نوشتاری ربات‌های گوگل بررسی کنید.   

چه صفحاتی نباید ایندکس شوند؟

توسط فایل robots.txt می‌توانید از ایندکس شدن صفحات مانند دسته بندی‌ها، تگ‌ها و صفحات خاصی جلوگیری نمایید. صفحاتی که باید توسط این فایل ایندکس نشوند، شامل:

• صفحات حاوی محتوای تکراری
• صفحاتی که با سرچ در سایت ایجاد می‌شوند.
• تگ‌ها و برجسب‌هایی که محتوای تکراری ایجاد یا در سایت اضافه می‌کنند. 
• فیلتربندی صفحات محصول که شامل فیلترهای رنگ، قیمت و غیره هستند. 
• تمامی صفحات ادمین، پنل سایت، پروفایل کاربران سایت و صفحات چت
• بعضی از فایل‌های قالب که نیازی به دیده شدن توسط گوگل ندارند. 

برای دسترسی به فایل robots.txt می‌توانید به سایت https://www.website-example.com/robots.txt مراجعه نمایید. دستورات موجود در این فایل به این صورت است که به خزنده‌های گوگل این قابلیت را می‌دهند که در سایت شما بخزند، آن را ایندکس کنند یا یک سری از دستورات قابل اجرا به خزنده‌های گوگل خواهد داد. بیشتر موتورهای جستجو این دستورالعمل‌ها را رعایت می‌کنند. 

نحوه استفاده از robots.txt

این فایل‌ها انعطاف‌پذیر بوده و به متخصص سئو کمک می‌کند که چندین صفحه را به صورت همزمان، بدون اینکه نیازی به دسترسی به کدهای برخی از صفحات داشته باشد، از ایندکس شدن آن جلوگیری نماید. برای جلوگیری از ایندکس صفحات می‌توانید از دستور User-agent استفاده نمایید. 
به این صورت در ابتدای فایل و قبل از هر دستوری می‌توانید از این دستور استفاده نمایید. در هر فایل robots.txt از سه دستور اصلی استفاده می شود که موارد زیر هستند: بعد از نوشتن عبارت User-agent می‌توانید جلوی آن دو نقطه قرار دهید و نام رباتی که می‌خواهید به آن دستور بدهید را بنویسید. برای مثال User-agent: googlebot. 
هدف قرار دادن تمامی ربات‌ها با دستور User-agent: * امکان پذیر است.

چرا باید فایل Robots.txt داشته باشیم؟

صاحبان وب سایت و متخصصین سئو می‌توانند از طرق مختلفی ورود ربات‌ها را کنترل کنند که این کنترل کردن نیز به علل مختلفی اتفاق می‌افتد. البته تمامی صفحات یک وب سایت از یک درجه از اهمیت برخوردار نیستند. متخصصین علاقه به ایندکس شدن برخی از صفحات خود ندارند(برای مثال پنل مدیریت). 
در صورت داشتن وب سایتی که هزاران صفحه دارد و ترافیک سایت نیز زیاد است، اگر صاحب سایت با مایل نباشد که منابع سرور برای بازدیدهای پشت سرهم ربات‌ها مصرف شود می‌تواند از این فایل استفاده کند.
در حقیقت فایل robots.txt می‌تواند درخواست‌های بیش از حد بازدید از صفحات وب سایت را محدود کند. 

دستور Allow و Disallow

بعد از مشخص کردن ربات هدف باید دستورات لازم را به آنها بدهید. این دستورات به این صورت است که مشخص می‌کنید کدام یک از صفحات اجازه ایندکس شدن دارند یا ندارند. برای اینکه اجازه دادن به ربات موتورهای جستجو می‌توانید از دستور Allow و برای جلوگیری از خزش می‌توانید از دستور Disallow استفاده نمایید. 
نحوه نوشتن به این صورت است که بعد از نوشتن این دو عبارت باید دو نقطه : را در جلوی آن قرار دهید، و بعد از قرار دادن / باید صفحه و یا دسته صفحاتی که قصد اعمال کردن دستور به آنها را دارید وارد می‌کنید. البته نیازی نیست که تمامی آدرس آن صفحه را در این قسمت تایپ کنید. در سایت www. example.com/admin می‌توانید از User-agent: * Disallow: /admin/ استفاده نمایید. برای اجازه ایندکس شدن صفحات می‌توانید از دستور Allow استفاده نمایید.
صفحاتی که در این فایل از ایندکس شدن آن جلوگیری می‌کند را نباید در سایت قرار دهید. موارد و دسته صفحات را در فایل متنی robots.txt ذخیره و در سایت آپلود کنید. 

قرار دادن robots.txt در سرچ کنسول گوگل

بعد از تکمیل فایل و قرار دادن در سایت باید از سرچ کنسول نیز تغییرات لازم را اعمال کنید. شما باید تمام متن فایل robots.txt را در آن قرار دهید تا گوگل به راحتی بتواند دستورات را ببیند. در بخش test نیز می‌توانید  یو آر ال های سایت را تست کنید تا ببینید کدام یو آر ال‌ها بر روی ربات گوگل بسته شده‌اند. این فایل از موارد حساس برای سئو سایت است پس باید برای ایجاد دستورات در آن دقت لازم را به خرج دهید. در صورتی که اشتباها صفحات مهم را ببندید طبیعتا رتبه سایت خود را از دست خواهید داد.