کاربرد فایل Robots.txt و آموزش نوشتن دستورات این فایل

پس از اینکه در نت افراز بلاگ، با مقاله‌ای تحت عنوان “راهنمای نمایش وب‌سایت، در نتایج سرچ گوگل” به بررسی عوامل موثر در ایندکس شدن سایت شما در گوگل پرداختیم؛ اکنون زمان آن رسیده که ببینیم، چطور می‌توان دسترسی گوگل و Web Crawlers‌هایش را به سایت خود مدیریت کنیم. کاربرد اصلی فایل Robots.txt مرتبط با همین موضوع است.

ممکن است صفحات و یا دایرکتوری‌هایی داشته باشیم که نخواهیم توسط گوگل ایندکس شود. یا علاوه بر آن ممکن است متوجه شویم که یک صفحه‌ی ما ایندکس نمی‌شود و در پی دلیل آن باشیم. در تمامی این موارد ممکن است که فایل Robots.txt در ارتباط میان سایت شما و گوگل اختلالاتی ایجاد کرده باشد. در این مقاله از نت افراز بلاگ، به بررسی کاربرد این فایل مهم، یعنی Robots.txt خواهیم پرداخت. با ما در ادامه این مقاله همراه باشید.

فایل Robots.txt چیست؟

فایل Robots.txt یک فایل متنی است که در مسیر اصلی سایت شما (Root Directory) قرار دارد. فایل Robots.txt در حقیقت ناظر بر رفتار Web Crawlers در وب‌سایت شماست. فایل Robots.txt به خزندگان وب دستور می‌دهد که چه برگه‌ای را ایندکس کنند و چه برگه‌ای را ایندکس نکنند!

در واقع این خزندگان سطح وب، با بررسی این فایل، اطلاعات سایت شما را به ثبت می‌رسانند.

فایل Robots.txt چگونه دسترسی Web Crawlers به سایت من را مدیریت می‌کند؟

اکثر ربات‌ها (ربات‌های مودّب!) پیش از اینکه به بررسی صفحات وب‌سایت شما و ایندکس کردن آن‌ها بپردازند، به سراغ فایل Robots.txt می‌روند و بر اساس قوانین نوشته شده در این صفحه اقدام به بررسی سایت شما می‌کنند. ربات‌های تمام توسعه‌دهنگان موتورهای جستجو از جمله گوگل، بینگ و Duckduckgo، از این دسته ربات‌ها هستند.

این ربات‌ها با بررسی قوانین این فایل متنی اقدام به ایندکس کردن صفحات وب‌سایت شما می‌کنند و وارد مسیرهای ممنوعه‌ای که شما در این فایل مشخص کرده‌اید نمی‌شوند.

اما در این میان، ربات‌هایی که وظیفه برقراری امنیت در فضای وب را دارند، این قوانین را نادیده می‌گیرند و می‌توان گفت که اصلا این فایل را چک نمی‌کنند! از جمله این ربات‌ها می‌توان به Spambots اشاره کرد که با تحلیل وب‌سایت‌های سطح وب، ربات‌های اسپمری که در بستر یک وب‌سایت مخفی شده‌اند را شناسایی و نشانه گذاری می‌کند.

با چند دستور پر کاربرد برای شخصی سازی فایل Robots.txt آشنا شوید.

در اکثر مواقع کاربران مبتدی نیاز به یادگیری دستورات کار با فایل Robots.txt ندارند. ابزارهای SEO وردپرس، همچون پلاگین‌های Yoast ،Rankmath و… دسترسی مستقیم به این فایل دارند و می‌توانند آن را ویرایش کنند. در همین راستا، اکثر کاربران وردپرس ترجیح می‌دهند که به جای کدنویسی، از طریق تنظیمات این پلاگین‌ها اقدام به ویرایش فایل Robots.txt نمایند. اما دانستن معانی این دستورات خالی از لطف نیست و به شما کمک می‌کند که به درک درستی از تنظیمات اعمال شده در این فایل دست یابید.

دستور User-agent

این دستور برای مخاطب قرار دادن ربات‌های مختلف کاربرد دارد. به عنوان مثال اگر بخواهید دستور خاصی را تنها مختص به ربات گوگل اعلام کنید، باید از رشته کد زیر استفاده کنید.

User-agent: googlebot

چنانچه که می‌خواهید قانون خاصی را برای تمامی ربات‌ها تعریف کنید، باید از عملگر “*” (ستاره) به عنوان ورودی استفاده کنید.

User-agent: *

دستور Allow

با استفاده از دستور Allow می‌توانیم دسترسی ربات‌ها به یک فایل، صفحه یا مسیر خاص را به صورت “مجاز” تعریف کنیم. همان طور که در مثال قبل نیز اشاره کردیم، معرفه‌ی‌ ربات‌های گوگل، عبارت “googlebot” می‌باشد. در مثال پایین ما دسترسی ربات‌های گوگل به فایل Netafraz.jpg را مجاز اعلام می‌کنیم.

User-agent: googlebot
Allow : /photos/Netafraz.jpg

دستور Disallow

این دستور دقیقا عملکردی مخالف دستور Allow دارد. با استفاده از دستور Disallow می‌توانیم دسترسی ربات‌ها به یک فایل، صفحه یا مسیر خاص را “غیرمجاز” اعلام کنیم. به عنوان مثال، ما با استفاده از رشته کد زیر، دسترسی تمامی ربات‌ها به فایل Netafraz-blog.jpg را غیرمجاز اعلام می‌کنیم.

User-agent: *
Disallow: NetafrazBlog/photos/Netafraz-blog.jpg

اضافه کردن نقشه سایت (Site Map) به فایل Robots.txt

اضافه کردن نقشه سایت (Site Map) به فایل Robots.txt یکی از کارهاییست که بسیار در ایندکس شدن تمامی صفحات وب‌سایت شما تاثیرگذار است و عملکرد مثبتی بر روی سئو وب‌سایت شما دارد.

اضافه کردن نقشه سایت به فایل Robots.txt بسیار ساده است. تنها کافیست که از رشته کد زیر استفاده نموده و آدرس Sitemap خود را در فایل مشخص نمایید.

Sitemap: https://Yourdomain.com/sitemap.xml

توجه داشته باشید که بسته به پلاگین مورد استفاده شما، آدرس نقشه سایت شما می‌تواند متفاوت باشد.

در این مقاله از نت افراز بلاگ، به بررسی فایل Robots.txt پرداختیم. این فایل در عین سادگی عملکرد بسیار مهمی در وب‌سایت شما دارد. اگر تصمیم دارید که به یک سئوکار حرفه‌ای تبدیل شوید، در ادامه بسیار با این فایل سروکار خواهید داشت. به عنوان مثال بد نیست اگر نگاهی به فایل Robots.txt وب‌سایت گوگل بیندازید و پیچیدگی محتوای آن را ببینید.

فایل Robots.txt وب‌سایت گوگل

ما در تیم نت افراز همواره آماده پاسخگویی به سوالات شما کاربران عزیز  هستیم. پس چنانچه هر سوالی در رابطه با این مقاله داشتید، از طریق بخش ارسال نظرات، در پایین این صفحه با ما در ارتباط باشید.

موفقیت همراه راهتان باد