مقالات آموزشی سئو و بهینه سازی

 فایل robots.txt چیست ؟

روبات های جستجو که به spider , robot و یا crawler معروف هستند توسط موتورهای جستجوگر برای پیدا کردن بهتر و ایندکس اصولی تر یک وب سایت مورد استفاده قرار میگیرد.

به طور خلاصه اگر سایتی دارای فایل robots.txt نباشد ، خزنده های موتورهای جستجوگر تمام صفحات و تصاویر آن وب سایت را ایندکس میکنند ولی شاید شما نخواهید بخش مدیریت سایتتان ایندکس شود یا هر بخش دیگری ، پس با فایل robots.txt این امر امکان پذیر است.

با ما همراه باشید تا بیشتر پیرامون روبات تکست صحبت کنیم و روش ساخت و بهینه سازی ان را به شما عزیزان فرا دهیم.

 

چگونه میتوان فایل robots.txt را ساخت ؟

وظیفه اصلی فایل robots.txt : آدرس دهی و آنت دهی محتوای سایت شما را وظیفه دارند ، یعنی مجوز دسترسی روبات های گوگل یا هر موتور جستجوگر دیگری را میدهد و یا نمیدهد…

در واقع با به استفاده از فایل robots.txt شما میتوانید صفحه های سایت را تنها برای کاربران خود طراحی کرده و از تولید محتوا تکراری ، لینک سازی بسیار در صفحه و اثرات سویی که بر سئومیگذارد ، هیچ ترسی نداشته باشید.

وب مستران فقط زمانی که میخواهند روبات های گوگل را محدود کنند ، فایل robots.txt را به کار میبرند و اگر از دید آن ها تمام صفحه های سایت با ارزش و مقاله مفیدی باشد و نیاز به ایندکس شدن توسط گوگل را داشته باشد نیازی به این فایل ندارند. حتی یک فایل خالی با همین نام در هاست قرار بگیرد نیز لزومی ندارد !

 

حال روش ساخت روبات تکست را طبق مراحل زیر طی کنید .

  • فایل تکستی را در محیط اجرا کنید و نام آن را به robots.txt تغییر دهید.
  • در ادامه نمونه کدهای لازم را برای شما قرار میدهیم ، از آن کدهای کپی پیست کرده و بعد از تغییر دامنه و نشانی ها فایل روبات تکست را ذخیره کنید.
  • وارد کنترل پنل هاست خود شوید و در قسمت فایل منیجر هاست خود ، وارد فولدر public_html شوید.
  • فایل روبات تکستی که ساختید را در همین جا آپلود کنید.
  • تبریک ، فایل روبات تکست شما ساخته و اجرا شد.
  • برای مشاهده این فایل کافیست از فرمت  www.domain.com/robots.txt استفاده کنید.

 

نمونه کدها و دستورات لازم در فایل روبات تکست

تعداد بسیاری روبات داریم که هر کدام به عنوان User-agent را میتوانید مقرراتی مشخصی برای آنها تعریف کنید .

  • اگر این قوانین را برای تمامی روبات ها میخواهین اعمال کنید از کاراکتر * به جای نام روبات در فایل robots.txt استفاده میکنیم تا یک قانون برای تمامی روبات ها اعمال کنید. مثلا :

User-agent: *

Disallow: /folder1/

  • گوگل چندین نوع روبات مخصوص موتور جستجوی خود را دارا است که مشهورترین آنها با نام Googlebot شناسایی شده است و تمامی وب مستران از ان اطلاع دارند و نقش آن بررسی و ایندکس صفحات وب است . روبات Gogglebot-image نیز وظیفه آنالیز عکس های سایت ها و ایندکس کردن آنها را دارد. مثلا :

User-Agent: Googlebot

Disallow: /folder2/

  • وب مستران عزیز و سئو کاران گرامی میتوانند به شیوه های متفاوت و گوناگونی قوانین خود را اعمال کنند. میتوان یک پیج مدنظر و یا یک دسته بندی از صفحات را برای یک قانون تعریف کنید. نمونه های ذیل شیوه های گوناگون بهره برداری از این قوانین می باشند:
    حهت محدود کردن روبات ها به تمام محتویات یک وب سایت کاراکتر / را مورد استفاده قرار میدهیم

Disallow: /

  • جهت بستن دسترسی به یک پوشه یا دسته بندی از سایت اسم آن فولدر یا دسته را درج میکنیم

Disallow: /shop/

  • برای اعمال عدم دسترسی روی یک پیج به خصوص ، نشانی دقیق آن را بدون نام سایت درج میکنیم

Disallow: /blog/web2test/

  • برای این یک عکس بر روی سایت را محدود کنیم نشانی تصویر را به مراه User-agent مربوط به آن وارد کنید

User-agent: Googlebot-Image
Disallow: /images/test.png

  • جهت پنهان کردن تمام عکس هایی که بر روی سایت موجود است ، از دید موتورهای جستجو ، روش ذیل را مورد استفاده قرار میدهیم

User-agent: Googlebot-Image
Disallow: /

  • همچنین وب مستران عزیز میتوانند یک نوع فایل مشخص را از دید موتورهای جستجو پنهان نگه دارید، بعنوان مثال برای تصاویری با فرمت png

User-agent: Googlebot
Disallow: /*.png$

  • همچنین برای تعریف کردن سایت مپ خود از روش زیر استفاده کنید :

Sitemap: https://www.seoq.ir/sitemap.xml

چند نمونه فایل روبات تکست – robots.txt

فایل روبات تکست چند وب سایت معروف ایرانی و خارجی را باهم بررسی خواهیم کرد.

وب سایت خبری باشگاه خبرنگاران جوان از شیوه و دستورهای زیر برای فایل روبات تکست خود استفاده کرده است.

(www.yjc.ir/robots.txt)

Sitemap: https://www.yjc.ir/sitemap.xml
Sitemap: https://www.yjc.ir/fa-sitemap-newsarchive
Sitemap: https://www.yjc.ir/fa-sitemap-news
Sitemap: https://www.yjc.ir/ar-sitemap-newsarchive
Sitemap: https://www.yjc.ir/ar-sitemap-news
Sitemap: https://www.yjc.ir/en-sitemap-newsarchive
Sitemap: https://www.yjc.ir/en-sitemap-news

Sitemap: https://www.yjc.ir/sitemap-price.xml

User-agent: *
Disallow: /files/adv
Disallow: /fa/report
Disallow: /ar/report
Disallow: /en/report
Disallow: /fa/send
Disallow: /ar/send
Disallow: /en/send
Disallow: /fa/print
Disallow: /ar/print
Disallow: /en/print
Disallow: /fa/save
Disallow: /ar/save
Disallow: /en/save

 

وب سایت و پایگاه ورزشی ، سایت ورزش ۳  در فایل روبات تکست خود از دستور ها و قوانین به خصوص خود استفاده کرده است

(www.varzesh3.com/robots.txt)

User-agent: *
Disallow:
Disallow: /about
Disallow: /content/img/*.png

و اما وب سایت معروف ahrefs به صورت خیلی بهینه شده از فایل روبات تکست استفاده کرده است که دستورات آن را در زیر مشاهده میکنید.

(ahrefs.com/robots.txt)

User-agent: *
Disallow: /keywords/
Disallow: /v2/users/login/
Disallow: /site-explorer/ajax/
Allow: /site-explorer/$
Disallow: /site-explorer/*
Allow: /link-intersect/$
Disallow: /link-intersect/*

همین طور که مشاهده میکنید هر کدام از سایت ها با وسواس به خصوصی از فایل روبات تکست خود استفاده کرده و قوانین مدنظر خود را به روبات ها و خزنده های موتورهای جستجوگر اعمال کرده اند.

شاید برایتان جالب باشد که فایل روبات تکست گوگل را نیز مشاهده کنید و از ان الهام بگیرید … کافی است روی لینک زیر کلیک کنید…

https://www.google.com/robots.txt

 

سخن اخر

باید توجه داشته باشین که روبات های خزنده به کوچک و بزرگ بودن حروف انگلیسی حساس بوده و باید به این نکته نیز به طور ویژه توجه کنید.

 

برچسب ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

*

code

بستن
بستن