آموزش ساخت فایل robots.txt و کار با گوگل وبمستر تولز

آموزش ساخت فایل robots.txt و کار با گوگل وبمستر تولز بازدید : 2046

Alternate Text

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی است که در وب سایت قرار داده می شود و به موتورهای جستجو گفته می شود که کدام قسمت های وب سایت برای موتورهای جستجو قابل دسترس است و کدام قسمت های وبب سایت قابل دسترس نمی باشد.

 فایل robots.txt به معنای این نیست که موتورهای جستجو ملزم به رعایت قوانین موجود در آن هستند برخی اوقات موتورهای جستجو از این قوانین پیروی نمی کنند. ولی فایل robots.txt یکی از روشهایی است که میی  توان ورود موتورهای جستجو به سایت را کنترل نمود.

این مسئله برای وب سایت ها بسیار مهم است با توجه به اینکه موتورهای جستجو بارها و بارها به وب سایت مراجعه می کنند به کدام قسمت های سایت دسترسی داشته باشد و به کدام قسمت های سایت دسترسی نداشته باشند و در برخی اوقات اطلاعات حساسی در وب سایت ها وجود دارد که موتورهای جستجو نباید به آنها دسترسی داشته باشند که یکی از روشهای کنترل دسترسی استفاده از فایل robots.txt  است.

ساختار فایل robots.txt

ساختار فایل robots.txt بسیار ساده و در عین حال منعطف پذیر است. فایل robots.txt از یکسری user agents و فایلها و دایرکتورهای disallowed تشکیل شده است. در واقع این فایل بصورت زیر است:

  • User-agent می توان خزنده های موتورهای جستجو که می توانند به سایت دسترسی داشته  باشند  را مشخص نمود.
  • Disallow می توان لیست فایلها یا دایرکتوری هایی را که می خواهیم موتورهای جستجو به آنها  دسترسی نداشته باشند را مشخص نمود.

برخی نمونه های فایل robots.txt

مسدود کردن دسترسی خزنده های موتورهای جستجو به کل محتویات سایت

User-agent: *

Disallow: /

مسدود کردن دسترسی خزنده های موتورهای جستجو به یک دایرکتوری مشخص

User-agent: Googlebot

Disallow: /no-google/

مسدود کردن دسترسی خزنده های موتورهای جستجو به یک صفحه مشخص

User-agent: Googlebot

Disallow: /no-google/blocked-page.html

پارامترهای نقشه سایت

User-agent: *

Disallow:

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

اضافه کردن فایل robots.txt به گوگل وبمستر تولز

جهت اضافه کردن فایل robots.txt به گوگل وبمستر تولز می توانید بصورت زیر عمل نمایید:

ابتدا توسط اکانت خود وارد گوگل وبمستر تولز شوید و از منوی Crawl روی زیر منوی robots.txt Tester کلیک  نمایید.

در ادیتوری که در سمت راست صفحه نمایش داده می شود می توانید محتوای فایل robots.txt را وارد نمایید و سپس دکمه submit را کلیک کنید.

بعد از ارسال شدن محتوای فایل robots.txt به گوگل وب مستر تولز بعد از چند دقیقه محتوای بروزرسانی شده  نمایش داده خواهد شد.

تست آدرس های محدود شده در فایل robots.txt

جهت تست کردن اینکه کدام فایل ها یا دایرکتوری ها در فایل robots.txt محدود شده است می توانید توسط  تست کننده گوگل وبمستر که در شکل زیر نمایش داده شده است استفاده نمایید:

 

تهیه و تنظیم:

مرکز تجارت الکترونیک آرین

لیست پیام ها

ارسال پیام

آخرین مطالب

طبیب دارو، تجاری و فروشگاهی

شرکت طبیب دارو

طراحی فروشگاه اینترنتی ، سایت فروشگاه اینترنتی ، راه اندازی فروشگاه اینترنتی و فروش اینترنتی مفاهیمی هستند که امروزه بیش از پیش توسط صاحبان مشاغل مختلف و عموم افراد  جامعه مورد توجه قرار گرفته می شوند.

فروشگاه اینترنتی، اشتغالزایی، کسب و کار اینترنتی+سفارش آنلاین غذا

کاشان پز- سفارش آنلاین غذا

طراحی فروشگاه اینترنتی ، سایت فروشگاه اینترنتی ، راه اندازی فروشگاه اینترنتی و فروش اینترنتی مفاهیمی هستند که امروزه بیش از پیش توسط صاحبان مشاغل مختلف و عموم افراد جامعه مورد توجه قرار گرفته می شوند.

فروشگاه اینترنتی، اشتغالزایی، کسب و کار اینترنتی

فروشگاه مجازی کاوه کویر

طراحی فروشگاه اینترنتی ، سایت فروشگاه اینترنتی ، راه اندازی فروشگاه اینترنتی و فروش اینترنتی مفاهیمی هستند که امروزه بیش از پیش توسط صاحبان مشاغل مختلف و عموم افراد جامعه مورد توجه قرار گرفته می شوند.

فروشگاه فرش زمرد

فروشگاه فرش زمرد

طراحی فروشگاه اینترنتی ، سایت فروشگاه اینترنتی ، راه اندازی فروشگاه اینترنتی و فروش اینترنتی مفاهیمی هستند که امروزه بیش از پیش توسط صاحبان مشاغل مختلف و عموم افراد جامعه مورد توجه قرار گرفته می شوند.

بانک نیازمندی های نیاز سرا

بانک نیازمندی های نیاز سرا

در نرم افزار های بیلبورد یا تجارت الکترونیک "مشتری به مشتری" به تجارت های ساده ی شخصی گویند که به صورت فردی بین مصرف کنندگان انجام میگیرد.

نظام مهندسی ساختمان کاشان

نظام مهندسی ساختمان کاشان

امروزه با توجه به اینکه در دستور کار اکثر سازمان های بزرگ خصوصی و دولتی سرعت بخشیدن به ارائه خدمات برای ارباب رجوع از اولویت های کاری می باشد داشتن یک وب سایت سازمانی مسئله ای مهم خواهد بود.

کسب و کار اینترنتی,خانه رز,پکیج اطلاع رسانی,خانه رز

مجموعه خانه رز

طراحی فروشگاه اینترنتی ، سایت فروشگاه اینترنتی ، راه اندازی فروشگاه اینترنتی و فروش اینترنتی مفاهیمی هستند که امروزه بیش از پیش توسط صاحبان مشاغل مختلف و عموم افراد جامعه مورد توجه قرار گرفته می شوند.

فروشگاه اینترنتی ، اشتغال زایی، کسب و کار اینترنتی, شرکت درین گلاب کاشان

شرکت درین گلاب کاشان

طراحی فروشگاه اینترنتی ، سایت فروشگاه اینترنتی ، راه اندازی فروشگاه اینترنتی و فروش اینترنتی مفاهیمی هستند که امروزه بیش از پیش توسط صاحبان مشاغل مختلف و عموم افراد جامعه مورد توجه قرار گرفته می شوند.

پکیج اطلاع رسانی,اطلاع رسانی,طراحی سایت,پیک سیلک,هفته نامه پیک سیلک

هفته نامه پیک سیلک

سایت اطلاع رسانی نیازی ضروری برای تمام کسانی است که می خواهند در زمینه شغلی خود بروز بوده و همگام با دنیای امروزی در حال پیشرفت باشند.

سایت اطلاع رسانی, اشتغالزایی, طراحی وب سایت اطلاع رسانی ,کاوه کویر

وب سایت رسمی شرکت کاوه کویر

طراحی فروشگاه اینترنتی ، سایت فروشگاه اینترنتی ، راه اندازی فروشگاه اینترنتی و فروش اینترنتی مفاهیمی هستند که امروزه بیش از پیش توسط صاحبان مشاغل مختلف و عموم افراد جامعه مورد توجه قرار گرفته می شوند.