توسعه کسب و کار با فناوری اطلاعات|فناوری اطلاعات پارس نانو توسعه کسب و کار با فناوری اطلاعات|فناوری اطلاعات پارس نانو توسعه کسب و کار با فناوری اطلاعات|فناوری اطلاعات پارس نانو توسعه کسب و کار با فناوری اطلاعات|فناوری اطلاعات پارس نانو
  • صفحه اصلی
  • خدمات
    • پلتفرم های تحت وب
    • تجارت الکترونیک
    • شبکه و زیرساخت
  • اخبار
  • مشاوره وکوچینگ
  • همکاری با ما
  • تماس باما
توسعه کسب و کار با فناوری اطلاعات|فناوری اطلاعات پارس نانو توسعه کسب و کار با فناوری اطلاعات|فناوری اطلاعات پارس نانو
  • صفحه اصلی
  • خدمات
    • پلتفرم های تحت وب
    • تجارت الکترونیک
    • شبکه و زیرساخت
  • اخبار
  • مشاوره وکوچینگ
  • همکاری با ما
  • تماس باما
بلاگ
توسعه کسب و کار با فناوری اطلاعات|فناوری اطلاعات پارس نانو / دسته‌بندی نشده / Robot.txt چیست؟
مرداد ۱۲

Robot.txt چیست؟

  • ۱۲ مرداد ۱۴۰۰
  • adminbakhshi
  • بدون دیدگاه
  • دسته‌بندی نشده

موتورهای جستجو جهت بررسی کردن صفحات وب از ربات‌های جستجوگر استفاده می‌کنند این ربات‌ها صفحات وب را بررسی کرده و اطلاعات موردنظرشان را جمع‌آوری می‌کنند.

 

robot.txt  یک فایل متنی است که توسط آن وب مسترها، ربات های جستجو را راهنمایی می کنند که چگونه وب سایت آنها را پیمایش و ایندکس کنند. در عمل فایل های robot.txt  نشان می دهند که یک ربات موتور جستجو می تواند یا نمی تواند بخشی از وب سایت شما را پیمایش یا ایندکس نماید.

 

ربات های موتور های جستجو وقتی وارد وب سایت شما می شوند ابتدا این فایل را بررسی می کنند تا بدانند اجازه پیمایش چه بخش هایی از سایت شما را دارند. بدون این فایل ربات های موتور جستجو اجازه دارند تمامی قسمت های وب سایت شما را پیمایش و ایندکس کنند.

نکته: این فایل می‌بایست در  root وب سایت شما باشد و آدرس زیر در دسترس باشد:

 

yourDomain.com/robots.txt

فرمت پایه:

User-agent: [user-agent name]

Disallow: [URL string not to be crawled]

این دو خط در کنار هم یک فابل robots.txt کامل را تشکیل می دهند، گرچه یک فایل می تواند محتوی چندین خط از عوامل (User-agent) و دستورالعمل ها باشد.

User-agent یا واسط کاربری که نوع خزنده را مشخص می کند (ربات های خزنده گوگل، یاهو، بینگ و …) و Disallow که شاما آدرس قسمتی است که دسترسی به آن را مسدود می کنیم. البته این فایل شامل دستور های دیگری هم می شود که در ادامه به آنها می پردازیم.

مثال 1: بلاک کردن تمامی موتورهای خزنده برای تمامی محتوای وب سایت.

ین دستور به تمامی موتورهای خزنده می گوید که این سایت را پیمایش نکنند.

 

مثال2: دسترسی آزاد برای تمامی موتور های خزنده.

این دستور به تمامی خزنده ها اجازه می دهد که کل محتوای سایت را پیمایش و ایندکس کنند.

مثال3: بلاک کردن یک موتور خزنده از یک بخش خاص از وب سایت.

.این دستور به موتور خزنده گوگل می گوید که محتویات پوشه example-subfolder را پیمایش نکند ولی اجازه پیمایش سایر فولدر ها را دارد.

مثال 4: بلاک کردن یک موتور خزنده از  دسترسی به یک صفحه خاص از وب سایت.

این دستور به موتور خزنده Bing می گوید که از پیمایش و ایندکس کردن صفحه  blocked-page.html خودداری کند.

نکات:

– نام فایل به حروف بزرگ و کوچک حساس می باشد. در نتیجه باید دقیقا robots.txt باشد نه Robots.txt یا robots.TXT  یا هر چیز دیگری.

– فایل robots.txt به صورت در دسترس همگان قرار دارد. کافیست /robots.txt  را به انتهای نام سایت اضافه کنید تا بتوانید دستورالعمل های وب سایت را مشاهده کنید.این بدان معنی است که هر فردی می تواند ببیند شما می خواهید چه پوشه هایی از وب سایت خود توسط ربات ها پیمایش نشود. پس از این قسمت برای مخفی کردن پوشه های مهم استفاده نکنید.

– به طور کلی بهترین روش برای نشان دادن مکان هر sitemap مربوط با دامین ما در پایین فایل robots.txt  می باشد. به مثال زیر توجه کنید:

سینتکس فایل robots.txt :

در این قسمت به معرفی کامل دستور فایل robots.txt می پردازیم:

User-agent : نام ربات خزنده را مشخص می کند. مانند: Googlebot, Bingbot, msnbot, Slurp(yahoo bot)

Disallow : این دستور به ربات ها اعلام می کند که اجازه پیمایش این قسمت را ندارند.

Allow : این دستور فقط و فقط به ربات گوگل می گوید که اجازه دستری به یک زیر بخش از سایت را دارد حتی اگر دسترسی به بخش پدر غیر مجاز شده باشد.

Crawl-delay : مشخص می کند که چند میلی ثانیه یک ربات باید قبل از پیمایش و بررسی محتویات یک صفحه صبر کند. توجه داشته باشید که ربات گوگل به این دستور توجه نمی کند. شما می توانید این پارامتر را برای ربات گوگل از طریق  Google Search Console تنظیم کنید.

Sitemap : این دستور برای مشخص کردن مکان تمام سایت مپ های یک دامنه به کار می رود. توجه کنید که این دستور را فقط google, Ask, Bing, Yahoo پشتیبانی می کنند.

درباره نویسنده

   تیم تولید محتوا

  • فیس‌بوک
  • توییتر
  • Reddit
  • پینترست
  • گوگل‌پلاس
  • لینکداین
  • ایمیل

درباره نویسنده

مطالب مرتبط

دیدگاه نوشتن لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

فناوری اطلاعات پارس نانو

شرکت فناوری اطلاعات پارس نانو با همت تنی چند از دانش آموختگان رشته کامپیوتر با گرایش نرم افزار، که با تجربه و توانایی چشمگیر در حیطه های مختلف انفورماتیک اعم از برنامه نویسی و خدمات شبکه بوده در تیرماه سال 83 به شماره 226282 در تهران به ثبت رسیده و فعالیت رسمی و قانونی خود را آغاز نمود. این شرکت قادر به ارائه کلیه خدمات و سرویس هایی با کیفیت بالا و یکپارچه انفورماتیکی، فنی و مهندسی، مشاورهایی در واحدهای فناوری اطلاعات و ارتباطات، شبکه های رایانه ای، مدیریت سیستمهای اطلاعاتی ، سیستمهای نظارت تصویری، تهیه و اجرای برنامه های تحت وب و همچنین تامین نیازهای کامل مشتریان خود در زمینه های مرتبط با انفورماتیک خواهد بود.

دسته‌ها

  • اخبار
  • دسته‌بندی نشده
  • مقالات

شرکت فناوری اطلاعات پارس نانو با همت تنی چند از دانش آموختگان رشته کامپیوتر با گرایش نرم افزار، که با تجربه و توانایی چشمگیر در حیطه های مختلف انفورماتیک اعم از برنامه نویسی و خدمات شبکه بوده در تیرماه سال 83 به شماره 226282 در تهران به ثبت رسیده و فعالیت رسمی و قانونی خود را آغاز نمود.

این شرکت قادر به ارائه کلیه خدمات و سرویس هایی با کیفیت بالا و یکپارچه انفورماتیکی، فنی و مهندسی، مشاورهایی در واحدهای فناوری اطلاعات و ارتباطات، شبکه های رایانه ای، مدیریت سیستمهای اطلاعاتی ، سیستمهای نظارت تصویری، تهیه و اجرای برنامه های تحت وب و همچنین تامین نیازهای کامل مشتریان خود در زمینه های مرتبط با انفورماتیک خواهد بود. 83 به شماره 226282 در تهران به ثبت رسیده و فعالیت رسمی و قانونی خود را آغاز نمود.

 آدرس:

تهران – خیابان فاطمی – روبروی درب اصلی سازمان آب – پلاک
183 طبقه اول

 تلفن:

88994534
88994535
88996751

 ایمیل:

info[at]parsnanoict.com

تمامی حقوق متعلق به پارس نانو میباشد © ۱۴۰۰ - ۱۳۸۳