آموزش بهینه سازی فایل robots.txt برای سئو

آموزش بهینه سازی فایل robots.txt برای سئو | فایل robots.txt سایت شما نقش مهمی در عملکرد کلی سئو شما دارد و شما قطعا به این فایل نیاز خواهید داشت. این فایل شما را قادر می سازد تا با موتورهای جستجو ارتباط برقرار کنید و به آن ها نشان دهید که چه بخشی از محتویات سایت شما در سایت های جستجو مانند : گوگل و یاهو و یا بینگ را ایندکس کند یا ایندکس نکند. اگر می خواهید فایل robots.txt سایتتان را خودتان ایجاد و بهینه کنید با آموزش بهینه سازی فایل robots.txt برای سئو در سایت میهن اسکریپت همراه باشید.

 

آموزش بهینه سازی فایل robots.txt برای سئو

 

چگونه یک فایل Robots.txt ایجاد کنیم؟

فایل robots.txt در روت هاست شما قرار دارد. و شما می توانید با استفاده از FTP یا فایل منیجر کنترل پنل هاست برای ویرایش و ایجاد فایل robots.txt سایت  خود اقدام کنید. فایل robots.txt یک فایل متنی است و شما می توانید آن را با یک ویرایشگر متن ساده مانند Notepad ویرایش کنید.

چنانچه فایل robots.txt را در روت هاست نیست، می توانید آن را ایجاد کنید. برای ایجاد فایل robots.txt ابتدا باید یک فایل متنی جدید در کامپیوتر خود ایجاد کرده و آن را به عنوان robots.txt ذخیره کنید. سپس آن را در روت هاست خود یا همان پوشه public_html آپلود کنید.

 

اهمیت فایل Robots.txt

فایل robots.txt برای بهینه سازی سایت موتورهای جستجو بسیار توصیه می شود. با استفاده از فایل robots.txt می توانید تعیین کنید که موتروهای جستجو به کدام قسمت های سایت شما دسترسی داشته باشند. سایت شما برای این که گوگل یا سایر موتورهای جستجو بتوانند صفحه های سایت شما را ایندکس کنند به فایل Robots.txt احتیاج دارد. در صورتی که قایل روبات در روت هاست شما نباشد گوگل یا یا سایر موتورهای جستجو قادر نخواهند بود به صفحه اصلی یا ایندکس سایت شما دسترسی داشته باشند.

 

آموزش بهینه سازی فایل robots.txt برای سئو

کد یا محتوای فایل robots.txt بسیار ساده است. اولین خط user agent را داریم که شما با استفاده از آن تعیین می کنید از کدام موتور جستجو می خواهید استفاده کنید. چنانچه قصد دارید از گوگل استفاده کنید باید جلوی آن Googlebot و یا اگر تمایل دارید از بینگ استفاده کنید Bingbot را جلوی آن قرار می دهید. در صورتی که می خواهید تمامی ربات ها به سایت شما دسترسی داشته باشند علامت * را قرار دهید.

در مرحله بعد با استفاده از Allow و Disallow قسمت هایی از سایت را که موتور جستجو باید دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.

 

 

چگونه به Robots.txt نقشه سایت XML را اضافه کنیم؟

برای نمایش دادن کامل سایت در گوگل باید نقشه سایت را در robots.txt اضافه کنید. برای افزودن نقشه سایت به فایل روبات سایت خود باید کد زیر را به فایل robots.txt اضافه کنید تا گوگل بتواند به نقشه سایت شما دسترسی داشته باشد و محتویات را برای رجوع کننده ها نمایش دهد.

 

 

البته چنانچه شما  از افزونه WordPress SEO by Yoast استفاده کنید افزونه یواست سئو فایل robots.txt را به صورت استاندارد و بهینه شده برای شما ایجاد خواهد کرد و توسط آن می توانید تعیین کنید دسته بندی دسته بندی های یا صفحات آرشیو یا … ایندکس شوند یا خیر.

همچنین افزونه Yoast Seo به صورت اتوماتیک نقشه سایت شما را ایجاد و آدرس فایل نقشه سایت در فایل robots.txt قرار می دهد.

امیدواریم که آموزش بهینه سازی فایل robots.txt برای سئو برای شما مفید بوده باشد.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

30 درصد تخفیف کلیه محصولات برای خرید اولی ها (به مدت محدود)کد تخفیف : moshtarisho