بهینه سازی وب سایت برای موتورهای جستجو یا سئو امروزه بخش مهمی از کسب و کارهای آنلاین را تشکیل می دهد. رعایت اصول و استفاده از روش های سئو اجازه می دهد تا به مرور زمان بازدیدکنندگان بیشتری را به سمت سایت خود جذب کنید. ولی شما باید به گوگل گفته باشید که چه صفحه هایی از سایت شما برایتان مهم است. اما چطور؟🤷 ساخت فایل robots.txt که نقش مهمی در اجازه دسترسی ربات های گوگل به صفحات شما ایفا می کنید.
روش های مختلفی برای انجام صحیح سئو وب سایت وجود دارد و برای انجام این کار به شکل اصولی و صحیح باید دستورالعمل ها و پارامترهای مختلفی را مد نظر قرار دهید. یکی از این موارد آشنایی با فایل robots.txt و استفاده درست از آن است. در ادامه این مطلب از ویگور دی ام ساخت فایل robots.txt و استفاده آن در وردپرس را به شما آموزش می دهیم.
آموزش ویدیویی ساخت فایل Robots.txt
قراره بفهمیم فایل Robots.txt چیه و چجوری روی سئو سایت ما تاثیر داره؟
فایل Robots.txt چیست؟ و تاثیر آن در سئو
استفاده از دستورات robots.txt یکی از روش های آسان برای بهبود سئو وب سایت می باشد. روند ایندکس شدن صفحات وب سایت شما یا قرارگیری آنها در فهرست مطالب گوگل، تا حد زیادی به فایل robots.txt و دستورات موجود در آن بستگی دارد.
با فایل Robots.txt مشخص می کنیم که چه صفحاتی از سایت ما رو گوگل ببینه! قراره به گوگل آدرس بدیم تا از کوچه های بن بست (صفحات بی ارزش سایت) سر درنیاره.
استفاده از این فایل به ما اجازه می دهد تا صفحات بی محتوا و غیر ضروری که مشاهده آنها برای موتور جستجوی گوگل هیچ ضرورتی ندارد، از زیر ذره بین خزنده های گوگل دور بمانند. انجام این کار به شکل صحیح باعث می شود تا این ربات ها بتوانند با سرعت بیشتری صفحات مختلف سایت شما را مورد بررسی قرار دهند. پس به این صورت می توانیم بگوییم که فایل robots.txt به شما امکان هدایت خزنده های موتورهای جستجو را می دهد و به این صورت می توانید صفحات مهم تر خود را اصطلاحاً ایندکس کنید.
دستورات robots.txt
دریافت آموزش ساخت robots.txt به شما این امکان را می دهد که بتوانید فقط تعداد خاصی از URL های مهم را در اختیار موتور جستجو قرار دهید و دسترسی به بقیه آنها را ممنوع سازید. علاوه بر آن با استفاده از این فایل امکان اضافه کردن چند نقشه برای سایت خود را نیز خواهید داشت که روند ایندکس شدن صفحات توسط ربات‌های گوگل را بهبود می بخشد.
به عنوان مثال استفاده از این فایل کمک می کند تا بتوانید دسترسی موتور جستجو به پنل مدیریت وب سایت و افزونه ها را مسدود کنید تا ربات ها فرصت بیشتری برای بررسی صفحات دارای محتوای غنی داشته باشند. در ادامه محتویات یک نمونه از فایل robots.txt را به عنوان مثال در اختیار شما قرار می دهیم.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://yoursitename.com/sitemap_index.xml
مشاهده: فایل robots.txt سایت ویگور دی ام
هر سایتی میتوانید یک فایل متفاوت داشته باشد و فایل روبات سایت ها شبیه به هم نیستند. برای مشاهده فایل روبات هر سایتی کافی است بعد از آدرس سایت robots.txt را تایپ کرده و اینتر را بزنید.
vigordm.com/robots.txt
آیا استفاده از فایل robots.txt در سایت وردپرسی ضروری است؟
برای پاسخ به این سوال بهتر است بررسی کنیم که اگر یک سایت وردپرسی فاقد فایل robots.txt باشد، چه مشکلاتی را به همراه خواهد آورد.😐 اگر این فایل در سایت وردپرسی شما وجود نداشته باشد، خواهید دید که موتور جستجو وارد تمامی صفحات سایت شده و اقدام به فهرست کردن آنها می کند. باید بدانید که تمامی صفحات سایت شما نیاز به ایندکس شدن ندارند و به خصوص در شرایطی که تازه فعالیت وبسایت خود را شروع کرده اید، به صفحات زیادی بر می خورید که محتوای جذاب و کاربردی ندارد.
خوب بریم بیشتر بررسی کنیم که اگر این فایل مهم در سایت شما نباشید چه اتفاقی خواهد افتاد؟
در صورتی که ربات های موتور جستجوی گوگل وارد صفحات ناکارآمد سایت شما شوند، خواهند دید که محتوای مفیدی برای کاربرد در آنها موجود نیست و همین رتبه نهایی صفحات سایت شما در صفحه نتایج جستجو گوگل را کاهش خواهد داد. از همین رو به دستورات robots.txt نیاز خواهید داشت تا به این صورت مسیر ربات های موتور جستجو را برای آنها مشخص کنید. با استفاده از فایل robots.txt شما تعداد صفحات مورد نظر برای بررسی خزنده های موتور جستجو را کاهش می دهید و همین باعث افزایش سرعت ایندکس شدن صفحات وب سایت شما خواهد شد.
آموزش ساخت فایل robots.txt
به طور کلی می توان دو روش اصلی برای ساخت فایل robots.txt بهینه سازی شده برای وردپرس در نظر گرفت. یکی از روش های مرسوم برای انجام این کار ساختن و ویرایش کردن فایل robots.txt در فرمت txt است. برای انجام این کار باید با استفاده از FTP و سی پنل هاست، فایل robots.txt را به صورت دستی و بسته به نیازهای خود ویرایش نمایید.
برای انجام این کار از طریق FTP باید به هاست وارد شده و سپس فایل robots.txt که قبلاً آن را ساخته و بسته به نیازهای خود را ویرایش کرده اید را در public_html یا همان پوشه اصلی وب سایت بیابید. در صورتی که این فایل را پیدا نکردید، امکان ساخت آن را نیز خواهید داشت. برای انجام این کار می توانید در فضای پوشه اصلی وب سایت کلیک راست کرده و گزینه create new file را انتخاب نمایید. سپس فایل جدید را robots.txt نام گذاری کنید. روند کار را می توانید به صورت خلاصه در تصویر زیر مشاهده کنید.
به نظرتون فقط ساخت Robots.txt کافیه؟ خب چجوری بفهمیم که درست کار میکنه؟
نحوه تست فایل robots.txt
مهم نیست چقدر با آموزش ساخت robots.txt باشید، همیشه احتمال بروز خطا در روند نوشتن دستورات robots.txt وجود خواهد داشت. برای جلوگیری از بروز این مشکلات و انجام رفع عیب؛ باید حتماً قبل از ساخت فایل، عملکرد آن را مورد آزمایش قرار دهید. روش های مختلفی برای انجام این کار وجود دارد که در ادامه نگاهی به آنها می‌اندازیم.
استفاده از Google search console
قبل از این کار شما باید سایت خود را سرچ کنسول گوگل ثبت کرده باشید. می توانید از آموزش ثبت سایت در سرچ کنسول این کار را انجام دهید. طبق نظر متخصصان این ابزار یکی از بهترین گزینه ها برای انجام تست robots.txt است. برای انجام این کار می توانید طبق تصویر زیر عمل کنید. به طور کلی برای انجام این کار دو روش پیش روی شما خواهد بود. در روش اول شما باید آدرس سایت خود را با فرمت example.com درون کادری که در تصویر زیر مشاهده می کنید وارد نمایید. علاوه بر آن در سمت راست تصویر می توانید نحوه انجام کار در URL prefix را مشاهده کنید.
بعد از ثبت سایت در سرچ کنسول می توانید از قسمت help کلمه robots.txt را جستجو کنید و روی اولین نتیجه کلیک کنید و بعد عملیات تست را انجام دهید. مثل تصویر زیر
چطور فایل robots.txt را در در وردپرس ایجاد کنیم؟
در بخش قبلی روش دستی برای انجام این کار را بررسی کردیم. اما در این بخش قصد آموزش ساخت robots.txt با یک افزونه سئو حرفه ای را داریم. افزونه AISEO (مخفف all in one seo) یکی از بهترین گزینه ها برای انجام این کار است. این ابزار که بیش از ۲ میلیون نصب فعال داشته است، محبوبیت زیادی برای کاربران دارد و امکان نوشتن دستورات و ساخت فایل robots.txt را به شما می دهد. روند ایجاد و ویرایش این فایل در افزونه گفته شده است.
در قدم بعدی نوبت به آن می رسد که فایل robots.txt که مطابق با نیازهای خود آن را سفارشی سازی کرده اید، در وردپرس فعال شود. برای این کار باید سراغ گزینه enable Custom بروید.
وردپرس به صورت پیش فرض قوانینی وضع کرده که فایل robots.txt باید طبق آن عمل کند. مشاهده این قوانین از پایین صفحه و بخش Robots.txt Preview امکان پذیر است. اما از آنجایی که برای سفارشی سازی کردن فایل Robots.txt نیاز به قوانین اختصاصی داریم. باید سراغ دکمه add rule برویم.
در آپدیت های بعدی این مقاله دستورات robots.txt را بیشتر بررسی خواهیم کرد و با افزون یواست سئو و رنک مث هم فایل روبات را خواهیم ساخت
در این مطلب سعی کردیم به صورت مرحله به مرحله روند ساخت Robots.txt و نحوه تست اون رو آموزش بدیم. اگر درباره فایل Robots.txt سوالی دارید، یا در حین اجرای این مراحل به مشکلی برخوردید، میتونید در بخش دیدگاه های این مطلب با ما به اشتراک بگذارید.
