فایل robots.txt چیست؟

Robots.txt یک فایل متنی می‌باشد که صاحبان وب سایت‌ها به وسیله آن می توانند بگویند که موتورهای جستجوگر چگونه به خزیدن و فهرست صفحات در سایت خود بپردازند.

این فایل معمولا در دایرکتوری ریشه اصلی وبسایت ذخیره می شود که به عنوان پوشه اصلی وب سایت شما شناخته می شود. فرمت اصلی فایل یک فایل robots.txt به صورت زیر است:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

شما می توانید خطوط مختلفی از دستورالعمل ها برای اجازه دادن یا رد URL های خاص و اضافه کردن چند نقشه سایت اضافه کنید. اگر نشانی اینترنتی را رد نکنید، موتورهای جستجوگر موتور جستجو فرض می کنند که مجاز به ردیابی آن هستند.

در اینجا فایل نمونه مثال robots.txt می تواند مشاهده کنید:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

در مثال بالا  robots.txt ، ما موتورهای جستجو را مجبور کرده ایم تا فایل ها موجود در پوشه آپلود وردپرس را رها کند.

پس از آن، ما ربات‌های موتورهای جستجو را از خزیدن در پوشه های پوسته‌ها، افزونه‌ها و مدیریت وردپرس منع کرده‌ایم.

و در نهایت ما آدرس نقشه سایت خود را قرار داده ایم.

آیا شما نیاز به یک فایل Robots.txt برای سایت وردپرس خود دارید؟

اگر فایل robots.txt ندارید، با این حال باز هم موتورهای جستجو همچنان وب سایت شما را بررسی خواهند کرد. با این حال، شما قادر نخواهید بود به موتورهای جستجو بگویید که کدام صفحات یا پوشه ها را نباید بررسی کنید.

البته این برای زمانی که شما یک وبلاگ ساده داشته تازه آن را راه اندازی کرده اید تاثیری نخواهد گذاشت.

با این حال به عنوان وب سایتی که در حال رشد است و احتملا شما مقدار زیادی از مطالب را دارید، احتمالا می خواهید کنترل بیشتری بر روی چگونگی خیزش و نمایه سازی وب سایت خود داشته باشید.

در اینجا دلایلی برای استفاده از فایل Robots.txt وجود دارد!

• هر وبسایت دارای سهمیه مشخصی از خزنده های موتورهای جستجو می‌باشند!

این به این معنی است که آنها یک تعداد مشخصی از صفحات را در طول یک جلسه بررسی می کنند. این باعث می‌شود تا مراحل خزیدن موتورهای جستجو با زمان بیشتری انجام شده و دیرتر به نتایج مورد نظر دست پیدا کنید.

با عدم رها کردن صفحات غیر ضروری، روند ایندکس شدن صفحات طولانی خواهد شد!

شما می توانید این مورد را با اجازه دادن به ربات های جستجو ، برای رها کردن صفحات غیر ضروری مانند صفحات مدیریت وردپرس خود، فایل های افزونه و پوشه تم ها را رفع کنید.

با غیر فعال کردن صفحات غیر ضروری، سهمیه خزنده های مورتوهای جستجوی در وبسایت خود را ذخیره کنید. این به موتورهای جستجو کمک می کند تا صفحات بیشتری را در وبسایت شما را بررسی کرده و نتایج بهتری را کسب کنید.

دلیل دیگری برای استفاده از فایل robots.txt زمانی است که شما می خواهید موتورهای جستجو را از بررسی یک پست یا صفحه در وب سایت خود منع کنید.

این امن ترین راه برای مخفی کردن مطالب از افراد غیرمجاز نیست، اما به شما کمک می کند تا از قرار گرفتن در نتایج موتورهای جستجو جلوگیری کنید.

چگونه یک فایل Robots.txt ایده آل داشته باشد؟

بسیاری از وبلاگ های محبوب از یک فایل robots.txt بسیار ساده استفاده می کنند. محتوای آنها ممکن است بسته به نیازهای سایت خاص متفاوت باشد.

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این فایل robots.txt اجازه می دهد تمام خزنده ها و ربات ها به فهرست همه محتوا و لینک آنها را به نقشه های XML وب سایت دسترسی داشته باشد.

برای سایت های وردپرس،درج قوانین زیر را در فایل robots.txt توصیه می کنیم:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این کدها به ربات های موتورهای جستجو برای نشان دادن تمام تصاویر و فایل های وردپرس پیشنهاد می کند. همچنین ربات های جستجو از بررسی فایل های افزونه های وردپرس، مدیریت وردپرس، فایل readme وردپرس و لینک های وابسته ، منع خواهد کرد.

با اضافه کردن نقشه های سایت به فایل robots.txt، کار را برای ربات های گوگل برای پیدا کردن همه صفحات در سایت خود آسان می کنید.

حالا شما می دانید که یک فایل robots.txt ایده آل و کاربردی به نظر می رسد، اجازه دهید نگاهی به چگونگی ایجاد یک فایل robots.txt در وردپرس کنیم.

آموزش ایجاد فایل robots.txt در وردپرس

دو راه برای ایجاد یک فایل robots.txt در وردپرس وجود دارد. شما می توانید روش هایی را که برای شما مناسب است، انتخاب کنید.

روش 1: ویرایش فایل Robots.txt با استفاده از افزونه Yoast SEO

اگر از افزونه Yoast SEO استفاده می کنید، می‌توانید با این فایل کار کنید.

شما می توانید از آن برای ایجاد و ویرایش فایل robots.txt به طور مستقیم از مدیریت مدیریت وردپرس خود استفاده کنید.

به سادگی به منو سئو » ابزارها در مدیریت وردپرس خود بروید و روی لینک ویرایشگر فایل کلیک کنید.

در صفحه بعدی، افزونه یوئست سئو ، فایل robots.txt موجود شما را نشان می دهد.

اگر شما یک فایل robots.txt ندارید، افزونه yoast seo فایل robots.txt را برای شما ایجاد خواهد کرد.

به طور پیش فرض، ایجاد کننده فایل robots.txt در افزونه yoast seo قوانین زیر را به فایل robots.txt اضافه می کند:

User-agent: *
Disallow: /

مهم است که این متن را حذف کنید زیرا تمام موتورهای جستجو را از خزیدن در وب سایت شما متوقف خواهد کرد.

پس از حذف کدهای پیش فرض، می‌توانید از قوانین دلخواه خود جهت افزودن به این فایل استفاده کنید. توصیه می‌شود از کدهای بهینه شده در همین پست که مطالعه کردید ، استفاده کنید.

روش 2.ایجاد فایل robots.txt به صورت دستی با استفاده از ftp و هاست خود

در این روش تنها نیاز است که به مدیریت هاست خود وارد شده و در ریشه اصلی وبسایت خود این فایل را به نام robots.txt ایجاد کنید. همچنین اگر این فایل از قبل وجود دارد دیگر نیازی به ایجاد آن نیست و تنها می‌توانید با ویرایش آن، قوانین جدید خود را به آن اضافه کنید.

برای این منظور می‌توانید از کدهای بهینه شده این فایل که در این پست مطالعه شد، استفاده کنید.

روش تست فایل robots.txt

پس از ایجاد و افزودن کدهای خود به فایل robots.txt بهتر است که آن را تست کرده تا از عملکرد مطلوب آن آگاه شوید.

ابزارهای تست robots.txt بسیاری وجود دارد، به وسیله آن می‌توانید این فایل را بررسی کنید. برای این منظور می‌توانید از ابزار sitechecker استفاده کنید. با ورود به این سایت می‌توانید آدرس وبسایت خود را وارد کرده تا این وبسایت به صورت کامل این فایل را بررسی کند.

سخن پایانی

هدف بهینه سازی فایل robots.txt شما این است که موتورهای جستجو را از صفحات خالی که در دسترس عموم قرار ندارند منع کنند. برای مثال، صفحات در پوشه wp-plugins یا صفحات شما در پوشه مدیریت وردپرس .

یک باور اشتباه و رایج در بین کارشناسان این است که مسدود کردن دسته بندی های وردپرس، تگ ها و صفحات بایگانی باعث بهبود سرعت خزیدن و منجر به بررسی سریع و رتبه بندی بالاتر خواهد شد.

البته این باور اشتباهی بوده و به هیچ عنوان توصیه نخواهد شد و شما نباید از این روش استفاده کنید.

در این پست کدهای بهینه شده این فایل را نیز در اختیارتان قرار دادیم که می‌توانید از آن ها استفاده کنید.

علت این امر برمیگردد به تنظیمات سرور و یا هاستینگ شما که میتوانید به راحتی و با روشی که در ادامه مطلب قرار داده شده , این مشکل را رفع نمایید و دیگر بدون پرسش هر باره ی این موضوع , افزونه های خود را آپدیت و نصب نمایید .

و اما آموزش :

برای این کار فقط کافیست کد زیر را در انتهای فایل wp-config.php که در روت اصلی پوشه ی وب سایت شما می باشد اضافه نمایید .

add_filter('filesystem_method', create_function('$a', 'return "direct";' ));
define( 'FS_CHMOD_DIR', 0751 );

توجه : حتما باید در آخر کد اضافه شود .

پخش اختصاصی

گرداوری و آموزش : وحید مجیدی

مثلا صفحه ی درباره ما و یا مثلا صفحه تبلیغات اکثرا نیازی به قسمت کامنت ندارند , که شما با استفاده از این افزونه میتوانید به راحتی این امکان را برای پست مورد نطر غیر فعال کنید .

برای این کار کافیست پلاگین No Page Comment را در وردپرس خود نصب نمایید …

پس از نصب و فعال سازی به بخش تنظیمات > No Page Comment بروید .

شما طبق عکس های زیر میتوانید تمامی نطرات برگه ها , نوشته ها و یا مدیا را غیر فعال نمایید .

و یا شما میتوانید در هنگام افزودن یک نوشته و یا برگه , مانند عکس زیر در بالای سایت گزینه ی تنظیمات صفحه را زده و تیک Discussion را فعال نمایید :

و پس از انجام کار بالا , ایز این به بعد در پایین هر نوشته یا برگه , گزینه ای به نام Allow Comments اضافه خواهد شد و به این معنی خواهد بود که شما میتوانید به صورت تک تک و دلخواه , قسمت نطرات پست های خود را فعال و یا غیر فعال نمایید . ( مانند تصویر زیر )

گرداوری و آموزش : وحید مجیدی

پخش اختصاصی

این کار در سایت خودمان هم انجام شده و شما کاربران در پایین هر پست وب سایت , یک Qr Code میبینید که با اسکن آن توسط موبایل و … , لینک کوتاه شده همان صفحه را خواهید داشت .

این کار فوق العاده راحت و ساده میباشد .

در ادامه با ما همراه باشید …

برای این کار کافیست کد php زیر را در حلقه وردپرس و در فایل single.php قرار دهید .

نکته : اگر میخواهید برای برگه های خود هم این امکان را داشته باشید , کد زیر را در page.php هم قرار دهید .

<img src="http://api.qrserver.com/v1/create-qr-code/?size=500x500&color=000000&bgcolor=ffffff&data=<?php the_permalink() ?>" alt="کد دو بعدی <?php  the_title_attribute(); ?>"/>

نکته :

1 – در کد بالا size به معنی اندازه Qr Code

2 – bgcolor به معنای رنگ پس زمینه است که میتوانید یک رنگ hex جایگزین کنید ( پیشفرض سفید )

3 – color به معنای رنگ خطهای Qr Code است که میتوانید یک رنگ hex جایگزین کنید ( پیشفرض سیاه )

پخش اختصاصی

گرداوری و آموزش : وحید مجیدی

طبیعتا هر وبمستری دوست دارد مطلب پست شده ی وب سایت خود را در کوتاهترین زمان به دست موتور های جستجوگر برساند تا با دخیره سریعتر آن توسط موتور های جستجو , از سوء استفاده های احتمالی نظیر کپی شدن و بالا آمدن آن پست توسط وب سایت دیگر جلوگیری کند .

در وردپرس به صورت پیشفرض یک آگاهی دهنده در تنظیمات ست شده است که شما میتوانید در ادامه مطلب , تعداد بیشتری از آنها را مشاهده و در وب سایت خود استفاده نمایید .

برای این کار کافیست به مدیریت وردپرس خود رفته و از منو , قسمت تنظیمات -> نوشتن را انتخاب نمایید .

حال در صفحه ی باز شده و در کادر آخر ( قسمت آگاهی دهندگان به روز شدن سایت ) , وب سایت های زیر را کپی و در آخر ذخیره نمایید .

http://rpc.pingomatic.com
http://rpc.twingly.com
http://api.feedster.com/ping
http://api.moreover.com/RPC2
http://api.moreover.com/ping
http://www.blogdigger.com/RPC2
http://www.blogshares.com/rpc.php
http://www.blogsnow.com/ping
http://www.blogstreet.com/xrbin/xmlrpc.cgi
http://bulkfeeds.net/rpc
http://www.newsisfree.com/xmlrpctest.php
http://ping.blo.gs/
http://ping.feedburner.com
http://ping.syndic8.com/xmlrpc.php
http://ping.weblogalot.com/rpc.php
http://rpc.blogrolling.com/pinger/
http://rpc.technorati.com/rpc/ping
http://rpc.weblogs.com/RPC2
http://www.feedsubmitter.com
http://blo.gs/ping.php
http://www.pingerati.net
http://www.pingmyblog.com
http://geourl.org/ping
http://ipings.com
http://www.weblogalot.com/ping

پخش اختصاصی

گرداوری و آموزش : وحید مجیدی

یکی از مشکلات طراحان وبی که با بوت استرپ و وردپرس کار میکنند این است که نمیتوانند منوی بوت استرپ را به راحتی تبدیل به وردپرس کرده و با مشکلاتی روبرو میشوند .

این مشکل به این دلیل است که بوت استرپ از کلاس های زیادی در ul های پدر و فرزند استفاده میکند و بالعکس منوی وردپرس فقط اجازه ی دریافت یک یا چند کلاس در ul اصلی را دارا می باشد .

در ادامه به آموزش ادغام و هماهنگی این دو میپردازیم …

برای این کار کافیست مراحل زیر را به ترتیب پیش بروید :

1 – در ابتدا فایل wp-bootstrap-navwalker-master را دانلود نمایید و فایل درون آن که با همین نام و با پسوند php میباشد را در پوشه ی پوسته ی خود آپلود نمایید . ( در کنار فایل هایی نظیر header.php , functions.php و … )

2 – کد های زیر را در فایل functions.php پوسته ی خود قرار دهید :

function register_my_menu() {
  register_nav_menu('Vahid-Majidi-Nav',__( 'Vahid-Majidi-Nav' ));
}
add_action( 'init', 'register_my_menu' );
require_once('wp_bootstrap_navwalker.php');

3 – آخرین مرحله قرار دادن کد زیر در جایی که میخواهید Navbar نمایش داده شود . ( اکثر این مکان را در فایل header.php پوسته قرار میدهند )

<nav class="navbar navbar-default" role="navigation">
  <main class="container">
    <section class="navbar-header">
      <button type="button" class="navbar-toggle" data-toggle="collapse" data-target="#bs-example-navbar-collapse-1">
        <span class="sr-only">Toggle navigation</span>
        <span class="icon-bar"></span>
        <span class="icon-bar"></span>
        <span class="icon-bar"></span>
      </button>
    </section>
        <?php
            wp_nav_menu( array(
                'menu'              => 'Vahid-Majidi-Nav',
                'theme_location'    => 'Vahid-Majidi-Nav',
                'depth'             => 2,
                'container'         => 'div',
                'container_class'   => 'collapse navbar-collapse',
                'container_id'      => 'bs-example-navbar-collapse-1',
                'menu_class'        => 'nav navbar-nav',
                'fallback_cb'       => 'WP_Bootstrap_Navwalker::fallback',
                'walker'            => new WP_Bootstrap_Navwalker())
            );
        ?>
    </main>
</nav>

نکته بسیار مهم : در کد بالا که شامل کلاس هایی نظیر navbar-default , navbar-nav و … میباشد , میتوانید کلاس های دیگری از بوت استرپ را وارد نمایید . ( ترجیحا اگر با بوت استرپ نا آشنا هستید , تغییری ایجاد ندهید ) .

پخش اختصاصی

آموزش : وحید مجیدی 

این امکان به صورت پیش فرض در وردپرس بسیار ساده می باشد که میتوانید با نصب چند افزونه آن را حرفه ای نمایید . ( برای اطلاع از افزونه ها کلیک کنید )

حال میتوانید از پس از ثبت نام کاربران خود , اطلاعات کلی کاربریشان ( پروفایل کاربری ) را با استفاده از توابع زیر در وب سایت خود نمایش دهید .

برای اینک کار کافیست قطعه کد زیر را در مکانی مناسب در قالب خود قرار دهید .

این مکان میتوانید sidebar.php باشد, یا Author.php و …

<?php 
      global $current_user; get_currentuserinfo();
      echo 'نام کاربری: ' . $current_user->user_login . "\n";
      echo 'ایمیل:  ' . $current_user->user_email . "\n";
      echo 'سطح دسترسی:  ' . $current_user->user_level . "\n";
      echo 'نام:  ' . $current_user->user_firstname . "\n";
      echo 'نام خانوادگی: ' . $current_user->user_lastname . "\n";
      echo 'نام مورد نمایش:  ' . $current_user->display_name . "\n";
      echo 'شناسه کاربری:  ' . $current_user->ID . "\n";
?>

توجه : طبیعتا در هر فایلی که گذاشته شود , در قسمت مربوطه همان فایل نمایش داده میشود . مثلا اگر در Author.php قرار بگیرد , کاربران فقط با ورود به لیست نویسندگان وب سایت , قادر به مشاهده آن خواهند بود و یا مثلا اگر در sidebar.php قرار بگیرد , کاربران میتوانند در قسمت کناری وب سایت این اطلاعات را مشاهده نمایند .

پخش اختصاصی

گرداوری : وحید مجیدی

حتما شما هم از روش هایی زیادی را برای جلوگیری از این گونه دیدگاه ها استفاده کرده اید که به شکست بر خورده است …

حال در این پست روشی به شما آموزش داده میشود که با قرار دادن یک تکه کد کوچک , میتوانید از این نوع دیدگاه ها جلوگیری نمایید .

و اما آموزش :

برای این کار کافیست کد php  زیر را در فایل functions.php پوسته ی وردپرس خود قرار دهید …

function rkv_url_spamcheck( $approved , $commentdata ) {
    return ( strlen( $commentdata['comment_author_url'] ) > 50 ) ? 'spam' : $approved;
  }
  add_filter( 'pre_comment_approved', 'rkv_url_spamcheck', 99, 2 );

نکته :‌ به صورت پیش فرض , لینک هایی با طول رشته 50 به صورت اتوماتیک جفنگ و یا همان اسپم میشوند که عددی نرمال است . اگر مایل به کم یا زیاد کردن آن هستید , میتوانید عدد ۵۰ در کد بالا را به دلخواه تغییر دهید .

آموزش : وحید مجیدی

پخش اختصاصی

به صورت خلاصه , یعنی کاربران شما به صورت رایگان میتوانند لینک خود را در سایت شما درج کنند و از شما BackLink بگیرند .

طبق الگوریتم های جدید گوگل , درج تعداد زیادی لینک در صفحات وب سایت , باعث دادن امتیاز منفی به آن سایت می شود .

کد زیر قادر به حذف لینک , هم در نظرات وردپرس می باشد و هم لینکی که به نام نویسنده نظر داده میشود .

برای انجام این کار کافیست کد php زیر را در فایل functions.php قالب خود قرار دهید .

<?php
	add_filter('comment_form_default_fields', 'url_filtered');
	function url_filtered($vms_fields){
	    if(isset($vms_fields['url']))
	    unset($vms_fields['url']);
	    return $vms_fields;
	}
	if( !function_exists("disable_comment_author_links")){
	    function disable_comment_author_links( $vms_author_link ){
	    return strip_tags( $vms_author_link );
	}
	add_filter( 'get_comment_author_link', 'disable_comment_author_links' );
	}
?>

پخش اختصاصی

آموزش : وحید مجیدی

این روش , روشی مهم و جالب برای ترغیب کاربر به ثبت نام در وب سایت است . روشی که بسیاری از وب سایت های تالار گفتمان انجام میدهند .

این کار در وردپرس به راحتی و فقط با اضافه کردن یک قطعه کد قابل انجام است .

کافیست کد زیر را در پوشه ی پوسته ی خود و در داخل فایل functions.php قرار دهید :

function user_guest_vms($content = '')
{
    if(!is_user_logged_in()){
        preg_match_all("#<a(.*?)>(.*?)</a>#i",$content, $matches);
        $num = count($matches[0]);for($i = 0;$i < $num;$i++){
            $content = str_replace($matches[0][$i] , '<a href="'.wp_login_url( get_permalink()).'"><span style="color:#F00;">[مشاهده لینک ها فقط برای اعضا امکان پذیر است]<span></a>' , $content);
        }
    }
        return $content;
}

اگر کاربری عضو سایت نباشد , این کد نوشته ی ( مشاهده لینک ها فقط برای اعضا امکان پذیر است ) را نمایش میدهد و با کلیک بر روی آن , کاربر مهمان به صفحه ی عضویت وب سایت منتقل میشود .

پخش اختصاصی

آموزش وحید مجیدی