ابزار ساخت و تست robots.txt

قوانین وردپرس عمداً پوشه‌های wp-content و wp-includes را مسدود نمی‌کنند، چون گوگل برای رندر درست صفحه به فایل‌های CSS/JS داخل آن‌ها نیاز دارد؛ مسدودکردن آن‌ها می‌تواند به رتبه سایت آسیب بزند.

الگوهای مقایسه/علاقه‌مندی/فیلتر بر اساس رایج‌ترین افزونه‌های ووکامرس نوشته شده‌اند؛ اگر افزونه دیگری استفاده می‌کنید، ممکن است لازم باشد الگوها را با ساختار URL واقعی سایت خودتان تطبیق دهید.

این مجموعه همان قوانین پیش‌فرضی است که خود جوملا هنگام نصب تولید می‌کند.

این مجموعه بر اساس robots.txt پیش‌فرض هسته دروپال است.

صفحات خصوصی حساب کاربری، تیکت و صورتحساب مسدود شده‌اند؛ صفحات عمومی مثل فروشگاه (cart.php بدون پارامتر view)، Knowledgebase و Announcements برای ایندکس باز می‌مانند. نام دقیق پوشه‌ها ممکن است بسته به قالب و تنظیمات WHMCS شما کمی متفاوت باشد.

هیچ قانون پایه‌ای اعمال نمی‌شود؛ فقط گزینه‌های اضافی که پایین‌تر انتخاب می‌کنید و Sitemap وارد می‌شود.

این خطوط عیناً به گروه User-agent: * اضافه می‌شوند؛ صحت سینتکس آن‌ها بررسی نمی‌شود.