রোবটস.টেক্সট: সার্চ ইঞ্জিন ক্রল নিয়ন্ত্রণ
ভূমিকা
Robots.txt একটি টেক্সট ফাইল যা আপনার ওয়েবসাইটের রুট ডিরেক্টরিতে থাকে এবং সার্চ ইঞ্জিন ক্রলারদের (যেমন Googlebot) জানায় আপনার সাইটের কোন অংশ তারা ক্রল করতে পারবে এবং কোন অংশ পারবে না। এটি SEO-র একটি গুরুত্বপূর্ণ উপাদান যার মাধ্যমে আপনি সার্চ ইঞ্জিনের ক্রল বাজেট নিয়ন্ত্রণ করতে পারেন।
বাংলাদেশি ওয়েবসাইটগুলোর জন্য robots.txt সঠিকভাবে কনফিগার করা বিশেষভাবে গুরুত্বপূর্ণ, কারণ অনেক সাইটেই অপ্রয়োজনীয় পেজ এবং রিসোর্স থাকে যা ক্রল বাজেট নষ্ট করে। এই গাইডে আমরা robots.txt কীভাবে কাজ করে, কীভাবে এটি সঠিকভাবে কনফিগার করতে হয়, এবং সাধারণ ভুল ও সমাধান নিয়ে আলোচনা করব।
Robots.txt কীভাবে কাজ করে?
Robots.txt একটি সাধারণ টেক্সট ফাইল যা Robots Exclusion Protocol (REP) অনুসরণ করে। যখন একটি সার্চ ইঞ্জিন ক্রলার আপনার ওয়েবসাইটে আসে, এটি প্রথমে robots.txt ফাইলটি চেক করে দেখে কোন পেজ ক্রল করার অনুমতি আছে।
```
User-agent: *
Disallow: /admin/
Allow: /
```
ওপরের উদাহরণে, সব সার্চ ইঞ্জিনকে (User-agent: *) অ্যাডমিন ডিরেক্টরি ক্রল করতে নিষেধ করা হয়েছে এবং বাকি সব পেজ ক্রল করার অনুমতি দেওয়া হয়েছে।
**গুরুত্বপূর্ণ:** Robots.txt একটি নির্দেশনা, কোনো বাধ্যবাধকতা নয়। অধিকাংশ সার্চ ইঞ্জিন এটি মেনে চলে, কিন্তু ম্যালিশিয়াস ক্রলার বা বট এটি ইগনোর করতে পারে।
Robots.txt কেন গুরুত্বপূর্ণ?
**১. ক্রল বাজেট ম্যানেজমেন্ট:**
গুগলের প্রতিটি ওয়েবসাইটের জন্য একটি সীমিত ক্রল বাজেট থাকে (কতগুলো পেজ গুগল একটি নির্দিষ্ট সময়ে ক্রল করবে)। Robots.txt ব্যবহার করে আপনি নিশ্চিত করতে পারেন যে গুগল আপনার গুরুত্বপূর্ণ পেজগুলো ক্রল করছে, অপ্রয়োজনীয় পেজে সময় নষ্ট না করে।
**২. ডুপ্লিকেট কন্টেন্ট প্রতিরোধ:**
অ্যাডমিন প্যানেল, সার্চ রেজাল্ট পেজ, লগইন পেজ ইত্যাদি ক্রল থেকে ব্লক করে আপনি ডুপ্লিকেট কন্টেন্ট ইস্যু প্রতিরোধ করতে পারেন।
**৩. সার্ভার রিসোর্স সুরক্ষা:**
অপ্রয়োজনীয় ক্রলিং কমিয়ে আপনি সার্ভারের লোড কমাতে পারেন, যা সাইটের পারফরমেন্স উন্নত করে।
**৪. সেনসিটিভ তথ্য সুরক্ষা:**
এডমিন প্যানেল, ব্যাকআপ ডিরেক্টরি, এবং অন্যান্য সেনসিটিভ ফাইল সার্চ ইঞ্জিন থেকে লুকানোর জন্য robots.txt ব্যবহার করা যায়।
**৫. ক্রলিং প্যাটার্ন নির্ধারণ:**
আপনি কোন ফাইল এবং ইমেজ ক্রল করতে চান তা নির্ধারণ করতে পারেন।
Robots.txt ফাইল কোথায় রাখবেন?
Robots.txt ফাইল সবসময় আপনার ওয়েবসাইটের রুট ডিরেক্টরিতে রাখতে হবে:
```
https://example.com/robots.txt
```
ফাইলটি একটি সাধারণ টেক্সট ফাইল যার নাম "robots.txt" (ছোট হাতের অক্ষরে)। এটি যেকোনো টেক্সট এডিটর দিয়ে তৈরি করা যায়।
Robots.txt সিনট্যাক্স
Robots.txt ফাইলের প্রধান উপাদান:
**User-agent:**
কোন সার্চ ইঞ্জিনের জন্য নিয়ম প্রযোজ্য তা নির্ধারণ করে:
```
User-agent: Googlebot
User-agent: *
```
**Disallow:**
কোন ডিরেক্টরি বা পেজ ক্রল করা যাবে না:
```
Disallow: /admin/
Disallow: /private/
```
**Allow:**
Disallow সত্ত্বেও কোন পেজ ক্রল করা যাবে:
```
Allow: /public/
```
**Sitemap:**
সাইটম্যাপের লোকেশন নির্দেশ করে:
```
Sitemap: https://example.com/sitemap.xml
```
**Crawl-delay:**
ক্রলিংয়ের মধ্যে কত সেকেন্ড অপেক্ষা করতে হবে (সব সার্চ ইঞ্জিন সাপোর্ট করে না):
```
Crawl-delay: 10
```
ব্যবহারিক উদাহরণ
**সম্পূর্ণ সাইট ক্রল অনুমতি:**
```
User-agent: *
Disallow:
```
**সম্পূর্ণ সাইট ক্রল নিষেধ (প্রোডাকশনে ব্যবহার করবেন না):**
```
User-agent: *
Disallow: /
```
**নির্দিষ্ট ডিরেক্টরি ব্লক:**
```
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /private/
```
**নির্দিষ্ট ফাইল ব্লক:**
```
User-agent: *
Disallow: /config.php
Disallow: /backup.zip
```
**নির্দিষ্ট ফাইল টাইপ ব্লক:**
```
User-agent: *
Disallow: /*.pdf$
Disallow: /*.doc$
```
**নির্দিষ্ট সার্চ ইঞ্জিনের জন্য আলাদা নিয়ম:**
```
User-agent: Googlebot
Disallow: /admin/
User-agent: Bingbot
Disallow: /admin/
Disallow: /temp/
User-agent: *
Disallow: /
```
WordPress সাইটের জন্য Robots.txt
WordPress সাইটের জন্য একটি স্ট্যান্ডার্ড robots.txt:
```
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /xmlrpc.php
Sitemap: https://example.com/sitemap.xml
```
সাধারণ ভুল ও সমাধান
**ভুল ১: Noindex-এর পরিবর্তে Disallow ব্যবহার:**
Disallow শুধু ক্রল ব্লক করে, কিন্তু পেজ ইনডেক্স হতে বাধা দেয় না। যদি অন্য কোনো পেজ থেকে লিংক থাকে, তাহলে পেজটি ইনডেক্স হতে পারে। পেজ ইনডেক্স থেকে সরাতে noindex ট্যাগ ব্যবহার করুন।
**ভুল ২: পুরো সাইট Disallow:**
```
User-agent: *
Disallow: /
```
এটি গুগলকে আপনার পুরো সাইট ক্রল করতে বাধা দেয়। শুধুমাত্র স্টেজিং বা ডেভেলপমেন্ট সাইটে এটি ব্যবহার করুন।
**ভুল ৩: Robots.txt-এ সেনসিটিভ তথ্য লুকানোর চেষ্টা:**
Robots.txt সার্চ ইঞ্জিনের জন্য একটি নির্দেশনা মাত্র। কেউ চাইলে আপনার robots.txt ফাইল দেখে জানতে পারে কোন পেজ আপনি লুকাতে চান। সত্যিকারের সুরক্ষার জন্য পাসওয়ার্ড প্রোটেকশন বা অন্যান্য নিরাপত্তা ব্যবস্থা ব্যবহার করুন।
**ভুল ৪: ভুল সিনট্যাক্স:**
```
User-agent: Googlebot
Disallow: /admin
```
এখানে `/admin` শুধু সেই নির্দিষ্ট পেজ ব্লক করবে, `/admin/` ডিরেক্টরি ব্লক করবে না। ট্রেলিং স্ল্যাশ গুরুত্বপূর্ণ।
**ভুল ৫: একাধিক User-agent ব্লক:**
```
User-agent: *
Disallow: /admin/
User-agent: Googlebot
Allow: /admin/
```
এখানে আগের নির্দেশনাটি Googlebot-এর জন্যও প্রযোজ্য হবে, কারণ * সব ক্রলারকে নির্দেশ করে। অর্ডার গুরুত্বপূর্ণ।
Robots.txt চেক করার উপায়
**১. গুগল সার্চ কনসোল:**
গুগল সার্চ কনসোলের robots.txt টেস্টার টুল ব্যবহার করে আপনার robots.txt ফাইল টেস্ট করুন।
**২. ব্রাউজার দিয়ে:**
`https://your-site.com/robots.txt` ব্রাউজারে ওপেন করে দেখুন।
**৩. অনলাইন টুল:**
বিভিন্ন অনলাইন টুল ব্যবহার করে robots.txt চেক করুন।
বাংলাদেশি ওয়েবসাইটের জন্য স্পেসিফিক টিপস
**১. BD হোস্টিং ইস্যু:**
বাংলাদেশি হোস্টিংয়ে যদি আপনার সাইট স্লো হয়, তাহলে robots.txt ব্যবহার করে অপ্রয়োজনীয় পেজ ব্লক করে ক্রল বাজেট অপটিমাইজ করুন।
**২. ই-কমার্স ফিল্টার URL:**
বাংলাদেশি ই-কমার্স সাইটে ফিল্টার এবং সর্ট অপশনের জন্য অসংখ্য URL তৈরি হয়। Robots.txt ব্যবহার করে এসব URL ব্লক করুন।
**৩. নিউজ পোর্টাল:**
বাংলাদেশি নিউজ পোর্টালের ট্যাগ পেজ, ক্যাটাগরি পেজ এবং সার্চ রেজাল্ট পেজ robots.txt ব্যবহার করে ব্লক করা উচিত।
উপসংহার
Robots.txt একটি শক্তিশালী টুল যা সার্চ ইঞ্জিন ক্রল নিয়ন্ত্রণ করে এবং আপনার SEO-কে উন্নত করতে সাহায্য করে। সঠিকভাবে কনফিগার করলে এটি আপনার গুরুত্বপূর্ণ পেজগুলো দ্রুত ইনডেক্স করতে এবং অপ্রয়োজনীয় পেজে ক্রল বাজেট নষ্ট হওয়া থেকে রক্ষা করতে সাহায্য করে।
বাংলাদেশি ওয়েবসাইটগুলোর জন্য robots.txt-এর সঠিক ব্যবহার বিশেষভাবে গুরুত্বপূর্ণ, কারণ সীমিত হোস্টিং এবং সার্ভার রিসোর্সের মধ্যে সর্বোচ্চ পারফরমেন্স নিশ্চিত করতে ক্রল বাজেট অপটিমাইজেশন অত্যন্ত জরুরি। আপনার ওয়েবসাইটের জন্য একটি পরিষ্কার এবং কার্যকর robots.txt ফাইল তৈরি করুন এবং নিয়মিত তা আপডেট করুন।