How To Add Robots.txt In Blogger WordPress- Robots.Txt क्या है? Hindi Me

How To Add Robots.Txt: Robots.txt क्या है ? इसे Blogger या WordPress में कैसे add करते हैं और ये किसी ब्लॉग या वेबसाइट की SEO के लिए किस तरह helpful है इस पोस्ट में रही जानकारियां साझा की जाएँगी|

हमने पिछली post में पढ़ा था कि ब्लॉगर या वर्डप्रेस में meta tags description कैसे जोड़ते हैं

What is Robots.txt ( रोबोट्स.txt क्या है )

इससे पहले कि हम ये जाने की robot.txt को blogger या WordPress में कैसे जोड़ते है बात करते है कि robots.txt क्या है ?

Robots.txt एक तरह की text file है जोकि blog websites की root directory मे installed एक ऐसी file है जो search engine जैसे Google, Bing, Yahoo, etc. को ये information देती है कि search engines को आपकी वेबसाइट या ब्लॉग के किस भाग को Crawl और index करना है और किसे नहीं करना है |

Search engine में कोई भी keyword सर्च करते हैं तो जो websites के result show होते है वो results ही robots.txt द्वारा उस site का index किया हुआ भाग होता है रोबोट्स file में हम जिस भाग को allow करेंगे वो भाग results में show होगा और जिसे disallow करेंगे वो रिजल्ट में नहीं दिखेगा |

ऐसे में हमें रोबोट्स file बनाने में बहुत सावधानी बरतनी पड़ती है एक गलत robots.txt file किसी भी site के SEO पर गलत effect डाल सकती है और ये भी हो सकता है कि site search engine में index ही न हो या फिर कुछ ऐसा भाग index हो जाये जो SEO पर गलत प्रभाव पड़े और site कि रैंकिंग down हो जाये |

Robots.txt वेबसाइट के लिए क्यों Important है

किसी भी search engine के bots जब websites और ब्लॉग को crawl करने के लिए विजिट करते हैं तो सबसे पहले robots.txt file को search करते हैं ताकि bots को ये पता चल सके कि blog या वेबसाइट के किस भाग को search engine में index करना है और किसे नहीं | ऐसे में अगर अपने कोई custom robots.txt file नहीं Add की है तो bots आपके वेबसाइट के सभी भाग को crawl और index करना start कर देता है जिन्हें आप index नहीं करना कहते हों |

जब भी bots वेबसाइट को index करने के लिए आते हैं तो site को index करने से पहले robots file को search करते हैं और जब bots को कोई को robots.txt file से कोई instruction नहीं मिलता तो ये पूरी site को ही crawl और index करना सुरु कर देते हैं और instruction मिलता है तो उसके अनुसार site और content को index करते हैं |

Benefits of Robots.txt (Robots.txt के फायदे )

रोबोट्स file किसी भी site या ब्लॉग का एक बहुत ही महत्वपूर्ण भाग है is file के use से वेबसाइट के indexing को आप पूरी तरह control कर सकते हैं | search engine bots को समझने में आसानी होती है कि site का कौन सा part index करना है | किसी special files, फोल्डर, images, pdf, RAR,..etc को index होने से रोक सकते हैं

कभी कभी bots website को इस तरह से crawl करने लगते हैं कि site कि परफॉरमेंस पर effect पड़ने लगता है जिसे control करने के लिए crawl-delay add करके कर सकते हैं | robots.txt से ब्लॉग या site के किसी भी section को private कर सकते हैं और साथ ही साथ internal search results पेज को SERPS में show होने से रोका जा सकता है |

अगर आप ये जानना चाहते हैं कि फ्री में ब्लॉग कैसे बनाते हैं तो ये article जरुर पढ़ें|

Explanation Of Robots.txt Codes

ये Codes तीन भागो में विस्तारित हैं या फिर ये कहें कि रोबोट्स file में तीन तरह के commands एक code के रूप में होते हैं जो मिलकर एक robots file बनाते हैं तो चलिए सबसे पहले हम इनको समझते हैं और फिर जानेंगे कि ब्लॉगर या WordPress में robots.txt कैसे add करते हैं |

User-agent: Mediapartners-Google

ये code basically Google AdSense Robots के help के लिए होता हैं ताकि AdSense आपके ब्लॉग पर अच्छे quality के एड्स show कर सके|

User-agent: *

User-Agent code basically search Engines से related है| वास्तव में ये option search engines को ये अनुमति देता है कि कौन सा search engine ( google, Yahoo, Bing,..etc ) आपके ब्लॉग को index करे और कौन नहीं | यहाँ पर “*” का मतलब है कि सभी सर्च इंजन को अनुमति देना |

Disallow: /search

इस code का मतलब किसी keyword search वाले link को index करने कि अनुमति न देना | निचे दिए गए example से समझ सकते हैं

https://technicalkrishna.com/search/label/SEO

अगर हम इसे allow या remove करते हैं तो crawlers आपके पुरे ब्लॉग को index और crawl करने लगेगा जिससे SEO पर बुरा असर पड़ेगा |

Allow

यहाँ पर allow code क्रॉलर को आपके ब्लॉग के homepage को crawl और index करने कि अनुमति देने से है |

How To Add Robots.txt In Blogger BlogSpot

Blogger में robots.txt file जोड़ने के लिए कुछ steps को follow करना होगा इसके लिए सबसे पहले हमें ब्लॉग के लिए robots.txt file generate करना होगा |

robots.txt file For Blogger BlogSpot

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

1. ऊपर दिए गए code को copy करें या फिर notepad में save करें साथ ही साथ sitemap वाली लाइन में अपना ब्लॉग address change कर लें |
2. Blogger login करें, settings पर क्लिक करें उसके बाद Crawlers and indexing option में जाएँ|
3. Enable custom robots.txt को on करें फिर custom robots.txt पर click करने पर एक न्यू बॉक्स open होगा |

4. अब जो हमने file बनाई थी उसे कॉपी करके paste करें और save बटन पर क्लिक करें|

Note : BlogSpot में sitemap को लेकर एक मिथ है कि हर ब्लॉग पर आपको sitemap अलग अलग दिख जायेंगे ऐसा क्यों होता है ये जानना भी बहुत जरुरी है जिसके बारे में हम अपने अप्गले post, ब्लॉगर या वर्डप्रेस में sitemap कैसे बनायें में सीखेंगे|

How To Add Robots.txt In WordPress

WordPress में robots.txt file जोड़ना ब्लॉगर से बिलकुल अलग है इसमें रोबोट्स file कई तरीकों से add कर सकते हैं जैसे किसी plugins कि मदद से या फिर hosting में जा कर | इस post में हम आपको ऐसा तरीका बताने वाले हैं जिसमें किसी एक्स्ट्रा plugins कि जरुरत नहीं होगी |

Yoast SEO plugins जिसे WordPress use करने वाला हर ब्लॉगर अपने ब्लॉग के लिए use करता ही है तो Yoast SEO tool कि मदद से हम robots.txt file को WordPress में add करना सीखेंगे | ये दुसरे तरीकों से काफी अलग और easy है |

robots.txt file For WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://technicalkrishna.com/sitemap_index.xml

1. सबसे पहले अपने WordPress ब्लॉग में login करें SEO tool पर क्लिक करके tools option को select करें |

2. नया पेज open होने के बाद दुसरे नंबर पर स्थित file editor पर क्लिक करें|

3. अब आपके सामने robots.txt editor open होगा, उसमे दिया गया code paste करके save Changes पर click करके save करें |

Sitemap में अपने ब्लॉग का address change करना न भूलें |

Note : अगर वर्डप्रेस में Yoast SEO में File Editor का option नहीं show कर रहा हो तो Installed plugins में Web security tool को deactivate कर दें, File Editor enable हो जायेगा | रोबोट्स file add करने के बाद activate कर सकते हैं |

आज आपने क्या सिखा

प्रिय दोस्तों, हमने आज के इस post में robots.txt क्या है और इसे blogger या वर्डप्रेस में कैसे जोड़ते हैं और साथ ही साथ इससे जुडी कुछ महत्वपूर्ण बातें आपके साथ साझा कि गई है ताकि इस concept को आप अच्छे से समझ सकें और एक SEO Friendly robots.txt file अपने ब्लॉग में add कर सकें |

अगर आपके पास इससे जुडी कोई परेशानी या सवाल हो कमेंट के माध्यम से पूछ सकते हैं| अगर हमारा ये article आपको अच्छा लगे तो इसे अपने दोस्तों के साथ जरुर share करें|