Crawled – Currently Not Indexed: Google तुमची पाने का वगळते (आणि ते कसे दुरुस्त करावे)
“Crawled – currently not indexed” याचा अर्थ Googlebot ने तुमचे पान यशस्वीपणे fetch केले, ते वाचले आणि मग ते search index मध्ये न जोडण्याचा निर्णय घेतला. ही crawl error नाही, दंड नाही, किंवा तुटलेली link नाही. हा एक निवाडा आहे. Google ने पान पाहिले आणि ते साठवण्यालायक नाही असे ठरवले — सहसा साइट-स्तरावरील विश्वास, duplication, तुटपुंजे मूल्य, किंवा पान दुसऱ्या कशाची तरी प्रत वाटायला लावणारी configuration ची चूक यांमुळे.
हा फरक महत्त्वाचा आहे, कारण त्यामुळे उपाय पूर्णपणे बदलतो. ही crawl error असती तर तुम्ही एखादी link किंवा server response दुरुस्त करून पुढे गेला असता. हा निवाडा असल्यामुळे, मूळ कारण बदलेपर्यंत कितीही वेळा पुन्हा submit केले तरी निकाल बदलणार नाही. या मार्गदर्शकात या status चा खरा अर्थ, जवळजवळ प्रत्येक प्रकरणामागे असणारी आठ कारणे, वीस मिनिटांत करता येणारे निदान, आणि जवळजवळ कोणीच न तपासणारे एक कारण यांचा समावेश आहे.
Crawled, discovered, indexed: या तीन अवस्थांचा अर्थ काय
Google Search Console तीन statuses वापरते जे ऐकायला सारखे वाटतात पण ज्यांचे अर्थ खूप वेगळे आहेत. ते नीट समजून घेणे ही पहिली पायरी आहे, कारण प्रत्येक status वेगळ्या समस्येकडे निर्देश करतो.
तुमची बहुतेक पाने Discovered – currently not indexed मध्ये असतील, तर Google crawl चे लक्ष मोजूनमापून देत आहे. ती सहसा authority आणि ताजेपणाची समस्या असते. ती Crawled – currently not indexed मध्ये असतील, तर Google ने ती वाचण्याचे श्रम आधीच घेतले आहेत आणि तरीही नाही म्हटले आहे. हा अधिक कठीण संकेत आहे, आणि हे मार्गदर्शक त्याच्याबद्दलच आहे.
Google पान crawl करून वगळते त्याची आठ कारणे
Google प्रत्येक URL साठी कारण प्रकाशित करत नाही, त्यामुळे निदान म्हणजे एकेक शक्यता वगळत जाण्याची प्रक्रिया. व्यवहारात जवळजवळ प्रत्येक प्रकरण या आठ गटांपैकी एकात बसते; ते किती वेळा दोषी ठरतात त्याच्या साधारण क्रमाने दिले आहेत.
त्या यादीत काय नाही ते लक्षात घ्या: page speed, meta description ची लांबी, keyword density आणि नसलेला alt text. पान index झाल्यावर ranking साठी त्या गोष्टी महत्त्वाच्या ठरतात. पान मुळात index न होण्याचे कारण त्या जवळजवळ कधीच नसतात. त्यांच्यामागे धावणे हा या समस्येवर लोकांचा एक महिना वाया घालवण्याचा सर्वात सामान्य मार्ग आहे.
जवळजवळ कोणीच न तपासणारे कारण: तुमची property चुकीच्या host वर लक्ष ठेवत आहे
या कारणाला स्वतंत्र विभाग मिळायलाच हवा, कारण ते “crawled – currently not indexed” च्या शेकडो ओळी निर्माण करते, तुम्ही कंटेंटमध्ये केलेल्या प्रत्येक दुरुस्तीनंतरही टिकून राहते, आणि तुम्ही मुद्दाम शोधल्याशिवाय ते दिसत नाही.
Google www.example.com आणि example.com यांना दोन वेगळ्या वेबसाइट्स मानते. तुमची Search Console property एका host वर नोंदवलेली असेल आणि तुमची साइट प्रत्यक्षात दुसऱ्या host वरून चालत असेल, तर Google property च्या host वरील URLs crawl करत राहील, त्या दुसरीकडे redirect होतात हे पुन्हा पुन्हा पाहील, आणि त्यांना index करायला नकार देत राहील. Pages अहवालात कधीच न सुधारणारा एक मोठा, स्थिर आकडा दिसेल, आणि validation चे प्रयत्न Failed म्हणून परत येतील.
उपाय म्हणजे URL-prefix property ऐवजी Domain property जोडणे. Domain property तुमच्या registrar कडील DNS TXT record ने verify होते, आणि ती www व non-www, http व https, आणि प्रत्येक subdomain एकाच property मध्ये सामावते. ती verify झाली की नवीन property वर तुमचा sitemap पुन्हा submit करा आणि Google ला recrawl करण्यासाठी एक-दोन आठवडे द्या. जुनी property delete करण्याऐवजी ठेवा — जुन्या URLs index मधून हळूहळू बाहेर जाताना पाहण्यासाठी ती उपयोगी पडते.
तिथे असतानाच, तुम्ही submit करत असलेला sitemap तोच आहे जो तुमची साइट प्रत्यक्षात देते याची खात्री करा. Rank Math सारखा SEO plugin /sitemap_index.xml तयार करत असेल पण तुमची robots.txt WordPress core चा /wp-sitemap.xml जाहीर करत असेल, तर तुम्ही crawlers ना एका अनावश्यक redirect मधून पाठवत आहात आणि Sitemaps अहवालात तुम्हाला “Couldn’t fetch” errors दिसतील.
स्वतः करता येणारे 20-मिनिटांचे निदान
हे टप्पे क्रमाने पूर्ण करा. प्रत्येक टप्पा एखादे कारण एकतर बाद करतो किंवा निश्चित करतो, आणि हा क्रम जाणीवपूर्वक ठेवलेला आहे — मूळ जोडणीच चुकीच्या पत्त्याकडे निर्देश करत असेल तर कंटेंट सुधारत बसण्यात काहीच अर्थ नाही.
सहाव्या टप्प्यावर थोडे थांबून विचार करणे योग्य ठरेल. Manual indexing विनंत्यांवर प्रत्येक property साठी दिवसाला साधारण दहा ते बारा URLs ची मर्यादा असते, त्यामुळे मोठा अनुशेष तुम्ही submit करून भरून काढू शकत नाही. तुम्ही जे करू शकता ते म्हणजे एक छोटा संच चाचणी म्हणून वापरणे. थेट विनंतीनंतर खरोखर चांगली पाच पाने index झाली, तर तुमचा crawl budget हीच अडचण होती आणि पुढचा मार्ग authority आणि internal linking चा आहे. तरीही ती index झाली नाहीत, तर मूल्यमापन साइट-स्तरावर होत आहे आणि पानागणिक केलेले कोणतेही काम ते हलवू शकणार नाही.
प्रत्यक्षात ते कशाने दुरुस्त होते
तुम्ही कोणत्या कारणाला सामोरे जात आहात हे एकदा कळले की उपाय बऱ्यापैकी सुपरिचित आहेत. ते बहुतेक SEO सल्ला सुचवतो त्यापेक्षा संथ आणि कमी सुखावह देखील आहेत.
जास्त नव्हे, कमी प्रकाशित करा
हा उपाय सहजबुद्धीच्या विरुद्ध आहे. तीनशे पाने index न होता पडून असतील, तर आणखी पन्नास जोडल्याने मदत होत नाही — त्यामुळे crawl budget आणखी विरळ होतो आणि साइटला मागे खेचणारा जो काही गुणवत्तेचा संकेत आहे तो अधिक बळकट होतो. Google तुम्ही प्रकाशित केलेल्या सर्व गोष्टींवर गुणवत्तेचे मूल्यमापन करते, म्हणजेच कमकुवत पानांची तुम्हाला प्रत्यक्ष किंमत मोजावी लागते. जे आधीच आहे त्याचे audit करून तुटपुंजा अर्धा भाग delete करणे किंवा एकत्र करणे हे सहसा कितीही नवीन कंटेंटपेक्षा अधिक परिणामकारक ठरते.
जवळपास duplicate पाने एकत्र करा
तुमच्याकडे एकमेकांवर आच्छादणारे विषय मांडणारे आठ लेख असतील, तर ते त्याच queries साठी एकमेकांशी स्पर्धा करतात आणि त्यापैकी एकही निर्णायक वाटत नाही. त्यांना एका सखोल लेखात विलीन करून उरलेल्यांना 301-redirect केल्यास संकेत एकवटतो. indexing साठी आणि 2026 मधील ranking साठी, दोन्ही बाबतींत एक भक्कम पान आठ कमकुवत पानांपेक्षा सरस ठरते.
तुमचे internal linking दुरुस्त करा
Orphan पाने — म्हणजे ज्यांच्याकडे एकही internal link निर्देश करत नाही अशी पाने — Google ला सांगतात की तुम्हालाही ती महत्त्वाची वाटत नाहीत. index करण्यालायक प्रत्येक पान तुमच्या navigation मधून किंवा एखाद्या hub पानावरून दोन-तीन clicks मध्ये गाठता आले पाहिजे. आपल्या कंटेंटचे खरोखर वर्णन करणारी आणि त्याला link देणारी category व pillar पाने इथे खरे काम करतात, crawlers साठीही आणि वाचकांसाठीही.
बाहेरील संकेत कमवा
साइट-स्तरावरील विश्वास हे हाताळायला सर्वात कठीण कारण आहे आणि मोठ्या प्रमाणावर सर्वात सामान्यही. इतर प्रतिष्ठित साइट्सनी तुमच्या साइटचा संदर्भ देण्याला कोणताही तांत्रिक पर्याय नाही. Directory submissions आणि bookmarking ने ते साधणार नाही; खरे उल्लेख, प्रस्थापित प्रकाशनांमध्ये अतिथी लेखन, आणि लोक ज्याचा संदर्भ देतील असे मौलिक संशोधन किंवा data यांनी ते साधेल. हे महिन्यांमध्ये मोजले जाणारे संथ काम आहे, आणि इतर बाबतींत स्वच्छ असलेली साइटही index होण्यासाठी झगडू शकते त्याचे हेच कारण आहे.
कशाने ते दुरुस्त होत नाही
ही तितकीच उपयुक्त यादी आहे, कारण यातील प्रत्येक गोष्ट असा वेळ खाते जो कुठेतरी फलदायी ठिकाणी लावता आला असता.
- त्याच URLs वारंवार पुन्हा submit करणे. Google ने त्यांचे मूल्यमापन आधीच केले आहे. पुन्हा विचारल्यास तोच निकाल मिळतो.
- Indexing APIs आणि third-party “instant index” सेवा. Google चा Indexing API अधिकृतपणे job postings आणि live-stream markup पुरताच मर्यादित आहे. बाकी सर्व काही एकतर दुर्लक्षित होते किंवा धोक्याचे असते.
- Meta descriptions पुन्हा लिहिणे. ती आधीपासून अस्तित्वात असलेल्या निकालांच्या click-through rate वर प्रभाव टाकतात. पान index होते की नाही याच्याशी त्यांचा काहीही संबंध नाही.
- परिपूर्ण PageSpeed स्कोअरमागे धावणे. वापरकर्त्यांसाठी ते करण्यासारखे आहे, पण काहीतरी अनन्य देणारे संथ पानही index होते, आणि काहीच न देणारे वेगवान पान होत नाही.
- Thin पानावर आणखी schema जोडणे. Structured data कंटेंटचे वर्णन करतो. जिथे मूल्य नाही तिथे तो ते निर्माण करत नाही.
सावरायला किती वेळ लागतो
इथे अपेक्षा महत्त्वाच्या आहेत, कारण कारण दुरुस्त केल्यानंतरची सर्वात सामान्य चूक म्हणजे उपाय चालला नाही असा निष्कर्ष फार लवकर काढणे.
लक्ष ठेवायचा पॅटर्न म्हणजे वेग नव्हे, तर दिशा. index न झालेल्या पानांची संख्या आठवड्यागणिक घटत असेल, अगदी हळूहळू का होईना, तर उपाय काम करत आहे. खऱ्याखुऱ्या बदलानंतर महिनाभर ती पूर्णपणे स्थिर राहिली असेल, तर अजून काहीतरी चुकते आहे आणि निदानाच्या पहिल्या टप्प्याकडे परत जाणे योग्य ठरेल.
AI search बद्दल एक टीप
AI उत्तरे वाढत गेली तसे indexing चे महत्त्व कमी नव्हे, तर अधिकच वाढले आहे. AI engine ला जे पान सापडत नाही त्याचा ते संदर्भ देऊ शकत नाही, आणि बहुतेक generative उत्तरे अशा पानांवरून घेतली जातात जी पारंपरिक search मध्ये आधीच index झालेली आणि rank होत असलेली असतात. तुम्ही AI Overviews मध्ये दिसण्यासाठी किंवा ChatGPT आणि Perplexity कडून उद्धृत होण्यासाठी काम करत असाल, तर indexing ही पूर्वअट आहे, समांतर चालणारा मार्ग नाही. आधी ते दुरुस्त करा, मग extractability, structured data आणि लेखकाचे श्रेय यांची चिंता करा.
उद्या कुठून सुरुवात करावी
या मार्गदर्शकातून एकच गोष्ट घ्यायची असेल, तर ती निदानाचा क्रम घ्या. Host ची खात्री करा, property जुळते याची खात्री करा, sitemap उघडतो याची खात्री करा, manual action ची शक्यता बाद करा, मग पाच भक्कम पानांची चाचणी घ्या. या पाच तपासण्यांना वीस मिनिटे लागतात आणि त्यातून कळेल की तुमच्यासमोर याच आठवड्यात दुरुस्त करता येणारा configuration चा दोष आहे की महिने लागणारी authority ची समस्या.
बहुतेक लोक थेट कंटेंट पुन्हा लिहिण्याकडे वळतात, कारण त्यात प्रगती झाल्यासारखे वाटते. सहसा तशी ती नसते. ज्या कारणांची दुरुस्ती केली जात आहे त्या कारणांसाठी ती पाने कधी नाकारलीच गेली नव्हती — आणि महिनाभर लिहिल्यानंतर हे उमगणे हा ते शिकण्याचा वेदनादायक मार्ग आहे.
संबंधित वाचनासाठी आमचे सर्वाधिक वजन असलेले on-page SEO घटक, सोप्या टप्प्यांत SEO शिकणे, आणि वेबसाइट ट्रॅफिक वाढवण्याचे 48 मार्ग हे मार्गदर्शक पाहा. सर्व काही तुम्ही Technology विभागात पाहू शकता.
वारंवार विचारले जाणारे प्रश्न
Google Search Console मध्ये ‘Crawled – currently not indexed’ चा अर्थ काय?
याचा अर्थ Googlebot ने तुमचे पान यशस्वीपणे fetch करून वाचले, आणि मग ते search index मध्ये न जोडण्याचा निर्णय घेतला. ही error किंवा दंड नाही. हा गुणवत्ता आणि समर्पकतेचा निवाडा आहे, जो सहसा साइट-स्तरावरील विश्वास, इतर पानांशी असलेले duplication, thin कंटेंट, किंवा पान दुसऱ्या URL ची प्रत वाटायला लावणारी configuration मधील विसंगती यांमुळे होतो.
हे ‘Discovered – currently not indexed’ पेक्षा कसे वेगळे आहे?
Discovered म्हणजे URL अस्तित्वात आहे हे Google ला माहीत आहे पण तिने ती अजून fetch केलेली नाही, जे सहसा कमी authority असलेल्या साइटवरील crawl budget कडे निर्देश करते. Crawled म्हणजे Google ने पान fetch करून वाचण्याचे श्रम आधीच घेतले आणि तरीही ते साठवायला नकार दिला, जो त्या पानाबद्दल किंवा साइटबद्दल अधिक प्रबळ नकारात्मक संकेत आहे.
Search Console मध्ये indexing ची विनंती केल्याने हे दुरुस्त होईल का?
केवळ तेवढ्याने, क्वचितच. Manual विनंत्यांवर प्रत्येक property साठी दिवसाला साधारण दहा ते बारा URLs ची मर्यादा असते, आणि Google ने आधीच मूल्यमापन केलेले पान पुन्हा submit केल्यास तोच निकाल मिळतो. एक छोटा संच निदान म्हणून वापरा: थेट विनंतीनंतर खरोखर भक्कम पाच पाने index झाली, तर crawl budget हीच अडचण होती; झाली नाहीत, तर समस्या साइट-स्तरावरची आहे.
चुकीच्या Search Console property मुळे हे होऊ शकते का?
होय, आणि हे बऱ्याचदा लक्षातच येत नाही. Google www आणि non-www यांना स्वतंत्र वेबसाइट्स मानते. तुमची property एका host वर नोंदवलेली असेल आणि साइट दुसऱ्या host वरून चालत असेल, तर Google दुसरीकडे redirect होणाऱ्या URLs crawl करत राहते आणि त्यांना index करायला नकार देत राहते. DNS TXT record ने verify केलेली Domain property जोडल्यास www, non-www, http आणि https एकाच ठिकाणी सामावले जातात आणि हे पुन्हा होत नाही.
कारण दुरुस्त झाल्यावर सावरायला किती वेळ लागतो?
चुकीची property किंवा बिघडलेला sitemap यासारख्या configuration च्या दोषात सहसा काही दिवस ते दोन आठवड्यांत recrawling सुरू होते. Duplicates एकत्र करायला दोन ते सहा आठवडे लागतात. Spam structured data मधून सावरायला काही आठवडे ते महिने लागतात. साइट-स्तरावरील विश्वास निर्माण व्हायला तीन ते बारा महिने लागतात. वेगाऐवजी index न झालेल्या पानांच्या संख्येच्या दिशेकडे लक्ष ठेवा.
Page speed मुळे पान index होते की नाही यावर परिणाम होतो का?
जवळजवळ कधीच नाही. पान index मध्ये आल्यानंतर page speed आणि Core Web Vitals ranking वर आणि वापरकर्त्याच्या अनुभवावर प्रभाव टाकतात. खरोखर उपयुक्त कंटेंट असलेले संथ पानही index होते, आणि सांगण्यासारखे वेगळे काहीच नसलेले वेगवान पान तरीही होत नाही. परिपूर्ण PageSpeed स्कोअरमागे धावणे हा indexing च्या समस्येवर वेळ वाया घालवण्याच्या सर्वात सामान्य मार्गांपैकी एक आहे.
Indexing दुरुस्त करण्यासाठी मी आणखी कंटेंट प्रकाशित करावा का?
सहसा याच्या उलट. शेकडो पाने आधीच index न झालेली असतील, तर नवीन पाने crawl budget आणखी विरळ करतात आणि साइटला मागे खेचणारा जो काही गुणवत्तेचा संकेत आहे तो अधिक बळकट करतात. Google तुम्ही प्रकाशित केलेल्या सर्व गोष्टींवर गुणवत्तेचे मूल्यमापन करते, त्यामुळे कमकुवत पानांची तुम्हाला प्रत्यक्ष किंमत मोजावी लागते. Thin कंटेंटचे audit करणे, तो एकत्र करणे आणि delete करणे हे सामान्यतः आणखी भर घालण्यापेक्षा अधिक परिणामकारक असते.