डिजिटल मार्केटिंग

AI Engines तुमच्या वेबसाइटचा संदर्भ देत आहेत का, हे कसे तपासावे

AI Engines तुमच्या वेबसाइटचा संदर्भ देत आहेत का, हे कसे तपासावे
AI VISIBILITY ChatGPT तुमच्या साइटचा संदर्भ देते का? ते कसे मोजावे blogshog.com

AI citations तीन प्रकारे तपासता येतात: AI crawler च्या भेटींसाठी तुमचे server logs वाचा, AI hosts कडून आलेल्या referrals साठी तुमचे analytics filter करा, आणि तुमची पाने उत्तरात येतात का हे पाहण्यासाठी AI engines ना थेट प्रश्न विचारा. कोणतीही एक पद्धत परिपूर्ण नाही, आणि त्यापैकी कोणतीही Search Console इतकी नीटनेटकी नाही. तिन्ही मिळून मात्र AI प्रणाली तुमची साइट वाचतात का, तिला उद्धृत करतात का आणि लोकांना तिच्याकडे पाठवतात का, याचे वापरण्याजोगे चित्र देतात.

बहुतेक reporting व्यवस्थांमध्ये ही आता एक खरी उणीव बनली आहे. जो अभ्यागत ChatGPT ला प्रश्न विचारतो, उत्तर वाचतो आणि संदर्भ म्हणून दिलेल्या स्रोतावर click करतो, तो तुमच्या साइटवर अशा मार्गाने पोहोचतो ज्याचे वर्णन करण्यासाठी तुमचे नेहमीचे dashboards कधी बनवलेच गेले नव्हते. त्याहून वाईट म्हणजे, जो अभ्यागत उत्तर वाचतो आणि click करत नाही, त्याने तुमचा कंटेंट वापरलेला असतो पण तुमच्याकडील कोणत्याही अहवालात त्याची एक ओळही उमटत नाही. तुमचा organic ट्रॅफिक स्थिर असेल पण तुमचा कंटेंट वापरला जात असेल, तर सध्या ते कळण्याचा तुमच्याकडे कोणताच मार्ग नाही.

पुढे अशी मोजमाप व्यवस्था दिली आहे जी तुम्ही याच आठवड्यात उभारू शकता, तीही बहुतांशी तुमच्याकडे आधीपासून असलेल्या टूल्सने; त्यासोबतच ती तुम्हाला काय सांगू शकत नाही याचा प्रामाणिक लेखाजोखाही आहे.

AI visibility चे तीन स्तर कोणते?

AI engine साठी उपयुक्त ठरणे टप्प्याटप्प्याने घडते, आणि प्रत्येक टप्प्याचे स्वतःचे मोजमाप असते. त्यांची सरमिसळ करणे हेच लोक आपला AI data निरर्थक आहे असा निष्कर्ष काढण्याचे मुख्य कारण आहे.

तीन स्तर, तीन वेगवेगळे प्रश्न 1. CRAWL झाले bot ने पान fetch केले का? कुठे मोजायचे: server logs काय शोधायचे: GPTBot, OAI- SearchBot, ClaudeBot, PerplexityBot, Google- Extended 2. संदर्भ मिळाला ते उत्तरांमध्ये दिसते का? कुठे मोजायचे: थेट prompt चाचणी, किंवा AI visibility tracking टूल automate करायला सर्वात कठीण आणि सर्वात मौल्यवान स्तर 3. CLICK झाले त्यातून कोणी आले का? कुठे मोजायचे: analytics referral अहवाल काय शोधायचे: chatgpt.com, perplexity.ai, copilot, gemini.google.com

लक्षात घ्या की हा funnel एका वेगळ्याच प्रकारे गळका आहे. एखादे पान भरपूर crawl होऊ शकते आणि तरीही त्याचा कधीच संदर्भ दिला जात नाही. त्याचा सतत संदर्भ दिला जाऊ शकतो पण click क्वचितच होते, कारण उत्तरानेच वापरकर्त्याचे समाधान झालेले असते. आणि त्यातून असे clicks येऊ शकतात ज्यांचे श्रेय तुम्हाला अजिबात ठरवता येत नाही, कारण काही AI interfaces referrer काढून टाकतात. या तीन आकड्यांकडे conversion funnel म्हणून नव्हे, तर तीन स्वतंत्र आरोग्य तपासण्या म्हणून पाहा.

कोणते AI crawlers तुमच्या साइटला भेट देतात हे कसे तपासावे?

कोणी काय fetch केले याची एकमेव प्रामाणिक नोंद म्हणजे server logs. खुले वेब crawl करणारी प्रत्येक AI कंपनी user agent string द्वारे स्वतःची ओळख देते, आणि त्या strings प्रकाशित केलेल्या आहेत. cPanel, तुमच्या host चे control panel किंवा CDN dashboard मधून तुम्हाला raw access logs मिळत असतील, तर प्रत्येक bot च्या भेटी तुम्ही काही मिनिटांत मोजू शकता.

# Apache किंवा Nginx access log मधील AI crawler hits मोजा
grep -Eoi "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-Web|
PerplexityBot|Perplexity-User|Google-Extended|Applebot-Extended|
CCBot|Bytespider|Amazonbot|meta-externalagent" access.log 
  | sort | uniq -c | sort -rn

# GPTBot प्रत्यक्षात कोणत्या URLs fetch करत आहे?
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
नावाने माहीत असावेत असे AI crawlers User agent चालवणारी कंपनी तो काय करत आहे GPTBotOpenAImodel training साठी पाने गोळा करणे OAI-SearchBotOpenAIChatGPT search index तयार करणे ChatGPT-UserOpenAIchat सुरू असताना पान live fetch करणे ClaudeBotAnthropictraining आणि retrieval साठी crawl करणे PerplexityBotPerplexityत्याच्या answer engine साठी indexing Google-ExtendedGoogleGemini training साठी परवानगीचा token CCBotCommon Crawlअनेक models ज्यावर बनतात तो खुला dataset

या तक्त्याबद्दल दोन टिपा. Google-Extended हा मुळात crawler नाहीच — तो एक control token आहे जो तुम्ही Gemini training ला परवानगी देण्यासाठी किंवा ती अडवण्यासाठी robots.txt मध्ये वापरता, त्यामुळे तो logs मध्ये fetch म्हणून दिसणार नाही. आणि ChatGPT-User ही लक्ष ठेवण्यासारखी सर्वात रंजक ओळ आहे: तिचा अर्थ असा की एका खऱ्या व्यक्तीमुळे, संभाषण सुरू असतानाच, तुमचे पान fetch झाले. तिथला वाढता आकडा तुमच्या logs मधील इतर कशाहीपेक्षा ट्रॅफिकच्या संकेताच्या जास्त जवळचा आहे.

यापैकी काहीही मोजण्याआधी, तुम्हाला हवे असलेले bots तुम्ही अडवत नाही आहात याची खात्री करा. GPTBot ला disallow करणारी robots.txt म्हणजे ChatGPT च्या index मधून शून्य citations ची हमी, आणि अनेक साइट्सवर असा नियम नकळत असतो, एखाद्या security plugin कडून किंवा template कडून वारशाने आलेला. आधी तुमची स्वतःची फाइल तपासा.

https://www.youtube.com/watch?v=Lbs8OpANxko
ChatGPT, Gemini आणि Perplexity वर brand visibility मोजणे.
आजचा सोन्याचा भावभारतासाठी 24 आणि 22 कॅरेट सोन्याचे व चांदीचे ताजे भाव, शहरानुसार, चार्टसह.सोन्याचे ताजे भाव पाहा →

Analytics मध्ये AI referral ट्रॅफिक कसा पाहावा?

AI referrals तुमच्या analytics मध्ये आधीपासूनच दिसतात — फक्त ते referral अहवालात अशा hostnames खाली विखुरलेले असतात जे तुम्ही शोधत नाही. उपाय म्हणजे त्यांना एका नाव दिलेल्या channel मध्ये एकत्र करणे, म्हणजे ओळी शोधत बसण्याऐवजी तुम्ही कल पाहू शकाल.

  1. तुमचा referral किंवा source अहवाल उघडा आणि sessions नुसार sort करा. chatgpt, openai, perplexity, copilot, gemini, claude, chat path असलेले bing, किंवा you.com असलेला कोणताही host शोधा.
  2. custom channel group तयार करा. GA4 मध्ये हे Admin → Data display → Channel groups येथे आहे. “AI assistants” नावाचा channel जोडा आणि source मध्ये यापैकी कोणतीही string असल्यास जुळणारा नियम द्या.
  3. तो पुढील काळासाठी लागू करा. GA4 चे custom channel groups एका मर्यादित कालावधीपलीकडे मागील data ला लागू होत नाहीत, म्हणून इतिहासाची गरज पडल्यानंतर नव्हे, तर त्याआधीच हे तयार करा.
  4. landing-page नुसार विभागणी जोडा. AI engines लोकांना कोणत्या पानांवर पाठवतात यावरून ते तुमची कोणती पाने अधिकृत मानतात हे कळते — एकूण आकड्यापेक्षा हा कितीतरी अधिक कृतीयोग्य संकेत आहे.
  5. engagement वेगळे पाहा. AI कडून आलेले अभ्यागत अर्धेअधिक उत्तर मिळालेला प्रश्न घेऊन येतात. त्यांचे वर्तन सहसा search मधून आलेल्या अभ्यागतांपेक्षा खूपच वेगळे असते, आणि त्यांना त्याच निकषांनी जोखल्यास तुमची दिशाभूल होईल.
विखुरलेले hostnames एका channel मध्ये एकत्र करा chatgpt.com perplexity.ai copilot.microsoft.com gemini.google.com claude.ai Custom channel “AI assistants” खरोखर अहवालात मांडता येईल अशी एक कल-रेषा AI engines कोणत्या पानांवर विश्वास ठेवतात हे पाहण्यासाठी landing page नुसार विभागा

एक इशारा, जो वाटतो त्यापेक्षा जास्त महत्त्वाचा आहे. काही AI interfaces, विशेषतः मोबाइल apps मधील, कोणताही referrer पाठवतच नाहीत, त्यामुळे त्या भेटी तुमच्या Direct गटात जमा होतात आणि कोणी तुमची URL टाइप केल्यापासून त्या वेगळ्या ओळखता येत नाहीत. तुमचा Direct ट्रॅफिक कोणत्याही स्पष्टीकरणाशिवाय वाढला असेल, तर त्याचा काही भाग तुम्हाला न दिसणारे AI referrals असू शकतात. यावर कोणताही नेटका तोडगा नाही; व्यावहारिक मार्ग म्हणजे Direct मधील वाढीकडे कोडे म्हणून न पाहता एक कमकुवत पूरक संकेत म्हणून पाहणे.

AI engines खरोखर तुमचा संदर्भ देतात का, याची चाचणी कशी करावी?

हाच स्तर सर्वात महत्त्वाचा आहे आणि कोणताही dashboard तो तुम्हाला देत नाही. पद्धत साधीसुधी आहे: तुमचे ग्राहक खरोखर विचारतात अशा प्रश्नांची यादी बनवा, प्रत्येक प्रश्न प्रत्येक engine ला विचारा, आणि काय उत्तर येते ते नोंदवा. हे सातत्याने केले तर ते AI उत्तरांसाठी rank-tracking च्या तोडीचे साधन बनते.

दर महिन्याला पुन्हा चालवायचा prompt संच 1 20 ते 30 खरे प्रश्न लिहा समस्येचे प्रश्न, तुलनेचे प्रश्न आणि brand बद्दलचे प्रश्न यांचे मिश्रण करा 2 प्रत्येक engine ला नव्या session मध्ये विचारा memory आणि chat history मुळे उत्तर झुकते, म्हणून प्रत्येक वेळी नव्याने सुरुवात करा 3 प्रत्येक prompt साठी तीन गोष्टी नोंदवा तुमचा संदर्भ दिला का? link शिवाय तुमचे नाव घेतले का? तुमच्याऐवजी कोणाचा संदर्भ दिला? 4 दर महिन्याला पुन्हा करा आणि तुलना करा एकच नोंद म्हणजे noise. महिन्यागणिक होणारा बदल हाच खरा संकेत.

तुमच्या जागी ज्या स्पर्धकांचा संदर्भ दिला जातो त्यांची नोंद ठेवा. ती यादी या संपूर्ण प्रयत्नातील सर्वात उपयुक्त निष्पत्ती आहे, कारण तुमच्या विषयावर engines सध्या कोणत्या स्रोतांना अधिकृत मानतात हे ती सांगते — आणि तुमचे स्वतःचे citations व उल्लेख त्याच स्रोतांमध्ये दिसायला हवेत.

आता अनेक व्यावसायिक टूल्स वेगवेगळ्या engines वर हे prompt-आणि-गुणांकनाचे चक्र automate करतात. ती वेळ वाचवतात, त्यापलीकडे काही नाही; मूळ पद्धत वर दिलेलीच आहे, आणि महिनाभर ती हाताने चालवल्यास तुमच्या बाजारपेठेबद्दल dashboard पेक्षा जास्त शिकायला मिळते. तुम्ही टूल विकत घेणारच असाल, तर ते नवीन sessions चालवते का, तुमचा प्रेक्षकवर्ग प्रत्यक्षात वापरतो ते engines त्यात आहेत का, आणि तुमच्याऐवजी कोणाचा संदर्भ दिला गेला हे ते सांगते का, ते तपासा.

एखादा brand ChatGPT, Perplexity आणि Google च्या AI निकालांमध्ये दिसतो का हे तपासण्याचे प्रात्यक्षिक.

Search Console मध्ये AI Overview चा data दिसतो का?

अंशतः, आणि तोही वेगळा काढता येईल अशा प्रकारे नाही. Google ने सांगितले आहे की AI Overviews मधील impressions आणि clicks Search Console च्या Performance अहवालात समाविष्ट असतात, पण ते एकूण Search च्या बेरजेत मिसळलेले असतात आणि filter करण्यासाठी कोणतेही स्वतंत्र dimension नसते. click करण्यासाठी “AI Overviews” अशी कोणतीही ओळ नाही.

तुम्ही जे करू शकता ते म्हणजे पॅटर्न वाचणे. पान click होण्याऐवजी त्याचा सारांश दिला जात असल्याची खूण म्हणजे impressions स्थिर राहणे किंवा वाढणे आणि clicks मात्र घटणे; हे अशा queries वर घसरणाऱ्या click-through rate च्या रूपात दिसते ज्यांचे स्थान बदललेले नाही. हे सूचक आहे, निर्णायक नाही — हंगामी बदल आणि layout मधील बदलांमुळेही तोच आकार तयार होतो — म्हणून निष्कर्ष काढण्याआधी संबंधित queries च्या एका गटात तो शोधा.

Search Console मध्ये शोधायचा आकार Impressions: स्थिर Clicks: घटत आहेत स्थान बदललेले नाही. लोक पानाऐवजी उत्तर वाचत आहेत. जास्त कमी

तुम्हाला तो पॅटर्न दिसला, तर त्याच्याशी झगडणे हा प्रतिसाद नाही. ते पान स्रोत म्हणून आपले काम करत आहे; त्याला गरज आहे ती click करण्याच्या अशा कारणाची ज्याची जागा सारांश घेऊ शकत नाही — एखादा calculator, एखादे template, सध्याच्या किमती, एखादे download, तुमचा स्वतःचा data. ज्या पानांचे संपूर्ण मूल्य केवळ एक व्याख्या आहे ती clicks गमावतच राहतील, आणि कितीही मोजमाप केले तरी ते बदलत नाही.

दर महिन्याला प्रत्यक्षात काय नोंदवावे?

सहा ओळींचा मासिक AI visibility अहवाल Metric ते कुठून मिळते AI crawler hits, bot नुसारServer किंवा CDN logs AI crawlers नी सर्वाधिक fetch केलेली पानेServer किंवा CDN logs AI assistants channel मधील sessionsAnalytics custom channel group AI referrals मिळणारी landing pagesAnalytics landing page अहवाल तुमच्या prompt संचातील citation rateहाताने चाचणी किंवा tracking टूल तुमच्या जागी संदर्भ मिळालेले स्पर्धकहाताने चाचणी किंवा tracking टूल

सहा ओळी पुरेशा आहेत. मोजमापाच्या नव्या क्षेत्रात काहीतरी भव्य उभारण्याचा मोह होतो, पण noisy data वरील भव्य अहवाल आत्मविश्वासपूर्ण चुकीचे निष्कर्ष देतात. ते लहान ठेवा, मासिक ठेवा, आणि निरपेक्ष आकड्यांऐवजी दिशेकडे पाहा.

Data हाती आल्यावर तुम्ही काय बदलता?

हे मोजमाप त्यावर घालवलेल्या तासाच्या लायकीचे तेव्हाच ठरते जेव्हा त्यामुळे तुम्ही जे प्रकाशित करता ते बदलते. तीन निष्कर्ष वारंवार समोर येतात, आणि त्यांवर तीन बऱ्यापैकी स्पष्ट प्रतिसाद आहेत.

  • भरपूर crawl होते, पण कधीच संदर्भ मिळत नाही. engines तुम्हाला वाचू शकतात पण तुम्ही उद्धृत करण्याजोगे वाटत नाही. सहसा ही रचनेची समस्या असते: उत्तर तीन परिच्छेद आत दडलेले असते, heading प्रश्नाऐवजी घोषवाक्य असते, महत्त्वाची माहिती image च्या आत असते. उत्तर आधी येईल अशा पद्धतीने पुन्हा लिहा.
  • संदर्भ मिळतो पण कधीच click होत नाही. हे सामान्य आहे आणि नेहमीच समस्या नसते. पानावर असे काहीतरी जोडा जे सारांशात मावू शकत नाही, आणि उद्धृत होण्याची शक्यता असलेल्या वाक्यातच तुमच्या brand चे नाव असेल याची खात्री करा, म्हणजे link नसली तरी तुमचा उल्लेख होईल.
  • तुमच्या जागी सातत्याने स्पर्धकांचा संदर्भ दिला जातो. त्या पानांमध्ये असे काय आहे जे तुमच्या पानांमध्ये नाही ते पाहा. बऱ्याचदा ते म्हणजे स्वतः गोळा केलेला data, नावानिशी तज्ज्ञ लेखक, स्पष्ट प्रकाशन तारीख, किंवा फक्त अधिक नेमके आकडे.

हे तिन्ही उपाय कंटेंटचे काम आहेत, तांत्रिक काम नाही — आणि AI visibility मोजमापातून मिळणारा हाच शांत धडा आहे. त्यासाठीची साधने तीच आहेत जी आमच्या Google AI Overviews मध्ये दिसणे या मार्गदर्शकात आणि GEO आणि AEO च्या युगातील ranking factors या व्यापक लेखात मांडली आहेत. तांत्रिक बाजूने, तुम्हाला ज्या पानांचा संदर्भ दिला जावा असे वाटते ती मुळात index होण्याजोगी आहेत याची खात्री करा — crawled but not indexed पाहा — त्यांतील माहिती schema markup द्वारे machine-readable आहे, आणि भक्कम internal linking मधून crawlers त्यांच्यापर्यंत पोहोचू शकतात, याचीही खात्री करा. llms.txt फाइल प्रकाशित करावी की नाही याचा तुम्ही विचार करत असाल, तर ती काय करते आणि काय करत नाही हे त्या लेखात मांडले आहे.

याच महिन्यात सुरुवात करा, अगदी ढोबळपणे का होईना. AI visibility tracking चे मूल्य जवळजवळ पूर्णपणे नोंदींमधील तुलनेत आहे, म्हणजेच आज तुम्ही करू शकता अशी सर्वात उपयुक्त गोष्ट म्हणजे पहिली नोंद घेणे. आणखी व्यावहारिक मार्गदर्शक आमच्या तंत्रज्ञान आणि digital marketing विभागात आहेत.

Search Console मध्ये AI Overview चे clicks मला वेगळे पाहता येतात का?

नाही. Google AI Overview चे impressions आणि clicks एकूण Search performance च्या आकड्यांमध्ये समाविष्ट करते, पण ते वेगळे काढण्यासाठी कोणतेही dimension देत नाही. उपलब्ध असलेला सर्वात जवळचा संकेत म्हणजे ज्या queries चे सरासरी स्थान बदललेले नाही त्यांवर घटणारा click-through rate, जो सुचवतो की पानांवर click होण्याऐवजी उत्तरे वाचली जात आहेत.

माझ्या logs मध्ये मी सर्वात आधी कोणता AI crawler शोधावा?

ChatGPT-User, कारण तो मोठ्या प्रमाणावरील training crawl ऐवजी संभाषण सुरू असताना एका खऱ्या व्यक्तीमुळे झालेला live fetch दर्शवतो. GPTBot आणि OAI-SearchBot सांगतात की OpenAI ने तुमची पाने गोळा केली आहेत; ChatGPT-User सांगतो की कोणीतरी आत्ता प्रत्यक्ष संभाषणात ती वापरत आहे.

माझा AI referral ट्रॅफिक इतका कमी का दिसतो?

अंशतः कारण बहुतेक साइट्ससाठी तो खरोखरच अजून कमी आहे, आणि अंशतः कारण अनेक AI interfaces, विशेषतः मोबाइल apps, कोणताही referrer पाठवत नाहीत. ते sessions तुमच्या Direct गटात जमा होतात आणि कोणी तुमची URL टाइप केल्यापासून वेगळे ओळखता येत नाहीत, त्यामुळे तुमचा खरा AI referral आकडा नोंदवलेल्या आकड्यापेक्षा अज्ञात फरकाने जास्त असतो.

माझ्या tracking संचात किती prompts असावेत?

वीस ते तीस पुरेसे आहेत; त्यातून कल दिसतो आणि हे काम इतके कंटाळवाणे होत नाही की तुम्ही ते सोडून द्याल. तीन प्रकारांचे मिश्रण करा: तुमचे ग्राहक विचारतात ते समस्येचे प्रश्न, तुमची आणि पर्यायांची तुलना करणारे प्रश्न, आणि थेट brand बद्दलचे प्रश्न. नोंदींची तुलना करता यावी म्हणून दर महिन्याला शब्दरचना अगदी तशीच ठेवा.

माझा कंटेंट सुरक्षित ठेवण्यासाठी मी AI crawlers अडवावेत का?

हा एक व्यावसायिक निर्णय आहे आणि त्यातील देवाणघेवाण स्पष्ट आहे: GPTBot किंवा PerplexityBot अडवल्याने तुमचा कंटेंट training आणि indexing मधून बाहेर जातो, आणि त्या प्रणालींमधून मिळणारे citations व referral ट्रॅफिक यांतूनही तुम्ही बाहेर जाता. अनेक प्रकाशक training crawlers अडवतात पण search आणि live-fetch agents ना परवानगी देतात, ज्यामुळे model training ला खाद्य न पुरवता citation visibility टिकून राहते.

AI visibility tracking टूल्स असे काही करतात का जे मी हाताने करू शकत नाही?

ती अनेक engines वर prompt-आणि-गुणांकनाचे चक्र automate करतात आणि इतिहास साठवतात, ज्यामुळे मोठ्या प्रमाणावर खरोखर वेळ वाचतो. पद्धत मात्र स्वतः prompts चालवण्यासारखीच आहे. आधी महिनाभर ती हाताने चालवणे फायद्याचे ठरते, कारण उत्तरांबद्दलचा dashboard वाचायला सुरुवात करण्याआधी ती उत्तरे कशी दिसतात हे त्यातून शिकायला मिळते.

AI citations किती वेळा पुन्हा तपासावेत?

बहुतेक साइट्ससाठी दर महिन्याला. अगदी एकसारख्या prompts साठीही AI ची उत्तरे sessions गणिक बदलतात, त्यामुळे साप्ताहिक नोंदींमध्ये बहुतांशी तोच noise पकडला जातो. ठरावीक prompt संचासह मासिक लय तुम्हाला असा कल देते ज्यावर सामान्य चढउतारांचा अवास्तव अर्थ न लावता कृती करता येते.

🎮 वाचून झाले? आता दोन मिनिटांचा गेम ब्रेक घ्या
सर्व 20 गेम →