தேடல் கிராலர்கள், மாதிரிப் பயிற்சி கிராலர்கள், AI ஏஜென்ட்களுக்கு தனித்தனி கட்டுப்பாடுகளை இணையதள உரிமையாளர்களுக்கு Cloudflare இப்போது வழங்குகிறது. அதன் செப்டம்பர் 15 வெளியீடு புதிய டொமைன்களுக்கு இரண்டு வெவ்வேறு தொடக்க அமைப்புகளை முன்வைக்கிறது. விளம்பரங்கள் மூலம் வருவாய் பெறும் தளத்திற்கு Search: Allow, Training: Disallow AI Training, Agent: Block on pages with ads பரிந்துரைக்கப்படுகின்றன. விளம்பரங்களால் வருவாய் பெறாத தளத்திற்கு மூன்றிலும் Allow பரிந்துரைக்கப்படுகிறது. தொடக்க அமைப்பின்போதோ பின்னரோ உரிமையாளர்கள் இவற்றை மாற்றலாம்.

ஏற்கெனவே உள்ள Cloudflare டொமைன்கள் முந்தைய தேர்வுகளைப் பின்பற்றுகின்றன. பழைய “Block AI Bots” சுவிட்சை அணைத்திருந்த தளம் Search, Training, Agent மூன்றிலும் Allow-க்கு மாற்றப்படும். பழைய இரண்டு தடுப்பு விருப்பங்களில் ஏதேனும் ஒன்றைத் தேர்ந்தெடுத்த தளம் Search: Allow, Training: Disallow AI Training, Agent: Block on pages with ads-க்கு மாற்றப்படும். மூன்று கட்டுப்பாடுகளையும் ஏற்கெனவே அமைத்த டொமைன்கள் Cloudflare-இன் மாற்ற அட்டவணை அடிப்படையில் அந்தத் தேர்வுகளின் நடைமுறை விளைவைத் தக்கவைக்கும். Free உட்பட எல்லா திட்டங்களிலும் இக்கட்டுப்பாடுகள் கிடைக்கின்றன; திட்டத்தில் தகுதி இருப்பது மட்டும் டொமைனில் தற்போது எந்தக் கொள்கை உள்ளது என்பதை உரிமையாளருக்குச் சொல்லாது.

மூன்று வகைகள் எவற்றை உள்ளடக்குகின்றன

Cloudflare-இன் ஜூலை மாற்றப் பதிவு படி, Search (தேடல்) என்பது பின்னர் வரும் கேள்விகளுக்குப் பதிலளிக்க உள்ளடக்கத்தை அட்டவணைப்படுத்தும் கிராலிங். Agent (ஏஜென்ட்) என்பது ஒருவரின் சார்பில் நிகழ்நேரத்தில் செய்யப்படும் செயல்களை உள்ளடக்கும்; உரையாடலுக்காக உள்ளடக்கம் பெறும் பாட்களும் பிரவுசர் பயன்படுத்தும் ஏஜென்ட்களும் இதில் அடங்கும். Training (பயிற்சி) என்பது மாதிரிப் பயிற்சி அல்லது நுணுக்கச் சீரமைப்புக்கான சேகரிப்பை உள்ளடக்கும். ஒரு கிராலருக்கு ஒன்றுக்கும் மேற்பட்ட நோக்கங்கள் இருக்கலாம். ஒவ்வொரு தடுப்பு விருப்பமும் அதன் வகைப்பாட்டில் உள்ள சரிபார்க்கப்பட்ட பாட்களையும் அதேபோல் வகைப்படுத்தப்பட்ட கூடுதல் சரிபார்க்கப்படாத பாட்களையும் உள்ளடக்கும் என Cloudflare கூறுகிறது. இது வகைப்பாட்டு அடிப்படையிலான கட்டுப்பாடு; ஒவ்வொரு தானியங்கி பிரவுசரும் அடையாளம் தெரியாத கோரிக்கையும் பிடிபடும் என்ற கூற்று அல்ல.

விளம்பர-ஆதரவு பரிந்துரையைப் பயன்படுத்தும் டொமைனில், “Block on pages with ads” என்பது விளம்பரங்கள் காட்டப்படுவதாக Cloudflare கண்டறியும் பக்கங்களிலுள்ள Agent வகைக்குப் பொருந்தும். இது தளம் முழுவதிலும் ஏஜென்ட்களைத் தடை செய்வதைக் குறிக்காது. அந்த முன்அமைப்பில் Search தொடர்ந்து அனுமதிக்கப்படுகிறது. Training வேறுபட்டது: செப்டம்பரின் Disallow AI Training என்பது Bot Preference Sync வழியாக பயிற்சிக்குப் பயன்படுத்த வேண்டாம் என்ற விருப்பத்தை வெளியிட்டு, Cloudflare Accountable என அழைக்கும் கலப்புப் பயன்பாட்டு கிராலர்களைத் தவிர மற்ற பயிற்சி கிராலர்களைத் தடுக்கிறது. அந்த Accountable கிராலர்கள் பயிற்சி விருப்பத்தை மதித்தபடியே தேடல் கிராலிங்கைத் தொடரலாம். பயிற்சிக்கு மட்டுமே பயன்படும் கிராலர்களை இந்த அமைப்பு தனியே கையாளுவதால் அவற்றைத் தடுக்க தேடலை நிறுத்த வேண்டியதில்லை என Cloudflare கூறுகிறது.

செப்டம்பரின் இந்த ஏற்பாடு ஜூலை ஆவணத்தை மேலும் துல்லியமாக்குகிறது; அந்த ஆவணம் இன்னமும் விளம்பரப் பக்கங்களில் Training, Agent இரண்டையும் தடுக்கும் எதிர்கால இயல்புநிலையை விவரிக்கிறது. பின்னர் வெளியான வெளியீட்டு அறிவிப்பும் Cloudflare-இன் செப்டம்பர் விரிவான மாற்ற மற்றும் பரிந்துரை அட்டவணைகளும் புதிய விளம்பர-ஆதரவு டொமைனுக்கு Disallow AI Training எனக் குறிப்பிடுகின்றன; விளம்பரப் பக்கத் தடுப்பு Agent-க்குப் பொருந்துகிறது. முந்தைய விளக்கத்தை ஏற்கெனவே உள்ள வாடிக்கையாளர்கள் அனைவருக்கும் பொதுவான கொள்கையாகப் படிக்கக் கூடாது.

தேடல், பயிற்சி இரண்டுக்கும் பயன்படும் கிராலரில் “Disallow”, “Block” ஆகியவற்றின் விளைவுகளும் வேறு. தனது நெட்வொர்க்கில் சரிபார்க்கப்பட்ட கிராலர் போக்குவரத்தில் 36.6% கலப்புப் பயன்பாட்டு கிராலர்களுடையது என Cloudflare கூறுகிறது; ஆனால் தனித்தனி தளங்களுக்கு ஒப்பிடத்தக்க எண்ணை இங்கு தரவில்லை. முழுமையான Training தடுப்பில் இப்போது Googlebot, Bingbot, Applebot போன்ற கலப்புப் பயன்பாட்டு கிராலர்களும் அடங்குவதால் அவற்றின் தேடல் அணுகலும் நீங்கலாம். பயிற்சிக் கட்டுப்பாட்டைத் தெரிவிக்கும்போதே Accountable கலப்புப் பயன்பாட்டு கிராலர்களின் தேடல் அணுகலைத் தக்கவைப்பதே Disallow AI Training-இன் நோக்கம். தற்போதைய வரம்பையும் Cloudflare கூறுகிறது: Microsoft, Bingbot-க்காக robots.txt கோப்பில் பயிற்சி வேண்டாம் என்ற விருப்பத்துக்கான ஆதரவை இன்னும் வெளியிடவில்லை. எனவே இப்போது Disallow AI Training தேர்ந்தெடுப்பது அந்த விருப்பத்தை Bing-க்கு தானாகத் தெரிவிக்காது.

தள உரிமையாளர் எதைச் சரிபார்க்கலாம்

Cloudflare கட்டுப்பாட்டுப் பலகையில், டொமைனின் Security Settings → Configure AI bot policies (பாதுகாப்பு அமைப்புகள் → AI பாட் கொள்கைகளை அமைத்தல்) பகுதியைத் திறந்து தற்போதைய Search, Training, Agent தேர்வுகளைப் பாருங்கள். Cloudflare-இன் அமைப்பு ஆவணம் Allow, Block, Block on pages with ads ஆகியவற்றை விவரிக்கிறது; செப்டம்பர் விளக்கம் கூடுதல் Disallow AI Training விருப்பத்தையும் பழைய அமைப்புகள் மாற்றப்படுவதையும் விளக்குகிறது. தளம் விளம்பரக் காட்சிகளைச் சார்ந்திருந்தால், டொமைன் விளம்பர-ஆதரவு முன்அமைப்பைப் பயன்படுத்துகிறதா, Agent கண்டறியப்பட்ட விளம்பரப் பக்கங்களுக்கு மட்டுமே வரையறுக்கப்பட்டுள்ளதா என்று பாருங்கள். வழக்கமான தேடல் அணுகலைத் தக்கவைப்பது முக்கியமெனில், கலப்புப் பயன்பாட்டு கிராலர்களுக்கு Block தேர்ந்தெடுக்கும் முன் Training தேர்வைப் பாருங்கள்.

இவை Cloudflare ஆவணங்களில் உள்ள கட்டுப்பாடுகளும் வெளியீட்டு விதிகளும். BIG CHANGE ஒரு Cloudflare கணக்கை மாற்றவோ செயல்படும் தளத்தில் பாட் போக்குவரத்தை அளக்கவோ இல்லை.

பெரிய மாற்றம்

தானியங்கி அணுகலின் மூன்று பயன்பாடுகளை டொமைன் அளவிலான கொள்கைகளாக Cloudflare பிரித்துள்ளது. புதிய விளம்பர-ஆதரவு டொமைன்களுக்கு செப்டம்பர் பரிந்துரை தேடலைத் திறந்துவைத்து, பயிற்சிக்கு வேண்டாம் என்ற விருப்பத்தைத் தெரிவித்து, விளம்பரங்கள் கண்டறியப்பட்ட பக்கங்களில் வகைப்படுத்தப்பட்ட ஏஜென்ட்களைத் தடுக்கிறது. ஏற்கெனவே உள்ள உரிமையாளர்கள் அணுகல் பற்றி முடிவெடுக்கும் முன் தங்களுடைய மாற்றப்பட்ட அமைப்புகளைப் படிக்க வேண்டும்.

ஆதாரங்கள் மற்றும் கூடுதல் வாசிப்பு