LLMs.txt: ඔබේ වෙබ් අඩවියේ දත්ත AI වලින් ආරක්ෂා කරගන්නා හැටි
අද වෙනකොට ChatGPT, Google Gemini වගේ AI ගැන කතා නොකරන දවසක් නැති තරම්. මේ හැම AI මෙවලමකම හදවත තමයි Large Language Models (LLMs) කියන තාක්ෂණය. සරලවම කිව්වොත්, මේ LLM වලින් කරන්නේ අන්තර්ජාලයේ විසිරිලා තියෙන ටෙරාබයිට් ගණන් දත්ත විශ්ලේෂණය කරලා, ඒ දැනුම පාවිච්චි කරලා අලුත් දේවල් නිර්මාණය කරන එක.
මේ විදියට AI දිනෙන් දින දියුණු වෙද්දී, වෙබ් අඩවි හිමිකරුවන්ට ලොකු ප්රශ්නයක් මතු වුණා. ඒ තමයි, “අපේ වෙබ් අඩවියේ තියෙන තොරතුරු මේ AI වලට පුහුණු වෙන්න පාවිච්චි කරන්න දෙනවද, නැද්ද?” කියන එක.
මෙන්න මේ ගැටලුවට විසඳුමක් විදියට තමයි llms.txt කියන සංකල්පය කරළියට එන්නේ…
ඇත්තටම මොකක්ද මේ llms.txt කියන්නේ?
llms.txt කියන්නේ ඔබේ වෙබ් අඩවියේ ප්රධාන ෆෝල්ඩරයේ (root folder) තියන්න පුළුවන් සරල text ගොනුවක්. හරියට example.com/llms.txt වගේ. මේ ගොනුවේ කාර්යය තමයි, ඔබේ වෙබ් අඩවියට එන AI crawlers (AI වලට දත්ත එකතු කරන bot programs) වලට උපදෙස් මාලාවක් දෙන එක. ඒ උපදෙස් වලින් කියවෙන්නේ වෙබ් අඩවියේ කුමන කොටස් වල දත්ත භාවිත කළ හැකිද, කුමන කොටස් තහනම්ද කියන එකයි.
මේකේ ක්රියාකාරීත්වය හරියටම robots.txt ගොනුවට සමානයි. robots.txt මගින් Google, Bing වගේ සෙවුම් යන්ත්ර වලට උපදෙස් දෙනවා වගේ, llms.txt මගින් AI crawlers වලට උපදෙස් දෙනවා.
මෙම සංකල්පය මුලින්ම ලෝකයට ගෙනාවේ Answer.AI හි සම-නිර්මාතෘවරයෙකු වන Jeremy Howard විසින්. ඒ ගැන වැඩි විස්තර, උදාහරණ සහ නිල මාර්ගෝපදේශ llmstxt.org වෙබ් අඩවියේ අඩංගු වෙනවා. Google DeepMind ඇතුළු තවත් ප්රමුඛ පෙළේ AI ආයතන රැසක සහයෝගයද මේ සඳහා ලැබී තිබීම විශේෂත්වයක්.
llms.txt file එකේ වැදගත්කම
- දත්ත පාලනය (Data Control): ඔබේ වෙබ් අඩවියේ අන්තර්ගතය AI මාදිලි පුහුණු කිරීමට යොදා ගන්නවාද නැද්ද යන්න තීරණය කිරීමේ සම්පූර්ණ බලය ඔබට ලැබෙනවා. උදාහරණයක් විදියට, ඔබේ වෙබ් අඩවියේ ඇති copyright සහිත ලිපි හෝ පර්යේෂණ දත්ත AI වලින් වළක්වන්න පුළුවන්.
- පෞද්ගලිකත්වය සුරැකීම (Protecting Privacy): පරිශීලකයන්ගේ පෞද්ගලික තොරතුරු, අදහස් (comments) වැනි දෑ AI මාදිලි වල පුහුණු දත්ත ගබඩාවට ඇතුළත් වීම වළක්වා ගැනීමට මෙය ඉතා වැදගත්.
- AI සඳහා සහය වීම (Helping AI): AI crawler එකකට ඔබේ වෙබ් අඩවියේ ඇති අදාළ නැති, පැරණි හෝ වැරදි තොරතුරු විශ්ලේෂණය කිරීමට ගතවන කාලය හා සම්පත් ඉතුරු කර දෙන්න ඔබට පුළුවන්. ඒ හරහා AI මාදිලි වල කාර්යක්ෂමතාවය වැඩි වෙනවා.
- වෙබ් අඩවියේ බර අඩු කිරීම (Reducing Server Load): AI crawlers අනවශ්ය ලෙස ඔබේ වෙබ් අඩවියේ සැරිසැරීම නතර කිරීමෙන්, ඔබේ සර්වර් එකට එන අනවශ්ය traffic එක අඩු කරගන්න පුළුවන්.
llms.txt file එකක් හදන්නේ කොහොමද?
මේක හිතනවට වඩා ගොඩක් සරලයි. Notepad එකක් වගේ text editor එකක් අරගෙන, llms.txt නමින් ගොනුවක් හදාගන්න. ඊට පස්සේ අවශ්ය උපදෙස් (directives) ටික එකතු කරන්න.
මෙන්න සරල උදාහරණයක්:
User-agent: *
Disallow: /admin/
Disallow: /downloads/
Allow: /blog/
- User-agent: *:
*ලකුණෙන් කියවෙන්නේ “සියලුම AI crawlers” සඳහා මෙම නීති අදාළ බවයි. - Disallow: /admin/:
/admin/ෆෝල්ඩරය තුළ ඇති කිසිම දෙයක් භාවිතා නොකරන ලෙස දන්වනවා. - Disallow: /downloads/:
/downloads/ෆෝල්ඩරය තුළ ඇති දේටද අවසර නැහැ. - Allow: /blog/:
/blog/ෆෝල්ඩරයේ ඇති ලිපි සහ දත්ත පමණක් භාවිතා කිරීමට අවසර දෙනවා.
මේ විදියට හදාගත්ත llms.txt ගොනුව ඔබේ වෙබ් අඩවියේ ප්රධාන ෆෝල්ඩරයට (root folder) upload කළ පසු එහි කාර්යය ආරම්භ වේවි.
LLMs.txt file එකක් හදාගන්න පුළුවන් Tools මොනවද?
Online Tools
- Writesonic’s LLM Txt Generator: සම්පූර්ණයෙන්ම නොමිලේ ලබාදෙන මේ tool එකට ඔබේ වෙබ් අඩවියේ ලිපිනය දුන් විට, එය ස්වයංක්රීයව ඔබට llms.txt ගොනුවක් සාදා දෙනවා.
- AISEO LLMs.txt Generator: මෙයත් ඔබේ වෙබ් අඩවියේ URL එක ලබාදී ඉතා පහසුවෙන්, විධිමත් ආකාරයේ llms.txt ගොනුවක් ජනනය කරගැනීමට ඉඩ සලසන තවත් සරල මෙවලමක්.
- WordLift: මෙය AI මත පදනම් වූ SEO සේවාවක්. ඔවුන්ගේ platform එක හරහාද llms.txt ගොනු පහසුවෙන් නිර්මාණය කරගැනීමේ හැකියාව පවතිනවා.
WordPress Plugins
- Hostinger Tools plugin: ඔබ Hostinger සේවාව භාවිතා කරන කෙනෙක් නම්, ඔවුන්ගේම Hostinger Tools ප්ලගිනය හරහා ඉතා පහසුවෙන් llms.txt ගොනුවක් ජනනය කරගන්න පුළුවන්.
- Yoast SEO Plugin: ලංකාවේ බොහෝ දෙනෙක් භාවිතා කරන ජනප්රිය Yoast SEO ප්ලගිනයද AI crawlers පාලනය කිරීමේ හැකියාව හඳුන්වා දී තිබෙනවා.
- Rank Math SEO Plugin: Yoast වලට හොඳ තරඟයක් දෙන Rank Math ප්ලගිනයේත් robots.txt ගොනුව සමගම AI crawlers සඳහා වන නීති එකතු කිරීමේ හැකියාව තියෙනවා.
මේවාට අමතරව තවත් SEO සහ වෙබ් අඩවි කළමනාකරණ ප්ලගීන රැසක් මෙම පහසුකම හඳුන්වා දෙමින් පවතිනවා. ඒ නිසා ඔබ දැනටමත් භාවිතා කරන ප්ලගිනයක සැකසුම් (settings) පරීක්ෂා කර බැලීම වටිනවා.
FAQs
1. දැන් robots.txt file එක ඕන නැද්ද?
අවශ්යයි! robots.txt ගොනුව තවමත් අත්යවශ්යයි.
සරලව කිව්වොත්, robots.txt සහ llms.txt කියන්නේ සම්පූර්ණයෙන්ම වෙනස් අරමුණු දෙකක් සඳහා භාවිතා කරන ගොනු දෙකක්.
- robots.txt ගොනුවෙන් කරන්නේ Google, Bing වගේ Search Engine Crawlers වලට ඔයාගේ වෙබ් අඩවියේ තියන පිටු සහ ෆෝල්ඩර් index කරන්න දෙනවද, නැද්ද කියලා උපදෙස් දෙන එක. මේකේ ප්රධාන අරමුණ තමයි SEO (Search Engine Optimization) සහ වෙබ් අඩවියේ server එකේ තියෙන අනවශ්ය බර අඩු කිරීම.
- llms.txt ගොනුවෙන් කරන්නේ AI Models වලට ඔයාගේ වෙබ් අඩවියේ තියන දත්ත භාවිතා කරන්න දෙනවද, නැද්ද කියලා උපදෙස් දෙන එක. මේකේ ප්රධාන අරමුණ තමයි ඔයාගේ අන්තර්ගතය AI tools වලට භාවිතා කරන ආකාරය පාලනය කිරීම.
ඉතින්, ඔයාට ඔයාගේ වෙබ් අඩවිය Google Search වල දකින්න ඕන නම්, හොඳ SEO ranking එකක් තියාගන්න ඕන නම්, robots.txt ගොනුව අනිවාර්යයෙන්ම අවශ්යයි. ඒ වගේම, ඔයාගේ අන්තර්ගතය AI models වලට භාවිතා කරන ආකාරය පාලනය කරන්න ඕන නම් llms.txt ගොනුවත් අවශ්ය වෙනවා.
මේ ගොනු දෙකම එකිනෙකට වෙනස් කාර්යයන් දෙකක් කරන නිසා, දෙකම භාවිතා කිරීමෙන් තමයි ඔයාගේ වෙබ් අඩවියට උපරිම ආරක්ෂාවක් සහ පාලනයක් ලබා ගන්න පුළුවන් වෙන්නේ.
2. llms.txt කියන්නේ නිල වශයෙන් පිළිගත් සම්මතයක්ද?
නැහැ. llms.txt යනු දැනට නිල වශයෙන් පිළිගත් සම්මතයක් නොවේ. එය Answer.AI හි සම-නිර්මාතෘවරයෙකු වන Jeremy Howard විසින් යෝජනා කරන ලද ක්රමවේදයක් පමණි. කෙසේ වෙතත්, Google DeepMind ඇතුළු ප්රධාන AI සමාගම් කිහිපයක්ම මෙම ක්රමවේදය අනුගමනය කිරීමට පටන් ගෙන ඇත.
3. llms.txt භාවිතා කිරීමෙන් මගේ වෙබ් අඩවියේ SEO වලට බලපෑමක් වෙනවාද?
නැහැ. llms.txt ගොනුවෙන් ඔබේ වෙබ් අඩවියේ SEO (Search Engine Optimization) වලට සෘජු බලපෑමක් ඇති නොවේ. මන්ද, මෙය නිර්මාණය කර ඇත්තේ Search Engine Crawlers සඳහා නොව, AI Models සඳහා පමණි. කෙසේ වෙතත්, AI-powered Search Engines භාවිතය වැඩි වන විට, ඔබේ අන්තර්ගතය AI tools මගින් නිවැරදිව තේරුම් ගැනීම, අනාගතයේදී “Generative Engine Optimization (GEO)” සඳහා වැදගත් විය හැක.
4. llms.txt ගොනුවක් හදන්නේ කොහොමද?
මෙය ඔබ විසින්ම (manually) හෝ ස්වයංක්රීය මෙවලමක් (automatic tool) භාවිතයෙන් සෑදිය හැක. සරලම ක්රමය නම්, වෙබ් අඩවියේ root folder එකේ llms.txt නමින් text file එකක් සෑදීමයි. එහිදී Markdown syntax භාවිතයෙන් ඔබේ වෙබ් අඩවිය පිළිබඳ විස්තර, වැදගත් links, සහ ඔබට AI Models වෙත ලබා දීමට අවශ්ය වෙනත් තොරතුරු ඇතුළත් කළ හැක.
5. llms.txt ගොනුව අනිවාර්යයෙන්ම අවශ්යද?
නැහැ. නමුත් AI තාක්ෂණය දියුණු වන මේ යුගයේ, ඔබේ වෙබ් අඩවියේ අන්තර්ගතය AI Tools වලට භාවිතා කිරීමට දෙනවාද නැද්ද යන්න පිළිබඳ පාලනයක් ලබා ගැනීමටත්, ඔබේ අන්තර්ගතය නිවැරදිව හා කාර්යක්ෂමව AI Tools වලට ලබා දීමටත් මෙය වැදගත් වේ. විශේෂයෙන්ම, API documentation, product descriptions, සහ technical guides වැනි අන්තර්ගතයන් ඇති වෙබ් අඩවි සඳහා මෙය බෙහෙවින් වැදගත් වේ.
6. llms.txt සහ sitemap.xml අතර වෙනස කුමක්ද?
sitemap.xml යනු Search Engines සඳහා ඔබේ වෙබ් අඩවියේ ඇති සියලුම පිටු වල සිතියමක් සපයන ගොනුවකි. එය ප්රධාන වශයෙන් භාවිතා කරන්නේ Search Engines වලට ඔබේ වෙබ් අඩවිය වඩාත් කාර්යක්ෂමව index කිරීමටයි.
llms.txt යනු AI Models සඳහා ඔබේ වෙබ් අඩවියේ වඩාත්ම වැදගත්, ප්රධානතම අන්තර්ගතයන් මොනවාදැයි පෙන්වන ගොනුවකි. මෙය AI Models වලට ඔබේ අන්තර්ගතය වඩාත් නිවැරදිව තේරුම් ගැනීමට සහ භාවිතා කිරීමට උපකාරී වේ.
