අද ලෝකයේ ChatGPT වගේ AI (Artificial Intelligence) මෙවලම් ගැන නොදන්න කෙනෙක් නැති තරම්. මේ AI මෙවලම් වල පිටිපස්සේ තියෙන්නේ Large Language Models (LLMs) කියන තාක්ෂණය. මේ LLM වල ප්‍රධාන කාර්යයක් තමයි අන්තර්ජාලයේ තියන දත්ත විශාල ප්‍රමාණයක් analyse කරලා ඒ දත්ත වලින් අලුත් දේවල් නිර්මාණය කිරීම. ඉතින් මේ විදියට AI tools දියුණු වෙනකොට වෙබ් අඩවි වල අයිතිකරුවන්ට අලුත් ප්‍රශ්නයක් මතුවුණා. ඒ තමයි තමන්ගේ වෙබ් අඩවියේ තියන දත්ත AI tools වලට භාවිතා කරන්න දෙනවද නැද්ද කියන එක.

මේ ප්‍රශ්නයට විසඳුමක් විදියට තමයි llms.txt file එක හඳුන්වලා දුන්නේ.

llms.txt කියන්නේ මොකක්ද?

සරලව කිව්වොත්, llms.txt කියන්නේ වෙබ් අඩවියක root folder එකේ (උදා: example.com/llms.txt) තියන text file එකක්. මේ file එක AI crawlers වලට උපදෙස් දෙනවා මොන දත්ත භාවිතා කරන්න දෙනවද, මොන දත්ත භාවිතා කරන්න දෙන්නෙ නැද්ද කියලා.

AI crawlers කියන්නේ අන්තර්ජාලය පුරාම සැරිසරලා AI models වලට අවශ්‍ය දත්ත එකතු කරන bot programs වලට. මේ crawlers, Google bot, Bing bot වගේ search engine crawlers වලට ගොඩක් සමානයි.

llms.txt file එක හදල තියෙන්නේ robots.txt file එකට සමාන විදියට. මේක මුලින්ම යෝජනා කරලා තියෙන්නේ Answer.AI හි සම-නිර්මාතෘවරයෙකු වන Jeremy Howard විසින්. ඔහු ඒ ගැන llmstxt.org වෙබ් අඩවියේ තියනවා. සරලව කිව්වොත්, ඒක llms.txt ගොනුව පිළිබඳ තොරතුරු, උදාහරණ සහ මාර්ගෝපදේශ සපයන නිල වෙබ් අඩවිය කියල හඳුන්වන්න පුළුවන්. ඒ වගේම මේක develop කරන්න Google DeepMind සහ වෙනත් AI ආයතන එකතුවෙලා තියනවා.

llms.txt file එකේ වැදගත්කම

• දත්ත පාලනය (Data Control): llms.txt file එක පාවිච්චි කරලා, වෙබ් අඩවි අයිතිකරුවන්ට තමන්ගේ දත්ත AI වලට භාවිතා කරන එක පාලනය කරන්න පුළුවන්. උදාහරණයක් විදියට, copyright තියන හෝ වැදගත් දත්ත AI tools වලට භාවිතා කරන එක නවත්තන්න පුළුවන්.
• තනි පුද්ගල රහස්‍යභාවය ආරක්ෂා කිරීම (Protecting Privacy): වෙබ් අඩවියක තියන පෞද්ගලික තොරතුරු AI model එකක පුහුණු කිරීමට භාවිතා වෙන එක වැළැක්වීමට මේ file එක උපකාරී වෙනවා.
• AI වලට උදව් කිරීම (Helping AI): තමන්ට අදාළ නැති, හෝ වැරදි තොරතුරු analyze කරන එකෙන් AI crawlers වලට ඇතිවන අනවශ්‍ය බර අඩු කරන්න පුළුවන්. ඒ වගේම, AI model එකට අවශ්‍ය කරන නිවැරදි තොරතුරු ඉක්මනින් සොයා ගැනීමටත් මේක උදව් වෙනවා.
• වෙබ් අඩවියට එන අනවශ්‍ය ට්‍රැෆික් අඩු කිරීම (Reducing Unnecessary Traffic): AI crawlers වලට තමන්ගේ වෙබ් අඩවියේ අනවශ්‍ය තැන්වලට ඇතුළු වීම වැළැක්වීමෙන්, වෙබ් අඩවියේ server එකට ඇතිවන අනවශ්‍ය බර අඩු කරගන්න පුළුවන්.

llms.txt file එකක් හදන්නේ කොහොමද?

llms.txt file එකක් හදන්න ගොඩක්ම පහසුයි. සරලවම කිව්වොත්, වෙබ් අඩවියක root folder එකේ llms.txt නමින් text file එකක් හදලා, ඒකට අවශ්‍ය directives (උපදෙස්) එකතු කරන්න පුළුවන්.

උදාහරණයක් විදියට:

User-agent: *
Disallow: /private/
Disallow: /images/
Allow: /public/

මේ උදාහරණයේ තේරුම, User-agent: * කියන එකෙන් සියලුම AI crawlers අදහස් කරනවා. Disallow: /private/ සහ Disallow: /images/ කියන directives වලින් කියන්නේ /private/ සහ /images/ කියන folders වලට අදාල දත්ත භාවිතා කරන්න එපා කියන එකයි. Allow: /public/ කියන්නේ /public/ කියන folder එකේ තියන දත්ත භාවිතා කරන්න අවසර දෙනවා කියන එකයි.

ඔයාටත් මේ වගේ llms.txt file එකක් හදලා ඔයාගේ වෙබ් අඩවියේ තියන දත්ත AI Tools වලට භාවිතා වෙන එක පාලනය කරන්න පුළුවන්.

LLMs.txt file එකක් හදාගන්න පුළුවන් Tools මොනවද?

Online Tools

• Writesonic: මෙය වෙබ් අඩවි ලිපිනයක් ලබා දී, එයින් ස්වයංක්‍රීයව llms.txt ගොනුවක් ජනනය කරගත හැකි නොමිලේ භාවිතා කළ හැකි tool එකකි.
• AISEO LLMs.txt Generator: මෙයද Writesonic ට සමාන සේවාවක් සපයයි. මෙහිදී ඔබට වෙබ් අඩවියේ URL එක ඇතුළත් කර, AI models සඳහා සුදුසු structured format එකකින් ගොනුවක් ලබාගත හැක.
• WordLift: මෙය AI-powered SEO platform එකක් වන අතර, ඔවුන්ගේ සේවාව හරහා LLMs.txt ගොනු ජනනය කිරීමටද පහසුකම් සපයයි.

FAQs

1. දැන් එතකොට robots.txt file එක ඕන නැද්ද?

අවශ්‍යයි! robots.txt ගොනුව තවමත් අත්‍යවශ්‍යයි.

සරලව කිව්වොත්, robots.txt සහ llms.txt කියන්නේ සම්පූර්ණයෙන්ම වෙනස් අරමුණු දෙකක් සඳහා භාවිතා කරන ගොනු දෙකක්.

• robots.txt ගොනුවෙන් කරන්නේ Google, Bing වගේ Search Engine Crawlers වලට ඔයාගේ වෙබ් අඩවියේ තියන පිටු සහ ෆෝල්ඩර් index කරන්න දෙනවද, නැද්ද කියලා උපදෙස් දෙන එක. මේකේ ප්‍රධාන අරමුණ තමයි SEO (Search Engine Optimization) සහ වෙබ් අඩවියේ server එකේ තියෙන අනවශ්‍ය බර අඩු කිරීම.
• llms.txt ගොනුවෙන් කරන්නේ AI Models වලට ඔයාගේ වෙබ් අඩවියේ තියන දත්ත භාවිතා කරන්න දෙනවද, නැද්ද කියලා උපදෙස් දෙන එක. මේකේ ප්‍රධාන අරමුණ තමයි ඔයාගේ අන්තර්ගතය AI tools වලට භාවිතා කරන ආකාරය පාලනය කිරීම.

ඉතින්, ඔයාට ඔයාගේ වෙබ් අඩවිය Google Search වල දකින්න ඕන නම්, හොඳ SEO ranking එකක් තියාගන්න ඕන නම්, robots.txt ගොනුව අනිවාර්යයෙන්ම අවශ්‍යයි. ඒ වගේම, ඔයාගේ අන්තර්ගතය AI models වලට භාවිතා කරන ආකාරය පාලනය කරන්න ඕන නම් llms.txt ගොනුවත් අවශ්‍ය වෙනවා.

මේ ගොනු දෙකම එකිනෙකට වෙනස් කාර්යයන් දෙකක් කරන නිසා, දෙකම භාවිතා කිරීමෙන් තමයි ඔයාගේ වෙබ් අඩවියට උපරිම ආරක්ෂාවක් සහ පාලනයක් ලබා ගන්න පුළුවන් වෙන්නේ.

2. llms.txt කියන්නේ නිල වශයෙන් පිළිගත් සම්මතයක්ද?

නැහැ. llms.txt යනු දැනට නිල වශයෙන් පිළිගත් සම්මතයක් නොවේ. එය Answer.AI හි සම-නිර්මාතෘවරයෙකු වන Jeremy Howard විසින් යෝජනා කරන ලද ක්‍රමවේදයක් පමණි. කෙසේ වෙතත්, Google DeepMind ඇතුළු ප්‍රධාන AI සමාගම් කිහිපයක්ම මෙම ක්‍රමවේදය අනුගමනය කිරීමට පටන් ගෙන ඇත.

3. llms.txt භාවිතා කිරීමෙන් මගේ වෙබ් අඩවියේ SEO වලට බලපෑමක් වෙනවාද?

නැහැ. llms.txt ගොනුවෙන් ඔබේ වෙබ් අඩවියේ SEO (Search Engine Optimization) වලට සෘජු බලපෑමක් ඇති නොවේ. මන්ද, මෙය නිර්මාණය කර ඇත්තේ Search Engine Crawlers සඳහා නොව, AI Models සඳහා පමණි. කෙසේ වෙතත්, AI-powered Search Engines භාවිතය වැඩි වන විට, ඔබේ අන්තර්ගතය AI tools මගින් නිවැරදිව තේරුම් ගැනීම, අනාගතයේදී “Generative Engine Optimization (GEO)” සඳහා වැදගත් විය හැක.

4. llms.txt ගොනුවක් හදන්නේ කොහොමද?

මෙය ඔබ විසින්ම (manually) හෝ ස්වයංක්‍රීය මෙවලමක් (automatic tool) භාවිතයෙන් සෑදිය හැක. සරලම ක්‍රමය නම්, වෙබ් අඩවියේ root folder එකේ llms.txt නමින් text file එකක් සෑදීමයි. එහිදී Markdown syntax භාවිතයෙන් ඔබේ වෙබ් අඩවිය පිළිබඳ විස්තර, වැදගත් links, සහ ඔබට AI Models වෙත ලබා දීමට අවශ්‍ය වෙනත් තොරතුරු ඇතුළත් කළ හැක.

5. llms.txt ගොනුව අනිවාර්යයෙන්ම අවශ්‍යද?

නැහැ. නමුත් AI තාක්ෂණය දියුණු වන මේ යුගයේ, ඔබේ වෙබ් අඩවියේ අන්තර්ගතය AI Tools වලට භාවිතා කිරීමට දෙනවාද නැද්ද යන්න පිළිබඳ පාලනයක් ලබා ගැනීමටත්, ඔබේ අන්තර්ගතය නිවැරදිව හා කාර්යක්ෂමව AI Tools වලට ලබා දීමටත් මෙය වැදගත් වේ. විශේෂයෙන්ම, API documentation, product descriptions, සහ technical guides වැනි අන්තර්ගතයන් ඇති වෙබ් අඩවි සඳහා මෙය බෙහෙවින් වැදගත් වේ.

6. llms.txt සහ sitemap.xml අතර වෙනස කුමක්ද?

sitemap.xml යනු Search Engines සඳහා ඔබේ වෙබ් අඩවියේ ඇති සියලුම පිටු වල සිතියමක් සපයන ගොනුවකි. එය ප්‍රධාන වශයෙන් භාවිතා කරන්නේ Search Engines වලට ඔබේ වෙබ් අඩවිය වඩාත් කාර්යක්ෂමව index කිරීමටයි.

llms.txt යනු AI Models සඳහා ඔබේ වෙබ් අඩවියේ වඩාත්ම වැදගත්, ප්‍රධානතම අන්තර්ගතයන් මොනවාදැයි පෙන්වන ගොනුවකි. මෙය AI Models වලට ඔබේ අන්තර්ගතය වඩාත් නිවැරදිව තේරුම් ගැනීමට සහ භාවිතා කිරීමට උපකාරී වේ.