Insonlar va sunʼiy intellektlar (SI) maʼlumotlarni qayta ishlash usuli sezilarli darajada farq qiladi. Insonlar miyada saqlangan lugʻatdan foydalanib oʻqish orqali maʼlumotlarni qabul qilishsa, mashinalar raqamli etiketkalar bilan belgilanadigan tokenlar deb ataladigan kichikroq birliklarni talqin qiladi.
Tokenlar katta til modellarining (LLM), masalan, ChatGPT, Claude va Gemini tushunadigan tilni tashkil etadi. Inson tilini mashina tiliga aylantirish jarayoni tokenlash deb ataladi, aksincha, tokenlarni tushunarli shaklga aylantirish dekodlashdir.
Bu tushuncha platformalar obunalar narxlari bilan bevosita bogʻliq, chunki bu bloklarni qayta ishlash energiya va hisoblash quvvati sarfini talab qiladi. Kompaniyalar tizim xarajatlarini aniqlash, har bir modelning xotira chegaralarini belgilash va xizmat uchun pul yopish maqsadida isteʼmol qilingan tokenlar sonini — ham soʻrovda, ham SI javobida — hisoblaydi.
SI matn, audio yoki tasvir boʻlishidan qatʼi nazar, xabar tushunishi uchun uni bloklarga, yaʼni tokenlarga ajratishi kerak. Alura dasturiy taʼminoti menejeri Fabrício Carraro fikricha, bitta tokenni kichik soʻz sifatida tushunish mumkin. U «baxtli», «xafa» va «boʻlinuvchi» kabi soʻzlar alohida tokenlar boʻlishi mumkinligini misol keltiradi.
Ularning kichik soʻz deb atalishining sababi birikma soʻzlardagi mavjudligidir; masalan, «baxtsiz» yoki «boʻlinmaydigan» kabi soʻzlarda «in» tokeni ishlatiladi. Bu «in» tokeni model lugʻatida maxsus raqamga ega, shuningdek, «baxtli» tokeni ham (352-raqamli). Birgalikda, «in» tokeni va «baxtli» tokeni «baxtsiz» soʻzini hosil qiladi.
SI yadrosida joylashgan LLM raqamlangan bloklar ketma-ketligini (prompt) qabul qiladi va chiqish bloklari (SI javobi) qaysi boʻlishi kerakligini bashorat qilish uchun murakkab hisob-kitoblar bajaradi. Biroq, ChatGPT kabi platformalar bilan ishlaganda, foydalanuvchi toʻgʻridan-toʻgʻri dvigatelga emas, balki harness deb nomlangan tashqi dasturiy taʼminot qatlami orqali kiradi.
Harness LLM uchun yoʻnaltirish tizimi kabi ishlaydi, tokenlash va dekodlash oqimini muvofiqlashtiradi. Carraro bu komponent foydalanuvchining savolini oladi va javobni shakllantirish uchun uni mumkin boʻlgan ikkilamchi savollarga ajratadi. Darhol javob berish oʻrniga, u ichki ravishda bu ikkilamchi savollarni yaratadi va hal qiladi, va faqatgina bu ichki mantiqni yakunlagandan soʻng yakuniy javob foydalanuvchiga taqdim etiladi, shu paytda tokenlar sarflanadi.
SI bilan ishlashdagi yana bir muhim omil kontekst oynasi boʻlib, u tokenlar bilan chambarchas bogʻliq. Ushbu oynani ish stoli maydonchasining makoni bilan taqqoslash mumkin, bu SI ning «qisqa muddatli xotirasi»ni ifodalaydi, va tokenlar bu stol ustidagi tarqalgan maʼlumotlar boʻlgan qogʻozlar boʻladi.
Texnik jihatdan, kontekst oynasi modelning bir vaqtning oʻzida qayta ishlashi mumkin boʻlgan maksimal tokenlar sonini (kirish promptlari va SI chiqish javoblarini yigʻindisi) belgilaydi. Agar suhbat bu chegarada qolsa, SI butun dialogni eslab qoladi. Agar chegaradan oshib ketsa, baʼzi maʼlumotlar yoʻqoladi.
Garchi token SI obunalar narxi bilan bogʻliq boʻlsa-da, masalan, ChatGPT ning Go va Gemini ning Plus rejalarida, u SI ning valyutasi emas. U maʼlumotlarni qayta ishlashning oʻlchov birligi boʻlib, isteʼmol metriksasi vazifasini bajaradi. Kompaniyalar hisoblash harakatini va operatsion xarajatlarni kiruvchi (promptlar) va chiquvchi (javoblar) tokenlar hajmi asosida baholaydi.
Misol uchun, Anthropic ning Claude Fable 5 da, kompaniya millionlik kirish tokenlari uchun 10 AQSh dollari va millionlik chiqish tokenlari uchun 50 AQSh dollari behodaligini aytdi. Carraro taʼkidlaydiki, bir million token katta tuyulsa-da, dasturlash muammosi uchun bu faqat bir nechta promptlarda sarflanishi mumkin, bu murakkablikka bogʻliq. U qoʻshimcha qiladiki, koʻpgina ishlatiladigan kod bazalari uchun bu hajm ortiqcha emas, ammo chiqish xarajatlari tezda oshishi mumkin.
