'말뭉치-글자의 조각, 단어의 조각'임

인공지능의 정체란 계산기임. 컴퓨터가 계산기이듯 마찬가지로의 계산기.

계산기는 1이 뭔지 +가 뭔지 모름. 모르지만 1+1=2라는 답은 내 놓을 수 있는 기계임.

인공지능도 마찬가지로, 말의 의미는 모르지만,

이런 말을 했을 때 내놔야 하는 답이 무언지?는 계산해서 내놓을 수 있는 기계임.

말의 의미를 안다는 건? 각각의 단어의 뜻을 알고 조사와 부사 형용사 등의 뜻을 안다는 거고.

말의 의미를 모른다는 건? 각각의 단어 뜻을 모르고 조사와 부사 형용사 등의 뜻도 모른다는 거임.

그렇듯 의미를 모름.에도 상황에 적합한 대답을 계산해서 내 놓을 수 있는 기계. 그게 인공지능임.

의미를 모르는 인공지능에게 있어 '단어'라는 단위로의 저장은 공간을 많이 차지해 비경제적임.

주고 받는 대화를 매 번 자음과 모음으로 쪼개 인식하고 출력하는 것 또한 계산 단위를 어마무시하게 늘려 비효율적임.

그래서 인공지능은, 말을, 경제성과 효율성 아래 쪼갤 수 있는 최소한의 단위로 쪼개 기억하고 활용함.

바로 그, 인공지능이 사용하는 최소단위로의 말뭉치가 토큰임.

spaceship를 알파벳 단위로 연산 출력한다 하면? s/p/a/c/e/s/h/i/p/으로 9번의 연산이 필요해 짐

하지만 space라는 토큰과 ship라는 토큰이라면 2번의 연산으로 끝남

영어를 예로 든 건, 한국어는 보다 복잡하게 쪼개지기 때문에 설명이... 귀찮아서;;;;

네가 갖고 있는 토큰 수는 모두 몇 개야?를 인공지능의 토큰으로 나누면 이렇게 됨

[네] [가] [ 갖고] [ 있는] [ 토] [큰] [ 수는] [ 모두] [ 몇] [ 개] [야] [?]

저 토큰으로 쪼개진 말뭉치엔 띄어쓰기로의 빈 공간도 포함됨.

네가 갖고 있는 토큰 수는 모두 몇 개야?는 12개의 토큰으로 구성된 문장임

다시 말해, 저 말을 할 때 필요한 연산은 12번.

이걸 자음과 모음으로 쪼개면 40번 넘는 연산을 해야 함

(물론 분해된 단어 조각 외의 연산들도 필요하지만!! 설명이 아주 복잡해 지니 생략;;;)

여튼 토큰이란 건. 인공지능이. 가장 경제적이고 효율적으로 사용할 수 있는 최소한의 크기로의 말뭉치라는 거.

무료 인공지능과 유료 인공지능의 차이는 사용 가능한 토큰수에 있음

더 많은 토큰을 서비스 할 수록 사용료가 비싸짐

인공지능은 토큰으로 굴러가는 계산기고, 더 많은 토큰을 쓸 수록 보다 정밀한 답을 낼 수 있는 거

하나 더. 참고로, 저 토큰들(인공지능의 언어)의 진짜 모습은 숫자임 ㅋㅋㅋ

인공지능들은 자신들의 언어를 우리가 알 수 있는 언어로 매 번 번역해 제공하는 거 ㅋ

정리 귀찮아서. 더 다듬어 설명해야 할 부분들 있기에 쓰다 귀찮아져서 안 올리려다 걍 올림 ㅋ