모래사장 돛 조각처럼, 큰 말하기 기계를 나눠 키우는 법
해변 작업장에서 바람이 반쯤 만든 돛을 탁탁 때렸습니다. 혼자 펴면 금방 접혀 버려서, 사람들은 돛을 조각조각 모래에 핀으로 눌렀습니다. 각자 한 조각을 꿰매고, 이음새에서 실을 같이 당겨 팽팽함을 맞췄습니다.
큰 글쓰기 인공지능을 키울 때도 비슷한 벽을 만납니다. 한 대의 그래픽카드가 꽉 차 버리거든요. 글을 만드는 숫자뿐 아니라, 배우는 동안 붙는 ‘메모용 숫자’까지 같이 들어가서요. 그래서 예전엔 크기를 줄이거나, 여기저기 나눠 돌리느라 기다림이 늘었습니다.
새 생각은 ‘덩어리째’가 아니라, 덩어리 안쪽을 더 잘게 나누는 겁니다. 돛 조각은 그 안쪽의 계산 조각이고, 바느질 선은 큰 곱셈을 나눈 자리입니다. 이음새 점검은 각 기계가 만든 일부 결과를 모아 합치는 순간이고요. 잘 자르면, 약속한 몇 번만 만나도 큰일이 굴러갑니다.
그 덩어리 안에는 무거운 일이 두 갈래로 있습니다. 문장을 보며 어디에 집중할지 고르는 부분, 그리고 넓게 숫자를 불리는 부분입니다. 각 기계는 자기 조각을 처음부터 끝까지 처리한 뒤에만 이음새에서 합칩니다. 집중하기도 ‘머리’들을 나눠 맡고, 마지막에 모양 맞춰 붙입니다.
매번 모이면 시간이 새니까, 자잘한 일은 그냥 각자 똑같이 합니다. 바느질하는 사람이 다들 줄자를 하나씩 들고 같은 표시를 하는 것처럼요. 글의 다음 단어를 고르는 마지막 단계도, 엄청 큰 표를 통째로 옮기지 않게 짰습니다. 필요한 것만 모아 최종 점수만 확인합니다.
사람이 늘어도 모래사장이 난장판이 되지 않으면, 돛은 더 크게 만들 수 있습니다. 이 방식으로 많은 그래픽카드를 동시에 바쁘게 돌리며, 기다림을 비교적 적게 유지한 채 더 큰 크기로 키웠습니다. 마지막에 돛을 들어 보니, 예전처럼 군데군데 쭈글쭈글하지 않았습니다.