Как маленькая труппа вытянула спектакль, который обычно тянут толпой
В мастерской театра висит пыль от опилок, а ребята грузят плоские декорации в один грузовик. Режиссер мнется, брать огромную труппу или маленькую и репетировать ночами. Места мало, на гастролях лишнее не увезешь.
Все ждут, что победит большая труппа, больше людей, больше выученных реплик. Так же часто думают про языковые программы, чем больше в них внутренних ручек, тем они лучше. Но большая труппа дороже и тяжелее в дороге, как и большой помощник, который отвечает медленнее и ест больше электричества.
Решили рискнуть и оставить труппу компактной, зато репетировать до упора. Похожим ходом команда LLaMA сделала несколько версий, от 7B до 65B ручек, и дала даже маленьким прочитать куда больше текста, чем обычно. Брали только открытые тексты, в основном очищенные страницы из сети, плюс энциклопедии, книги, код и форумы с вопросами и ответами.
Долгая репетиция не взлетит, если в цеху бардак. Ребята ставят метки на полу, держат один и тот же порядок прогонов и правят диалоги, чтобы не тратить дыхание зря. У LLaMA тоже были такие закулисные решения, чтобы обучение шло ровно, и чтобы программа не теряла нить в длинном куске текста. И еще они ускорили тяжелую часть, чтобы все помещалось и не тормозило.
Премьера, и маленькая труппа вдруг играет сцены, для которых обычно зовут толпу. В сравнениях LLaMA с 13B ручек часто обгоняла более старую систему с 175B, а версия 65B держалась рядом с лидерами, которых учили на еще большем и часто закрытом материале. В задачах на здравый смысл и факты она была сильной, а в математике и коде помогало сделать несколько черновиков и выбрать самый стройный.
После аплодисментов режиссер слушает, что вышло не так. Иногда чем больше труппа, тем резче звучат реплики, и влезают старые штампы, хотя никто их не звал. У LLaMA похожая беда, с ростом размера в некоторых случаях растет токсичность, и всплывают перекосы про роли людей. И она может уверенно выдать неправду, так что безопасность и честность приходится делать специально.