meta‑attention is all you need

В этой статье я расскажу о интересной находке во время моих экспериментов с языковыми моделями, которую я решил назвать «мета‑трансформерами».

Или я нашел реально что‑то интересное, или выдал желаемое из действительное, а обьективную оценку может дать только (технически подкованный) внешний наблюдатель, поэтому этот текст и был опубликован. Особенно тут кстати будут спецы по архитектуре трансформеров.

Все подробности в статье.

Читать далее