Диалоговый бот компании Open AI продолжает удивлять. Недавно он научился отвечать на башкирском языке и довольно неплохо переводить тексты. Как это произошло? И что стоит за этим знаковым событием?
Давид: “Переводы между близкородственными языками (например, с турецкого на башкирский) вполне мог сделать один человек. Такие проекты языковые энтузиасты могли тащить на личном героизме. На специализированных ресурсах до сих пор можно найти разработки, которые люди написали в одиночку или небольшими командами. Для многих языков Европы существуют наброски, черновики, в т.ч. для тюркских, финно-угорских. Все это требует большого количества ручного труда, знаний в лингвистике”.
Давид: “Проблема в том, что для агглютинативных языков, к которым относится и башкирский язык, статистическая модель в целом работает хуже. Это происходит потому, что слово имеет множество разнообразных словоформ, каждая из которых редко встречается в тексте и на ее долю приходится меньше совпадений”.
Наукообразный стиль и термины они используют довольно ловко, а вот факты берут “с потолка”, поэтому научным текстам могут поверить даже профессионалы. В мире прогремело уже несколько крупных скандалов, связанных с тем, что нейросети правдоподобно придумали юридические кейсы и научные статьи. Решить проблему такого “вранья” можно только за счет масштабирования, увеличения количества текстов и обучения.
Давид: “В проекте No language left behind (NLLB) оперируют более 250 000 токенами. Это больше, чем в каждом из языков. В процессе обучения каждый токен может иметь связи на входе и выходе таблицы значений (мы называем их эмбеддинг). Это векторы соотношения между токенами, точки и смыслы, которые нейросеть двигает благодаря контексту токенов в процессе обучения. Векторы трансформируются в математические формулы, которые связывают слово с другими словами, токенами в похожем контексте и в других языках”.
- Оцифровывать тексты и переводы на родном языке. Это необходимо для обучения языковых моделей.
- Проводить анализ уже существующих переводов, оценивать качество переводов и предлагать свои варианты. Для этого есть удобные чат-боты в телеграм, ватсапе. Вокруг таких проектов уже сформировалось активное коммьюнити. Кстати, это способ найти круг общения.
- Нужна помощь, чтобы научить нейросети понимать, как правильно транслитерировать башкирскую речь, написанную латиницей. Транслитерация пока все еще вызывает проблемы у машинных алгоритмов.
Давид: “В идеально мире хотелось бы создать надежный бесплатный сервис, который бы использовался для локальных переводов. Люди продолжали бы его обучать на качественных данных, и пользоваться им для своих проектов. Это было бы всерьез и надолго”.
Давид: “Я думаю, что пока ближе всех к этому приблизился проект Seamless Communication, в котором я сейчас занят.”
Хотите узнавать о выходе новых статей сразу же? Подпишитесь на наш канал в Телеграме:
Хомай/Homai/Һомай - на русском языке
Һомай - на башкирском языке