Стать коллегой преподавателя спустя год после окончания университета? Все возможно в рассказе Анастасии Кравцовой, выпуск ОТиПЛ 2018.

На самом деле первый шаг на пути к работе в сфере обработки естественного языка (natural language processing, NLP) я сделала еще учась на четвертом курсе. Тогда через выпускницу ОТиПЛа (один из плюсов сообщества маленькой кафедры — большие возможности для нетворкинга, т.к. многие друг друга знают) подвернулась подработка в стартапе MrBot. На первом в жизни собеседовании меня среди прочего попросили развернуть список не через метод reverse. И тут на помощь пришла первая палочка-выручалочка — спецкурс по программированию на Python, где на одном из первых занятий рассказывалось про срезы и в частности [::-1].

Получив 30 июня 2018 года диплом бакалавра, в июле я приобрела себе нового друга в лице HeadHunter. Однако новый приятель оказался несговорчивым и молчал практически весь месяц. В августе рынок труда начал оживать, и я оказалась на собеседовании в Исследовательском центре Samsung. Тогда стартовал проект по локализации голосового помощника Bixby для русского языка и набирали в том числе комплингвистов. Во время собеседования я в очередной раз мысленно вознесла оды курсу прикладной математики (в любой непонятной ситуации говори «перцептрон»), а также синтаксиса, потому что довольно неожиданно попросили нарисовать дерево составляющих и написать правила вывода. Здесь я получила свой первый оффер и с начала сентября началось жонглирование работой и учебой в магистратуре. Помимо уже упоминавшегося питона мне также пригодились оба иностранных языка (немецкий и испанский), которые я учила в бакалавриате.

Постепенно круг задач стал расширяться. Сейчас среди прочего я пробую применять методы NLP для автоматической проверки ЕГЭ и занимаюсь исследованиями в области автоматического исправления грамматических ошибок (последнее, к слову, было темой моего магистерского диплома, который я защищала уже в НИУ ВШЭ).

В заключение — пара советов студентам с интересом к сфере прикладной лингвистики:

1. не халтуря осваивать математику и программирование;
2. при этом не забывать и про теорлинг, поскольку иметь в нем прочную базу также важно: даже разработчики библиотеки transformers из HuggingFace с зоопарком передовых нейросетей для решения NLP-задач говорят, что в область должна вернуться лингвистика per se;
3. подписаться на slack OpenDataScience, где среди прочего есть большой канал про NLP, который интересно почитывать, чтобы оставаться в струе.

И, пользуясь случаем, отдельное пожелание уже к руководству кафедры: приглашать на коллоквиумы отделения не только теоретических лингвистов, но и компьютерных, а также нейролингвистов, чтобы студенты и не только могли прочувствовать разные стороны такой богатой и захватывающей науки о языке.

Мне интересно работать с человеческой речью. После того, как долго учился и получил теоретическое представление о том, как работают язык и речь, применять эти знания для решения продуктовых задач и видеть результаты своих трудов оказывается супер как интересно! Это очень мотивирует меня работать, потому что я знаю, что можно «потрогать» результаты — послушать синтез, протестировать его, сравнить с тем, как звучало раньше. Ещё странно и прикольно, что тебе звонит робот-оператор из банка, а это голос человека, которого ты почти каждый день слушаешь на работе :)

Еще один рассказ в нашей рубрике #ОТиПЛ_кем_быть не обошелся без упоминания некоторого канала в Slack. Какого именно и как это связано с работой лингвистов? Внимательно ищите ответ в рассказе Никиты Сыхраннова, выпуск ОТиПЛ 2019.

— Еще во время обучения на ОТиПЛе я начал делать первые попытки построить карьеру в NLP (обработке естественного языка). Откликнувшись на вакансию, о которой узнал от коллег, я попал в Исследовательский институт Samsung, где работал на проекте по локализации голосового помощника Bixby 2.0. Имея смутное представление о том, что меня ждет, я почти не готовился к собеседованию, но, к моему удивлению, многие вопросы оказались на знакомые темы: основы Python, контекстно-свободные грамматики, регулярные выражения, специфические типы данных для работы с языком (префиксные деревья) — и, вероятно, что-то еще, но спустя два года вспоминается только это. Еще большим удивлением было узнать, что интервью я прошел.

Проработав в Samsung чуть больше полугода и приобретя огромное количество базовых знаний и навыков в написании кода и машинном обучении (здесь отдельное спасибо нужно сказать программе финансирования курсов на Coursera, которая действовала в компании), я вновь оказался на рынке труда — в связи с завершением моего проекта, — но в этот раз ждать помощи случая не приходилось. Походив в течение месяца на собеседования в разные компании, я оказался в организации, где и работаю по сей день: в Сбербанке.

Возможно, прозвучит несколько неожиданно и контринтуитивно, но с наибольшей теплотой и признательностью я вспоминаю фундаментальные лингвистические курсы: введение в специальность и общая морфология В. А. Плунгяна, синтаксис Е. А. Лютиковой, теория дискурса А. А. Кибрика, общая семантика И. М. Кобозевой, формальная семантика С. Г. Татевосова. Дело в том, что именно эти знания дают студенту базовое понимание феномена языка и представление о языковом разнообразии, знакомят с теоретическими концептами, созданными учеными-лингвистами за последнее столетие. Мне кажется, это и следует считать главным конкурентным преимуществом выпускников нашего отделения перед студентами-технарями, изучавшими только математику и прикладные дисциплины. Кажется, что многие прорывы в области связаны с осмыслением фундаментальных представлений об устройстве языка: так можно сказать и об LSTM (прим.: нейронные сети с долгой краткосрочной памятью), и о механизме внимания, который лег в основу архитектуры Transformer. Тем не менее, здесь я вынужден заметить, что самостоятельному изучению технических областей я также посвятил немало времени: это и теория алгоритмов, и «классическая машинка», и нейронные сети, и математический анализ с линейной алгеброй. К счастью, с повсеместным переходом обучения в онлайн (я говорю даже не о событиях последних месяцев, а об общих тенденциях в образовании), все необходимые знания доступны в пару кликов мышкой.

Наконец, нельзя не вспомнить добрым словом курсы Н. В. Лукашевич (информационный поиск и искусственный интеллект) и А. А. Сорокина (так много, что всех и не припомнить). Именно они развивают у студентов необходимый кругозор в области автоматической обработки естественного языка. Иначе как героическими их усилия по развитию компьютерно-лингвистических компетенций у студентов отделения назвать трудно, но очень надеюсь, что в будущем в их строю прибавится бойцов :)

Что я мог бы посоветовать студентам ОТиПЛа, которые задумываются о карьере в области NLP или Data Science? Наверное, не откладывать на завтра получение релевантного опыта: это могут быть самостоятельные или командные мини-проекты, стажировки, курсы. Полезно будет порешать задачи на LeetCode и разобраться в основных алгоритмах поиска и сортировки. Если чувствуете в себе силы, можно попробовать поучаствовать в развитии open-source проектов или побороться за медали в соревнованиях на Kaggle. Совмещать обучение в университете, например, с работой part-time совсем не трудно, а польза от этого в дальнейшем будет значительная. Впрочем, делать это в ущерб учебе я не советую: вполне вероятно, что расширить кругозор в фундаментальных областях потом уже не удастся. А, и еще я рекомендую разнообразить окружающее вас информационное пространство источниками по теме: например, присоединиться к каналу Open Data Science в Slack или телеграм-каналу DL in NLP.

На первом курсе больше всего хотела изучать древние языки: ходила на спецкурс по санскриту, грабару, потом еще были, конечно, старослав и латынь. Потом французский, армянский, финский — про языки не могу думать иначе как про фрукты на шведском столе университета.

Введение в специальность же меня просто поглотило. Огромное влияние научных руководителей — В.А.Плунгяна, В.И.Беликова, А.А.Сорокина — вдохновляло во всем разобраться и все разобрать. В лингвистике практически все темы мне интересны: нейролингвистика, психолингвистика, глоттохронология, формальная семантика — в этом плане, я, наверное, довольно поверхностный специалист, зато очень широкоповерхностный. (На работе меня часто спрашивают об этимологии слова/фамилии — у меня возникает 2-3 версии, обычно неправильные.) Да, работа!

Со второго курса я стала работать в проекте Генерального Интернет-Корпуса русского языка — подбирать ресурсы для скачивания, фильтровать материалы, проводить статистические эксперименты, строить модели классификации текстов и т.д. Совмещение работы и учебы в принципе помогало достаточно сильно — где-то чисто психологически (благодаря ОТиПЛу стало ясно, что я не безнадежна в программировании), а где-то и практически (подтягиваются навыки, закрепляются знания и быстрое принятие решений).

Уже во время магистратуры в Школе Лингвистики ВШЭ я дополнительно прошла годовую программу на ФКН по практическому машинному обучению. Тогда же пришла идея собрать свой собственный корпус, чтобы он был открытый, объемный и полный разнообразной разметки под задачи ML — так получился корпус “Тайга”, открытый корпус для машинного обучения.

После первого года магистратуры я пошла работать на полный день, то есть 60 часов в неделю, как оказалось потом. Прототипировала NLP-инструментарий на питоне в компании 1С, а вечером ехала в магистратуру. Но инженерная наука дается легко, если хоть раз изучал системы правил генеративной грамматики :)

Сейчас я лидер команды исследований и разработки в NLP в Сбербанке, офис Chief Data Science: в команде работают как выпускники школы лингвистики, так и МФТИ, МехМат МГУ, а еще есть писатель. Мы занимаемся большими нейросетевыми моделями — трансформерами, универсальными языковыми моделями. Их интерпретация и построение на их основе более сложных и развитых интеллектуальных систем — сложная задача. Так, например, задача понимания естественного языка (Natural Language Understanding) неотрывна от моделирования механизмов мышления, и создавать инструментарий для оценки языковых моделей приходится с опорой на логику, синтаксис, семантику.

От дипломной работы до работы — один шаг. И этот шаг сделала Ольга Черепанова, кандидат филологических наук, выпуск ОТиПЛ 2015