tg-me.com/rusvectores/67
Last Update:
На RusVectōrēs добавлена поддержка контекстуализированных моделей! Теперь вы можете проводить лингвистические и не только эксперименты не только со статическими моделями, но и с моделями ELMo. Также мы надеемся, что новый сервис пригодится в преподавании NLP-дисциплин.
Почему именно ELMo на рекуррентных нейронных сетях? Качество моделей ELMo зачастую наравне с Трансформерами наподобие BERT, однако в то же время они значительно быстрее, а значит, вам будет удобнее ими пользоваться!
Как устроен новый сервис: вы можете ввести фразу или предложение (оптимально от 5 до 15 слов). Для каждого слова из вашего запроса мы генерируем контекстуализированные вектора при помощи модели ruwikiruscorpora_tokens_elmo_1024_2019 (модель на основе данных НКРЯ и русской Википедии). Для каждого полученного вектора мы ищем наиболее похожие слова среди 10 тысяч самых частотных слов в словаре этой же модели. Резонный вопрос: откуда берутся "общие" бесконтекстные вектора слов? Их мы генерируем путём усреднения контекстных векторов каждого вхождения этих слов в обучающем корпусе модели.
В результате вы получаете лексические подстановки - слова, которые можно было подставить на место соответствующего слова в предложении. Подстановки изменяются в зависимости от контекста, в котором находится слово. Это вы можете проверить экспериментально при помощи нашего сервиса!
Слова в запросе и сами подстановки выделены разным цветом в зависимости от их частотности в исходном корпусе, точно так же как и в остальных сервисах RusVectōrēs: красные слова низкочастотные, голубые - со средней частотностью, зелёные - высокочастотные. Также с помощью размера шрифта мы отображаем косинусную близость между вектором слова из запроса и предсказанной подстановкой. Чем меньше шрифт, тем менее модель уверена в этой подстановке.
Небольшое демо-видео, показывающее работу нашего сервиса, можно найти тут (на английском языке).
BY RusVectōrēs
Share with your friend now:
tg-me.com/rusvectores/67