В новой версии API появились еще 3 функции: подбор однокоренных слов, определение тематики запроса по Википедии и подбор ключевых слов для текста.

Приглашаем всех желающих к тестированию!

Вынуждены сообщить, что мы откатились назад на 8 месяцев. Просьба всем зарегистрированным после 5 января 2017 года повторно пройти несложную процедуру регистрации :)

Уважаемые участники дорожки!

Приглашаем вас принять участие в семинаре по результатам дорожки. Семинар будет проходить 10.11.2016 в рамках конференции AINL 2016 в Санкт-Петербурге по адресу ул. Достоевского 19/21. Начало в 15:30.

Расписание семинара доступно по ссылке: http://www.paraphraser.ru/download/get?file_id=6

Уважаемые участники дорожки и не только!

Размеченные тестовые данные дорожки опубликованы по адресу: http://www.paraphraser.ru/download/get?file_id=5.

Уважаемые участники!

Результаты дорожки опубликованы по адресу: http://www.paraphraser.ru/contests/result/

Большое спасибо всем за участие!

Крайний срок подачи ответов систем:
12.10 23:59 по московскому времени

Дата публикации результатов:
14.10

Предоставляем Вашему вниманию географию зарегистрированных команд:

Уважаемые участники!

Спасибо за интерес к дорожке по определению парафраза для русского языка. Тестовые данные доступны для скачивания по этой ссылке: http://www.paraphraser.ru/download/get?file_id=4

Ответы систем нужно загружать через эту форму: http://www.paraphraser.ru/contests/upload/

Ответы должны быть оформлены в xml-формате, описанном в положении о дорожке: http://www.paraphraser.ru/download/get?file_id=2

Пожалуйста, удостоверьтесь, что ответы соответствуют формату, иначе мы не сможем обеспечить корректную оценку. Будьте внимательны разделяя прогоны на "стандартные" и "нестандартные".

Также обратите внимание на номера прогонов. В официальных результатах будут представлены все прогоны с разными номерами; в случае, если будет получено два ответа с одинаковым номером, в официальных результатах будет представлен последний из них.

Число подаваемых ответов ограничено 20-ю файлами. В итоговой таблице будут представлены все ответы, полученные до 10 октября включительно. В ходе тестирования вы будете видеть свои результаты. Сводная таблица (анонимизированных) результатов будет опубликована после окончания тестированиия.

Удачных прогонов!
Оргкомитет.

В нашем корпусе имеются 3 класса парафраз: полные, частичные и не парафразы.

Что мы понимаем под полными и частичными парафразами?

В нашем представлении пара предложений относится к полным парафразам, если в них идет речь об одном и том же событии, и при этом расхождения в деталях (месте, времени события и т.п.) отсутствуют. Если в двух предложениях описано одно и то же событие, однако имеются незначительные расхождения в деталях события, такую пару предложений мы бы отнесли к частичному парафразу. (А все остальные пары предложений - к не парафразам).

Тем не менее, наше мнение может не совпадать с решениями, которые принимали и принимают участники проекта, создающие разметку корпуса. На данном этапе проекта участникам намеренно не навязывается представление о критериях парафраз, благодаря чему в результате мы получаем обобщенное мнение носителей русского языка о наличии семантической близости между предложениями.

При разработке системы распознавания парафраз в рамках дорожки можно принять во внимание изложенное нами понимание классов парафраз, однако руководствоваться необходимо только разметкой, которая имеется в корпусе на данный момент.

Какие ресурсы можно и нельзя использовать в стандартном и нестандартном прогонах?

В стандартном прогоне нельзя пользоваться

• никакими корпусами, кроме корпуса ParaPhraser,
• никакими списками слов, векторами или словарями, полученными автоматически на основе любого корпуса, кроме корпуса ParaPhraser.

Словари, составленные вручную, можно использовать в стандартном прогоне.

В нестандартном прогоне не налагается абсолютно никаких ограничений на используемые ресурсы.

В обоих прогонах допускается применение любых программ автоматической обработки текста, если это не противоречит требованию об использовании ресурсов.

Благодаря нашим участникам Алексею Сорокину и Косте Соколову исправлена серьезная ошибка на странице разметки корпуса. Большое вам спасибо!

А еще мы обновили движок до django 1.9 и вернули внезапные поощряющие картинки :)

Приглашаем к участию в дорожке по определению парафраза для русского языка. Дорожка проводится на основе данных корпуса ParaPhraser. ParaPhraser - это общедоступный корпус пар русских предложений, вручную размеченных как парафраз, частичный парафраз или непарафраз. Работа по созданию и анализу корпуса проводилась в рамках проекта по исследованию структуры новостных текстов (СПбГУ, Е.В. Ягунова, Е.В. Проноза и др). Размер корпуса в настоящий момент - 7000 пар, эти данные будут использоваться как обучающее множество. Тестовое множество накапливается в настоящее время с помощью краудсорсинга, его предполагаемый размер - около 1000 пар предложений.

Дорожка будет организована согласно стандартной процедуре: участвующие системы получают на вход пару предложений и возвращают ее класс. Участникам будет предложено два типа заданий: классификация на два класса (парафраз - непарафраз) и на три класса (парафраз - частичный парафраз - непарафраз). Участники могут участвовать в "стандартных" прогонах, для которых система обучается только на корпусе ParaPhraser, и "нестандартных", в которых можно использовать любые другие данные. "Стандартные" и "нестандартные" прогоны оцениваются отдельно.

Более подробное описание заданий, данных и методов оценки можно найти по ссылке.

Список участников и регистрация на дорожку доступны по этой ссылке.

Даты

Предварительное расписание дорожки:

• Июнь 2016: первое информационное письмо, обучающие данные доступны на странице скачивания корпуса
• 1 сентября 2016: второе информационное письмо
• 1 октября 2016: публикация тестовых данных
• 10 октября 2016: крайний срок подачи ответов
• 12 октября 2016: публикация результатов
• 11-12 ноября 2016: семинар с докладами участников и обсуждением результатов (в рамках конференции AINL, Санкт-Петербург, http://ainlconf.ru/)
• конец декабря 2016: крайний срок подачи полных статей (планируется публикация сборника с попаданием в международные индексы, детали уточняются)

Организаторы

Лидия Пивоварова, Университет Хельсинки
Екатерина Проноза, СПбГУ
Елена Ягунова, СПбГУ

Контакты

support@paraphraser.ru

Уважаемые участники проекта, теперь Вы можете узнать, насколько Ваши ответы согласуются с ответами других участников! Новая опция доступна на вкладке Согласованность в главном разделе проекта.