Voprosy JazykoznanijaVoprosy JazykoznanijaВопросы языкознания0373-658X3034-5243The Russian Academy of Sciences65054210.31857/0373-658X.2024.6.105-132ArticlesСтатьиResearch ArticleInteraction between acceptability and probability: Evidence from predicate agreement with a coordinated subject in RussianВзаимосвязь между приемлемостью и вероятностью высказываний: данные предикативного согласования с сочиненным подлежащим в русском языкеStudenikinaKsenia А.СтуденикинаКсения Андреевна
Russian Federation
xeanst@gmail.comLomonosov Moscow State UniversityМосковский государственный университет имени М. В. Ломоносова09122024610513231012025Copyright ©; 2024, Russian Academy of SciencesCopyright ©; 2024, Российская академия наук2024Russian Academy of SciencesРоссийская академия наукhttps://journals.eco-vector.com/0373-658X/article/view/650542

The study aims to establish whether language models trained on unlabeled text data can parametrize agreement variation. We compared the acceptability judgments made by native speakers and the probability metrics predicted by the language model ruBERT without fine-tuning. As a specific linguistic phenomenon, we considered predicate agreement with a coordinated subject in Russian. We analyzed in detail which syntactic, morphological, and semantic factors influenced sentence acceptability and probability. The experimental data enables us to reveal the role of each factor and their interaction. Besides the standard logarithmic probability, we considered sentence length and unigram probability. We assumed that the model would assign the highest probability to the most acceptable agreement strategy. However, our hypothesis was not confirmed: the correlation between probability and acceptability is lower for sentences with agreement variation than for sentences without variation. The linear position — the subject-predicate order and the conjuncts’ order — turned out to be the only factor which equally influences the acceptability and probability of a sentence. If the gender features of conjuncts match, the acceptability of singular agreement increases while the probability does not change. The animacy of conjuncts and the predicate symmetry influence neither acceptability nor probability. Our research demonstrates that ruBERT cannot be used to parametrize predicate agreement with a coordinated subject. The acceptability of a sentence is based on subtle linguistic contrasts which are not significant for the computer evaluation of its probability.

Данное исследование направлено установить, способны ли языковые модели, обученные на неразмеченных текстовых данных, моделировать согласовательную вариативность. Мы провели сравнение суждений о приемлемости, вынесенных носителями языка, и вероятностных метрик, предсказанных двунаправленной языковой моделью ruBERT без тонкой настройки. В качестве лингвистического феномена рассматривалось предикативное согласование с сочиненным подлежащим в русском языке. Мы подробно проанализировали, какие синтаксические, морфологические и семантические факторы оказывают влияние на приемлемость и вероятность высказываний. Использование результатов синтаксических экспериментов позволило выявить роль каждого фактора по отдельности и их взаимодействия. Помимо стандартной метрики для оценки вероятности последовательности, использовались ее вариации, учитывающие либо длину предложения, либо вероятность каждого токена, либо оба этих параметра. Мы предполагали, что модель будет предсказывать наибольшую вероятность той стратегии, которая является наиболее приемлемой с точки зрения носителей языка. Однако гипотеза не подтвердилась: наличие вариативного согласования с сочиненным подлежащим снижает корреляцию между приемлемостью и вероятностью. Линейное расположение элементов предложения — позиция подлежащего и сказуемого, порядок конъюнктов — оказалось единственным фактором, который в равной степени оказывает влияние на приемлемость и вероятность высказывания. Совпадение рода конъюнктов повышает приемлемость предикативного согласования по единственному числу, однако не меняет его вероятность. Одушевленность конъюнктов и симметричность предиката не влияют ни на приемлемость, ни на вероятность высказывания. Наше исследование показывает, что ruBERT не может быть использован для моделирования предикативного согласования с сочиненным подлежащим. Приемлемость высказывания опирается на более тонкие языковые контрасты, которые не значимы при автоматической оценке его вероятности.

acceptabilityagreementcoordinationexperimentlanguage modelRussiansyntaxграмматическая приемлемостьрусский языксинтаксиссогласованиесочинениеэкспериментязыковая модельНекоммерческий Фонд развития науки и образования «Интеллект»Non-profit Foundation for the Development of Science and Education "Intellect"Белова 2022 — Белова Д. Д. Предикативное согласование с подлежащим, выраженным местоименными конъюнктами. Устный доклад на учебной конференции «Экспериментальные исследования языка», МГУ имени М. В. Ломоносова, Москва, 16 июня 2022 г. [Belova D. D. Predicative agreement with the subject expressed by pronominal conjuncts. Talk at the student conference “Experimental language studies”, Lomonosov Moscow State Univ., Moscow, June 16, 2022.]Белова, Давидюк 2023 — Белова Д. Д., Давидюк Т. И. Согласование с сочиненным подлежащим, содержащим личное местоимение: экспериментальное исследование на материале русского языка. Rhema. Рема, 2023, 2: 53–88. [Belova D. D., Davidyuk T. I. Agreement with coordinated subjects containing a personal pronoun: Experimental data from Russian. Rhema, 2023, 2: 53–88.]Врубель 2022 — Врубель Д. Д. Синкретичное согласование по роду в конструкциях с повторяющимся союзом и. Устный доклад на учебной конференции «Экспериментальные исследования языка», МГУ имени М. В. Ломоносова, Москва, 16 июня 2022 г. [Vrubel D. D. Syncretic gender agreement in constructions with a repeated conjunction i. Talk at the student conference “Experimental language studies”, Lomonosov Moscow State Univ., Moscow, June 16, 2022.]Врубель 2023 — Врубель Д. Д. Эффект синкретизма при предикативном согласовании с сочинительными конструкциями с повторяющимся союзом и. Rhema. Рема, 2023, 2: 104–118. [Vrubel D. D. The role of syncretism in the predicate agreement with coordinate constructions with the Russian correlative conjunction i…i. Rhema, 2023, 2: 104–118.]Граудина и др. 2001 — Граудина Л. К., Ицкович В. А., Катлинская Л. П. Грамматическая правильность русской речи: Опыт частотно-стилистического словаря вариантов. М.: Наука, 2001. [Graudina L. K., Itskovich V. A., Katlinskaya L. P. Grammaticheskaya pravil’nost’ russkoi rechi: Opyt chastotno-stilisticheskogo slovarya variantov [Grammatical correctness of speech: Towards a frequency and stylistic dictionary of variants]. Moscow: Nauka, 2001.]Давидюк 2022 — Давидюк Т. И. Влияние аргументной структуры предиката на лично-числовое согласование с сочиненным подлежащим. Устный доклад на учебной конференции «Экспериментальные исследования языка», МГУ имени М. В. Ломоносова, Москва, 16 июня 2022 г. [Davidyuk T. I. The influence of argument structure on predicative agreement in person and number with compound subjects. Talk at the student conference “Experimental language studies”, Lomonosov Moscow State Univ., Moscow, June 16, 2022.]Добрушина, Сидорова 2019 — Добрушина Е. Р., Сидорова М. И. Число предиката в конструкциях типа «те/все, кто пришел/пришли» и падеж вершины-корпусное исследование. Вестник Православного Свято-Тихоновского гуманитарного университета. Сер. 3: Филология, 2019, 59: 22–35. [Dobrushina E. R., Sidorova M. I. Number of the predicate in phrases te/vse, kto prishel/prishli ‘those/all who came (sg./pl.)’ and the case of the head: A corpus-based study. St. Tikhon’s Univ. Review. Series III: Philology, 2019, 59: 22–35.]Иомдин 1990 — Иомдин Л. Л. Автоматическая обработка текста на естественном языке: модель согласования. М.: Наука, 1990. [Iomdin L. L. Avtomaticheskaya obrabotka teksta na estestvennom yazyke: model’ soglasovaniya [Automatic natural language processing: Agreement model]. Moscow: Nauka, 1990.]Кибрик (ред.) 1999 — Кибрик А. Е. (ред.-сост.). Элементы цахурского языка в типологическом освещении. М.: Наследие, 1999. [Kibrik A. E. (ed.-comp.) Elementy tsakhurskogo yazyka v tipologicheskom osveshchenii [Elements of Tsakhur in a typological perspective]. Moscow: Nasledie, 1999.]Кувшинская 2013 — Кувшинская Ю. М. Согласование сказуемого с подлежащим, выраженным именной группой с количественным значением (по данным НКРЯ за 2000–2010 гг.). Русский язык в научном освещении, 2013, 26: 112–151. [Kuvshinskaya Yu. M. Predicate agreement with the quantifier phrase in Russian (according to the data of the National Russian Corpus for the period of 2000–2010). Russkij jazyk v nauchnom osveshchenii, 2013, 26: 112–151.]Лютикова, Герасимова 2023 — Лютикова Е. А., Герасимова А. А. Исследование вариативного согласования в русском языке: проблемы и методы. Rhema. Рема, 2023, 2: 9–27. [Lyutikova E. A., Gerasimova A. A. Studying agreement variation in Russian: Problems and methodology. Rhema, 2023, 2: 9–27.]Мельчук 1993 — Мельчук И. А. Согласование, управление, конгруэнтность. Вопросы языкознания, 1993, 5: 16–58. [Mel’čuk I. A. Agreement, regimen, congruence. Voprosy Jazykoznanija, 1993, 5: 16–58.]Паско 2022 — Паско Л. И. Предикативное согласование с сочиненным подлежащим и симметричность предиката. Устный доклад на учебной конференции «Экспериментальные исследования языка», МГУ имени М. В. Ломоносова, Москва, 16 июня 2022 г. [Pasko L. I. Predicative agreement with compound subject and predicate symmetry. Talk at the student conference “Experimental language studies”, Lomonosov Moscow State Univ., Moscow, June 16, 2022.]Паско 2023 — Паско Л. И. Против ATB-анализа частичного согласования в русском языке: экспериментальное исследование. Rhema. Рема, 2023, 2: 89–103. [Pasko L. I. Against ATB-analysis of partial agreement in Russian: An experimental study. Rhema, 2023, 2: 89–103.]Пекелис 2013а — Пекелис О. Е. «Частичное согласование» в конструкции с повторяющимся союзом: корпусное исследование основных закономерностей. Вопросы языкознания, 2013, 4: 55–86. [Pekelis O. E. Partial agreement with subjects linked by a correlative conjunction: A corpus-based study of main regularities. Voprosy Jazykoznanija, 2013, 4: 55–86.]Пекелис 2013б — Пекелис О. Е. Сочинение. Материалы для проекта корпусного описания русской грамматики. М., 2013. Рук. [Pekelis O. E. Coordination. Materials for the project of corpus description of Russian grammar. Moscow, 2013. Ms.] http://rusgram.ru/Сочинение.РГ 1980 — Шведова Н. Ю. (ред.). Грамматика русского языка. Т. 2. М.: Наука, 1980. [Shvedova N. Yu. (ed.). Grammatika russkogo yazyka [Russian grammar]. Vol. 2. Moscow: Nauka, 1980.]Розенталь и др. 1999 — Розенталь Д. Э., Джанджакова Е. В., Кабанова Н. П. Справочник по правописанию, произношению, литературному редактированию. М.: ЧеРо, 1999. [Rozental D. E., Dzhandzakova E. V., Kabanova N. P. Spravochnik po pravopisaniyu, proiznosheniyu, literaturnomu redaktirovaniyu [Handbook of spelling, pronunciation, literary editing]. Moscow: CheRo, 1999.]Санников 2008 — Санников В. З. Русский синтаксис в семантико-прагматическом пространстве. М.: Языки славянских культур, 2008. [Sannikov V. Z. Russkii sintaksis v semantiko-pragmaticheskom prostranstve [Russian syntax in a semantic-pragmatic aspect]. Moscow: Yazyki slavyanskikh kul’tur, 2008.]Студеникина 2023а — Студеникина К. А. Об идентичности морфологических признаков при эллипсисе в русском языке: данные именных групп с сочиненными прилагательными. Rhema. Рема, 2023, 2: 28–52. [Studenikina K. A. Towards the feature identity for ellipsis in Russian: Evidence from noun phrases with coordinated adjectives. Rhema, 2023, 2: 28–52.]Студеникина 2023б — Студеникина К. А. Влияние одушевленности конъюнктов и линейной позиции сказуемого на выбор стратегии предикативного согласования. Устный доклад на учебной конференции «Экспериментальные исследования языка», МГУ имени М. В. Ломоносова, Москва, 16 июня 2022 г. [Studenikina K. A. The role of animacy of conjuncts and predicate linear position in the choice of predicate agreement strategy. Talk at the student conference “Experimental language studies”, Lomonosov Moscow State Univ., Moscow, June 16, 2022.]Adger 2003 — Adger D. Core syntax: A minimalist approach. Oxford: Oxford Univ. Press, 2003.Arsenijević, Mitić 2016 — Arsenijević B., Mitić I. Effect of animacy and agentivity on the processing of agreement in Serbo-Croatian. Studies in languages and mind. Selected papers from the 3rd Workshop in Psycholinguistics, Neurolinguistic and Clinical Linguistic Research. Halupka-Rešetar S., Martínez-Ferreiro S. (eds.). Novi Sad: Univ. of Novi Sad, 2016, 41–77.An, Abeillé 2019 — An A., Abeillé A. Number agreement in French binomials. Empirical Issues in Syntax and Semantics, 2019, 12: 31–60.Chomsky 1956 — Chomsky N. Three models for the description of language. IRE Transactions on Information Theory, 1956, 2(3): 113–124.Chomsky 1995 — Chomsky N. The Minimalist Program. Cambridge (MA): MIT Press, 1995.Chomsky 2014 — Chomsky N. Aspects of the theory of syntax. Cambridge (MA): MIT Press, 2014.Corbett 1983 — Corbett G. Resolution rules: Agreement in person, number, and gender. Order, сoncord and сonstituency. Gazdar G., Klein E., Pullam G. K. (eds.). Berlin, Boston: De Gruyter Mouton, 1983, 175–205.Devlin et al. 2019 — Devlin J., Chang M. W., Lee K., Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding. Proc. of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019, 1: 4181–4186.Himmelreich, Hartmann 2023 — Himmelreich A., Hartmann K. Agreement with disjoined subjects in German. Glossa: a journal of general linguistics, 2023, 8(1): 1–44.Lau et al. 2020 — Lau J. H., Armendariz C., Lappin S., Purver M., Shu C. How furiously can colorless green ideas sleep? Sentence acceptability in context. Transactions of the Association for Computational Linguistics, 2020, 8: 296–310.Lau et al. 2017 — Lau J. H., Clark A., Lappin S. Grammaticality, acceptability, and probability: A probabilistic view of linguistic knowledge. Cognitive Science, 2017, 41(5): 1202–1241.Likert 1932 — Likert R. A technique for the measurement of attitudes. Archives of Psychology, 1932, 22(140): 5–55.Marušič et al. 2015 — Marušič F., Nevins A. I., Badecker W. The grammars of conjunction agreement in Slovenian. Syntax, 2015, 18(1): 39–77.Mikhailov et al. 2022 — Mikhailov V., Shamardina T., Ryabinin M., Pestova A., Smurov I., Artemova E. RuCoLA: Russian Corpus of Linguistic Acceptability. Proc. of the 2022 Conference on Empirical Methods in Natural Language Processing. Goldberg Y., Kozareva Z., Zhang Y. (eds.). Association for Computational Linguistics, 2022, 5207–5227.Pereira 2000 — Pereira F. Formal grammar and information theory: together again? Philosophical Transactions of the Royal Society of London. Series A: Mathematical, Physical and Engineering Sciences, 2000, 358(1769): 1239–1253.Radford et al. 2018 — Radford A., Narasimhan K., Salimans T., Sutskever I. Improving language understanding by generative pre-training. Technical Report, OpenAI, 2018.Sprouse 2015 — Sprouse J. Three open questions in experimental syntax. Linguistics Vanguard, 2015, 1(1): 89–100.Sprouse et al. 2013 — Sprouse J., Schütze C. T., Almeida D. A comparison of informal and formal acceptability judgments using a random sample from Linguistic Inquiry 2001–2010. Lingua, 2013, 134: 219–248.Sprouse et al. 2018 — Sprouse J., Yankama B., Indurkhya S., Fong S., Berwick R. C. Colorless green ideas do sleep furiously: gradient acceptability and the nature of the grammar. The Linguistic Review, 2018, 35(3): 575–599.Sprouse, Schütze 2014 — Schütze, C., Sprouse, J. Judgment data. Research methods in linguistics. Sharma D., Podesva R. (eds.). Cambridge: Cambridge Univ. Press, 2014, 27–50.Studenikina 2023 — Studenikina K. A. Parametrizing number variation in Russian noun phrases with experimental studies and language modeling. Research Result. Theoretical and Applied Linguistics, 2023, 9(1): 192–205.Vaswani et al. 2017 — Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser L., Polosukhin I. Attention is all you need. Advances in Neural Information Processing Systems, 2017, 30: 5998–6008.Warstadt et al. 2020 — Warstadt A., Parrish A., Liu H., Mohananey A., Peng W., Wang S. F., Bowman S. R. BLiMP: The benchmark of linguistic minimal pairs for English. Transactions of the Association for Computational Linguistics, 2020, 8: 377–392.Zwicky 1977 — Zwicky A. Hierarchies of person. Papers from the 13th Regional Meeting, Chicago Linguistics Society. Beach W. A., Fox S. E., Philosoph Sh. (eds.). Chicago: Chicago Linguistics Society, 1977, 714–733.