Automatic Suggestions Help Extending Eventive Ontology: A Case Study on SynSemClass

Abstract

Despite substantial recent progress in many areas of NLP, semantic tasks remain particularly challenging. One such task is the creation (extension, or annotation) of semantic ontologies. In this work, we present a case study on the eventive SynSemClass ontology, focusing on the challenges of semantic annotation - that is extending the ontology with new lexical units and/or new concepts - both with and without automatic support. We consider two strategies for generating annotation suggestions: (i) a knowledge-driven approach based on a small, carefully curated corpus of verbal valency frames, and (ii) a corpus-driven approach using lemma-based suggestions from a large raw text collection, disregarding semantic homonymy. Our findings show that ontology annotation is inherently difficult, and that automatic annotations statistically significantly reduce this difficulty both in terms of inter-annotator agreement and when compared with gold expert annotations. We discuss the implications for semantic resource creation and extension, as well as the limits of automation in ontology annotation.

I přes podstatný pokrok v mnoha oblastech NLP zůstávají sémantické úkoly obzvláště náročné. Jedním z takových úkolů je vytvoření (rozšíření, nebo anotace) sémantických ontologií. V této práci předkládáme případovou studii o eventivní ontologii SynSemClass, která se zaměřuje na výzvy sémantické anotace - tedy rozšíření ontologie o nové lexikální jednotky a/nebo nové koncepty - s automatickou podporou i bez ní. Uvažujeme o dvou strategiích pro generování anotačních návrhů: (i) znalostní přístup založený na malém, pečlivě připraveném korpusu verbálních valenčních rámců a (ii) přístup řízený korpusem využívající lemma-based návrhy z velké neanotované textové kolekce, bez ohledu na sémantickou homonymii. Naše zjištění ukazují, že ontologická anotace je ze své podstaty obtížná a že automatické anotace statisticky významně snižují tuto obtížnost jak z hlediska mezianotační shody, tak ve srovnání se zlatými anotacemi. Diskutujeme o důsledcích pro tvorbu a rozšíření sémantických zdrojů, stejně jako o limitech automatizace v ontologické anotaci.