Lingvistica Corpusuluil

PROGRAMA LA CURSUL "Lingvistica Corpusuluil"

1. Istoric al domeniului prelucrгrii limbajului natural (PLN); clarificгri terminologice; obiective ale PLN; tipuri de aplicaюii informatice ce folosesc PLN; probleme dificile in PLN

2. Reprezentarea cunoÑ"tinÑŽelor lingvistice Ñ"i extra-lingvistice necesare PLN; etape ale PLN, structura generalг a unui sistem automat de PLN; paradigme ale PLN: abordarea simbolicг/abordarea statisticг; Pro Ñ"i Contra

3. Resurse lingvistice; standardizarea resurselor lingvistice; noюiuni de statisticг (variabile aleatoare; frecvenюг, probabilitate, estimat de probabilitate; evenimente independente/condiюionate, distribiюii de probabilitate, legea lui Bayes, etc)

4. Entropia Ñ"i modele entropice; entropia unei limbi; codificarea de lungime variabilг; legile lui Zipf; colocaÑŽii, coligaÑŽii, concordanÑŽe; informaÑŽia mutualг

5. Modele statistice de limbг; recunoaÑ"terea vorbirii; dezambiguizarea morfo-lexicalг;

6. Modele Markov Ascunse de ordin n;

7. Corpusuri de antrenare pentru dezambiguizarea morfo-lexicalг; algoritmul de antrenare -BaumWelch; cea mai probabilг adnotare morfo-lexicalг - algoritmul Viterbi; prezentare informalг;

8. Dezambiguizarea morfo-lexicalг ierarhizatг Ñ"i combinarea modelelor de limbг

9. AplicaÑŽii ale dezambiguizгrii morfo-lexicale: inserÑŽia automatг a diacriticelor; clasificarea automatг a documentelor; pre-analizг sintacticг; extracÑŽia automatг a dicÑŽionarelor bi- Ñ"i multi-lingve din corpusuri paralele;

10. Dezambiguizarea automatг a sensului

11. Analiza sintacticг probabilistг; algoritmi de analiza sintacticг; gramatici stochastice; corpusuri de antrenare (tree-banks); prezentare informalг a algoritmului "inside-outside"

Bibliografie minimalг:

1. Charniak, E. -Statistical Language Learning, MIT Press, 1993

2. Samuelsson Christer, Krenn B. - Linguist's Guide to Statistics, A compendium for a Course in Statistical Approaches in Computational Linguistics, Saarbruchen,