Skip to content

Latest commit

 

History

History
72 lines (63 loc) · 7.37 KB

README.md

File metadata and controls

72 lines (63 loc) · 7.37 KB

multilingual-text-parser

Multilingual frontend for TTS systems

Features Landuages
sentence splitting and tokenization RU and other
normalization RU, EN
morphological RU and other
syntax features RU and other
stress RU
homograph ambiguity resolution RU, EN
phonemization RU, EN and other
SSML support RU, EN

Examples:

utterance_ru = """
Сфера услуг традиционно занимала незначительное место в российской экономике (включая советский период), однако с 1990-х годов началось её интенсивное развитие.
К 2015 г. доля сферы услуг в ВВП составила 59,7%, она обеспечивала занятость более половины (63%) трудоспособного населения
"""

tp = TextParser(lang="RU", device="cpu")
doc = tp.process(Doc(utterance))

print(doc.capitalize)
# Сфера услуг традиционно занимала незначительное место в российской экономике (включая советский период), однако с тысяча девятьсот девяностых годов началось её интенсивное развитие.
# К две тысячи пятнадцатому году доля сферы услуг в Вэвэпэ составила пятьдесят девять целых и семь десятых процента, она обеспечивала занятость более половины (шестьдесят три процента) трудоспособного населения.

print(doc.stress)
# сфе+ра услу+г традицио+нно занима+ла незначи+тельное ме+сто в росси+йской эконо+мике (включа+я сове+тский пери+од), одна+ко с ты+сяча девятьсо+т девяно+стых годо+в начало+сь её+ интенси+вное разви+тие.
# к две+ ты+сячи пятна+дцатому го+ду до+ля сфе+ры услу+г в вэвэпэ+ соста+вила пятьдеся+т де+вять це+лых и се+мь деся+тых проце+нта, она+ обеспе+чивала за+нятость бо+лее полови+ны (шезьдэся+т три+ проце+нта) трудоспосо+бнова населе+ния.

for sent in doc.sents:
    print(f"'{sent.capitalize}'")
    for tk in sent.tokens:
        print(
            f"\t'{tk.text}' -> "
            f"{tk.text_orig}|{tk.stress}|{tk.pos}|{tk.rel}|"
            f"{tk.is_capitalize}|{tk.is_punctuation}|{tk.is_abbreviation}|"
            f"{tk.phonemes}"
        )

# 'Сфера услуг традиционно занимала незначительное место в российской экономике (включая советский период), однако с тысяча девятьсот девяностых годов началось её интенсивное развитие.'
# 	'сфера' -> Сфера|['сфе+ра']|NOUN|nsubj|True|False|False|('S', 'F0', 'E0', 'R', 'A')
# 	'услуг' -> услуг|['услу+г']|NOUN|nmod|False|False|False|('U', 'S', 'L', 'U0', 'K')
# 	'традиционно' -> традиционно|['традицио+нно']|ADV|advmod|False|False|False|('T', 'R', 'A', 'D0', 'I', 'TS', 'Y', 'O0', 'N', 'A')
# 	'занимала' -> занимала|['занима+ла']|VERB|root|False|False|False|('Z', 'A', 'N0', 'I', 'M', 'A0', 'L', 'A')
# 	'незначительное' -> незначительное|['незначи+тельное']|ADJ|amod|False|False|False|('N0', 'I', 'Z', 'N', 'A', 'TSH0', 'I0', 'T0', 'I', 'L0', 'N', 'A', 'J0', 'I')
# 	'место' -> место|['ме+сто']|NOUN|obj|False|False|False|('M0', 'E0', 'S', 'T', 'A')
# 	'в' -> в|['в']|ADP|case|False|False|False|('F',)
# 	'российской' -> российской|['росси+йской']|ADJ|amod|False|False|False|('R', 'A', 'S0', 'I0', 'J0', 'S', 'K', 'A', 'J0')
# 	'экономике' -> экономике|['эконо+мике']|NOUN|nmod|False|False|False|('Y', 'K', 'A', 'N', 'O0', 'M0', 'I', 'K0', 'I')
# 	'(' -> (|None|PUNCT|None|False|True|False|None
# 	'включая' -> включая|['включа+я']|ADV|parataxis|False|False|False|('F', 'K', 'L0', 'U', 'TSH0', 'A0', 'J0', 'A')
# 	'советский' -> советский|['сове+тский']|ADJ|amod|False|False|False|('S', 'A', 'V0', 'E0', 'TS', 'K0', 'I', 'J0')
# 	'период' -> период|['пери+од']|NOUN|obj|False|False|False|('P0', 'I', 'R0', 'I0', 'A', 'T')
# 	')' -> )|None|PUNCT|None|False|True|False|None
# 	',' -> ,|None|PUNCT|None|False|True|False|None
# 	'однако' -> однако|['одна+ко']|ADV|advmod|False|False|False|('A', 'D', 'N', 'A0', 'K', 'A')
# 	'с' -> с|['с']|ADP|case|False|False|False|('S',)
# 	'тысяча' -> |['ты+сяча']|ADJ|amod|False|False|False|('T', 'Y0', 'S0', 'I', 'TSH0', 'A')
# 	'девятьсот' -> |['девятьсо+т']|ADJ|amod|False|False|False|('D0', 'I', 'V0', 'I', 'T0', 'S', 'O0', 'D')
# 	'девяностых' -> |['девяно+стых']|ADJ|amod|False|False|False|('D0', 'I', 'V0', 'I', 'N', 'O0', 'S', 'T', 'Y', 'GH')
# 	'годов' -> годов|['годо+в']|NOUN|obl|False|False|False|('G', 'A', 'D', 'O0', 'F')
# 	'началось' -> началось|['начало+сь']|VERB|root|False|False|False|('N', 'A', 'TSH0', 'I', 'L', 'O0', 'S0')
# 	'её' -> её|['её+']|PRON|det|False|False|False|('J0', 'I', 'J0', 'O0')
# 	'интенсивное' -> интенсивное|['интенси+вное']|ADJ|amod|False|False|False|('I', 'N0', 'T0', 'I', 'N0', 'S0', 'I0', 'V', 'N', 'A', 'J0', 'I')
# 	'развитие' -> развитие|['разви+тие']|NOUN|nsubj|False|False|False|('R', 'A', 'Z', 'V0', 'I0', 'T0', 'I', 'J0', 'I')
# 	'.' -> .|None|PUNCT|None|False|True|False|None