Alter.Org.UA
 << Back Home EN en   Donate Donate

Статистическая (частотная) модель украинского языка (символы и их пары)

Искал, почему не детектится кодировка KOI8-U в Far2l. Обнаружил, что код распознавания, когда-то давно написанный, мигрирует из проекта в проект почти без изменений. Но модели украинского языка в нем не было и нет. (сейчас исходник библиотеки есть на github, cpp-libucd). Единственное упоминание о подобном исследовании Habr - Частотный анализ украинского языка за 2011й. Пришлось немного разобрать их код, написать генератор модели и натравить его на кучу украинского текста (в KOI8-U) немного разбавленного русским и аглийским (взял как было в источниках). Получилась таблца частот для данной кодировки и, что полезно, частотная модель встречающихся пар символов, от кодировки не зависящая.

Параллельно обнаружил, что модель RussianLangModel несколько кривая. В таблице больше данных, чем возможных пар часто встречающихся символов. Должно быть 64x64, а там еще лишних 32. И индексация частот начинается с 1, а не с 0, что фактически уменьшает количество возможных пар до 63x63, но при этом в позициях соответствующим нулевому индексу есть какие-то данные. Возможно, модель KOI8-R есть смысл пересчитать.

Character frequency table

0x0 0x00
 0x01
 0x02
 0x03
 0x04
 0x05
 0x06
 0x07
 0x08
 0x09
 0x0a
 0x0b
 0x0c
 0x0d
 0x0e
 0x0f
0x10















0x20
!
 "
 #
 $
 %
 &
 '
43		 (
 )
 *
 +
 ,
 -
 .
 /
0x30 0
 1
 2
 3
 4
 5
 6
 7
 8
 9
 :
 ;
 <
 =
 >
 ?
0x40 @
 A
95		 B
112		 C
104		 D
101		 E
96		 F
108		 G
118		 H
126		 I
83		 J
139		 K
127		 L
106		 M
111		 N
92		 O
103
0x50 P
90		 Q
132		 R
107		 S
93		 T
99		 U
109		 V
98		 W
113		 X
102		 Y
122		 Z
138		 [
 \
 ]
 ^
 _
0x60 `
 a
65		 b
77		 c
76		 d
80		 e
64		 f
82		 g
85		 h
84		 i
71		 j
137		 k
100		 l
75		 m
81		 n
69		 o
72
0x70 p
78		 q
125		 r
68		 s
73		 t
66		 u
79		 v
91		 w
88		 x
97		 y
87		 z
133		 {
 |
 }
 ~
 
0x80 ─
 │
 ┌
 ┐
 └
 ┘
 ├
 ┤
 ┬
 ┴
 ┼
 ▀
 ▄
 █
 ▌
 ▐
128
0x90 ░
 ▒
 ▓
 ⌠
 ■
 ∙
120		 √
 ≈
 ≤
 ≥
⌡
 °
 ²
 ·
114		 ÷
0xa0 ═
105		 ║
 ╒
119		 ё
134		 є
30		 ╔
110		 і
5		 ї
28		 ╗
115		 ╘
130		 ╙
123		 ╚
121		 ╛
135		 ґ
70		 ╝
129		 ╞
131
0xb0 ╟
 ╠
 ╡
 Ё
 Є
61		 ╣
 І
37		 Ї
74		 ╦
 ╧
 ╨
 ╩
 ╪
 Ґ
89		 ╬
 №
116
0xc0 ю
26		 а
1		 б
18		 ц
27		 д
13		 е
6		 ф
46		 г
20		 х
23		 и
2		 й
22		 к
11		 л
10		 м
14		 н
3		 о
0
0xd0 п
15		 я
16		 р
8		 с
9		 т
7		 у
12		 ж
24		 в
4		 ь
19		 ы
59		 з
17		 ш
25		 э
86		 щ
29		 ч
21		 ъ
117
0xe0 Ю
63		 А
35		 Б
42		 Ц
55		 Д
41		 Е
51		 Ф
56		 Г
47		 Х
52		 И
58		 Й
60		 К
38		 Л
49		 М
39		 Н
36		 О
40
0xf0 П
32		 Я
45		 Р
50		 С
33		 Т
34		 У
48		 Ж
62		 В
31		 Ь
67		 Ы
124		 З
44		 Ш
57		 Э
94		 Щ
53		 Ч
54		 Ъ
136

Pair frequency table

  на
100		 ро
72.5		 ст
71.6		 ли
69.9		 ов
67.1		 ти
65.6		 не
64.9		 ко
64.8		 по
64.8		 ва
63		 го
61.8		 ал
61.7		 та
59		 ра
57.4		 ер
56.3		 ві
56.3
  ла
54.5		 ав
53.9		 ог
53.4		 ни
53.3		 ом
51.9		 но
50.7		 ло
50.7		 ви
50.4		 ка
49.6		 ні
49.1		 то
48.9		 во
47.6		 за
47.5		 ол
46.7		 ан
46.2		 ся
46
  пр
44.8		 ки
44.3		 ри
43.3		 ен
42.9		 ат
42.8		 до
41.9		 ор
41.7		 ть
40.5		 ос
40.5		 ре
40.1		 од
38.1		 ис
36.4		 ьк
36		 ар
36		 сь
35.8		 ив
35.5
  ит
35.2		 ід
35.1		 об
33.8		 ий
32.9		 ас
32.4		 ль
31		 ів
30.6		 мо
30.6		 те
30.3		 ам
30		 ин
29.9		 вс
29.7		 он
29.5		 ма
29.3		 ак
28.9		 да
28
  ми
27.8		 ін
27.7		 іл
27.4		 им
27.3		 ил
27.3		 що
27.3		 ди
27.2		 ув
27.2		 як
27.2		 ті
26.9		 ку
26.4		 мі
26.2		 чи
26.2		 бу
25.7		 тр
25.4		 лі
24.9
  ля
24.1		 ру
23.9		 пе
23.9		 ле
23.7		 ну
23.3		 му
22.7		 их
21.8		 оз
21.7		 от
21.4		 ад
21.2		 ик
21.2		 пі
20.9		 ня
20.7		 ул
20.5		 же
20.1		 ок
19.9
  ве
19.8		 ту
19.5		 па
19.2		 га
19		 ій
18.9		 кі
18.8		 ді
18.5		 іс
18.5		 ча
18.3		 ці
18.3		 ба
18.1		 ою
18		 ої
17.7		 іт
17.4		 ду
17.3		 ме
17.3
  де
17.2		 се
17		 оч
16.9		 ел
16.5		 кр
16.3		 сп
16.3		 ай
16.3		 зн
16.2		 сі
16.1		 бо
16.1		 че
15.9		 ут
15.8		 дн
15.8		 ши
15.6		 хо
15.5		 аз
15.5
  св
15.1		 бі
15		 би
14.9		 ус
14.7		 ес
14.6		 са
14.5		 ає
13.8		 оп
13.8		 сл
13.7		 ск
13.4		 ем
13.3		 со
13.2		 пи
13.2		 лю
13.2		 ап
13.1		 ож
13
  ет
12.9		 вн
12.6		 ач
12.3		 ич
12.2		 йо
12		 аг
11.9		 ше
11.8		 нь
11.6		 бе
11.4		 ах
11.2		 уд
11		 рн
10.9		 ук
10.9		 жи
10.9		 ед
10.7		 бр
10.7
  ьс
10.6		 із
10.6		 ьо
10.5		 ха
10.4		 це
10.4		 рт
10.3		 ев
10.1		 ир
10		 аж
9.8		 чо
9.6		 ць
9.6		 ву
9.4		 ид
9.3		 ят
9.3		 аю
9.3		 сн
9.2
  еб
9.2		 ік
9.2		 ьн
9.2		 бл
9.1		 аб
9		 ез
9		 зв
9		 лу
8.8		 кл
8.8		 су
8.8		 нк
8.8		 чн
8.6		 ія
8.6		 гр
8.4		 др
8.4		 чу
8.3
  ек
8.2		 ум
8.1		 іш
8		 нт
7.9		 тя
7.8		 іч
7.7		 пл
7.6		 уж
7.5		 ії
7.4		 зу
7.3		 еп
7.2		 гл
7.2		 ей
7.2		 ще
7.1		 гу
7.1		 ір
7.1
  'я
7.1		 аш
7.1		 вл
7.1		 уп
6.8		 ря
6.8		 жн
6.8		 жа
6.7		 Та
6.7		 юч
6.7		 чі
6.6		 Со
6.6		 иш
6.5		 яв
6.4		 ша
6.4		 нс
6.3		 вж
6.3
  вш
6.3		 зи
6.2		 уш
6.2		 ох
6		 зі
5.9		 їх
5.8		 зд
5.8		 зо
5.8		 По
5.7		 тн
5.7		 дв
5.7		 ця
5.7		 чк
5.7		 єт
5.7		 шо
5.7		 йн
5.6
  ют
5.6		 нц
5.6		 еч
5.6		 ух
5.6		 ям
5.5		 іх
5.5		 ош
5.4		 уч
5.3		 тк
5.3		 уб
5.3		 На
5.2		 дк
5.2		 тт
5.1		 іб
5.1		 її
5.1		 рк
5.1
  ке
5.1		 рш
5		 дл
5		 пу
4.7		 йс
4.7		 ун
4.7		 яд
4.7		 нд
4.5		 Не
4.4		 ип
4.4		 еж
4.3		 ги
4.3		 вд
4.3		 Ко
4.3		 зе
4.3		 іг
4.3
  мн
4.2		 жу
4.2		 юд
4.2		 ші
4.2		 ец
4.2		 уг
4.2		 ял
4.1		 гі
4.1		 гн
4.1		 вк
4.1		 шк
4.1		 хи
4		 Ві
4		 из
4		 ге
3.9		 шу
3.9
  шн
3.9		 уз
3.9		 оє
3.8		 ує
3.8		 іж
3.8		 зм
3.8		 вч
3.8		 иб
3.8		 За
3.7		 кт
3.7		 іє
3.7		 Ів
3.7		 ой
3.7		 шл
3.6		 Як
3.6		 Пр
3.5
  яг
3.5		 Що
3.5		 хт
3.5		 Ва
3.5		 їн
3.5		 аї
3.4		 лк
3.4		 рс
3.4		 вт
3.4		 дь
3.3		 шт
3.3		 нш
3.3		 Кр
3.3		 Во
3.3		 ію
3.2		 йш
3.2
  яч
3.2		 Ма
3.1		 йт
3.1		 хн
3.1		 жі
3.1		 дж
3.1		 То
3		 вр
3		 ху
3		 ьш
3		 кн
3		 ях
3		 в'
3		 ща
3		 Пе
2.9		 зб
2.8
  мл
2.8		 ню
2.8		 рд
2.8		 їм
2.7		 Го
2.7		 До
2.7		 зк
2.7		 юв
2.6		 зл
2.6		 їй
2.6		 еї
2.6		 Ен
2.6		 цю
2.5		 Бу
2.5		 щи
2.5		 яз
2.5
  єм
2.5		 ци
2.5		 дс
2.5		 вп
2.5		 Ви
2.4		 ею
2.4		 мп
2.4		 хв
2.4		 рм
2.4		 зг
2.4		 зь
2.4		 юб
2.4		 зп
2.3		 кс
2.3		 сц
2.3		 тю
2.2
  дп
2.2		 Ос
2.2		 м'
2.2		 пт
2.2		 вг
2.2		 йм
2.1		 Бо
2.1		 иж
2.1		 Пі
2.1		 Ал
2.1		 Мо
2.1		 кв
2.1		 іо
2.1		 жк
2.1		 іа
2.1		 Ан
2.1
  вз
2		 зя
2		 дч
2		 жо
2		 Ст
2		 Ту
1.9		 хл
1.9		 рг
1.9		 Ми
1.9		 яс
1.9		 Ве
1.9		 жд
1.9		 рб
1.9		 тл
1.9		 хі
1.9		 йк
1.9
  фо
1.9		 ех
1.8		 яр
1.8		 фі
1.8		 Ба
1.8		 ия
1.8		 рц
1.8		 еа
1.8		 рл
1.7		 ца
1.7		 Си
1.7		 лл
1.7		 ищ
1.7		 Ро
1.6		 Мі
1.6		 Це
1.6
  чч
1.6		 Ні
1.6		 нч
1.6		 рх
1.5		 п'
1.5		 єї
1.5		 дд
1.5		 дт
1.5		 Те
1.5		 іц
1.4		 єю
1.4		 Ну
1.4		 Ка
1.4		 От
1.4		 рж
1.4		 рю
1.4
  Тр
1.4		 сх
1.3		 Ук
1.3		 мк
1.3		 ая
1.3		 ео
1.3		 їд
1.3		 Га
1.3		 вя
1.2		 ау
1.2		 Од
1.2		 єш
1.2		 Чи
1.2		 Да
1.2		 дз
1.2		 Бі
1.2
  сю
1.2		 хр
1.1		 іщ
1.1		 уй
1.1		 Вс
1.1		 Но
1.1		 вв
1.1		 Сп
1.1		 пн
1.1		 фе
1.1		 Хо
1.1		 аф
1		 єв
1		 Ме
1		 юс
1		 йб
1
  рч
1		 їв
1		 цт
1		 'є
1		 Са
1

Most frequent uppercase pairs

  Та
100		 Со
98.6		 По
85.7		 На
78.6		 Не
66.9		 Ко
64.4		 Ві
60.2		 За
55.9		 Ів
55.3		 Як
53.6		 Пр
53.1		 Що
52.5		 Ва
52.2		 Кр
50.2		 Во
50.1		 Ма
47.3
  То
46		 Па
45.1		 Пе
44.1		 Го
41		 До
40.9		 Ен
38.8		 Бу
38.4		 Ви
36.6		 Ос
33.1		 Бо
32.5		 Пі
32.1		 Ал
32.1		 Мо
31.9		 Ан
31.3		 Ст
30.1		 Ту
29.6
  Ми
29.1		 Ве
28.9		 Ба
27.6		 Си
26.1		 Ро
24.8		 Мі
24.7		 Це
24.6		 Ні
23.9		 Те
22.3		 Ну
21.6		 Ка
21.5		 От
21.3		 Тр
20.8		 Ук
20.1		 Га
19.3		 Од
18.7
  Чи
18.6		 Да
18.5		 Бі
18.2		 Вс
17.2		 Но
17.1		 Сп
16.8		 Хо
16.3		 Ме
16		 Са
15.1

Running

gcc -o freq freq.cpp 
freq learn_ua.txt test_ua.txt

C code

unsigned char KOI8U_CharToOrderMap[] =
{
255,255,255,255,255,255,255,255,255,255,254,255,255,254,255,255, //00
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255, //10
253,253,253,253,253,253,253, 43,253,253,253,253,253,253,253,253, //20
252,252,252,252,252,252,252,252,252,252,253,253,253,253,253,253, //30
253, 95,112,104,101, 96,108,118,126, 83,139,127,106,111, 92,103, //40
 90,132,107, 93, 99,109, 98,113,102,122,138,253,253,253,253,253, //50
253, 65, 77, 76, 80, 64, 82, 85, 84, 71,137,100, 75, 81, 69, 72, //60
 78,125, 68, 73, 66, 79, 91, 88, 97, 87,133,253,253,253,253,253, //70
253,253,253,253,253,253,253,253,253,253,253,253,253,253,253,128, //80
253,253,253,253,253,120,253,253,253,253,253,253,253,253,114,253, //90
105,253,119,134, 30,110,  5, 28,115,130,123,121,135, 70,129,131, //a0
253,253,253,253, 61,253, 37, 74,253,253,253,253,253, 89,253,116, //b0
 26,  1, 18, 27, 13,  6, 46, 20, 23,  2, 22, 11, 10, 14,  3,  0, //c0
 15, 16,  8,  9,  7, 12, 24,  4, 19, 59, 17, 25, 86, 29, 21,117, //d0
 63, 35, 42, 55, 41, 51, 56, 47, 52, 58, 60, 38, 49, 39, 36, 40, //e0
 32, 45, 50, 33, 34, 48, 62, 31, 67,124, 44, 57, 94, 53, 54,136, //f0
};

char UkrainianLangModel[] =
{
2,2,2,3,3,2,2,3,3,3,3,3,2,3,3,3,3,3,3,0,3,3,3,3,3,3,3,3,3,3,3,0, 
0,0,0,0,0,0,0,1,0,0,0,0,0,0,3,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
2,2,2,3,3,2,2,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,3,3,3,3,3,3,3,3,3,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
2,2,2,3,3,0,2,3,3,3,3,3,1,3,3,3,3,3,3,0,3,3,3,3,3,3,2,3,3,3,2,0, 
0,0,0,0,0,1,0,0,0,0,0,0,0,0,2,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,2,3,3,3,2,3,2,3,3,3,0,2,3,2,2,3,2,3,1,2,2,3,3,3,0,2,2,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,0,2,3,3,1,2,1,2,2,0, 
0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,1,3,3,1,1,3,3,3,3,3,2,3,3,3,3,3,3,1,3,3,3,3,3,3,3,3,3,3,3,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,2,3,3,2,2,3,3,3,3,3,2,3,3,3,3,3,3,0,3,3,3,3,3,3,3,3,3,2,2,0, 
1,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,3,3,3,3,3,2,3,3,3,2,2,2,3,1,2,3,0,2,0,2,2,2,3,2,1,0,2,0, 
0,1,0,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,3,3,2,3,2,3,3,2,3,3,3,3,3,1,2,1,0, 
0,0,0,0,0,0,0,0,0,0,0,2,0,0,2,0,0,1,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,3,3,3,3,2,3,3,3,3,0,3,3,3,0,1,3,1,2,0,3,0,2,3,3,0,0,1,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,2,0,3,3,2,1,2,3,3,3,2,2,1,3,0,0,3,2,2,1,0,2,1,3,2,0,0,2,0, 
1,0,0,0,0,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,3,3,3,3,3,3,3,2,3,2,2,2,0,2,2,0,1,2,0,1,2,2,0,2,1,2,1,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0, 
1,2,0,3,3,1,2,3,3,3,3,3,0,3,3,3,2,3,3,0,3,3,3,3,3,3,3,2,2,2,3,0, 
0,1,0,0,0,0,0,0,0,0,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,1,2,3,2,2,2,0,2,1,0, 
0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,2,3,3,2,2,2,3,3,3,2,2,3,2,1,2,0,2,2,0,2,0,2,1,2,0,1,1,0, 
0,0,0,0,0,0,0,0,0,0,0,3,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,0,3,3,3,3,2,3,3,3,0,0,2,2,0,1,2,0,2,0,2,0,2,1,2,0,1,1,0, 
0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
0,0,1,3,3,0,2,3,3,3,3,3,0,3,3,2,2,3,2,0,3,3,2,3,2,2,2,2,2,2,3,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,3,3,3,2,3,2,3,3,3,3,3,3,3,2,3,3,3,2,0,2,2,2,2,2,0,1,1,0, 
0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,2,3,3,2,3,2,3,2,3,2,2,2,2,2,2,1,2,2,0,2,1,2,2,2,0,2,1,0, 
0,0,0,0,0,1,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,0,1,3,2,1,2,2,0,3,1,3,0,2,3,2,2,2,3,0,2,2,2,2,1,3,2,2,2,2,2,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,2,3,3,2,3,2,3,2,3,2,2,0,0,1,0,1,1,1,0,0,0,2,0,0,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,2,3,3,2,1,1,2,3,3,0,2,0,2,0,1,1,1,3,0,2,0,2,2,2,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,1,0,3,2,1,1,3,2,3,2,3,2,3,3,2,1,2,3,0,2,2,0,2,2,3,0,2,1,2,2,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,3,3,2,3,3,2,3,2,3,0,2,1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,2,3,3,2,1,2,3,3,3,3,2,0,2,0,2,1,2,3,0,0,2,0,1,2,0,0,1,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,3,3,3,3,2,2,3,3,3,0,2,2,0,0,0,2,1,0,0,0,0,1,0,2,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,2,0,2,3,1,1,3,2,3,2,2,0,3,2,2,2,2,3,0,2,3,2,2,2,2,2,2,1,2,2,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
2,3,3,2,2,3,3,3,1,1,2,2,2,0,1,1,3,0,1,3,1,0,0,0,0,1,3,2,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0, 
0,0,0,3,3,1,0,2,1,2,2,2,0,3,3,0,0,2,0,0,0,2,3,3,2,2,0,1,3,1,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,1,0,2,3,0,0,0,0,1,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,2,3,0,0,3,2,2,2,2,0,2,3,2,1,2,0,1,2,2,2,1,1,3,3,2,3,1,1,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1, 
3,3,3,2,2,3,3,2,2,3,2,1,2,2,1,2,0,2,2,0,2,2,0,2,2,1,0,0,0,0,0,1, 
0,2,1,2,2,2,1,0,2,1,0,2,0,0,0,0,2,2,1,2,0,0,0,0,0,0,2,2,0,0,0,1, 
3,3,2,1,0,3,3,1,3,2,2,0,2,0,0,0,0,0,1,1,0,0,0,0,0,2,0,0,0,0,0,1, 
0,0,1,1,0,2,1,0,2,1,0,2,1,0,0,0,1,2,2,2,0,0,0,1,0,0,2,0,0,0,0,0, 
3,3,3,1,2,2,2,3,2,0,2,2,2,0,2,3,2,0,1,2,1,1,0,2,0,0,2,1,0,0,1,1, 
2,0,2,2,2,2,2,1,2,1,1,0,0,2,1,0,1,2,1,2,0,0,0,1,0,2,2,0,0,1,0,0, 
3,3,3,0,2,2,3,0,3,1,0,0,3,0,0,1,2,0,0,2,0,0,0,0,0,0,2,0,0,0,0,2, 
1,1,1,2,2,2,0,0,2,0,0,0,0,2,0,0,2,1,2,2,0,0,0,1,0,0,2,0,0,0,0,1, 
0,0,0,3,2,0,0,2,2,2,3,2,1,2,2,2,1,2,2,0,2,2,2,2,2,0,1,2,2,0,0,2, 
2,2,2,0,2,0,2,2,1,2,1,0,1,1,2,2,0,2,2,0,2,0,1,2,1,1,0,0,1,2,1,1, 
3,3,2,0,0,3,3,0,0,0,0,0,3,1,0,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,1,0, 
0,2,2,2,2,2,1,0,2,1,1,0,0,2,0,0,2,0,0,2,0,0,1,1,0,0,2,0,0,1,0,0, 
2,1,0,2,3,0,1,2,2,2,2,1,2,2,2,1,0,2,2,0,2,0,1,0,0,2,0,1,0,2,1,2, 
1,2,2,0,2,2,2,2,1,2,1,0,2,2,0,0,1,2,1,0,1,0,1,1,0,1,0,0,2,1,0,1, 
3,3,2,2,2,2,2,0,3,1,2,0,2,0,0,0,0,0,2,0,1,0,0,0,0,0,1,0,0,0,0,0, 
1,2,2,2,0,1,0,1,2,0,0,0,0,0,0,0,2,2,2,0,0,0,0,1,0,0,2,0,0,0,0,0, 
3,3,3,1,0,3,3,0,1,1,1,0,2,0,0,0,0,0,2,0,0,1,0,0,0,0,1,0,0,0,0,1, 
0,0,0,2,2,2,0,1,2,0,0,1,0,0,0,0,2,0,0,2,0,0,0,0,1,0,2,1,0,0,0,0, 
0,0,0,2,2,0,0,3,2,3,2,2,0,3,1,2,0,2,2,0,2,2,2,2,1,2,0,2,0,1,0,2, 
2,2,2,0,2,0,2,2,1,2,2,1,2,1,1,2,0,2,2,1,0,1,2,0,1,1,1,0,1,0,1,2, 
3,3,2,2,2,2,2,0,2,0,2,0,2,0,2,0,2,1,1,1,0,0,0,0,2,0,1,0,0,0,1,2, 
0,1,1,2,1,2,1,1,2,0,1,1,0,0,0,0,1,1,2,2,0,0,0,2,0,0,2,0,0,0,1,0, 
3,3,2,1,0,3,2,0,2,0,2,1,3,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0, 
1,1,1,2,1,1,0,0,2,0,1,1,0,0,0,0,2,2,1,1,0,0,0,0,0,0,2,1,0,0,0,0, 
1,1,1,0,0,1,1,1,0,0,0,1,0,0,0,0,3,1,0,0,1,1,0,0,0,0,2,0,2,0,3,1, 
0,0,0,1,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0, 
2,3,2,2,2,2,2,1,2,0,2,0,2,2,2,0,1,0,2,0,2,1,0,0,0,0,0,1,0,0,0,0, 
0,0,0,2,2,0,1,1,2,2,1,2,0,0,0,0,1,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,2,2,0,0,1,2,2,1,3,0,0,1,2,0,1,1,0,2,1,0,1,0,0,0,0,0,0,0,2, 
0,0,2,0,1,0,2,1,0,2,0,0,0,0,0,0,0,1,1,0,0,0,1,0,0,0,0,0,0,2,0,1, 
3,3,2,1,0,3,3,2,2,2,2,1,2,0,2,0,1,0,0,0,0,0,1,0,0,1,1,0,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0, 
3,3,2,1,2,2,2,0,2,0,2,0,2,0,1,0,0,0,2,0,0,0,0,0,0,0,1,1,0,0,0,0, 
0,0,0,2,1,0,0,0,2,0,0,0,0,0,0,1,0,1,2,2,0,0,0,0,0,0,2,0,0,0,0,0, 
1,1,0,1,2,0,0,2,2,2,2,3,0,2,2,2,2,2,2,0,1,2,0,2,2,1,0,0,0,0,1,1, 
1,2,1,1,1,0,1,1,0,0,1,0,0,0,1,2,0,1,2,1,1,0,1,0,0,1,0,0,0,2,0,1, 
2,3,2,0,0,2,2,0,0,0,0,0,2,0,0,0,2,0,0,2,0,0,0,0,0,0,2,0,0,0,1,0, 
0,0,0,2,0,2,0,0,2,0,0,0,0,2,0,0,2,1,0,2,0,0,0,0,0,0,2,0,0,0,0,2, 
3,2,2,0,0,2,2,0,0,0,0,0,2,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1, 
0,2,2,2,1,2,1,0,2,1,1,0,1,2,0,1,2,1,1,2,0,0,0,0,1,2,2,1,0,0,0,0, 
2,1,0,3,2,0,1,1,1,2,2,1,0,0,2,1,1,1,1,0,2,0,2,2,0,0,0,0,0,1,0,2, 
1,2,2,0,2,0,1,1,2,2,1,0,1,1,0,0,0,1,2,1,0,0,1,1,0,1,0,0,1,1,0,0, 
3,2,2,0,2,2,1,2,2,0,2,0,2,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1, 
0,0,1,2,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0, 
3,2,2,0,0,0,2,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0, 
2,2,3,0,1,1,2,2,1,0,0,1,2,0,1,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0, 
0,0,0,2,2,1,1,0,1,0,0,0,0,0,0,0,1,0,0,2,0,0,1,0,0,0,2,0,0,0,0,0, 
1,2,2,0,2,2,3,0,0,0,0,0,1,0,0,0,2,0,0,2,0,0,0,0,0,0,2,0,0,0,1,0, 
0,0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,1,0,0,1,0,0,0,0,0,0,1,0,0,0,0,1, 
2,2,2,0,0,2,2,0,2,0,2,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,1,1,0,0,2,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0, 
2,2,2,1,2,1,2,2,0,0,2,2,2,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,1,2,1,1,1,0,2,0,0,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,2,0,0,0,0,0, 
0,0,0,2,1,0,0,0,0,2,1,0,0,1,1,0,0,1,0,0,0,1,0,0,1,0,0,0,0,0,0,1, 
0,2,2,0,2,0,2,1,1,2,1,0,0,0,0,1,1,2,2,1,1,1,1,1,1,1,1,0,2,1,0,0, 
0,0,1,1,2,0,2,2,1,1,2,2,0,2,2,1,0,1,2,0,1,1,2,2,1,1,0,1,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
2,0,0,0,0,0,0,1,0,0,0,0,0,2,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,1, 
0,1,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,0,2,0,0,0,0,0,2,0,0,1,0,1,1,0,0,0,2,0,1,0,0,0,0,0,0,0,0,1, 
0,1,2,0,1,0,0,1,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
2,2,2,0,1,2,2,0,1,0,1,0,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,1,1,0,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0, 
0,0,0,2,0,0,0,2,2,0,1,0,0,1,0,2,0,2,1,0,0,0,0,0,0,1,0,0,0,0,0,1, 
0,0,2,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0, 
};

Downloads

ua_langmodel.rar
learn_data.rar
2019.03.23

См. также


FB or mail alterX@alter.org.ua (remove X)   Share
Автор: Alter (Александр А. Телятников) Сервер: Apache+PHP под FBSD © 2002-2024