Alter.Org.UA
 << Back Home EN en   Donate Donate

Статистическая (частотная) модель украинского языка (символы и их пары)

Искал, почему не детектится кодировка KOI8-U в Far2l. Обнаружил, что код распознавания, когда-то давно написанный, мигрирует из проекта в проект почти без изменений. Но модели украинского языка в нем не было и нет. (сейчас исходник библиотеки есть на github, cpp-libucd). Единственное упоминание о подобном исследовании Habr - Частотный анализ украинского языка за 2011й. Пришлось немного разобрать их код, написать генератор модели и натравить его на кучу украинского текста (в KOI8-U) немного разбавленного русским и аглийским (взял как было в источниках). Получилась таблца частот для данной кодировки и, что полезно, частотная модель встречающихся пар символов, от кодировки не зависящая.

Параллельно обнаружил, что модель RussianLangModel несколько кривая. В таблице больше данных, чем возможных пар часто встречающихся символов. Должно быть 64x64, а там еще лишних 32. И индексация частот начинается с 1, а не с 0, что фактически уменьшает количество возможных пар до 63x63, но при этом в позициях соответствующим нулевому индексу есть какие-то данные. Возможно, модель KOI8-R есть смысл пересчитать.

Character frequency table

0x0 0x00
0x01
0x02
0x03
0x04
0x05
0x06
0x07
0x08
0x09
0x0a
0x0b
0x0c
0x0d
0x0e
0x0f
0x10















0x20
!
"
#
$
%
&
'
43
(
)
*
+
,
-
.
/
0x30 0
1
2
3
4
5
6
7
8
9
:
;
<
=
>
?
0x40 @
A
95
B
112
C
104
D
101
E
96
F
108
G
118
H
126
I
83
J
139
K
127
L
106
M
111
N
92
O
103
0x50 P
90
Q
132
R
107
S
93
T
99
U
109
V
98
W
113
X
102
Y
122
Z
138
[
\
]
^
_
0x60 `
a
65
b
77
c
76
d
80
e
64
f
82
g
85
h
84
i
71
j
137
k
100
l
75
m
81
n
69
o
72
0x70 p
78
q
125
r
68
s
73
t
66
u
79
v
91
w
88
x
97
y
87
z
133
{
|
}
~

0x80















128
0x90





120






°
²
·
114
÷
0xa0
105


119
ё
134
є
30

110
і
5
ї
28

115

130

123

121

135
ґ
70

129

131
0xb0


Ё
Є
61

І
37
Ї
74





Ґ
89


116
0xc0 ю
26
а
1
б
18
ц
27
д
13
е
6
ф
46
г
20
х
23
и
2
й
22
к
11
л
10
м
14
н
3
о
0
0xd0 п
15
я
16
р
8
с
9
т
7
у
12
ж
24
в
4
ь
19
ы
59
з
17
ш
25
э
86
щ
29
ч
21
ъ
117
0xe0 Ю
63
А
35
Б
42
Ц
55
Д
41
Е
51
Ф
56
Г
47
Х
52
И
58
Й
60
К
38
Л
49
М
39
Н
36
О
40
0xf0 П
32
Я
45
Р
50
С
33
Т
34
У
48
Ж
62
В
31
Ь
67
Ы
124
З
44
Ш
57
Э
94
Щ
53
Ч
54
Ъ
136

Pair frequency table

  на
100
ро
72.5
ст
71.6
ли
69.9
ов
67.1
ти
65.6
не
64.9
ко
64.8
по
64.8
ва
63
го
61.8
ал
61.7
та
59
ра
57.4
ер
56.3
ві
56.3
  ла
54.5
ав
53.9
ог
53.4
ни
53.3
ом
51.9
но
50.7
ло
50.7
ви
50.4
ка
49.6
ні
49.1
то
48.9
во
47.6
за
47.5
ол
46.7
ан
46.2
ся
46
  пр
44.8
ки
44.3
ри
43.3
ен
42.9
ат
42.8
до
41.9
ор
41.7
ть
40.5
ос
40.5
ре
40.1
од
38.1
ис
36.4
ьк
36
ар
36
сь
35.8
ив
35.5
  ит
35.2
ід
35.1
об
33.8
ий
32.9
ас
32.4
ль
31
ів
30.6
мо
30.6
те
30.3
ам
30
ин
29.9
вс
29.7
он
29.5
ма
29.3
ак
28.9
да
28
  ми
27.8
ін
27.7
іл
27.4
им
27.3
ил
27.3
що
27.3
ди
27.2
ув
27.2
як
27.2
ті
26.9
ку
26.4
мі
26.2
чи
26.2
бу
25.7
тр
25.4
лі
24.9
  ля
24.1
ру
23.9
пе
23.9
ле
23.7
ну
23.3
му
22.7
их
21.8
оз
21.7
от
21.4
ад
21.2
ик
21.2
пі
20.9
ня
20.7
ул
20.5
же
20.1
ок
19.9
  ве
19.8
ту
19.5
па
19.2
га
19
ій
18.9
кі
18.8
ді
18.5
іс
18.5
ча
18.3
ці
18.3
ба
18.1
ою
18
ої
17.7
іт
17.4
ду
17.3
ме
17.3
  де
17.2
се
17
оч
16.9
ел
16.5
кр
16.3
сп
16.3
ай
16.3
зн
16.2
сі
16.1
бо
16.1
че
15.9
ут
15.8
дн
15.8
ши
15.6
хо
15.5
аз
15.5
  св
15.1
бі
15
би
14.9
ус
14.7
ес
14.6
са
14.5
ає
13.8
оп
13.8
сл
13.7
ск
13.4
ем
13.3
со
13.2
пи
13.2
лю
13.2
ап
13.1
ож
13
  ет
12.9
вн
12.6
ач
12.3
ич
12.2
йо
12
аг
11.9
ше
11.8
нь
11.6
бе
11.4
ах
11.2
уд
11
рн
10.9
ук
10.9
жи
10.9
ед
10.7
бр
10.7
  ьс
10.6
із
10.6
ьо
10.5
ха
10.4
це
10.4
рт
10.3
ев
10.1
ир
10
аж
9.8
чо
9.6
ць
9.6
ву
9.4
ид
9.3
ят
9.3
аю
9.3
сн
9.2
  еб
9.2
ік
9.2
ьн
9.2
бл
9.1
аб
9
ез
9
зв
9
лу
8.8
кл
8.8
су
8.8
нк
8.8
чн
8.6
ія
8.6
гр
8.4
др
8.4
чу
8.3
  ек
8.2
ум
8.1
іш
8
нт
7.9
тя
7.8
іч
7.7
пл
7.6
уж
7.5
ії
7.4
зу
7.3
еп
7.2
гл
7.2
ей
7.2
ще
7.1
гу
7.1
ір
7.1
 
7.1
аш
7.1
вл
7.1
уп
6.8
ря
6.8
жн
6.8
жа
6.7
Та
6.7
юч
6.7
чі
6.6
Со
6.6
иш
6.5
яв
6.4
ша
6.4
нс
6.3
вж
6.3
  вш
6.3
зи
6.2
уш
6.2
ох
6
зі
5.9
їх
5.8
зд
5.8
зо
5.8
По
5.7
тн
5.7
дв
5.7
ця
5.7
чк
5.7
єт
5.7
шо
5.7
йн
5.6
  ют
5.6
нц
5.6
еч
5.6
ух
5.6
ям
5.5
іх
5.5
ош
5.4
уч
5.3
тк
5.3
уб
5.3
На
5.2
дк
5.2
тт
5.1
іб
5.1
її
5.1
рк
5.1
  ке
5.1
рш
5
дл
5
пу
4.7
йс
4.7
ун
4.7
яд
4.7
нд
4.5
Не
4.4
ип
4.4
еж
4.3
ги
4.3
вд
4.3
Ко
4.3
зе
4.3
іг
4.3
  мн
4.2
жу
4.2
юд
4.2
ші
4.2
ец
4.2
уг
4.2
ял
4.1
гі
4.1
гн
4.1
вк
4.1
шк
4.1
хи
4
Ві
4
из
4
ге
3.9
шу
3.9
  шн
3.9
уз
3.9
оє
3.8
ує
3.8
іж
3.8
зм
3.8
вч
3.8
иб
3.8
За
3.7
кт
3.7
іє
3.7
Ів
3.7
ой
3.7
шл
3.6
Як
3.6
Пр
3.5
  яг
3.5
Що
3.5
хт
3.5
Ва
3.5
їн
3.5
аї
3.4
лк
3.4
рс
3.4
вт
3.4
дь
3.3
шт
3.3
нш
3.3
Кр
3.3
Во
3.3
ію
3.2
йш
3.2
  яч
3.2
Ма
3.1
йт
3.1
хн
3.1
жі
3.1
дж
3.1
То
3
вр
3
ху
3
ьш
3
кн
3
ях
3
в'
3
ща
3
Пе
2.9
зб
2.8
  мл
2.8
ню
2.8
рд
2.8
їм
2.7
Го
2.7
До
2.7
зк
2.7
юв
2.6
зл
2.6
їй
2.6
еї
2.6
Ен
2.6
цю
2.5
Бу
2.5
щи
2.5
яз
2.5
  єм
2.5
ци
2.5
дс
2.5
вп
2.5
Ви
2.4
ею
2.4
мп
2.4
хв
2.4
рм
2.4
зг
2.4
зь
2.4
юб
2.4
зп
2.3
кс
2.3
сц
2.3
тю
2.2
  дп
2.2
Ос
2.2
м'
2.2
пт
2.2
вг
2.2
йм
2.1
Бо
2.1
иж
2.1
Пі
2.1
Ал
2.1
Мо
2.1
кв
2.1
іо
2.1
жк
2.1
іа
2.1
Ан
2.1
  вз
2
зя
2
дч
2
жо
2
Ст
2
Ту
1.9
хл
1.9
рг
1.9
Ми
1.9
яс
1.9
Ве
1.9
жд
1.9
рб
1.9
тл
1.9
хі
1.9
йк
1.9
  фо
1.9
ех
1.8
яр
1.8
фі
1.8
Ба
1.8
ия
1.8
рц
1.8
еа
1.8
рл
1.7
ца
1.7
Си
1.7
лл
1.7
ищ
1.7
Ро
1.6
Мі
1.6
Це
1.6
  чч
1.6
Ні
1.6
нч
1.6
рх
1.5
п'
1.5
єї
1.5
дд
1.5
дт
1.5
Те
1.5
іц
1.4
єю
1.4
Ну
1.4
Ка
1.4
От
1.4
рж
1.4
рю
1.4
  Тр
1.4
сх
1.3
Ук
1.3
мк
1.3
ая
1.3
ео
1.3
їд
1.3
Га
1.3
вя
1.2
ау
1.2
Од
1.2
єш
1.2
Чи
1.2
Да
1.2
дз
1.2
Бі
1.2
  сю
1.2
хр
1.1
іщ
1.1
уй
1.1
Вс
1.1
Но
1.1
вв
1.1
Сп
1.1
пн
1.1
фе
1.1
Хо
1.1
аф
1
єв
1
Ме
1
юс
1
йб
1
  рч
1
їв
1
цт
1

1
Са
1

Most frequent uppercase pairs

  Та
100
Со
98.6
По
85.7
На
78.6
Не
66.9
Ко
64.4
Ві
60.2
За
55.9
Ів
55.3
Як
53.6
Пр
53.1
Що
52.5
Ва
52.2
Кр
50.2
Во
50.1
Ма
47.3
  То
46
Па
45.1
Пе
44.1
Го
41
До
40.9
Ен
38.8
Бу
38.4
Ви
36.6
Ос
33.1
Бо
32.5
Пі
32.1
Ал
32.1
Мо
31.9
Ан
31.3
Ст
30.1
Ту
29.6
  Ми
29.1
Ве
28.9
Ба
27.6
Си
26.1
Ро
24.8
Мі
24.7
Це
24.6
Ні
23.9
Те
22.3
Ну
21.6
Ка
21.5
От
21.3
Тр
20.8
Ук
20.1
Га
19.3
Од
18.7
  Чи
18.6
Да
18.5
Бі
18.2
Вс
17.2
Но
17.1
Сп
16.8
Хо
16.3
Ме
16
Са
15.1

Running

gcc -o freq freq.cpp 
freq learn_ua.txt test_ua.txt

C code

unsigned char KOI8U_CharToOrderMap[] =
{
255,255,255,255,255,255,255,255,255,255,254,255,255,254,255,255, //00
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255, //10
253,253,253,253,253,253,253, 43,253,253,253,253,253,253,253,253, //20
252,252,252,252,252,252,252,252,252,252,253,253,253,253,253,253, //30
253, 95,112,104,101, 96,108,118,126, 83,139,127,106,111, 92,103, //40
 90,132,107, 93, 99,109, 98,113,102,122,138,253,253,253,253,253, //50
253, 65, 77, 76, 80, 64, 82, 85, 84, 71,137,100, 75, 81, 69, 72, //60
 78,125, 68, 73, 66, 79, 91, 88, 97, 87,133,253,253,253,253,253, //70
253,253,253,253,253,253,253,253,253,253,253,253,253,253,253,128, //80
253,253,253,253,253,120,253,253,253,253,253,253,253,253,114,253, //90
105,253,119,134, 30,110,  5, 28,115,130,123,121,135, 70,129,131, //a0
253,253,253,253, 61,253, 37, 74,253,253,253,253,253, 89,253,116, //b0
 26,  1, 18, 27, 13,  6, 46, 20, 23,  2, 22, 11, 10, 14,  3,  0, //c0
 15, 16,  8,  9,  7, 12, 24,  4, 19, 59, 17, 25, 86, 29, 21,117, //d0
 63, 35, 42, 55, 41, 51, 56, 47, 52, 58, 60, 38, 49, 39, 36, 40, //e0
 32, 45, 50, 33, 34, 48, 62, 31, 67,124, 44, 57, 94, 53, 54,136, //f0
};

char UkrainianLangModel[] =
{
2,2,2,3,3,2,2,3,3,3,3,3,2,3,3,3,3,3,3,0,3,3,3,3,3,3,3,3,3,3,3,0, 
0,0,0,0,0,0,0,1,0,0,0,0,0,0,3,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
2,2,2,3,3,2,2,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,3,3,3,3,3,3,3,3,3,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
2,2,2,3,3,0,2,3,3,3,3,3,1,3,3,3,3,3,3,0,3,3,3,3,3,3,2,3,3,3,2,0, 
0,0,0,0,0,1,0,0,0,0,0,0,0,0,2,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,2,3,3,3,2,3,2,3,3,3,0,2,3,2,2,3,2,3,1,2,2,3,3,3,0,2,2,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,0,2,3,3,1,2,1,2,2,0, 
0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,1,3,3,1,1,3,3,3,3,3,2,3,3,3,3,3,3,1,3,3,3,3,3,3,3,3,3,3,3,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,2,3,3,2,2,3,3,3,3,3,2,3,3,3,3,3,3,0,3,3,3,3,3,3,3,3,3,2,2,0, 
1,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,3,3,3,3,3,2,3,3,3,2,2,2,3,1,2,3,0,2,0,2,2,2,3,2,1,0,2,0, 
0,1,0,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,3,3,2,3,2,3,3,2,3,3,3,3,3,1,2,1,0, 
0,0,0,0,0,0,0,0,0,0,0,2,0,0,2,0,0,1,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,3,3,3,3,2,3,3,3,3,0,3,3,3,0,1,3,1,2,0,3,0,2,3,3,0,0,1,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,2,0,3,3,2,1,2,3,3,3,2,2,1,3,0,0,3,2,2,1,0,2,1,3,2,0,0,2,0, 
1,0,0,0,0,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,3,3,3,3,3,3,3,2,3,2,2,2,0,2,2,0,1,2,0,1,2,2,0,2,1,2,1,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0, 
1,2,0,3,3,1,2,3,3,3,3,3,0,3,3,3,2,3,3,0,3,3,3,3,3,3,3,2,2,2,3,0, 
0,1,0,0,0,0,0,0,0,0,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,1,2,3,2,2,2,0,2,1,0, 
0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,2,3,3,2,2,2,3,3,3,2,2,3,2,1,2,0,2,2,0,2,0,2,1,2,0,1,1,0, 
0,0,0,0,0,0,0,0,0,0,0,3,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,0,3,3,3,3,2,3,3,3,0,0,2,2,0,1,2,0,2,0,2,0,2,1,2,0,1,1,0, 
0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
0,0,1,3,3,0,2,3,3,3,3,3,0,3,3,2,2,3,2,0,3,3,2,3,2,2,2,2,2,2,3,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,3,3,3,2,3,2,3,3,3,3,3,3,3,2,3,3,3,2,0,2,2,2,2,2,0,1,1,0, 
0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,3,3,3,2,3,3,2,3,2,3,2,3,2,2,2,2,2,2,1,2,2,0,2,1,2,2,2,0,2,1,0, 
0,0,0,0,0,1,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, 
3,0,1,3,2,1,2,2,0,3,1,3,0,2,3,2,2,2,3,0,2,2,2,2,1,3,2,2,2,2,2,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,2,3,3,2,3,2,3,2,3,2,2,0,0,1,0,1,1,1,0,0,0,2,0,0,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,2,3,3,2,1,1,2,3,3,0,2,0,2,0,1,1,1,3,0,2,0,2,2,2,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,1,0,3,2,1,1,3,2,3,2,3,2,3,3,2,1,2,3,0,2,2,0,2,2,3,0,2,1,2,2,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,3,3,2,3,3,2,3,2,3,0,2,1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,2,3,3,2,1,2,3,3,3,3,2,0,2,0,2,1,2,3,0,0,2,0,1,2,0,0,1,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,3,3,3,3,3,2,2,3,3,3,0,2,2,0,0,0,2,1,0,0,0,0,1,0,2,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,2,0,2,3,1,1,3,2,3,2,2,0,3,2,2,2,2,3,0,2,3,2,2,2,2,2,2,1,2,2,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
2,3,3,2,2,3,3,3,1,1,2,2,2,0,1,1,3,0,1,3,1,0,0,0,0,1,3,2,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0, 
0,0,0,3,3,1,0,2,1,2,2,2,0,3,3,0,0,2,0,0,0,2,3,3,2,2,0,1,3,1,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
3,3,3,1,0,2,3,0,0,0,0,1,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,2,3,0,0,3,2,2,2,2,0,2,3,2,1,2,0,1,2,2,2,1,1,3,3,2,3,1,1,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1, 
3,3,3,2,2,3,3,2,2,3,2,1,2,2,1,2,0,2,2,0,2,2,0,2,2,1,0,0,0,0,0,1, 
0,2,1,2,2,2,1,0,2,1,0,2,0,0,0,0,2,2,1,2,0,0,0,0,0,0,2,2,0,0,0,1, 
3,3,2,1,0,3,3,1,3,2,2,0,2,0,0,0,0,0,1,1,0,0,0,0,0,2,0,0,0,0,0,1, 
0,0,1,1,0,2,1,0,2,1,0,2,1,0,0,0,1,2,2,2,0,0,0,1,0,0,2,0,0,0,0,0, 
3,3,3,1,2,2,2,3,2,0,2,2,2,0,2,3,2,0,1,2,1,1,0,2,0,0,2,1,0,0,1,1, 
2,0,2,2,2,2,2,1,2,1,1,0,0,2,1,0,1,2,1,2,0,0,0,1,0,2,2,0,0,1,0,0, 
3,3,3,0,2,2,3,0,3,1,0,0,3,0,0,1,2,0,0,2,0,0,0,0,0,0,2,0,0,0,0,2, 
1,1,1,2,2,2,0,0,2,0,0,0,0,2,0,0,2,1,2,2,0,0,0,1,0,0,2,0,0,0,0,1, 
0,0,0,3,2,0,0,2,2,2,3,2,1,2,2,2,1,2,2,0,2,2,2,2,2,0,1,2,2,0,0,2, 
2,2,2,0,2,0,2,2,1,2,1,0,1,1,2,2,0,2,2,0,2,0,1,2,1,1,0,0,1,2,1,1, 
3,3,2,0,0,3,3,0,0,0,0,0,3,1,0,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,1,0, 
0,2,2,2,2,2,1,0,2,1,1,0,0,2,0,0,2,0,0,2,0,0,1,1,0,0,2,0,0,1,0,0, 
2,1,0,2,3,0,1,2,2,2,2,1,2,2,2,1,0,2,2,0,2,0,1,0,0,2,0,1,0,2,1,2, 
1,2,2,0,2,2,2,2,1,2,1,0,2,2,0,0,1,2,1,0,1,0,1,1,0,1,0,0,2,1,0,1, 
3,3,2,2,2,2,2,0,3,1,2,0,2,0,0,0,0,0,2,0,1,0,0,0,0,0,1,0,0,0,0,0, 
1,2,2,2,0,1,0,1,2,0,0,0,0,0,0,0,2,2,2,0,0,0,0,1,0,0,2,0,0,0,0,0, 
3,3,3,1,0,3,3,0,1,1,1,0,2,0,0,0,0,0,2,0,0,1,0,0,0,0,1,0,0,0,0,1, 
0,0,0,2,2,2,0,1,2,0,0,1,0,0,0,0,2,0,0,2,0,0,0,0,1,0,2,1,0,0,0,0, 
0,0,0,2,2,0,0,3,2,3,2,2,0,3,1,2,0,2,2,0,2,2,2,2,1,2,0,2,0,1,0,2, 
2,2,2,0,2,0,2,2,1,2,2,1,2,1,1,2,0,2,2,1,0,1,2,0,1,1,1,0,1,0,1,2, 
3,3,2,2,2,2,2,0,2,0,2,0,2,0,2,0,2,1,1,1,0,0,0,0,2,0,1,0,0,0,1,2, 
0,1,1,2,1,2,1,1,2,0,1,1,0,0,0,0,1,1,2,2,0,0,0,2,0,0,2,0,0,0,1,0, 
3,3,2,1,0,3,2,0,2,0,2,1,3,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0, 
1,1,1,2,1,1,0,0,2,0,1,1,0,0,0,0,2,2,1,1,0,0,0,0,0,0,2,1,0,0,0,0, 
1,1,1,0,0,1,1,1,0,0,0,1,0,0,0,0,3,1,0,0,1,1,0,0,0,0,2,0,2,0,3,1, 
0,0,0,1,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0, 
2,3,2,2,2,2,2,1,2,0,2,0,2,2,2,0,1,0,2,0,2,1,0,0,0,0,0,1,0,0,0,0, 
0,0,0,2,2,0,1,1,2,2,1,2,0,0,0,0,1,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,2,2,0,0,1,2,2,1,3,0,0,1,2,0,1,1,0,2,1,0,1,0,0,0,0,0,0,0,2, 
0,0,2,0,1,0,2,1,0,2,0,0,0,0,0,0,0,1,1,0,0,0,1,0,0,0,0,0,0,2,0,1, 
3,3,2,1,0,3,3,2,2,2,2,1,2,0,2,0,1,0,0,0,0,0,1,0,0,1,1,0,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0, 
3,3,2,1,2,2,2,0,2,0,2,0,2,0,1,0,0,0,2,0,0,0,0,0,0,0,1,1,0,0,0,0, 
0,0,0,2,1,0,0,0,2,0,0,0,0,0,0,1,0,1,2,2,0,0,0,0,0,0,2,0,0,0,0,0, 
1,1,0,1,2,0,0,2,2,2,2,3,0,2,2,2,2,2,2,0,1,2,0,2,2,1,0,0,0,0,1,1, 
1,2,1,1,1,0,1,1,0,0,1,0,0,0,1,2,0,1,2,1,1,0,1,0,0,1,0,0,0,2,0,1, 
2,3,2,0,0,2,2,0,0,0,0,0,2,0,0,0,2,0,0,2,0,0,0,0,0,0,2,0,0,0,1,0, 
0,0,0,2,0,2,0,0,2,0,0,0,0,2,0,0,2,1,0,2,0,0,0,0,0,0,2,0,0,0,0,2, 
3,2,2,0,0,2,2,0,0,0,0,0,2,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1, 
0,2,2,2,1,2,1,0,2,1,1,0,1,2,0,1,2,1,1,2,0,0,0,0,1,2,2,1,0,0,0,0, 
2,1,0,3,2,0,1,1,1,2,2,1,0,0,2,1,1,1,1,0,2,0,2,2,0,0,0,0,0,1,0,2, 
1,2,2,0,2,0,1,1,2,2,1,0,1,1,0,0,0,1,2,1,0,0,1,1,0,1,0,0,1,1,0,0, 
3,2,2,0,2,2,1,2,2,0,2,0,2,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1, 
0,0,1,2,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0, 
3,2,2,0,0,0,2,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0, 
2,2,3,0,1,1,2,2,1,0,0,1,2,0,1,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0, 
0,0,0,2,2,1,1,0,1,0,0,0,0,0,0,0,1,0,0,2,0,0,1,0,0,0,2,0,0,0,0,0, 
1,2,2,0,2,2,3,0,0,0,0,0,1,0,0,0,2,0,0,2,0,0,0,0,0,0,2,0,0,0,1,0, 
0,0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,1,0,0,1,0,0,0,0,0,0,1,0,0,0,0,1, 
2,2,2,0,0,2,2,0,2,0,2,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,1,1,0,0,2,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0, 
2,2,2,1,2,1,2,2,0,0,2,2,2,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,1,2,1,1,1,0,2,0,0,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,2,0,0,0,0,0, 
0,0,0,2,1,0,0,0,0,2,1,0,0,1,1,0,0,1,0,0,0,1,0,0,1,0,0,0,0,0,0,1, 
0,2,2,0,2,0,2,1,1,2,1,0,0,0,0,1,1,2,2,1,1,1,1,1,1,1,1,0,2,1,0,0, 
0,0,1,1,2,0,2,2,1,1,2,2,0,2,2,1,0,1,2,0,1,1,2,2,1,1,0,1,0,0,0,0, 
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
2,0,0,0,0,0,0,1,0,0,0,0,0,2,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,1, 
0,1,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,0,2,0,0,0,0,0,2,0,0,1,0,1,1,0,0,0,2,0,1,0,0,0,0,0,0,0,0,1, 
0,1,2,0,1,0,0,1,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
2,2,2,0,1,2,2,0,1,0,1,0,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
0,0,0,1,1,0,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0, 
0,0,0,2,0,0,0,2,2,0,1,0,0,1,0,2,0,2,1,0,0,0,0,0,0,1,0,0,0,0,0,1, 
0,0,2,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0, 
};

Downloads

ua_langmodel.rar
learn_data.rar
2019.03.23

См. также


FB or mail alterX@alter.org.ua (remove X)   Share
Автор: Alter (Александр А. Телятников) Сервер: Apache+PHP под FBSD © 2002-2024