Википедия:Частотный словник

Материал из Википедии — свободной энциклопедии

Ссылка: ВП:ЧС

Актуальность
Данные приведены по состоянию на 23 октября 2006 года.

Вторая редакция (включены предлоги, имена собственные, исправлены ошибки).

Содержание

1 Методика
2 Результаты
3 Таблицы
4 Закон Ципфа
5 Интересные наблюдения
6 См. также

[править] Методика

С сайта http://download.wikipedia.org был скачан образ русскоязычного раздела Википедии в формате XML (ruwiki-20061023-pages-meta-current.xml), содержащий последние версии всех страниц.
С помощью удобного Perl-модуля Parse::MediaWikiDump из массива всех страниц были выделены исходные тексты статей (страницы из основного пространства имён) и обсуждений (страницы из пространств имён «Обсуждение», «Обсуждение участника», «Обсуждение Википедии», а также страницы, содержащие в названии «Википедия:Форум», «Википедия:К удалению», «Википедия:Вниманию участников», «Википедия:Опросы», «Википедия:Обсуждения»). Эти тексты были сохранены в двух больших файлах, их размеры составили: 135 и 48 МБ (в кодировке UTF-8)
Из текстов были удалены: изображения, перенаправления, категории, интервики-ссылки, шаблоны, таблицы, комментарии, теги, многие небуквенные символы (кавычки, тире). Ссылки были заменены на свои заголовки ([[название страницы|заголовок ссылки]]).
С сайта http://aot.ru был скачан и установлен морфологический анализатор и словари для него (LGPL версия под Linux).
Из-за особенностей работы морфологического анализатора, тексты были дополнительно обработаны: символы подчёркивания были заменены на пробелы, убраны пустые строки; файлы были разбиты на множество маленьких, по 500 строк.
Был произведён морфологический анализ текстов (то есть фраза «мама мыла раму» была преобразована в «мама мыть рама»), лексемы были записаны в файлы. Среди слов затесались также и отдельные буквы, например, «н» (вероятно, от «год до н. э.»), «т» (вероятно от «т. к.») и другие (например, инициалы).
- Анализатор допускает заметное число ошибок, например предлог «при» он посчитал за повелительное наклонение от глагола «переть», в итоге последннее оказалось аж на 26 месте. (я это исправил в списке на этой странице, но не в файлах с общим списком)
- Анализатор не справился с обсценной лексикой: таким образом, отметку в 100 словоупотреблений у нас преодолел глагол «ховать».
- Глокая куздра превратилась в «глокий куздр».
Рассчитан частотный словник.

[править] Результаты

Было выявлено (вторая редакция):

в статьях
- всего 22,5 млн слов
- 650 тыс. лексем
- 89 тыс. лексем встречаются 10 раз и более раз
- 17 тыс. лексем встречаются 100 раз и более раз.
в обсуждениях
- всего 4 млн слов
- 135 тыс. лексем
- 18,5 тыс. лексем встречаются 10 раз и более раз
- 3,5 тыс. лексем встречаются 100 раз и более раз.

[править] Таблицы

Полный частотный словник можно скачать здесь (надо бы перенести куда-нибудь в более постоянное место).

250 наиболее популярных слов (вторая редакция)

Ранг	Слово в статье	Частота	Ранг	Слово в обсужд.	Частота
1	В	907330	1	В	126580
2	И	672533	2	И	117180
3	НА	281237	3	НЕ	102234
4	С	239353	4	ЭТОТ	67911
5	БЫТЬ	139721	5	ЧТО	58993
6	ПО	128939	6	НА	55849
7	ЭТОТ	124553	7	Я	45429
8	ГОД	124478	8	А	42498
9	НЕ	117176	9	С	36144
10	ИЗ	105350	10	БЫТЬ	33970
11	К	101112	11	СТАТЬЯ	33937
12	КОТОРЫЙ	92754	12	КАК	28624
13	ДЛЯ	91126	13	ПО	27956
14	ОН	88710	14	НО	21871
15	А	86882	15	ВЫ	21801
16	ЧТО	80812	16	К	20831
17	ОТ	80353	17	ЕСЛИ	20599
18	КАК	77090	18	О	20353
19	ЕГО	74397	19	ВЕСЬ	19843
20	ТАКЖЕ	73641	20	ТО	19792
21	ОНИ	66690	21	СТАТЬ	18613
22	ДО	59253	22	ОНИ	18513
23	Г	58687	23	ТАК	17900
24	ИЛИ	58012	24	МОЧЬ	17600
25	О	56212	25	ДЛЯ	17020
26	ПРИ	55060	26	ИЗ	16540
27	ЗА	50361	27	ИЛИ	16289
28	ОДИН	50218	28	ОН	15326
29	ДРУГОЙ	47641	29	ЕСТЬ	15007
30	ГОРОД	44643	30	КОТОРЫЙ	14754
31	НОВЫЙ	43794	31	ТАКОЙ	14302
32	ПЕРВЫЙ	43784	32	ЖЕ	14123
33	НО	43170	33	БЫ	14096
34	СВОЙ	42232	34	У	13702
35	ВРЕМЯ	42047	35	ТОТ	12862
36	СМ	41945	36	ТОЛЬКО	11964
37	ССЫЛКА	40959	37	ЗА	11898
38	ВЕСЬ	39855	38	МОЖНО	11747
39	ЧЕЛОВЕК	37573	39	ВИКИПЕДИЯ	11741
40	ПОСЛЕ	36085	40	ОДИН	10804
41	МОЧЬ	34518	41	ЕГО	10495
42	У	34167	42	ОТ	10363
43	М	33700	43	ЕЩЕ	10202
44	NGC	33633	44	НЕТ	10105
45	ТОТ	33422	45	МЫ	9927
46	ЯВЛЯТЬСЯ	32929	46	ССЫЛКА	9882
47	ВО	32834	47	ДРУГОЙ	9844
48	СТАТЬ	31763	48	БЫЛО	8837
49	ФИЛЬМ	30362	49	СЛОВО	8819
50	ТАК	30324	50	УЧАСТНИК	8595
51	ОБЩИЙ	29695	51	НАДО	8537
52	РОССИЯ	29605	52	УЖЕ	8524
53	БЫЛО	29434	53	ЧЕЛОВЕК	8491
54	ИМЕТЬ	29181	54	САМ	8285
55	РАЙОН	29143	55	ПРОСТОЙ	7952
56	ЖЕ	29069	56	НАПИСАТЬ	7919
57	НАЗВАНИЕ	28423	57	ДО	7713
58	ОБЛАСТЬ	28315	58	НУЖНЫЙ	7547
59	МЕСТО	28123	59	УДАЛИТЬ	7519
60	ЧИСЛО	27824	60	ПРО	7455
61	the	27769	61	Т	7432
62	ТО	27714	62	ИМЕТЬ	7321
63	ИСТОРИЯ	27680	63	ВОТ	7197
64	ТАКОЙ	27081	64	ВОПРОС	6915
65	of	27025	65	ЧЕМ	6897
66	СИСТЕМА	26934	66	ДОЛЖЕН	6787
67	ЯЗЫК	26722	67	СВОЙ	6778
68	ЕЕ	25956	68	ТАМ	6685
69	ДВА	25604	69	ХОРОШИЙ	6607
70	БОЛЕЕ	25320	70	СДЕЛАТЬ	6565
71	ПОД	25229	71	СТРАНИЦА	6521
72	ТОЛЬКО	24032	72	БОЛЕЕ	6520
73	ГРУППА	23556	73	ЕЕ	6366
74	Н	23423	74	ЛИ	6287
75	СЕБЯ	23401	75	ДА	6273
76	ОНА	23122	76	ЧТОБЫ	6258
77	НАСЕЛЕНИЕ	22692	77	ПРИ	6222
78	ВОЙНА	22411	78	НАЗВАНИЕ	6168
79	БОЛЬШОЙ	22041	79	ЯЗЫК	6081
80	ВИД	21478	80	ПИСАТЬ	6040
81	РАБОТА	21108	81	ГОД	6038
82	СТРАНА	20419	82	ОНА	5971
83	ЖИЗНЬ	20095	83	КТО	5944
84	ИЗВЕСТНЫЙ	19446	84	ТЕКСТ	5910
85	ВЕЛИЧИНА	19443	85	ТОГО	5891
86	The	19267	86	ОСТАВИТЬ	5888
87	ТИП	19121	87	ОЧЕНЬ	5850
88	Т	19089	88	ЯВЛЯТЬСЯ	5645
89	ошибка рег. выр.	18981	89	РАЗ	5638
90	НЕКОТОРЫЙ	18755	90	НАПРИМЕР	5505
91	ПОЛУЧИТЬ	18665	91	МОЙ	5491
92	МЕЖДУ	18480	92	ДАЖЕ	5427
93	НЕСКОЛЬКО	18452	93	the	5422
94	АЛЕКСАНДР	18390	94	ВООБЩЕ	5421
95	СВОЕ	18340	95	ОБСУЖДЕНИЕ	5398
96	СО	18264	96	КАКОЙ	5381
97	ОДНАКО	18191	97	СЛУЧАЙ	5370
98	САМ	18152	98	ВАШ	5366
99	РОССИЙСКИЙ	18094	99	ТОЖЕ	5349
100	РУССКИЙ	17999	100	СЧИТАТЬ	5349
101	СПИСОК	17990	101	ЗНАТЬ	5330
102	ДЕНЬ	17904	102	ИНФОРМАЦИЯ	5271
103	ОБОЗНАЧЕНИЕ	17811	103	МЕНЬ	5208
104	ГДЕ	17748	104	ДАННЫЙ	5198
105	САЙТ	17739	105	СЕБЯ	5188
106	СОСТАВ	17628	106	КАТЕГОРИЯ	5185
107	МИР	17627	107	ПРАВИЛО	5102
108	ЗВЕЗДНЫЙ	17576	108	БОЛЬШОЙ	5099
109	КАТАЛОГ	17529	109	НИ	5047
110	ИМЯ	17302	110	ГОВОРИТЬ	5011
111	ВЕКО	17237	111	ЗДЕСЬ	4859
112	НАЧАЛО	17130	112	РУССКИЙ	4801
113	ТОГО	16612	113	ХОТЯ	4755
114	КОГДА	16391	114	ОБ	4704
115	ГОСУДАРСТВЕННЫЙ	16378	115	ДУМАТЬ	4686
116	Д	16344	116	ИСТОЧНИК	4600
117	and	16166	117	ИМЕННО	4560
118	ЧАСТЬ	16059	118	СПИСОК	4452
119	САМЫЙ	15944	119	ВРЕМЯ	4441
120	ВЫСОКИЙ	15811	120	ШАБЛОН	4424
121	ЦЕНТР	15810	121	ВИД	4400
122	ОСНОВНЫЙ	15730	122	НУ	4309
123	ЕЩЕ	15426	123	АВТОР	4262
124	НАХОДИТЬСЯ	15415	124	ПРЕДЛАГАТЬ	4227
125	КОНЕЦ	15326	125	ВСЕ	4223
126	РЕБЕНОК	15299	126	ГДЕ	4191
127	ПОСЛЕДНИЙ	15114	127	НОВЫЙ	4185
128	ВСЕ	15068	128	АНГЛИЙСКИЙ	4148
129	КНИГА	14995	129	ТЕМ	4142
130	ЕСЛИ	14991	130	ТАКЖЕ	4119
131	БОЛЬШИЙ	14833	131	ТЫ	4094
132	СОВЕТСКИЙ	14762	132	КОГДА	4088
133	ЕСТЬ	14721	133	ВИДЕТЬ	4069
134	ГЛАВНЫЙ	14720	134	УДАЛЕНИЕ	4055
135	МОСКВА	14687	135	ПЕРВЫЙ	4054
136	СССР	14474	136	ПОЧЕМУ	4031
137	ВХОДИТЬ	14464	137	СКАЗАТЬ	4030
138	РЕКА	14440	138	ТУТ	4016
139	ИГРА	14427	139	ПОКА	3940
140	ЗЕМЛЯ	14394	140	РАЗДЕЛ	3922
141	ИЗОБРАЖЕНИЕ	14358	141	СО	3918
142	I	14268	142	ДЕЛО	3902
143	СЛОВО	14232	143	САЙТ	3891
144	ОБРАЗ	14148	144	БЕЗ	3883
145	КМ	14068	145	НИЧТО	3871
146	ВТОРОЙ	14004	146	ДЕЛАТЬ	3811
147	ЧЕРЕЗ	13938	147	ПРАВКА	3768
148	МОЖНО	13893	148	ТЕРМИН	3733
149	ФОРМА	13802	149	КСТАТИ	3707
150	Э	13800	150	КАЗАТЬСЯ	3689
151	УНИВЕРСИТЕТ	13776	151	ХОТЕТЬ	3677
152	ТЕРРИТОРИЯ	13701	152	ПОЭТОМУ	3630
153	ОКОЛО	13661	153	ВО	3608
154	МНОГИЕ	13371	154	ТОГДА	3608
155	П	13292	155	ТЕМА	3575
156	in	13251	156	МНЕНИЕ	3574
157	СТОРОНА	13238	157	ИТОГ	3573
158	РАЗМЕР	13102	158	ПОД	3571
159	ЧТОБЫ	13081	159	ПРОТИВ	3571
160	РОДИТЬСЯ	13059	160	СЕЙЧАС	3566
161	УЖЕ	12910	161	СУЩЕСТВОВАТЬ	3544
162	PGC	12895	162	МЕСТО	3541
163	НАПРИМЕР	12884	163	ЛЮБОЙ	3532
164	a	12798	164	ИСТОРИЯ	3523
165	СУЩЕСТВОВАТЬ	12692	165	ДАВАТЬ	3471
166	КАЖДЫЙ	12687	166	ИМЯ	3431
167	ИСПОЛЬЗОВАТЬ	12687	167	ФАКТ	3404
168	ВСЕГО	12680	168	ДВА	3402
169	США	12669	169	of	3390
170	ДАННЫЙ	12613	170	ПОСЛЕ	3378
171	СЮЖЕТ	12595	171	ПРАВО	3325
172	ШКОЛА	12515	172	СМЫСЛ	3320
173	ВИДЕТЬ	12506	173	ОТДЕЛЬНЫЙ	3286
174	ИСПОЛЬЗОВАТЬСЯ	12462	174	НЕКОТОРЫЙ	3225
175	ОБЪЕКТ	12450	175	ИСПОЛЬЗОВАТЬ	3178
176	ЭПОХА	12404	176	СМ	3159
177	РОЛЬ	12391	177	КОНЕЧНЫЙ	3148
178	ОФИЦИАЛЬНЫЙ	12371	178	ГОЛОСОВАНИЕ	3123
179	РАЗВИТИЕ	12340	179	СЛЕДОВАТЬ	3093
180	ХОРОШИЙ	12335	180	ДОБАВИТЬ	3077
181	II	12222	181	РОССИЯ	3073
182	КРУПНЫЙ	12157	182	СТОРОНА	3071
183	РОД	12126	183	ПОТОМУ	3068
184	ЛИТЕРАТУРА	12113	184	НИКАКОЙ	3050
185	РЕЗУЛЬТАТ	12098	185	НЕСКОЛЬКО	3031
186	ПОЛОЖЕНИЕ	11978	186	СОГЛАСНЫЙ	3030
187	Р	11968	187	ИЗВЕСТНЫЙ	3016
188	НАУКА	11939	188	НИКТО	3002
189	АВТОР	11915	189	СТОЯТЬ	2981
190	РАБОТАТЬ	11895	190	ПОНИМАТЬ	2978
191	ДОЛЖЕН	11882	191	НАЙТИ	2966
192	ЦЕРКОВЬ	11796	192	КАКОЙ-ТО	2954
193	ОСТРОВ	11753	193	НАШ	2934
194	ВЛАСТЬ	11751	194	ОТНОШЕНИЕ	2923
195	СЫН	11711	195	КАЖДЫЙ	2919
196	НИКОЛАЙ	11662	196	ОБЩИЙ	2912
197	ДЕЙСТВИЕ	11625	197	ПРИВЕСТИ	2863
198	ГОСУДАРСТВО	11586	198	ТОЧКА	2840
199	ИВАН	11535	199	ЭНЦИКЛОПЕДИЯ	2839
200	ТЕМ	11520	200	ПРОЕКТ	2824
201	ВРЕМЕНИТЬ	11500	201	ПРОБЛЕМА	2821
202	РАСПОЛОЖИТЬ	11466	202	КРОМЕ	2809
203	НАЗЫВАТЬ	11455	203	УЖ	2808
204	СОВРЕМЕННЫЙ	11440	204	ЧТО-ТО	2797
205	РАЗЛИЧНЫЙ	11293	205	МНОГО	2776
206	ЧЕМ	11291	206	ВСЕГО	2773
207	ДАТА	11285	207	РУССКАЯ	2763
208	Я	11282	208	ПРАВИЛЬНЫЙ	2759
209	MCG	11166	209	МАЛО	2748
210	ВОЕННЫЙ	11157	210	РАБОТА	2719
211	ПЕРИОД	11146	211	САМЫЙ	2717
212	КОРОЛЬ	11109	212	ЧИСЛО	2693
213	ЗНАЧЕНИЕ	11103	213	to	2655
214	ЧЛЕН	11097	214	ИДТИ	2649
215	ОТКРЫТИЕ	11014	215	ВЕРСИЯ	2582
216	КОМПАНИЯ	10897	216	ДЕЙСТВИТЕЛЬНО	2573
217	СЛУЧАЙ	10832	217	ПОНЯТЬ	2570
218	ОЧЕНЬ	10692	218	СВОЕ	2570
219	МОСКОВСКИЙ	10678	219	РАЗНЫЙ	2570
220	ПАРТИЯ	10674	220	ПОНЯТИЕ	2564
221	РУССКАЯ	10672	221	ВИКА	2531
222	ИНСТИТУТ	10616	222	ГОРОД	2489
223	НАЦИОНАЛЬНЫЙ	10553	223	ВПОЛНЕ	2480
224	СОЗВЕЗДИЕ	10509	224	АДМИНИСТРАТОР	2474
225	СОЗДАТЬ	10473	225	МАТЕРИАЛ	2423
226	ПРОТИВ	10461	226	Е	2416
227	ВЛАДИМИР	10451	227	СОЗДАТЬ	2390
228	БЕЗ	10415	228	ПРАВИТЬ	2377
229	ТЫС	10305	229	and	2362
230	ПУТЬ	10297	230	ОПРЕДЕЛЕНИЕ	2358
231	КАЧЕСТВО	10255	231	ВОЗМОЖНО	2354
232	ПРЯМОЙ	10197	232	ПОВОД	2349
233	ЧАСТИТЬ	10187	233	РЕШЕНИЕ	2338
234	ОТНОШЕНИЕ	10180	234	ВАРИАНТА	2333
235	СОСТАВЛЯТЬ	10166	235	Д	2317
236	СВЯЗЬ	10165	236	ЗРЕНИЕ	2315
237	АРМИЯ	10163	237	ВЕДЬ	2311
238	ЗАТЕМ	10147	238	a	2308
239	ФАКТ	10137	239	УБРАТЬ	2278
240	ПОЗДНИЙ	10108	240	ТЕПЕРЬ	2269
241	ДРУГ	10014	241	П	2262
242	НАД	9947	242	ЛИШЬ	2243
243	СТАНЦИЯ	9931	243	ЗНАЧИТЬ	2227
244	СМЕРТЬ	9919	244	ДАТЬ	2222
245	ПРОЦЕСС	9894	245	НАЗЫВАТЬ	2220
246	ОРИГИНАЛЬНЫЙ	9886	246	ДОСТАТОЧНО	2212
247	ОБЩЕСТВО	9860	247	КНИГА	2189
248	НАИБОЛЕЕ	9853	248	Г	2182
249	РЯД	9848	249	ПЕРЕВОД	2166
250	ДЕЯТЕЛЬНОСТЬ	9828	250	ОДНАКО	2165

[править] Закон Ципфа

Проверяем Закон Ципфа: «частота n-го слова в частотном словнике обратно пропорциональна его порядковому номеру».

График для частот слов из статей с рангами от 3 до 170.

[править] Интересные наблюдения

Смело пополняйте список!

«ВЫ» встречается в обсуждениях 21 801 раз, «ТЫ» — 4094 раз.
Просматривая список с конца, можно искать среди редких слов слова с опечатками, затем находить их в статьях и исправлять.
В статьях удивительно много «фильмов» (49 место). Ещё больше заготовок о космических объектах — «NGC», 44 место.
Слово «Удалить» в обсуждениях (59-е место) встречается чаще, чем «Оставить» (86-е) (эти слова часто встречаются в обсуждениях на ВП:КУ).
Чаще других в статьях встречается имя Александр (94 место), затем идут имена Николай (196 место), Иван (199 место) и Владимир (227 место).