Счётчик символов и слов

Три числа из технического задания — вода, классическая и академическая тошнота — и три про читаемость. Считаются по открытым формулам, которые расписаны ниже: сойтись знак в знак с чужим сервисом они не обязаны, потому что у каждого свой словарь служебных слов.

• Вода — доля служебных слов: предлогов, союзов, частиц, местоимений и вводных. Считается по словарю из 280 слов, он же подсвечивается в поле как стоп-слова. До 40 % — обычный живой текст, 40—60 % — многовато, выше — воду надо сливать.
• Классическая тошнота — корень из числа повторов самого частого значимого слова. Служебные слова из счёта выкинуты намеренно: у Адвего самым частым словом почти всегда оказывается предлог, и число получается ни о чём. Поэтому наше значение бывает ниже — рядом написано, какое слово его дало.
• Академическая тошнота — доля повторов значимых слов от всего текста: сложены все вхождения слов, встретившихся больше одного раза. Норма 5—15 %: ниже — текст ни о чём конкретном, выше — переспам.
• Индекс Флеша — 206,835 минус 1,52 на среднюю длину предложения в словах минус 65,14 на среднее число слогов в слове. Коэффициенты русские, от Ирины Оборневой: у английского они другие, и английской формулой русский текст оценивать бессмысленно.
• Слоги считаются по гласным: в русском слове сколько гласных, столько и слогов. Для латиницы берутся группы гласных подряд — «house» это один слог, а не четыре.

Слова сведены по основе: «текста», «тексту» и «текстом» — это одно слово, а не три. Основу отрезает стеммер Портера, поэтому она бывает не похожа на словарную форму; в таблице показана самая частая форма из встреченных. Служебные слова в топ не идут — иначе первыми тридцатью строками стояли бы предлоги; они собраны отдельным списком под таблицей.

Какой абзац раздулся и где сидит предложение на сорок слов — видно строкой, а не вычиткой всего текста. Сортировка меняет порядок строк, номер абзаца остаётся прежним.

Как пользоваться

1. Вставьте текст в поле или бросьте на страницу файл .txt, .md, .docx или .odt. Все числа пересчитываются во время набора, нажимать ничего не нужно.

2. Выберите площадку, если пишете под лимит: заголовок страницы, пост в X, подпись в Telegram, объявление в Директе, SMS. Шкала покажет, сколько знаков в запасе, а для SMS — на сколько сегментов разъедется сообщение.

3. Поставьте цель по объёму, если работа сдаётся в знаках или словах. Полоса показывает, сколько уже набрано и сколько осталось; черновик и цель сохраняются в этом браузере и переживут закрытие вкладки.

4. Посмотрите воду и тошноту, если текст сдаётся заказчику: эти три числа обычно и стоят в техническом задании. Рядом с каждым написан ориентир и оценка словами.

5. Откройте частотность, чтобы увидеть, вокруг чего текст на самом деле крутится. Слова сведены по основе, отдельно показаны пары и тройки слов — по ним видно повторяющиеся обороты.

6. Включите подсветку, когда числа уже показали беду: длинные предложения, повторы и стоп-слова красятся прямо в поле, и место правки видно глазом.

7. Заберите результат: сводка в буфер, полный отчёт текстовым файлом, частотность и разбор по абзацам — в CSV для таблицы.

Формула и что в неё входит

• Знаки с пробелами — длина строки целиком: буквы, цифры, знаки препинания, пробелы и переносы строк.
• Знаки без пробелов — то же самое минус все пробелы, табуляции и переносы. По этой величине обычно считают объём в копирайтинге.
• Слово — непрерывная цепочка букв и цифр; дефис и апостроф внутри цепочки её не разрывают, поэтому «из-за» — одно слово, а не два.
• Предложение — кусок текста до точки, вопросительного или восклицательного знака, за которым идёт пробел или конец текста. Две поправки на сокращения: точка после одиночной прописной буквы — это инициал, и «А. С. Пушкин написал это.» считается одним предложением; точка, за которой идёт строчная буква или цифра, стоит внутри сокращения, поэтому «и т. д.» и «рис. 5» предложение не закрывают.
• Абзац — кусок текста между пустыми строками. Просто перенос строки абзац не заканчивает — он даёт новую строку.
• Основа слова — то, что остаётся от слова после отсечения окончания и суффикса стеммером Портера. Нужна, чтобы «текста» и «тексту» попали в одну строку частотности. Это не лемма из словаря: «стали» от «стать» и «сталь» дадут одну основу, и такие сшибки стеммер делает всегда.
• Служебное слово — предлог, союз, частица, местоимение или вводное слово из встроенного словаря на 280 записей. Из этих слов складывается вода, они же подсвечиваются в поле как стоп-слова.
• Страница А4 — 1800 знаков с пробелами — 14 кегль, полуторный интервал, поля по два сантиметра. Машинописная страница — 1860 знаков, тридцать строк по шестьдесят два знака. Авторский лист — 40 000 знаков с пробелами.
• Сегмент SMS — одно сообщение в сети оператора. Латиница едет в семибитном алфавите GSM-7: 160 знаков в одиночном сообщении и по 153 в составном. Кириллица в GSM-7 не помещается, поэтому сообщение уходит в UCS-2: 70 знаков в одиночном и по 67 в составном. Одна русская буква в тексте — и весь текст считается по 70.

Разбор примера: две короткие фразы

Исходные данные — те же, что стоят в полях по умолчанию: их можно пересчитать в уме и убедиться, что инструмент не врёт.

• Текст: Краткость — сестра таланта. Но лимит по знакам — не повод писать плохо.
• Скорость чтения 200 слов в минуту, скорость речи 125 слов в минуту

1. В тексте 13 кусков, разделённых пробелами, значит пробелов 12. Всего знаков с пробелами 71, без пробелов 71 − 12 = 59.

2. Слов 11: два длинных тире словами не считаются, они не буквы и не цифры. Все одиннадцать разные, поэтому уникальных тоже 11.

3. Точек в конце фраз две — значит и предложений два. Пустых строк нет, поэтому абзац один и строка одна.

4. Служебных слов три: «но», «по», «не». Вода = 3 ÷ 11 × 100 = 27,3 % — до сорока, то есть норма.

5. Ни одно значимое слово не повторилось: самое частое встретилось один раз, корень из единицы — единица, классическая тошнота 1,00. Повторов нет вовсе, значит академическая тошнота 0 %.

6. Слогов в тексте 20, слов 11, предложений 2. Флеш = 206,835 − 1,52 × (11 ÷ 2) − 65,14 × (20 ÷ 11) = 206,835 − 8,36 − 118,44 ≈ 80 — очень легко, уровень младших классов.

7. Время чтения: 11 ÷ 200 = 0,055 минуты, это 0,055 × 60 ≈ 3 секунды. Вслух те же 11 слов при 125 сл./мин — 5 секунд.

71 знак с пробелами, 59 без пробелов, 11 слов, 2 предложения. Вода 27,3 %, классическая тошнота 1,00, академическая 0 %, Флеш ≈ 80. Как описание страницы длина укладывается в 160 знаков с запасом; как заголовок — уже нет.

Частые вопросы

• Почему у разных счётчиков разное число слов?

  Потому что «слово» каждый определяет сам. Здесь слово — цепочка букв и цифр, а дефис и апостроф внутри её не разрывают: «из-за» считается одним словом, «5-7» — тоже одним. Если счётчик режет по пробелам, у него «из-за» тоже одно слово, но тире, окружённое пробелами, станет словом. Разница обычно в единицах процентов.

• Почему вода и тошнота не сходятся с Адвего и PR-CY?

  Формулы открытые, а словари — нет. Вода целиком зависит от того, какие слова считать служебными: у нас словарь на 280 записей, и он написан прямо в подсветке — видно, что именно попало в воду. Классическую тошноту мы считаем по самому частому значимому слову, а не по самому частому вообще: у Адвего им почти всегда оказывается предлог, и число выходит про предлог, а не про текст. Расхождение в пару процентов — это норма, разница в разы означает, что сервисы считают разные вещи.

• Текст и файл куда-то отправляются?

  Нет. Файл читается в браузере, .docx и .odt распаковываются тут же встроенным разжатием — своего сервера у страницы нет вовсе. Черновик и настройки лежат в хранилище браузера, на этом устройстве; кнопка «Очистить» стирает их вместе с полем. В ссылку на разбор текст попадает только если он короткий, и об этом написано прямо на кнопке.

• Насколько верно время чтения?

  Ровно настолько, насколько верна скорость, которую вы поставили. Формула простая: слова разделить на слова в минуту. Ни сложность текста, ни таблицы, ни картинки в ней не учитываются, поэтому это оценка порядка величины, а не измерение. Со временем речи то же самое: 125 слов в минуту — спокойный темп доклада, скороговоркой выходит вдвое быстрее.

• Что за основа слова в частотности?

  Отсечённое окончание, а не словарная форма. Стеммер Портера для русского языка режет окончания и часть суффиксов по правилам, без словаря: «текста», «тексту», «текстом» дают одну строку. Платит он за это сшибками — «стали» от глагола и «сталь» сойдутся в одну основу. Для оценки повторов этого хватает, для лингвистики — нет.

• Как считаются сегменты SMS?

  Сначала проверяется алфавит. Если в тексте только латиница, цифры и знаки из таблицы GSM-7, сообщение едет семибитным алфавитом: 160 знаков в одиночном, по 153 в составном. Хотя бы одна кириллическая буква — и всё сообщение уходит в UCS-2 по два байта на знак: 70 знаков в одиночном, по 67 в составном. Скобки, тильда и знак евро в GSM-7 занимают два места, это учтено.

• Считаются ли эмодзи и иероглифы?

  Как знаки — да, но осторожно: часть эмодзи состоит из нескольких единиц кодировки, и счётчик увидит там больше одного знака. Так же их посчитает и большинство форм, куда вы будете этот текст вставлять, поэтому расхождения с лимитом обычно не возникает. Словами эмодзи не считаются: слово — это буквы и цифры.

• Что считать абзацем?

  Здесь абзац — кусок между пустыми строками. Одиночный перенос строки даёт новую строку, но не новый абзац. Поэтому строк в тексте бывает больше, чем абзацев, и это нормально. В .docx и .odt каждый абзац документа приходит отдельным куском, так что разбор по абзацам совпадает с тем, что видно в редакторе.