Предложенная методика, сообщает CNET News, основана на тщательном анализе аудиозаписи работы пользователя. Если человек набирает текст со скоростью до 300 символов в минуту, между отдельными ударами по клавишам, каждая из которых издает характерный только для нее щелчок, остается достаточно времени, чтобы машина могла распознать отдельные звуки.

В ходе экспериментов исследователи Дмитрий Азонов и Ракеш Агравал обрабатывали аудиофайлы длительностью порядка десяти минут с применением специализированного программного обеспечения, использующего принципы вероятностных вычислений. Компьютер анализирует отдельные звуки и делает предположение относительно того, какой символ был введен. При этом могут использоваться специальные наборы правил, уменьшающие количество ошибок. Например, за буквами “ч” и “т” с большей вероятностью последует буква “о”, нежели “ы”.

Первичная обработка аудиозаписи позволяет восстановить до 60 процентов отдельных символов и 20 процентов слов. Затем выполняется проверка орфографии и грамматики, что повышает точность распознавания букв и слов до 70 процентов и 50 процентов, соответственно. Далее вся процедура повторяется заново. В результате после нескольких циклов анализа записи ученым удалось правильно распознать 88 процентов слов и 96 процентов символов.

Исследователи отмечают, что технология работает даже в том случае, если аудиозапись сопровождается фоновыми шумами, например, музыкой или если пользователь набирает текст на “мягкой” и практически бесшумной клавиатуре. Более того, во время экспериментов ученые применяли обычные микрофоны стоимостью в 10 долларов США.

Пока, впрочем, методика нуждается в доработках. Не совсем ясно, как интерпретировать нажатия клавиш, вроде Shift, Control, Delete или Insert. К тому же задачу усложняют перемещения мыши.