2020 plans

Описание

Приложение (предварительное условное название "Курс грамотности по Брайлю") - программа для обучения чтению шрифтом Брайля и набору на виртуальной клавиатуре. Планируется, в отличие от большинства приложений для Android (например, BrailleTutor),

1. Совместить повторение шрифта Брайля с практикой работы на виртуальной брайлевской клавиатуре (в вышеупомянутом BrailleTutor и многих похожих символы вводятся одним пальцем так же, как пишутся - в два ряда по три точки, а "нормальный" способ ввода, как Braille Screen Input в IOS - ввод всеми пальцами, руки лежат как на фортепиано). Это может быть как плюс (сразу учится ввод на нормальной клавиатуре) так и минус (зато учатся только номера точек в буквах, а тактильной памяти для чтения брайлевских надписей не возникает).
2. Кроме простого повторения символов предоставить полноценный пошаговый курс для самостоятельного обучения
3. При наличии у незрячего плиток Брайля дать ему возможность кроме изучения номеров точек сформировать и тактильную память (для этого нужно распознавание плиток).

Для этого изначально планируется сделать один режим обучения - повторение букв (примерный порядок работы: незрячему говорится буква, он её вводит; ввёл несколько раз неправильно - получает подсказку, может пропустить задание и перейти к другому). Затем добавить пошаговые уроки по системе Голубиной (как курсы на Степике): сначала - обучение шеститочию, потом буквы, слова, знаки препинания... Затем, если будет готово распознавание плиток, добавить возможность ввода ответа не с помощью экранной брайлевской клавиатуры, а с помощью сканирования плиток, т. е. незрячий выкладывает ответ символами из плиток, подносит камеру смартфона и алгоритм определяет, верно ли введено.

Программа-минимум

Ввод букв - с клавиатуры. Для начала, пожалуй, будем использовать Advanced Braille Keyboard из Google Play (платную, но всего 500 Р)

Озвучка - TalkBack: сейчас поставляется "в коробке" со всеми устройствами, используется большинством незрячих

• приветствие
• меню
  • практика
  • настройки
    • инвертировать цвета меню
      • чёрное на белом
      • белое на чёрном
    • информационные сообщения
      • вкл
      • выкл
  • выход

Приветствие

Приветствуем Вас в программе обучения набору символов Брайля. Для работы Вам необходимо купить в Google Play клавиатуру Advanced Braille Keyboard и настроить ввод с её помощью. Если Вы это уже сделали, переходите прямо в раздел "Практика". Не забудьте приостановить TalkBack при наборе на виртуальной брайлевской клавиатуре.

Практика

При запуске:

Для Вас будут озвучены отдельные буквы. Нужно будет ввести услышанное на виртуальной брайлевской клавиатуре. Неправильно введённую букву надо ввести заново, а просле трёх неудачных попыток ввода буквы программа подскажет, какими номерами точек она обозначается, и вам будет предложен выбор: пройти упражнение заново либо пропустить и перейти к следующему.
Для продолжения нажмите на экран. Для выхода в главное меню приложения в любой момент проведите по экрану снизу вверх. Если Вы не хотите прослушивать это сообщение, выключите "информационные сообщения" в разделе "настройки".

Этот режим должен быть похож на режим Practice в приложении BrailleTutor. Наверное, надо, чтобы символы, в которых незрячий ошибается чаще, появлялись чаще.

Выход

Как в навигаторе для незрячих GetThere: Вы точно хотите выйти? тап в верхней половине экрана - да, в нижней - нет (визуально верхняя покрашена в зелёный, нижняя в красный)

Что потом

Идеи - как от нас, так и предложенные незрячими (aka Product Backlog)

1. В режим "Практика" кроме букв добавить слова.
2. Сделать режим "обучающий курс" (в меню - пункт "продолжить курс: урок ..., шаг ...")
   • Знакомство с шеститочием
     1. Номера точек
     2. Повторение номеров
   • Изучение алфавита
     1. Буквы А, М, У
     2. Буквы К, Л
     3. <И так далее. Здесь буквы в порядке курса Рагушина, надо в порядке курса Голубиной. У Валеры есть методичка>
   • Изучение цифр
   • Изучение знаков препинания
   • Составление предложений
3. Добавить в меню пункт "обучающий курс: перейти в другое место"
4. Когда будет готов пошаговый курс, сделать кроме "практики" режим "практика - повторение только изученных символов"
5. В настройках добавить возможность включить внутри приложения:
   • переход между пунктами по нажатию клавиш громкости (можно ли так? Можно ли так с TalkBack? Можно ли так, когда TalkBack приостановлен (suspended)?)
   • выбор - нажатие кнопки питания (аналогичные вопросы)
6. Добавить ввод с помощью плиток Брайля (наверное, не как отдельную особую клавиатуру, а как нечто внутреннее, как в определителе купюр)(можно ли "на лету" переключать?)
   • "Распознавалок" сейчас много, например, "Определитель купюр". Незрячие сказали, что в "Определителе купюр" им нравится, что, когда камера ищет объект, раздаются щелчки (когда объект найден, прекращаются и произносится уже что-то сообразное с результатом распознавания).
   • Замечание слабовидящего специалиста Алексея: Как будем читать длинное слово/предложение, не помещающееся целиком перед камерой? Пример хорошей реализации: Nvision AI – есть режим непрерывного чтения (платная программа, требует подключения к Интернету)
7. Добавить выбор в меню с помощью голосового распознавания Google (хотя бы там, где только да/нет) (опять же, как в навигаторе для незрячих GetThere)
8. Добавить в меню пункт "просмотреть прогресс по курсу и статистику упражнений"
9. Добавить синхронизацию прогресса с Google Play

Примерный план на первые пять спринтов

0. Все читаем Scrum Guide, определяемся с планом коммуникаций (предложение от Андрея: ориентир - карточки выдаются в понедельник, к пятнице нужно их сделать, после этого стенд-ап, а за выходные можно что-то подправить). Используем ли ZenHub вместо Trello?
   • По желанию: провести небольшое аналитическое исследование: сколько сейчас в мире/России/СПб незрячих, много ли программ для обучения Брайлю для Windows/Linux/Android/IOS, много ли людей ими пользуются?
1. сделать меню (практика, настройки) и произнесение вслух + ввод букв в практике (т. е. программа-минимум, но без "выхода", без приветствий). Т. о. надо
   • меню: «практика», «карточки с QR-кодами», «выход»
   • озвучивание задания (буква) и ввод, аналогичный BrailleTutor, в разделе "практика"
   • сканирование и вывод распознанного кода в разделе «карточки»
2. (В результате этого спринта хотелось бы получить маленькое, но работающее приложение)
   • написать тесты к тому, что сделано в первую неделю (юнит (если их ещё нет) и интеграционные)
   • сделать информационные сообщения (приветствие и т. п)
   • в практике реализовать подсказки (объяснение буквы) и возможность ввода свайпами
   • настройки: инверсия цвета
3. Расширение функционала и создание пошагового курса:
   • Определиться с методичкой, по которой делаем (на самом деле, в этом спринте это ещё не обязательно, но когда-то же надо)
   • Пошаговые уроки: сделать логику; если успеем, то несколько шагов (пока всё ориентировано на ввод с помощью экранной клавиатуры)
   • Раздел меню: Перейти к другому месту курса
   • Раздел, похожий на раздел "Практика" - "Практика: только изученные символы"
4. В этом спринте неплохо бы съездить к экспертам и спросить, в правильном ли направлении мы идём.
   • сделать способ ввода - виртуальная брайлевская клавиатура
   • Возможно, уже подключить распознавание (думаю, этому можно посвятить целый спринт)
   • съездить в центр медико-социальной реабилитации на Джамбула или в школу Грота. Хорошо ли так?
     • было бы здорово показать им уже с распознаванием плиток
     • нужно ли кроме трёх обучающих режимов (пошаговые уроки) ещё режим обучения работе с экранной клавиатурой?
5. Дополнительные вещи:
   • продолжить наполнение уроков в курсе
   • добавить в практике ввод не только букв, но и слов
   • попробовать сделать выбор с помощью распознавания Google - как в GetThere
   • сделать пункт меню "прогресс"
   • сделать синхронизацию прогресса с Google Play

Проблема, пока не упомянутая в планах на спринты - в таком виде получается не совсем нормальное взаимодействие друг с другом приложения, TalkBack и клавиатуры. Можно ли в приложении проверить, какой ввод использует пользователь, и, если обычную клавиатуру, то переключить на брайль? Нельзя ли прямо из приложения переключать способы ввода (брайль/плитки)? Если можно, незрячие хотели бы сделать ротор, как в VoiceOver (IOS) Нельзя ли из приложения включать и выключать TalkBack, чтобы не переключать искусственно?

Дополнительно

Так выглядит виртуальная брайлевская клавиатура Advanced Braille Keyboard на Android