Skip to content
This repository was archived by the owner on Mar 29, 2020. It is now read-only.

2020 plans

Valerii Zuev edited this page Feb 17, 2020 · 28 revisions

Описание

Приложение (предварительное условное название "Курс грамотности по Брайлю") - программа для обучения чтению шрифтом Брайля и набору на виртуальной клавиатуре. Планируется, в отличие от большинства приложений для Android (например, BrailleTutor),

  1. Совместить повторение шрифта Брайля с практикой работы на виртуальной брайлевской клавиатуре (в вышеупомянутом BrailleTutor и многих похожих символы вводятся одним пальцем так же, как пишутся - в два ряда по три точки, а "нормальный" способ ввода, как Braille Screen Input в IOS - ввод всеми пальцами, руки лежат как на фортепиано). Это может быть как плюс (сразу учится ввод на нормальной клавиатуре) так и минус (зато учатся только номера точек в буквах, а тактильной памяти для чтения брайлевских надписей не возникает).
  2. Кроме простого повторения символов предоставить полноценный пошаговый курс для самостоятельного обучения
  3. При наличии у незрячего плиток Брайля дать ему возможность кроме изучения номеров точек сформировать и тактильную память (для этого нужно распознавание плиток).

Для этого изначально планируется сделать один режим обучения - повторение букв (примерный порядок работы: незрячему говорится буква, он её вводит; ввёл несколько раз неправильно - получает подсказку, может пропустить задание и перейти к другому). Затем добавить пошаговые уроки по системе Голубиной (как курсы на Степике): сначала - обучение шеститочию, потом буквы, слова, знаки препинания... Затем, если будет готово распознавание плиток, добавить возможность ввода ответа не с помощью экранной брайлевской клавиатуры, а с помощью сканирования плиток, т. е. незрячий выкладывает ответ символами из плиток, подносит камеру смартфона и алгоритм определяет, верно ли введено.

Программа-минимум

Ввод букв - с клавиатуры. Для начала, пожалуй, будем использовать Advanced Braille Keyboard из Google Play (платную, но всего 500 Р)

Озвучка - TalkBack: сейчас поставляется "в коробке" со всеми устройствами, используется большинством незрячих

  • приветствие
  • меню
    • практика
    • настройки
      • инвертировать цвета меню
        • чёрное на белом
        • белое на чёрном
      • информационные сообщения
        • вкл
        • выкл
    • выход

Приветствие

Приветствуем Вас в программе обучения набору символов Брайля. Для работы Вам необходимо купить в Google Play клавиатуру Advanced Braille Keyboard и настроить ввод с её помощью. Если Вы это уже сделали, переходите прямо в раздел "Практика". Не забудьте приостановить TalkBack при наборе на виртуальной брайлевской клавиатуре.

Практика

При запуске:

Для Вас будут озвучены отдельные буквы. Нужно будет ввести услышанное на виртуальной брайлевской клавиатуре. Неправильно введённую букву надо ввести заново, а просле трёх неудачных попыток ввода буквы программа подскажет, какими номерами точек она обозначается, и вам будет предложен выбор: пройти упражнение заново либо пропустить и перейти к следующему.
Для продолжения нажмите на экран. Для выхода в главное меню приложения в любой момент проведите по экрану снизу вверх. Если Вы не хотите прослушивать это сообщение, выключите "информационные сообщения" в разделе "настройки".

Этот режим должен быть похож на режим Practice в приложении BrailleTutor. Наверное, надо, чтобы символы, в которых незрячий ошибается чаще, появлялись чаще.

Выход

Как в навигаторе для незрячих GetThere: Вы точно хотите выйти? тап в верхней половине экрана - да, в нижней - нет (визуально верхняя покрашена в зелёный, нижняя в красный)

Что потом

Идеи - как от нас, так и предложенные незрячими (aka Product Backlog)

  1. В режим "Практика" кроме букв добавить слова.
  2. Сделать режим "обучающий курс" (в меню - пункт "продолжить курс: урок ..., шаг ...")
    • Знакомство с шеститочием
      1. Номера точек
      2. Повторение номеров
    • Изучение алфавита
      1. Буквы А, М, У
      2. Буквы К, Л
      3. <И так далее. Здесь буквы в порядке курса Рагушина, надо в порядке курса Голубиной. У Валеры есть методичка>
    • Изучение цифр
    • Изучение знаков препинания
    • Составление предложений
  3. Добавить в меню пункт "обучающий курс: перейти в другое место"
  4. Когда будет готов пошаговый курс, сделать кроме "практики" режим "практика - повторение только изученных символов"
  5. В настройках добавить возможность включить внутри приложения:
    • переход между пунктами по нажатию клавиш громкости (можно ли так? Можно ли так с TalkBack? Можно ли так, когда TalkBack приостановлен (suspended)?)
    • выбор - нажатие кнопки питания (аналогичные вопросы)
  6. Добавить ввод с помощью плиток Брайля (наверное, не как отдельную особую клавиатуру, а как нечто внутреннее, как в определителе купюр)(можно ли "на лету" переключать?)
    • "Распознавалок" сейчас много, например, "Определитель купюр". Незрячие сказали, что в "Определителе купюр" им нравится, что, когда камера ищет объект, раздаются щелчки (когда объект найден, прекращаются и произносится уже что-то сообразное с результатом распознавания).
    • Замечание слабовидящего специалиста Алексея: Как будем читать длинное слово/предложение, не помещающееся целиком перед камерой? Пример хорошей реализации: Nvision AI – есть режим непрерывного чтения (платная программа, требует подключения к Интернету)
  7. Добавить выбор в меню с помощью голосового распознавания Google (хотя бы там, где только да/нет) (опять же, как в навигаторе для незрячих GetThere)
  8. Добавить в меню пункт "просмотреть прогресс по курсу и статистику упражнений"
  9. Добавить синхронизацию прогресса с Google Play

Примерный план на первые пять спринтов

  1. Все читаем Scrum Guide, определяемся с планом коммуникаций (предложение от Андрея: ориентир - карточки выдаются в понедельник, к пятнице нужно их сделать, после этого стенд-ап, а за выходные можно что-то подправить). Используем ли ZenHub вместо Trello?
    • По желанию: провести небольшое аналитическое исследование: сколько сейчас в мире/России/СПб незрячих, много ли программ для обучения Брайлю для Windows/Linux/Android/IOS, много ли людей ими пользуются?
  2. сделать меню (практика, настройки) и произнесение вслух + ввод букв в практике (т. е. программа-минимум, но без "выхода", без приветствий). Т. о. надо
    • меню: «практика», «карточки с QR-кодами», «выход»
    • озвучивание задания (буква) и ввод, аналогичный BrailleTutor, в разделе "практика"
    • сканирование и вывод распознанного кода в разделе «карточки»
  3. (В результате этого спринта хотелось бы получить маленькое, но работающее приложение)
    • написать тесты к тому, что сделано в первую неделю (юнит (если их ещё нет) и интеграционные)
    • сделать информационные сообщения (приветствие и т. п)
    • в практике реализовать подсказки (объяснение буквы) и возможность ввода свайпами
    • настройки: инверсия цвета
  4. Расширение функционала и создание пошагового курса:
    • Определиться с методичкой, по которой делаем (на самом деле, в этом спринте это ещё не обязательно, но когда-то же надо)
    • Пошаговые уроки: сделать логику; если успеем, то несколько шагов (пока всё ориентировано на ввод с помощью экранной клавиатуры)
    • Раздел меню: Перейти к другому месту курса
    • Раздел, похожий на раздел "Практика" - "Практика: только изученные символы"
  5. В этом спринте неплохо бы съездить к экспертам и спросить, в правильном ли направлении мы идём.
    • сделать способ ввода - виртуальная брайлевская клавиатура
    • Возможно, уже подключить распознавание (думаю, этому можно посвятить целый спринт)
    • съездить в центр медико-социальной реабилитации на Джамбула или в школу Грота. Хорошо ли так?
      • было бы здорово показать им уже с распознаванием плиток
      • нужно ли кроме трёх обучающих режимов (пошаговые уроки) ещё режим обучения работе с экранной клавиатурой?
  6. Дополнительные вещи:
    • продолжить наполнение уроков в курсе
    • добавить в практике ввод не только букв, но и слов
    • попробовать сделать выбор с помощью распознавания Google - как в GetThere
    • сделать пункт меню "прогресс"
    • сделать синхронизацию прогресса с Google Play

Проблема, пока не упомянутая в планах на спринты - в таком виде получается не совсем нормальное взаимодействие друг с другом приложения, TalkBack и клавиатуры. Можно ли в приложении проверить, какой ввод использует пользователь, и, если обычную клавиатуру, то переключить на брайль? Нельзя ли прямо из приложения переключать способы ввода (брайль/плитки)? Если можно, незрячие хотели бы сделать ротор, как в VoiceOver (IOS) Нельзя ли из приложения включать и выключать TalkBack, чтобы не переключать искусственно?

Дополнительно

Так выглядит виртуальная брайлевская клавиатура Advanced Braille Keyboard на Android photo5332652157041749558