-
Notifications
You must be signed in to change notification settings - Fork 2
2020 plans
Приложение (предварительное условное название "Курс грамотности по Брайлю") - программа для обучения чтению шрифтом Брайля и набору на виртуальной клавиатуре. Планируется, в отличие от большинства приложений для Android (например, BrailleTutor),
- Совместить повторение шрифта Брайля с практикой работы на виртуальной брайлевской клавиатуре (в вышеупомянутом BrailleTutor и многих похожих символы вводятся одним пальцем так же, как пишутся - в два ряда по три точки, а "нормальный" способ ввода, как Braille Screen Input в IOS - ввод всеми пальцами, руки лежат как на фортепиано). Это может быть как плюс (сразу учится ввод на нормальной клавиатуре) так и минус (зато учатся только номера точек в буквах, а тактильной памяти для чтения брайлевских надписей не возникает).
- Кроме простого повторения символов предоставить полноценный пошаговый курс для самостоятельного обучения
- При наличии у незрячего плиток Брайля дать ему возможность кроме изучения номеров точек сформировать и тактильную память (для этого нужно распознавание плиток).
Для этого изначально планируется сделать один режим обучения - повторение букв (примерный порядок работы: незрячему говорится буква, он её вводит; ввёл несколько раз неправильно - получает подсказку, может пропустить задание и перейти к другому). Затем добавить пошаговые уроки по системе Голубиной (как курсы на Степике): сначала - обучение шеститочию, потом буквы, слова, знаки препинания... Затем, если будет готово распознавание плиток, добавить возможность ввода ответа не с помощью экранной брайлевской клавиатуры, а с помощью сканирования плиток, т. е. незрячий выкладывает ответ символами из плиток, подносит камеру смартфона и алгоритм определяет, верно ли введено.
Ввод букв - с клавиатуры. Для начала, пожалуй, будем использовать Advanced Braille Keyboard из Google Play (платную, но всего 500 Р)
Озвучка - TalkBack: сейчас поставляется "в коробке" со всеми устройствами, используется большинством незрячих
- приветствие
- меню
- практика
- настройки
- инвертировать цвета меню
- чёрное на белом
- белое на чёрном
- информационные сообщения
- вкл
- выкл
- инвертировать цвета меню
- выход
Приветствуем Вас в программе обучения набору символов Брайля. Для работы Вам необходимо купить в Google Play клавиатуру Advanced Braille Keyboard и настроить ввод с её помощью. Если Вы это уже сделали, переходите прямо в раздел "Практика". Не забудьте приостановить TalkBack при наборе на виртуальной брайлевской клавиатуре.
При запуске:
Для Вас будут озвучены отдельные буквы. Нужно будет ввести услышанное на виртуальной брайлевской клавиатуре. Неправильно введённую букву надо ввести заново, а просле трёх неудачных попыток ввода буквы программа подскажет, какими номерами точек она обозначается, и вам будет предложен выбор: пройти упражнение заново либо пропустить и перейти к следующему.
Для продолжения нажмите на экран. Для выхода в главное меню приложения в любой момент проведите по экрану снизу вверх. Если Вы не хотите прослушивать это сообщение, выключите "информационные сообщения" в разделе "настройки".
Этот режим должен быть похож на режим Practice в приложении BrailleTutor. Наверное, надо, чтобы символы, в которых незрячий ошибается чаще, появлялись чаще.
Как в навигаторе для незрячих GetThere: Вы точно хотите выйти? тап в верхней половине экрана - да, в нижней - нет (визуально верхняя покрашена в зелёный, нижняя в красный)
Идеи - как от нас, так и предложенные незрячими (aka Product Backlog)
- В режим "Практика" кроме букв добавить слова.
- Сделать режим "обучающий курс" (в меню - пункт "продолжить курс: урок ..., шаг ...")
- Знакомство с шеститочием
- Номера точек
- Повторение номеров
- Изучение алфавита
- Буквы А, М, У
- Буквы К, Л
- <И так далее. Здесь буквы в порядке курса Рагушина, надо в порядке курса Голубиной. У Валеры есть методичка>
- Изучение цифр
- Изучение знаков препинания
- Составление предложений
- Знакомство с шеститочием
- Добавить в меню пункт "обучающий курс: перейти в другое место"
- Когда будет готов пошаговый курс, сделать кроме "практики" режим "практика - повторение только изученных символов"
- В настройках добавить возможность включить внутри приложения:
- переход между пунктами по нажатию клавиш громкости (можно ли так? Можно ли так с TalkBack? Можно ли так, когда TalkBack приостановлен (suspended)?)
- выбор - нажатие кнопки питания (аналогичные вопросы)
- Добавить ввод с помощью плиток Брайля (наверное, не как отдельную особую клавиатуру, а как нечто внутреннее, как в определителе купюр)(можно ли "на лету" переключать?)
- "Распознавалок" сейчас много, например, "Определитель купюр". Незрячие сказали, что в "Определителе купюр" им нравится, что, когда камера ищет объект, раздаются щелчки (когда объект найден, прекращаются и произносится уже что-то сообразное с результатом распознавания).
- Замечание слабовидящего специалиста Алексея: Как будем читать длинное слово/предложение, не помещающееся целиком перед камерой? Пример хорошей реализации: Nvision AI – есть режим непрерывного чтения (платная программа, требует подключения к Интернету)
- Добавить выбор в меню с помощью голосового распознавания Google (хотя бы там, где только да/нет) (опять же, как в навигаторе для незрячих GetThere)
- Добавить в меню пункт "просмотреть прогресс по курсу и статистику упражнений"
- Добавить синхронизацию прогресса с Google Play
- Все читаем Scrum Guide, определяемся с планом коммуникаций (предложение от Андрея: ориентир - карточки выдаются в понедельник, к пятнице нужно их сделать, после этого стенд-ап, а за выходные можно что-то подправить). Используем ли ZenHub вместо Trello?
- По желанию: провести небольшое аналитическое исследование: сколько сейчас в мире/России/СПб незрячих, много ли программ для обучения Брайлю для Windows/Linux/Android/IOS, много ли людей ими пользуются?
- сделать меню (практика, настройки) и произнесение вслух + ввод букв в практике (т. е. программа-минимум, но без "выхода", без приветствий). Т. о. надо
- меню: «практика», «карточки с QR-кодами», «выход»
- озвучивание задания (буква) и ввод, аналогичный BrailleTutor, в разделе "практика"
- сканирование и вывод распознанного кода в разделе «карточки»
- (В результате этого спринта хотелось бы получить маленькое, но работающее приложение)
- написать тесты к тому, что сделано в первую неделю (юнит (если их ещё нет) и интеграционные)
- сделать информационные сообщения (приветствие и т. п)
- в практике реализовать подсказки (объяснение буквы) и возможность ввода свайпами
- настройки: инверсия цвета
- Расширение функционала и создание пошагового курса:
- Определиться с методичкой, по которой делаем (на самом деле, в этом спринте это ещё не обязательно, но когда-то же надо)
- Пошаговые уроки: сделать логику; если успеем, то несколько шагов (пока всё ориентировано на ввод с помощью экранной клавиатуры)
- Раздел меню: Перейти к другому месту курса
- Раздел, похожий на раздел "Практика" - "Практика: только изученные символы"
- В этом спринте неплохо бы съездить к экспертам и спросить, в правильном ли направлении мы идём.
- сделать способ ввода - виртуальная брайлевская клавиатура
- Возможно, уже подключить распознавание (думаю, этому можно посвятить целый спринт)
- съездить в центр медико-социальной реабилитации на Джамбула или в школу Грота. Хорошо ли так?
- было бы здорово показать им уже с распознаванием плиток
- нужно ли кроме трёх обучающих режимов (пошаговые уроки) ещё режим обучения работе с экранной клавиатурой?
- Дополнительные вещи:
- продолжить наполнение уроков в курсе
- добавить в практике ввод не только букв, но и слов
- попробовать сделать выбор с помощью распознавания Google - как в GetThere
- сделать пункт меню "прогресс"
- сделать синхронизацию прогресса с Google Play
Проблема, пока не упомянутая в планах на спринты - в таком виде получается не совсем нормальное взаимодействие друг с другом приложения, TalkBack и клавиатуры. Можно ли в приложении проверить, какой ввод использует пользователь, и, если обычную клавиатуру, то переключить на брайль? Нельзя ли прямо из приложения переключать способы ввода (брайль/плитки)? Если можно, незрячие хотели бы сделать ротор, как в VoiceOver (IOS) Нельзя ли из приложения включать и выключать TalkBack, чтобы не переключать искусственно?
Так выглядит виртуальная брайлевская клавиатура Advanced Braille Keyboard на Android
промежуточные модели устройства , созданные под началом Глеба Андреевича Мирошника
интервью с сотрудницей библиотеки для слепых.
консультация с Ниной Константиновной Балан, председателем организации незрячих специалистов СПб и Ленинградской области