Новый инструмент программирования превращает эскизы, рукописный текст в код

Исследователи из Корнельского университета создали интерфейс, позволяющий пользователям писать от руки и делать наброски в компьютерном коде — вызов традиционному кодированию, которое обычно основано на наборе текста.

Интерфейс на основе пера, названный Notate, позволяет пользователям компьютерных цифровых блокнотов открывать холсты для рисования и писать диаграммы от руки в строках традиционного оцифрованного компьютерного кода.

Основанный на модели глубокого обучения, интерфейс соединяет рукописный и текстовый контексты программирования: обозначения на рукописной диаграмме могут ссылаться на текстовый код и наоборот. Например, Notate распознает рукописные символы программирования, такие как «n», а затем связывает их с их машинописными эквивалентами.

«Подобная система отлично подходит для науки о данных, особенно для создания диаграмм и графиков, которые затем взаимодействуют с текстовым кодом», — рассказывает Ян Аравжо, ведущий автор статьи и докторант в области компьютерных наук. — Наша работа показывает, что нынешняя инфраструктура программирования фактически сдерживает нас. Люди готовы к таким возможностям, но разработчики интерфейсов ввода кода должны принять это к сведению и поддерживать изображения и графические интерфейсы в коде».

Ученый также отметил, что эта работа демонстрирует новый путь вперед, представляя кодирование ИИ с помощью пера в то время, когда планшеты для рисования становятся все более широко используемыми.

«Инструменты, подобные Notate, важны, потому что они открывают нам новые способы мышления о том, что такое программирование и как различные инструменты и методы представления могут изменить эту перспективу», — подчеркнул Тапан Парих, доцент информатики и соавтор работы.

Информация об инструменте была опубликована в материалах 35-го ежегодного симпозиума ACM по технологиям программного обеспечения и пользовательского интерфейса.

Эксклюзивный перевод*

Фото: 35-й ежегодный симпозиум ACM по программному обеспечению и технологиям пользовательского интерфейса (2022)

Поделиться:

Подписывайтесь на краткие, но содержательные новости со всего мира
глазами молодого поколения в Телеграм и ВКонтакте.

Почитайте также

Зоологи обнаружили третий вид тигровых кошек Oncilla в Бразилии

27 В журнале Scientific Reports опубликованы результаты исследования, проведенного бразильскими учеными, которые обнаружили новый вид …