Что такое терминал в программировании

Почему исследователи до сих пор используют эмуляторы терминалов

Когда я начинал свою аспирантуру в Университете Хельсинки, самое страшное, что я мог видеть у моих коллег — это черный экран, в котором есть только текст и мигающий курсор. Позже я узнал, что эта программа называется Terminal и является незаменимым инструментом для биоинформатиков и других специалистов, анализирующих большие массивы данных. Так как большинство генетиков и эволюционных биологов рано или поздно столкнётся с необходимостью работы в Терминале, я решил написать вводную статью о том, что такое Terminal и для чего он нужен.

Что такое Терминал?

Начнем с понимания значения слова «терминал». Терминал – это часть некой системы, обеспечивающая ее взаимодействие с внешней средой. Например, терминал является частью аэропорта, где производятся операции с пассажирами перед их отправкой в самолет или после прибытия самолета в аэропорт. То есть, терминал аэропорта – это точка входа и выхода в системе авиаперевозок, в которой персонал задает параметры для операций с пассажирами: кто, когда и куда отправляется. То же самое делает терминал в компьютере, только вместо пассажиров – данные, а вместо персонала – пользователь. Таким образом, терминал – это окно коммуникации между человеком и операционной системой.

До появления привычных нам графических интерфейсов люди пользовались текстовыми терминалами, в которые вводили команды при помощи клавиатуры, а результат вычислений выводился на экран. Однако, и по сей день терминал, точнее эмулятор терминала, есть в каждой операционной системе: в Windows – это приложение cmd.exe (Command Line или просто «Консоль»), в Linux и MacOS– программа Terminal.

Все эмуляторы выглядят примерно одинаково: это командная строка, работающая по принципу «задал вопрос, получил ответ». Зачастую это черный экран, на фоне которого отображен белый текст и мигающий курсор, который используется для навигации по строке ввода.

Зачем нужен Терминал?

Есть три причины, которые делают Терминал незаменимым инструментом для исследователей, анализирующих большие массивы данных:

• он позволяет программировать манипуляции с файлами и папками в операционной системе
• Внутри него можно запускать другие программы и программировать их взаимодействие друг с другом
• Через него осуществляется работа с серверами и суперкомпьютерами, позволяющими анализировать гигабайты данных в сотни раз быстрее, чем на персональном компьютере

Разберем каждый из этих аспектов подробнее.

Терминал, как манипулятор файлов и папкок

Большинству пользователей нет необходимости использовать Терминал благодаря графической оболочке их операционной системы. Однако, без него не обойтись, когда речь идет о манипуляциях с файлами и папками более сложными, чем: «скопировать документ из одной папки и вставить в другую». Я приведу простой пример, показывающий ограниченность использования графической оболочки операционной системы.

Допустим, мне нужно переименовать фотографию и добавить к текущему названию дату, когда эта фотография была сделана. Что может быть проще, скажите Вы: «открой свойства файла, скопируй дату создания файла, закрой окно «Свойства» и вставь дату в название файла». Так и есть, все довольно просто, вот только повторить это действие нужно для всех фотографий на моем компьютере (а их у меня более 25 тысяч). Очевидно, что если я буду делать это подобным образом, то это задание отнимет у меня несколько недель.

Решение этой же задачи в Терминале займет не более получаса даже у начинающего пользователя. Фокус в том, что в Терминале пользователь может программировать действия, делегируя компьютеру рутинную работу. В разных типах эмуляторов терминала – разные языки программирования, но вероятно самым распространенным в наши дни является язык bash (о нем скоро будет отдельная статья).

Использование Терминала для создания скриптов

Другая важная особенность эмуляторов терминала – это возможность запуска в нем других программ, чтобы автоматизировать процессы в программах и обеспечить автономное взаимодействие между ними. Если входные и выходные данные этих программ оформить в виде файлов, то Терминал сможет запускать последовательно программы. Алгоритм будет напоминать цепочку из таких действий: запустить программу А, загрузить туда входные данные (файл А), экспортировать результаты анализа в файл B, закрыть программу A, запустить программу B, загрузить туда файл B, ну и так далее…

Таким образом, миллионы файлов могут быть проанализированы автоматически и в быстрые сроки. Эта особенность делает Терминал незаменимым инструментом среди биоинформатиков, генетиков и эволюционных биологов, работающих с геномами организмов, которые в оцифрованном виде представляют из себя множество текстовых файлов оформленных в разных форматах.

Управления суперкомпьютерами и серверами через Терминал

Терминал является не только окном в операционную систему персонального компьютера, но также и в операционную систему сервера или суперкомпьютера, который может находиться в тысячах километров от Вашего текущего месторасположения. Через эмулятор терминала на суперкомпьютер можно подавать алгоритмы (bash-скрипты), выполнение которых на Вашем компьютере могло бы занять неделю. Благодаря своей мощности суперкомпьютер проведет расчёты за считанные часы. Подобный подход позволяет проводить анализ больших массивов данных в кратчайшие сроки.

Как правило, на суперкомпьютерах и серверах стоят версии операционной системы Linux. Так как различий между эмуляторами терминала на Линуксе и на Маке практически нет, в дальнейших статьях я буду писать только об эмуляторах терминала, работающих на языке программирования bash (например, программа Terminal).

Заключение

Надеюсь эта статья была полезной и помогла дать общее представление о терминалах операционных систем и их роли в жизни исследователей. Если есть вопросы, задавайте их в комментариях, буду рад ответить.

В следующей статье мы рассмотрим как открыть Terminal на Linux и на MacOS, а также настроим его под себя для последующей удобной работы.

Hello, World! Глубокое погружение в Терминалы

На написание данной статьи меня вдохновила статья об анализе Сишного printf. Однако, там был пропущен момент о том, какой путь проходят данные после того, как они попадают в терминальное устройство. В данной статье я хочу исправить этот недочет и проанализировать путь данных в терминале. Также мы разберемся, чем отличается Terminal от Shell, что такое Pseudoterminal, как работают эмуляторы терминалов и многое другое.

Основы

Давайте для начала разберемся, что такое Terminal, Shell, Console, чем отличается Terminal Emulator от обычного Terminal и почему он так назван. Информации об этом написано уже довольно много, поэтому ничего нового вы здесь не услышите. Почти вся информация здесь была взята из интернета, ссылки приведу в конце статьи. Кто уже знает, что все эти вещи обозначают, может смело пропускать данный раздел.

Terminal

Terminal (терминал) — это комбинация дисплея и клавиатуры, то есть физическое устройство. До того, как терминалы стали именно данной комбинацией, они являлись неким устройством под названием teleprinter (teletype, teletypewriter или TTY сокращенно), то есть комбинацией принтера и клавиатуры. Обычно несколько терминалов подключались к одному и тому же компьютеру. Таким образом возможно было работать нескольким пользователям за одним и тем же компьютером, причем каждому выделялась своя сессия, независимая от других. Терминал был назван так потому, что он находился на конце терминального кабеля (terminal end).

Это Teletype:

А это Terminal:

Console

Console (консоль) — терминал, который подключен напрямую к компьютеру. Дело в том, что большинство терминалов были соединены неявно, но хотя бы один был подключен напрямую к компьютеру. Консоль было разрешено использовать строго определенному кругу лиц, так как она позволяла настраивать компьютер.

Shell

Если предыдущие два представляют собой физические устройства, то данное определение относится исключительно к программному обеспечению.

Shell — это command line interpreter. Главное предназначение — запускать другие программы. Существует большое количество различных Shell’ов. Самым распространенным является Bash (от англ. Bourne Again SHell, что как подсказывает Википедия, является каламбуром для «Born again» Shell, то есть «возрождённый» Shell). Другие примеры: Dash (легковесный Shell, доступен, если запустить бинарник по адресу /bin/sh), Zsh.

Конечно же, и терминалы, и консоли не могли не найти своего отражения в современности. Поэтому далее мы рассмотрим такие вещи, как Terminal Emulator и Virtual Console.

Terminal Emulator

Terminal Emulator — эмулятор старого доброго терминала. Эмулятор терминала требуется для программ, которые не могут напрямую взаимодействовать с X Window System — Bash, Vim и прочие.

Давайте для начала установим обязанности терминала:

1. Передача ввода пользователя в компьютер
2. Доставка вывода компьютера на дисплей

Так и наш Terminal Emulator выполняет абсолютно то же самое: он доставляет ввод пользователя в запущенную программу, а также отображает вывод программы на дисплей. В любом случае, смысл сохраняется — между пользователем и запущенной программой, существует какой-то слой, отвечающий за ввод/вывод. Примеры Terminal Emulator: gnome-terminal, xterm, konsole.

Прошу не путать Shell и Terminal Emulator!
Terminal Emulator — GUI приложение, то есть окно в X Window System. Shell — это command line interpreter, то есть просто исполнитель команд, он не имеет графической оболочки. Если говорить совсем правильно, вы не запускаете Bash, вы запускаете Terminal Emulator, который запускает внутри себя Bash. Terminal Emulator и Bash — абсолютно 2 различные программы. Первая отвечает исключительно за ввод/вывод, вторая — за обработку команд.

Далее в статье все упоминания терминала будут относиться к эмулятору терминала.

Virtual Console (Virtual Terminal)

Нажмите Ctrl+Alt+FN, где N, обычно, имеет значения от 1 до 6. То, что вы сейчас видели — называется Virtual Console (виртуальная консоль) или Virtual Terminal (виртуальный терминал). Помните, что я говорил ранее о терминалах? Множество терминалов были подсоединены к одному компьютеру и каждый терминал был отдельной сессией, независимой от других. Virtual Console повторяет эту идею: внутри вашего компьютера может быть несколько независимых сессий (однако, ресурсы компьютера все же, очевидно, общие).

Вы можете именовать данную сущность как Virtual Console, так и Virtual Terminal, так как по определению, консоль — это терминал, подключенный напрямую к компьютеру, но ведь все виртуальные терминалы в каком-то смысле подключены напрямую к компьютеру.

TTY устройства

Каждому терминалу назначается свое TTY устройство (терминальное устройство), которое обеспечивает работу консоли. Хотя телетайпы вы вряд ли уже найдете, но сокращение TTY дошло и до наших дней.

TTY устройство состоит из двух фундаментальных компонентов:

1. Драйвер устройства. Он отвечает за доставку ввода с клавиатуры в программу и за отображение вывода программы на экран.
2. TTY Line Discipline (рус. — дисциплина линии). Дисциплина линии — это интерфейс доступа к драйверу, который, однако, привносит немало логики в TTY устройство. Можно сказать, что дисциплина линии проксирует вызовы к драйверу. Какова зона ответственности данного компонента, мы будем узнавать по ходу статьи.

Строение TTY устройства:

Существует 3 типа TTY устройств:

1. Console device — обеспечивает работу Virtual Console. Ввод и вывод данного устройства управляется полностью ядром.
2. PTY device (псевдотерминал) — обеспечивают работу терминала в оконном интерфейсе. Ввод и вывод данного устройства управляется эмулятором терминала, который работает в пользовательском пространстве.
3. Serial device — общается напрямую с железом. Обычно не используется напрямую, а существует как самый нижний уровень в организации архитектуры терминального устройства.

В данной статье мы будем говорить именно о втором типе TTY устройств — псевдотерминалах.

TTY Line Discipline

Начнем рассматривать дисциплину линии TTY устройств.

Первой важной особенностью дисциплиной линии является то, что она отвечает за процессинг ввода/вывода. Это включает в себя, например, обработку управляющих символов (см. Управляющие символы) и форматирование вывода. Например, вы вводите любой текст, но вдруг понимаете, что ошиблись в написании чего-то и хотите это стереть — именно тут в дело вступает дисциплина линии.

Разберем подробно, что именно происходит, когда мы работаем в Bash, запущенном в терминале. По умолчанию TTY устройство работает в каноничном режиме с включенным эхо (echoing). Эхо — это отображение введенных вами символов на экране.

Когда мы вводим, к примеру, символ a , данный символ посылается в TTY устройство, но перехватывается дисциплиной линии TTY устройства. Она читает символ в свой внутренний буфер, видит, что включен режим echo и выводит символ на экран. В это время еще ничего не доступно для чтения в программе, к которой прикреплено терминальное устройство. Пусть мы нажимаем backspace на клавиатуре. Символ ^? снова перехватывается дисциплиной линии, и последняя, понимая, что пользователь хочет стереть последний введенный символ, удаляет данный символ из своего внутреннего буфера и стирает этот символ также с экрана. Теперь, если мы нажмем Enter, TTY Line Discipline наконец пошлет в буфер чтения терминального устройства все, что было записано раннее в внутренний буфер дисциплины, включая LF. При этом, на экран выводятся символы CR и LF для того, чтобы перевести курсор на новую строку — это форматирование вывода.

Так работает каноничный режим — передает все введенные символы в устройство только после нажатия Enter , производит процессинг управляющих символов и форматирует вывод.

TTY Line Editing

TTY Line Editing — это тот компонент, который отвечает за процессинг ввода в дисциплине линии. Следует сказать, что Line Editing — это общее понятие и относится оно к процессингу ввода. Например, Bash и Vim имеют свой Line Editing.

Мы можем контролировать настройки дисциплины линии текущего TTY устройства с помощью программы stty. Давайте немного поэкспериментируем.

Откройте Bash или любой другой Shell и введите:

Теперь попробуйте что-нибудь ввести — и вы не увидите вашего ввода (не беспокойтесь, вы все еще можете передавать ввод в программу). Вы только что отключили эхо — то есть отображение введенных символов на экране. Теперь введите:

Попробуйте что-нибудь вводить. Вы видите, как нарушается вывод. Но для большего эффекта давайте зайдем в Dash — введите /bin/sh . Теперь попробуйте вводить специальные символы (клавиша Ctrl + любой символ на клавиатуре) или же просто нажать Enter . Вы недоумеваете — что это за странные символы на экране? Дело в том, что мы, зайдя в самый простой Shell, кроме Line Editing самой дисциплины отключили также Line Editing Bash, и теперь можем вовсю наблюдать эффект включения raw режима дисциплины линии. Данный режим совершенно не производит процессинг ввода и не форматирует вывод. Зачем raw режим нужен? Например, для Vim: он открывается во всё окно терминала и производит сам процессинг ввода, хотя бы для того, чтобы специальные символы дисциплины линии не пересекались с специальными символами самого Vim.

Для еще большего понимания давайте рассмотрим кастомизацию управляющих символов. В этом нам поможет команда stty <control-character> <string> .
Введите в Bash:

Теперь управляющий символ erase будет назначен на символ 0 . Кнопка backspace обычно имеет значение ^? , но теперь данный специальный символ будет передаваться в буфер чтения PTS устройства буквально — попробуйте сами. Стирать символы же теперь вы можете с помощью кнопки 0 на клавиатуре, ведь вы сами попросили tty line discipline распозновать введенный символ как управляющий символ erase . Вернуть обратно настройку вы можете с помощью команды stty erase ^\? или просто закрытием терминала, ведь мы влияли только на текущее tty устройство.

Больше информации вы сможете найти в man stty.

Terminal Emulator и Pseudoterminal

Каждый раз, когда мы открываем новый терминал в X Window System, GNOME Terminal Server порождает новый процесс и запускает в нём выбранную по умолчанию программу. Обычно, это какой-то Shell (например, Bash).

Общение с запущенной программой происходит через так называемый Pseudoterminal (псевдотерминал, PTY). Сам псевдотерминал существует в ядре, однако ввод получает из пользовательского пространства — из эмулятора терминала.

Псевдотерминал состоит из следующих двух виртуальных TTY устройств:
1) PTY master (PTM) — ведущая часть псевдотерминала. Используется GNOME Terminal Server для передачи ввода с клавиатуры в запущенную внутри терминала программу, а также для чтения вывода программы и отображения вывода на дисплей. GNOME Terminal Server в свою очередь общается с X Window System по X протоколу.
2) PTY slave (PTS) — ведомая часть псевдотерминала. Используется программой, запущенной внутри терминала, для чтения ввода с клавиатуры и отображения вывода на экран. По крайней мере, так думает сама программа (объясню, что это значит, чуть далее).

Любые данные, записанные в PTS устройство, являются вводом PTM устройства, то есть становятся доступны для чтения на PTM устройстве. И наоборот: любые данные, записанные в PTM устройство, являются вводом PTS устройства. Именно таким образом и происходит общение GNOME Terminal Server и запущенной внутри терминала программы. Каждому PTM устройству сопоставляется свое PTS устройство.

Процесс запуска нового терминала выглядит примерно следующим образом:
1) GNOME Terminal Server создает master и slave устройства с помощью вызова функции open() на специальном устройстве /dev/ptmx. Вызов open() возвращает файловый дескриптор созданного PTM устройства — master_fd.
2) GNOME Terminal Server создает новый процесс с помощью вызова функции fork() . Данный процесс и будет являться новым терминалом.
3) В терминале PTS устройство открывается на файловых дескрипторах 0, 1, 2 (stdin, stdout и stderr соответственно). Теперь стандартные потоки ввода/вывода терминала ведут на данное устройство.
4) В терминале запускается нужная программа с помощью вызова функции exec() . Обычно запускается какой-то Shell (например, Bash). Любая программа, запущенная впоследствии из Bash, будет иметь те же файловые дескрипторы, что и сам Bash, то есть потоки программы будут направлены на PTS устройство.

Вы можете сами посмотреть, куда направлены стандартные потоки вывода терминала, с помощью команды ls -la /proc/self/fd :

PTS устройство находится по пути /dev/pts/N, а путь к PTM устройству нас абсолютно не интересует. Дело в том, что GNOME Terminal Server уже имеет файловый дескриптор открытого PTM устройства и ему не требуется путь к нему, однако в дочернем процессе мы должны открыть PTS устройство на стандартных потоках вывода с помощью вызова функции open() , которая требует путь к файлу.

Помните, я сказал, что программа, использующая PTS устройство, только думает, что она общается напрямую с терминалом? Дело в том, что PTS также является терминальным устройством (TTY устройством), но разница между PTS устройством и действительным TTY устройством в том, что PTS устройство ввод получает не с клавиатуры, а с master устройства, а вывод идет не на дисплей, а на master устройство. Именно поэтому псевдотерминал назван так — псевдотерминал лишь имитирует (опять??) терминал. Разница между эмулятором терминала и псевдотерминалом в том, что эмулятор терминала — это лишь графическая программа, позволяющая запускать терминал прямо внутри оконного интерфейса, но реализована эта возможность с помощью псевдотерминала.

То, что PTS устройство является TTY устройством — это очень важно. Вот почему:

1. Программе, к которой прикреплено терминальное устройство, доступны все возможности обычного терминала. Например: отключение эха, отключение/включение каноничного вида.
2. Программа, зная, что к ней прикреплен терминальное устройство (говорится, что программа имеет управляющий терминал), может работать в интерактивном режиме и просить у пользователя ввода. Например, спрашивать логин и пароль.
3. Здесь также существует TTY Line Discipline, поэтому мы имеем возможность обрабатывать управляющие символы до того, как они дойдут до программы, а также форматировать вывод программы.

PTM устройство также является TTY устройством, но это не играет никакой роли, так как оно не используется в роли управляющего терминала. Более того, дисциплина линии PTM устройства установлена в raw режим, поэтому процессинг при передаче данных от PTS к PTM устройству не производится. Однако, вызовы read() и write() из пользовательского пространства все равно сперва обслуживаются дисциплиной линии на обоих устройствах. Данный момент сыграет еще большую роль, как мы увидим позднее.

Процесс общения GNOME Terminal Server и запущенной внутри терминала программы выглядит следующим образом:

Следует поподробнее рассмотреть роль, которую играет дисциплина линии при общении между обеими частями псевдотерминала. Здесь дисциплина линии отвечает за процессинг данных, переходящих от PTM к PTS устройству, а также за доставку данных из одной части псевдотерминала в другую. Когда мы находимся в драйвере PTS устройства, мы задействуем дисциплину линии PTM устройства, и наоборот.

Виртуальные устройства

Вы, наверное, могли подумать, что можете открыть файл по пути /dev/pts/N и писать или читать данные из него, как из обычного текстового файла? Да, все устройства в Unix-подобных системах являются файлами благодаря фундаментальному принципу Unix, который гласит, что все является файлом. Однако, никакие специальные файлы устройств (англ. — device file) не являются текстовыми файлами. Такие устройства называются виртуальными устройствами (virtual device) — то есть существуют исключительно в памяти, а не на диске.

Не стоит пытаться открывать данные файлы как обычные текстовые файлы. Однако, вы можете использовать эти устройства через операции write() и read() , вызов которых обслужит драйвер устройства. Давайте попробуем сделать это.

Откройте два окна терминала и введите в каждом команду tty . Данная команда покажет, какое TTY устройство обслуживает текущий активный терминал. Теперь введите echo «Hello, World!» > /dev/pts/N в первом окне терминала, где N — это индекс PTS устройства второго окна, переключитесь на второе окно — и вы увидите ваш ввод с первого окна. Сейчас вы записали данные в PTS устройство второго окна так, как будто бы это сделала программа, работающая в том терминале.

Устройство псевдотерминала

Мы все ближе приближаемся к заключительной части статьи, но перед этим заглянем «под капот» Linux — рассмотрим устройство псевдотерминала на уровне ядра. Будет много кода, но я постараюсь объяснять каждый приведенный блок кода максимально подробно, сокращать неважные детали и идти последовательно.

Перед началом введем так называемую «корзину компонентов». По мере продвижения по ядру, мы будет добавлять в нее всё больше компонентов и находить связь между ними. Надеюсь, это еще лучше поможет понять устройство псевдотерминала. Приступим.

Когда Linux запускается, он загружает необходимые драйверы устройств. Такой драйвер имеется и у нашего псевдотерминала. Его регистрация начинается с вызова данной функции:

Для всех современных систем будет вызвана функция unix98_pty_init() :

Здесь нас интересует 3 вещи:

1. Вызовы tty_set_operatons для драйвера pty master и pty slave устройств.
2. Функция ptmx_open , которая отвечает за создание обоих частей псевдотерминала при открытии специального устройства /dev/ptmx. Важно: /dev/ptmx — это не PTM устройство, а всего лишь интерфейс для создания нового псевдотерминала.
3. Регистрация драйвера PTM и PTS устройств.

Пойдем по порядку:

1. tty_set_operations

Функция tty_set_operations() всего лишь устанавливает таблицу функций для текущего драйвера:

Структура tty_operations — это таблица функций, которая используется для доступа к функциям драйвера TTY устройства.

Выделю самое главное в структурах pty_unix98_ops и ptm_unix98_ops , которые являются таблицей функций для соответствующих частей псевдотерминала:

Здесь можете наблюдать уже знакомую по статье о Сишном printf функцию pty_write — к ней мы вернемся чуть позднее.

Давайте добавим данную структуру в нашу корзину компонентов:

Как видите, основные методы обоих драйверов совсем не отличаются. Кстати, заметьте, что отсутствует функция для read() операции — нет ничего похожего на pty_read() . Дело в том, что чтение будет обслуживаться исключительно дисциплиной линии. Таким образом, мы узнаём о второй важной особенности дисциплины линии — чтение данных с TTY утройства.

2. ptmx_open

Теперь перейдем к ptmx_open():

Нас интересует функция tty_init_dev() , где первым аргументом является драйвер PTM устройства, а вторым — индекс устройства. Здесь мы покидаем зону ответственности PTY драйвера и переходим к файлу, который отвечает только за общие TTY устройства и ничего не знает о нашем псевдотерминале.

Сначала разберем функцию alloc_tty_struct() :

Единственное, что нас здесь интересует, это функция tty_ldisc_init() :

Которая вызывает tty_ldisc_get() :

Итак, мы рассмотрели вызов функции alloc_tty_struct() , которая создает структуру tty_struct вместе с дисциплиной линии — структурой tty_ldisc. Обе структуры имеют ссылки друг на друга. Давайте познакомимся с данными структурами поближе.

• tty_struct — это структура для доступа к драйверу TTY устройства и некоторым другим полям. Выглядит она следующим образом:

• tty_ldisc — это структура для дисциплины линии TTY устройства. Состоит она всего из двух полей и выглядит следующим образом:

Вроде бы ничего сложного? Давайте добавим все рассмотренные до этого момента структуры в нашу корзину и свяжем их таким же образом, как они связаны в коде:

Но мы создали tty_struct всего лишь для PTM устройства. А что же о PTS устройстве? Для этого вернемся к функции tty_init_dev() и вспомним о том, что дальше нас ожидает вызов функции tty_driver_install_tty() :

Комментарий подсказывает нам, что данный метод ответственен за создание различных дополнительных структур. PTS устройство и будет являться нашей дополнительной структурой. Признаюсь, это было для меня крайне удивительно, ибо это, черт возьми, целое устройство, а не просто какая-то дополнительная структура! Но мы то с вами понимаем, что все устройства — это всего лишь какие-то структуры, так что идем дальше. Хорошо, что такое здесь driver->ops->install? Для этого посмотрим на таблицу функций для PTM драйвера ещё раз:

И поймем, что нас интересует функция pty_unix98_install() :

Которая вызывает функцию pty_common_install() :

Мы видим, что для PTS устройства создается абсолютно такая же структура tty_struct за исключением того, что в ней будет находиться драйвер PTS устройства. Обе структуры хранят указатели друг на друга для общения между собой. Добавляем tty_struct для PTS устройства в нашу корзину.

Регистрация драйвера

Мы не будем рассматривать весь процесс регистрации драйвера, так как нас интересует только установка таблицы функций для файла TTY устройства (ведь мы должны как-то получить доступ к самому устройству при работе с файлом?).
Это — таблица функций, которая будет установлена для файла как PTM, так и PTS устройства:

Мы не будем добавлять данную структуру в нашу корзину, ибо она в принципе то и не относится к устройству псевдотерминалов и служит лишь для доступа к TTY устройству.

Готово. Мы рассмотрели процесс создания обоих устройств, который будет произведен при открытии мультиплексора /dev/ptmx. Таким образом, включая второе PTS устройство, которое имеет точно такое же строение, как и PTM устройство, общая картина строения псевдотерминала складывается следующая:

Hello, World!

Ну вот мы и подошли к самому главному. В данной главе мы полностью разберем путь нашей строки «Hello, World!», отправленной из простой Си программы в терминальное устройство.

Итак, наша строка «Hello, World!» отправляется в увлекательное путешествие. На самом деле, программа не знает ничего, кроме того, что она пишет в стандартный поток вывода. Ей больше нет разницы, куда этот вывод пойдет. Направьте stdout в /dev/null — и вывод вообще не будет нигде отображаться. Здесь я не буду рассказывать о вызовах библиотечных Си функций, а начнем сразу с файловой системы Linux.

Так как каждое устройство в Unix является файлом с определенными для него функциями write(), read(), close() и прочими, то при вызове write() на /dev/pts/0 мы попадаем в общую для всех файлов функцию __vfs_write() :

Здесь мы вызываем операцию write() из таблицы функций для текущего файла. Как вы помните, таблица функций была установлена при регистрации драйвера и выглядела она следующим образом:

Данная функция получает структуру tty_struct для текущего файла TTY устройства, а потом достает из нее дисциплину линии и вызывает функцию write() для нее. Таблица функций дисциплины линии выглядела следующим образом:

Переходим к функции n_tty_write() :

Итак, строка «Hello, World!» наконец отправилась в write() функцию драйвера PTS устройства. Найдем эту функцию в таблице функций драйвера:

Давайте здесь остановимся и проследим наш путь до этого места:

Вроде бы ничего не упустили. Итак, буфер передается в очередь ввода на PTM устройство. Разберемся, как именно это происходит.

Для начала, следует познакомить вас с новой структурой данных под названием flip buffer. Flip buffer — это структура данных, состоящая из двух массивов. Когда tty driver получает новые данные, он сохраняет их в первом массиве. Когда массив заполняется, ожидающая данных сторона будет об этом уведомлена и сможет прочитать данные из этого массива. Если в будущем появятся новые данные, они сохранятся уже во второй массив для того, чтобы не перезаписать читающиеся другой стороной данные. Когда и этот массив заполняется, ожидающая данных сторона снова будет уведомлена, а новые данные в следующий раз будут снова записываться в первый массив. Именно из-за такой логики данная структура данных и названа flip buffer — потому что данные перемещаются между массивами (наверное, здесь лучше подойдет какое-то другое слово, но я не знаю хорошего перевода для слова flip).

Не будем долго тянуть и снова идти по цепочке вызовов, так что сразу перейдем к нужной функции. Вызов tty_insert_flip_string() в итоге перетекает в вызов функции под названием tty_insert_flip_string_fixed_flag() , в которой и происходит основная работа по передаче данных в PTM устройство:

На самом деле, flip buffer был замёнен новой имплементацией в новых версиях ядра, однако поведение буфера осталось почти таким же, а все функции остались совместимы с раннее реализованными драйверами. Не стоит сильно вникать в устройство данного буфера, ясно одно — в конце концов данные будут перемещены в PTM устройство, а после окончания записи ожидающая сторона будет уведомлена о готовых для чтения данных.

Итак, наша строка «Hello, World!» оказалась в PTM устройстве. В это время GNOME Terminal Server заблокирован на вызове poll() (техника мультиплексирования I/O) и ожидает новых данных на любом из master устройств. Вы думаете, сейчас он проснется и прочитает новые данные на устройстве? Как бы не так. Когда я говорил об ожидающей стороне, я говорил о дисциплине линии, ведь это именно её задача — принимать ввод и производить его процессинг при необходимости.

Дисциплина линии будет уведомлена о новых данных с помощью вызова функции tty_flip_buffer_push() (в том же pty_write):

Функция tty_schedule_flip() , в свою очередь, планирует задачу по доставке данных в дисциплину линии:

Я не знаю, что здесь подразумевается под work (предположу, что это какая-то внутренняя структура ядра для планировки различных задач) и какой компонент ядра отвечает за планировку, но из комментариев ясно следующее — когда задача начнет выполняться, доставку организует функция flush_to_ldisc() :

Функция receive_buf() через цепочку вызовов в итоге перетекает в вызов функции __receive_buf() , которая диспатчит работу по процессингу ввода:

Все функции, начинающиеся с n_tty_receive_buf (кроме тех, где есть суффикс _raw) производят процессинг данных и записывают данные в буфер под названием read_buf, который и является основным буфером для чтения с TTY устройства. Так как дисциплина линии для PTM устройства установлена в raw режим, то процессинг не будет произведен и данные сразу запишутся в read_buf. Однако, если бы мы разбирали доставку данных от PTM к PTS устройству, то процессинг был бы произведен.

Опишу полную цепочку вызовов до конечного вызова, включая пропущенные вызовы:

Заметьте, никакая функция PTM драйвера при перемещении данных не была использована — вся работа произошла в дисциплине линии и драйвере PTS устройства.

Можете выдохнуть: данные наконец записаны в конечный буфер PTM устройства. Теперь GNOME Terminal Server просыпается и читает нашу строку «Hello, World!», вызывая read() на PTM устройстве. Вызов read() по аналогии с write() перехватывается дисциплиной линии — методом n_tty_read() . В этой функции нет ничего интересного, кроме того, что она просто переместит данные из буфера в ядре — read_buf — в пользовательский буфер. Далее GNOME Terminal Server передает строку в X Server, который отобразит её на дисплей.

Таким образом, наша строчка «Hello, World!» проходит следующий путь:

Заключение

Подведем итог. В данной статье мы узнали:

1. Как работают эмуляторы терминалов
2. Что такое виртуальные устройства
3. Что такое TTY устройства
4. Как устроены псевдотерминалы
5. Какой путь проходят данные, начиная с обычной Си программы и до дисплея

На этом все, спасибо за внимание! Если у вас возникли какие-нибудь вопросы — смело задавайте их в комментариях, буду рад ответить!

Основы Работы в Командной Строке и Полезные Фишки Терминала

Vardhan Agrawal Last updated Mar 25, 2022

Все мы видели эту маленькую черную иконку под названием «Терминал», которая запрятана в папке с утилитами на вашем Маке, но что же это такое? На самом деле это очень важная составляющая функционала вашего компьютера, и жизненно важно в нем разбираться, если вы хотите называть себя профессиональным разработчиком.

В этой статье мы ознакомимся с тем, что такое командная строка, а также с некоторыми командами, которые позволят начать ею пользоваться.

О терминале

Что такое терминал?

Терминал — это интерфейс, позволяющий вам выполнять текстовые команды и предоставляющий вам прямой доступ к функциям операционной системы через оболочку на вашем Маке. В прежние времена, еще до того, как у компьютеров появился графический интерфейс пользователя (GUI), единственным способом управлять компьютером была командная строка. Необходимость управлять компьютером посредством командной строки помогала пользователям лучше понимать, что происходило внутри их компьютера.

По мере более широкого распространения GUI, мы почти забыли о существовании командной строки, и типичный пользователь Мак вряд ли даже догадывается о ее существовании. Это нормально для простого обывателя, но для разработчика программного обеспечения все еще важно понимать, как пользоваться терминалом.

Для чего нужно использовать терминал?

А разве основной идеей внедрения графического пользовательского интерфейса не было избавление от необходимости существования командной строки? Ну, на самом деле, нет. Есть несколько причин, по которым вам стоит научиться пользоваться терминалом, если вы разработчик, или даже если вы просто пользователь, которому не безразлична производительность.

• Кое-что просто невозможно выполнить без использования командной строки (особенно если вы разработчик). Одним из примеров является установка CocoaPods, используя git репозиторий.
• Вы можете легко изменять настройки вашего компьютера, что было бы, либо сложно, либо вообще невозможно сделать, используя только графический интерфейс.
• Терминал является очень гибким инструментом, и когда вы научитесь его использовать, то процесс станет для вас достаточно простым и понятным.
• Это очень точный способ подачи команд вашему компьютеру, в то время как GUI больше похож на управление компьютером на расстоянии.

Это только несколько причин, почему терминал все еще является полезным инструментом. Это практичный и функциональный инструмент, который улучшает и переводит на новый уровень ваше повседневное взаимодействие с компьютером.

С чего начать

Запуск терминала

Терминал расположен в папке Приложения в подкаталоге под названием Утилиты. Если вы не можете его найти, то активируйте поиск Spotlight клавишами Command-пробел и введите Terminal. После запуска терминала, вы должны увидеть что-то похожее на это:

Это называется «интерфейс командной строки» — вы увидите текущую директорию, ваше имя пользователя и затем $ .

Выполнение комманд

Для выполнения команды просто введите ее в командной строке и нажмите Enter. Можете попробовать команду ls — она выводит список всех файлов в текущей директории. Часто, читая онлайн инструкции, можно встретить команды, которые начинаются с символа $ . Вам этот символ вводить не надо. Например:

Для выполнения команды выше, вам нужно просто ввести cd

/Desktop , без символа $ .

Шпаргалка основных команд

Вот список некоторых основных команд, которые вам нужно знать для эффективного использования терминала. Это удобная шпаргалка с наиболее важными и чаще всего используемыми командами.

Справка

• help — как следует из названия, вы можете ввести эту команду в терминале для вывода списка различных команд.
• man <имя команды> — подобно предыдущей команде, эта команда выводит информацию о том, что именно делает определенная команда (предоставляет подробную документацию), и вам не придется искать ее в Google.

Управление файлами

• ls — выводит список содержимого текущей директории. Эта команда пригодится, если вы не хотите использовать Finder для обзора файлов — вы можете просто вывести список файлов, используя эту команду в своем терминале.
• cd <имя директории> — эта команда используется для смены директории. Если вы просто введете cd , то вы выйдете из текущей директории. После того, как вы увидели список директорий командой ls , вы можете ввести имя директории, в которую вы хотите войти.

Изменение настроек

• defaults <настройка для изменения> — эта команда используется для изменения настроек системы по умолчанию, некоторые из которых невозможно изменить без использования терминала.
• caffeinate — как следует из названия, эта команда используется, чтобы сообщить вашему Маку не затемнять яркость экрана, не выключаться или не переходить в спящий режим. Для прекращения действия данной команды вам нужно всего лишь нажать Control-C.

Редактирование текста

• vim <имя файла> — это одна из моих любимых команд. Вы можете редактировать текстовые файлы, используя системный текстовый редактор (или любой графический текстовый редактор), но vim — это по сути консольный текстовый редактор, что означает что он работает полностью внутри терминала.

Работа с сетью

• ping <URL или IP адрес> — эта команда позволяет вам проверить время ответа сервера, находящегося по заданному URL или IP адресу. Может эта команда не нужна каждому разработчику, но знать ее не помешает.

Администрирование

• sudo <команда для выполнения> — это способ повысить привилегии вашего пользователя и стать суперпользователем вашего компьютера. При использовании данной команды, вам необходимо будет ввести пароль администратора.

Продвинутый уровень

Вы познакомились с несколькими основными командами, давайте же перейдем на более продвинутый уровень и поближе взглянем на пять вещей, которые можно выполнить с помощью терминала.

1. Меняем формат сохранения скриншотов, используемый по умолчанию

Все мы знаем о комбинации Command—Option—4, которая позволяет делать скриншоты на наших Маках. И хоть это и замечательно, что эти скриншоты сохраняются как PNG файлы высокого качества, не всегда мы хотим тратить от 15 до 20 MB драгоценного дискового пространства на каждый скриншот. К счастью, вы можете изменить эту настройку с помощью терминала.

В вашей командной строке (помните о символе $ ), введите следующую команду:

После того, как вы нажмете Enter, вы заметите, что формат файлов ваших скриншотов стал таким, какой вы только что установили. Вы можете использовать любой формат, как например PDF, JPG или любой другой, но в этом примере я использовал JPG.

2. Стресс-тест вашего Мака

Есть простая команда, которую используют многие инженеры Apple, — она заставляет ваш компьютер работать под высокой нагрузкой. Эта команда нагружает центральный процессор просто выводя букву «y» снова и снова. Если вы откроете свой системный монитор, вы вскоре заметите, что этот процесс требует почти всех ресурсов вашего процессора!

Для этого вам необходимо в командной строке ввести следующую команду:

Эта на первый взгляд безобидная команда будет нагружать центральный процессор вашего Мака по максимуму и позволит вам с легкостью протестировать, выдерживает ли ваш компьютер работу под нагрузкой.

3. Не дайте вашему Маку выходить в спящий режим

Вас не раздражает, что каждый раз, когда вы что-то устанавливаете или скачиваете что-то на своем Маке, он постоянно пытается выйти в спящий режим? Следующая команда с прекрасным названием позволит этого избежать.

Все, что вам нужно, — это просто ввести следующую команду в командной строке:

Нажмите Enter, и ваш Мак не будет переходить в спящий режим или отключаться. Когда вы готовы отключить этот режим, все, что вам нужно — это нажать Control—C в терминале.

4. Показать скрытые файлы

По умолчанию ваш компьютер скрывает некоторые важные файлы от своих пользователей, но как разработчикам, нам иногда нужно получить к ним доступ. Скрытие позволяет уберечь неопытных пользователей от нарушения внутренних настроек компьютера, но как разработчики мы понимаем как обращаться с такими файлами.

Для отображения всех скрытых файлов, введите следующую команду в консоли:

А затем, введите следующую команду для перезагрузки Finder:

Если вы снова хотите скрыть эти файлы, введите в консоли следующую команду:

И затем снова перезагрузите Finder:

5. Скачивание файлов

Все мы сталкивались с процессом скачивания файлов, их распаковкой и использованием. Но этот процесс может доставить неудобство, особенно если нам надо выполнить этот процесс многократно. Используя терминал, это можно сделать, зная URL файла для скачивания.

Для этого используйте команду curl как показано ниже:

Таким образом вы скачаете файл из указанного URL в текущую директорию.

Это достаточно сложная команда, которая имеет много опций, так что не помешает ознакомиться с man инструкциями к ней. Для того, чтобы открыть инструкции по использованию команды curl, выполните следующую команду:

Заключение

Несмотря на то, что на первый взгляд терминал может показаться сложным, командная строка является исключительно мощным инструментом и в некоторых случаях ее использовать намного проще, чем GUI. Я надеюсь вам понравился этот урок и вы получили от него пользу.

Если вы хотите узнать больше о программировании на Мак и iOS, предлагаем вам другие наши уроки на Envato Tuts+.