Интернет работает по протоколу HTTP, который играет ключевую роль в передаче данных между пользовательским устройством и сервером. Если вы разрабатываете приложение на Python, то вам необходимо знать, как работать с HTTP-запросами. В этой статье мы рассмотрим основные аспекты работы с HTTP в Python с библиотекой requests.
Что такое протокол HTTP
Прежде чем начать изучение библиотеки requests, нужно понять, зачем нужен протокол.
Протокол http – это простой текстовый протокол передачи данных. Он используется для обмена информацией между клиентом (обычно вашим компьютером или мобильным устройством) и сервером (веб-сайтом или веб-сервисом). Примеры операций, выполняемых с помощью протокола HTTP, считаются получение HTML-страницы сайта, отправка формы на сайт и загрузка файлов.
Протокол широко используется в современных веб-приложениях, онлайн-сервисах и системах на базе API, которые управляют большими объемами данных через различные веб-серверы. Он стал невероятно популярным протоколом прикладного уровня благодаря своей практичности и широте применения для обмена данными и информацией между различными платформами.
Одним из основных преимуществ HTTP является возможность клиентов посылать запросы и получать ответы от веб-серверов. Это означает, что можно быстро получить информацию, не прибегая к ручному поиску ее на сайте или обращению в службу поддержки.
По своей сути HTTP состоит из двух компонентов: «запросы» и «ответы». Запросы посылаются клиентами. В ответ сервер предоставляет соответствующую информацию, запрошенную клиентским компьютером. HTTP также позволяет одновременно выполнять несколько запросов и ответов без какого-либо вмешательства между ними. Это обеспечивает независимое рассмотрение всех операций при передаче данных или других цифровых файлов между устройствами. Например, если несколько пользователей одновременно подключаются к веб-сайту, то их запросы не будут мешать друг другу, даже если будут выполняться в одинаковое время в течение миллисекунд друг от друга!
Важным элементом HTTP являются поля заголовков сообщений — они содержат дополнительную информацию как о самом запросе, так и о некоторых характеристиках каждого отдельного соединения, например, о том, как будут передаваться данные, какого типа они будут и т. д.
Без протоколов HTTP мы не имели бы доступа практически ко всем онлайновым платформам современного цифрового мира. Поэтому важно понимать, как правильно установить и поддерживать этот протокол.
Вводное про библиотеку requests
Эта библиотека представляет собой модуль языка Python, с помощью которого можно делать HTTP-запросы к веб-сайтам и API. Она предлагает простой интерфейс для отправки запросов и получения ответов от сервера.
ИТ-специалисты используют её для быстрой автоматизации получения данных из Интернета. Она стала удобной для разработчиков, которым необходимо выполнять множество автоматизированных задач в Интернете, поскольку библиотека может заменить такие ручные действия, как проверка существования веб-страницы, отправка форм или простой вход и выход из системы.
Библиотека requests состоит из различных функций, которые упрощают получение данных с любого URL или API. Преимущество заключается в том, что она представляет собой простой в использовании интерфейс, а значит, вам не придется вручную форматировать URL для каждого запроса.
Простой подход облегчает жизнь при работе с веб-приложениями, включающими множество этапов, таких как процедуры входа в систему или другие распространенные действия в Интернете. Кроме того, благодаря открытому исходному коду можно воспользоваться её передовыми, но простыми в использовании функциями, что позволяет ускорить процессы без лишних усилий.
Начало работы с requests
Синтаксис Python вместо ручных команд значительно ускоряет процесс. Вместо того чтобы писать сотни строк кода, можно использовать одну строку на Python с нужными аргументами и быстро получить готовую программу.
Для работы предусмотрены типичные методы HTTP:
GET – получить ресурс;
POST – создать;
PUT – обновить;
PATCH – частично изменить;
DELETE — удалить.
Для примера рассмотрим метод GET, который встречается чаще всего, так как нужен для получения от сервера страниц, изображений, текста. Реакцией на запрос становится код состояния в диапазоне от 1xx до 5xx. По первой цифре можно судить о статусе ответа.
- 1xx — различные сведения.
- 2xx — выполнено.
- 3xx — переадресация.
- 4xx — проблемы на стороне клиента.
- 5xx — проблемы на сервере.
Например, распространённая ошибка 404 – представляет собой код состояния 404. Это значит, вы хотите получить доступ к ресурсу, которого на самом деле нет.
Остальные методы действуют по тому же принципу.
Установка библиотеки
Сначала необходимо установить эту библиотеку на своё устройство. Вы можете сделать это через менеджер пакетов pip.
python -m pip install requests
Дальше нужно клонировать код библиотеки с GitHub на ваше устройство.
git clone git://github.com/psf/requests.git
Дальнейшая работа
После успешной инсталляции вы можете начать использовать ее в своем проекте.
Допустим, нам нужно связаться с веб-страницей. Для этого создаём файл script.py, который содержит скрипт.
import requests
result = requests.get('https://test')
print(result)
В данном случае в первой строке мы задаём импорт библиотеки, в следующей описываем переменную с методом GET и указанием URI (укажите нужный вместо «test»), а в нижней – выдача ответа в терминале.
Затем запускаем терминал, находим папку с script.py, вводим команду.
python script.py
Если получили код 200, всё сделано правильно. Когда URI написан некорректно, код будет 404.
Чтобы сервер отправил наполнение веб-странички, необходимо применить метод text в команде print. Ниже пример.
import requests
result = requests.get('https://test')
print(result.text)
В итоге вы увидите HTML-код страницы. Метод url покажет, к какой ссылке сделан запрос, а метод status_code – статус его кода.
Базовая аутентификация
При разработке веб-приложений на языке программирования Python, особенно если они требуют доступа к защищенным данным или функциональности, необходимо обеспечить безопасность и контроль доступа. Одним из способов – базовая аутентификация. Это простой механизм, который требует от пользователя предоставить имя пользователя и пароль для получения доступа к ресурсам на сервере.
Библиотека requests даёт возможность указывать учётные данные при отправке запросов. Например, если вам нужно отправить GET-запрос на защищенную страницу, которая требует аутентификации, вы можете указать логин и пароль следующим образом:
from getpass import getpass
requests.get('https://api.github.com/user', auth=('username', getpass()))
Если всё верно, в ответ придёт код 200, в случае ошибки – 401.
Существуют ещё два метода аутентификации – HTTPDigestAuth и HTTPProxyAuth. Но важно применять только проверенные, чтобы обеспечить сохранность информации.
Как проверить SSL-сертификат на сайте
Ещё одной задачей запросов HTTP является проверка SSL-сертификата – протокола шифрования для защиты передачи информации между пользовательским устройством и сервером.
Библиотека requests автоматически анализирует SSL-сертификат при отправке запросов. Если он недействителен или просрочен, то выдаст ошибку.
Иногда может потребоваться отключить проверку SSL-сертификата для выполнения тестирования или отладки. Это можно сделать следующим образом:
requests.get('https://api.github.com', verify=False)
InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised.
<Response [200]>
днако будьте осторожны при использовании этой опции, так как она может повлечь за собой потенциальные уязвимости безопасности. Кроме того, для безопасности важно выбрать надёжный выделенный сервер. Выбрать подходящий можно здесь.
Подведём итоги
Работа с HTTP в Python с использованием библиотеки requests — это простой и эффективный способ отправки запросов на сервер и получения ответов. Благодаря интуитивно понятному интерфейсу вы сможете легко аутентифицироваться на сервере, проверять SSL-сертификаты и выполнять другие операции, связанные с протоколом HTTP.
Использование рассмотренных выше методов может вам решать сложные задачи, упрощая работу с приложениями.