Функции для работы с URL

Все функции работают не по RFC - то есть, максимально упрощены ради производительности.

Функции, извлекающие часть URL-а

Если в URL-е нет ничего похожего, то возвращается пустая строка.

protocol

Возвращает протокол. Примеры: http, ftp, mailto, magnet...

domain

Извлекает имя хоста из URL.

domain(url)

Аргументы

url — URL. Тип — String.

URL может быть указан со схемой или без неё. Примеры:

svn+ssh://some.svn-hosting.com:80/repo/trunk
some.svn-hosting.com:80/repo/trunk
https://yandex.com/time/

Для указанных примеров функция domain возвращает следующие результаты:

some.svn-hosting.com
some.svn-hosting.com
yandex.com

Возвращаемые значения

Имя хоста. Если ClickHouse может распарсить входную строку как URL.
Пустая строка. Если ClickHouse не может распарсить входную строку как URL.

Тип — String.

Пример

SELECT domain('svn+ssh://some.svn-hosting.com:80/repo/trunk');

┌─domain('svn+ssh://some.svn-hosting.com:80/repo/trunk')─┐
│ some.svn-hosting.com                                   │
└────────────────────────────────────────────────────────┘

domainWithoutWWW

Возвращает домен, удалив префикс ‘www.’, если он присутствовал.

topLevelDomain

Извлекает домен верхнего уровня из URL.

topLevelDomain(url)

Аргументы

url — URL. Тип — String.

URL может быть указан со схемой или без неё. Примеры:

svn+ssh://some.svn-hosting.com:80/repo/trunk
some.svn-hosting.com:80/repo/trunk
https://yandex.com/time/

Возвращаемые значения

Имя домена. Если ClickHouse может распарсить входную строку как URL.
Пустая строка. Если ClickHouse не может распарсить входную строку как URL.

Тип — String.

Пример

SELECT topLevelDomain('svn+ssh://www.some.svn-hosting.com:80/repo/trunk');

┌─topLevelDomain('svn+ssh://www.some.svn-hosting.com:80/repo/trunk')─┐
│ com                                                                │
└────────────────────────────────────────────────────────────────────┘

firstSignificantSubdomain

Возвращает «первый существенный поддомен». Это понятие является нестандартным и специфично для Яндекс.Метрики. Первый существенный поддомен - это домен второго уровня, если он не равен одному из com, net, org, co, или домен третьего уровня, иначе. Например, firstSignificantSubdomain(‘https://news.yandex.ru/’) = ‘yandex’, firstSignificantSubdomain(‘https://news.yandex.com.tr/’) = ‘yandex’. Список «несущественных» доменов второго уровня и другие детали реализации могут изменяться в будущем.

cutToFirstSignificantSubdomain

Возвращает часть домена, включающую поддомены верхнего уровня до «первого существенного поддомена» (см. выше).

Например, cutToFirstSignificantSubdomain('https://news.yandex.com.tr/') = 'yandex.com.tr'.

cutToFirstSignificantSubdomainCustom

Возвращает часть домена, включающую поддомены верхнего уровня до первого существенного поддомена. Принимает имя пользовательского списка доменов верхнего уровня.

Полезно, если требуется актуальный список доменов верхнего уровня или если есть пользовательский.

Пример конфигурации:

<!-- <top_level_domains_path>/var/lib/clickhouse/top_level_domains/</top_level_domains_path> -->
<top_level_domains_lists>
    <!-- https://publicsuffix.org/list/public_suffix_list.dat -->
    <public_suffix_list>public_suffix_list.dat</public_suffix_list>
    <!-- NOTE: path is under top_level_domains_path -->
</top_level_domains_lists>

Синтаксис

cutToFirstSignificantSubdomain(URL, TLD)

Аргументы

URL — URL. String.
TLD — имя пользовательского списка доменов верхнего уровня. String.

Возвращаемое значение

Часть домена, включающая поддомены верхнего уровня до первого существенного поддомена.

Тип: String.

Пример

Запрос:

SELECT cutToFirstSignificantSubdomainCustom('bar.foo.there-is-no-such-domain', 'public_suffix_list');

Результат:

┌─cutToFirstSignificantSubdomainCustom('bar.foo.there-is-no-such-domain', 'public_suffix_list')─┐
│ foo.there-is-no-such-domain                                                                   │
└───────────────────────────────────────────────────────────────────────────────────────────────┘

Смотрите также

firstSignificantSubdomain.

cutToFirstSignificantSubdomainCustomWithWWW

Возвращает часть домена, включающую поддомены верхнего уровня до первого существенного поддомена, не опуская "www". Принимает имя пользовательского списка доменов верхнего уровня.

Полезно, если требуется актуальный список доменов верхнего уровня или если есть пользовательский.

Пример конфигурации:

<!-- <top_level_domains_path>/var/lib/clickhouse/top_level_domains/</top_level_domains_path> -->
<top_level_domains_lists>
    <!-- https://publicsuffix.org/list/public_suffix_list.dat -->
    <public_suffix_list>public_suffix_list.dat</public_suffix_list>
    <!-- NOTE: path is under top_level_domains_path -->
</top_level_domains_lists>

Синтаксис

cutToFirstSignificantSubdomainCustomWithWWW(URL, TLD)

Аргументы

URL — URL. String.
TLD — имя пользовательского списка доменов верхнего уровня. String.

Возвращаемое значение

Часть домена, включающая поддомены верхнего уровня до первого существенного поддомена, без удаления www.

Тип: String.

Пример

Запрос:

SELECT cutToFirstSignificantSubdomainCustomWithWWW('www.foo', 'public_suffix_list');

Результат:

┌─cutToFirstSignificantSubdomainCustomWithWWW('www.foo', 'public_suffix_list')─┐
│ www.foo                                                                      │
└──────────────────────────────────────────────────────────────────────────────┘

Смотрите также

firstSignificantSubdomain.

firstSignificantSubdomainCustom

Возвращает первый существенный поддомен. Принимает имя пользовательского списка доменов верхнего уровня.

Полезно, если требуется актуальный список доменов верхнего уровня или если есть пользовательский.

Пример конфигурации:

<!-- <top_level_domains_path>/var/lib/clickhouse/top_level_domains/</top_level_domains_path> -->
<top_level_domains_lists>
    <!-- https://publicsuffix.org/list/public_suffix_list.dat -->
    <public_suffix_list>public_suffix_list.dat</public_suffix_list>
    <!-- NOTE: path is under top_level_domains_path -->
</top_level_domains_lists>

Синтаксис

firstSignificantSubdomainCustom(URL, TLD)

Аргументы

URL — URL. String.
TLD — имя пользовательского списка доменов верхнего уровня. String.

Возвращаемое значение

Первый существенный поддомен.

Тип: String.

Пример

Запрос:

SELECT firstSignificantSubdomainCustom('bar.foo.there-is-no-such-domain', 'public_suffix_list');

Результат:

┌─firstSignificantSubdomainCustom('bar.foo.there-is-no-such-domain', 'public_suffix_list')─┐
│ foo                                                                                      │
└──────────────────────────────────────────────────────────────────────────────────────────┘

Смотрите также

firstSignificantSubdomain.

port(URL[, default_port = 0])

Возвращает порт или значение default_port, если в URL-адресе нет порта (или передан невалидный URL)

path

Возвращает путь. Пример: /top/news.html Путь не включает в себя query string.

pathFull

То же самое, но включая query string и fragment. Пример: /top/news.html?page=2#comments

queryString

Возвращает query-string. Пример: page=1&lr=213. query-string не включает в себя начальный знак вопроса, а также # и всё, что после #.

fragment

Возвращает fragment identifier. fragment не включает в себя начальный символ решётки.

queryStringAndFragment

Возвращает query string и fragment identifier. Пример: страница=1#29390.

extractURLParameter(URL, name)

Возвращает значение параметра name в URL, если такой есть; или пустую строку, иначе; если параметров с таким именем много - вернуть первый попавшийся. Функция работает при допущении, что имя параметра закодировано в URL в точности таким же образом, что и в переданном аргументе.

extractURLParameters(URL)

Возвращает массив строк вида name=value, соответствующих параметрам URL. Значения никак не декодируются.

extractURLParameterNames(URL)

Возвращает массив строк вида name, соответствующих именам параметров URL. Значения никак не декодируются.

URLHierarchy(URL)

Возвращает массив, содержащий URL, обрезанный с конца по символам /, ? в пути и query-string. Подряд идущие символы-разделители считаются за один. Резка производится в позиции после всех подряд идущих символов-разделителей. Пример:

URLPathHierarchy(URL)

То же самое, но без протокола и хоста в результате. Элемент / (корень) не включается. Пример: Функция используется для реализации древовидных отчётов по URL в Яндекс.Метрике.

URLPathHierarchy('https://example.com/browse/CONV-6788') =
[
    '/browse/',
    '/browse/CONV-6788'
]

decodeURLComponent(URL)

Возвращает декодированный URL. Пример:

SELECT decodeURLComponent('http://127.0.0.1:8123/?query=SELECT%201%3B') AS DecodedURL;

┌─DecodedURL─────────────────────────────┐
│ http://127.0.0.1:8123/?query=SELECT 1; │
└────────────────────────────────────────┘

netloc

Извлекает сетевую локальность (username:password@host:port) из URL.

Синтаксис

netloc(URL)

Аргументы

url — URL. Тип — String.

Возвращаемое значение

username:password@host:port.

Тип: String.

Пример

Запрос:

SELECT netloc('http://paul@www.example.com:80/');

Результат:

┌─netloc('http://paul@www.example.com:80/')─┐
│ paul@www.example.com:80                   │
└───────────────────────────────────────────┘

Функции, удаляющие часть из URL-а

Если в URL-е нет ничего похожего, то URL остаётся без изменений.

cutWWW

Удаляет не более одного ‘www.’ с начала домена URL-а, если есть.

cutQueryString

Удаляет query string. Знак вопроса тоже удаляется.

cutFragment

Удаляет fragment identifier. Символ решётки тоже удаляется.

cutQueryStringAndFragment

Удаляет query string и fragment identifier. Знак вопроса и символ решётки тоже удаляются.

cutURLParameter(URL, name)

Удаляет параметр с именем name из URL, если такой есть. Функция не кодирует или декодирует символы в именах параметров. Например Client ID и Client%20ID обрабатываются как разные имена параметров.

Синтаксис

cutURLParameter(URL, name)

Аргументы

url — URL. String.
name — имя параметра URL. String или Array состоящий из строк.

Возвращаемое значение

URL с удалённым параметром URL с именем name.

Type: String.

Пример

Запрос:

SELECT
    cutURLParameter('http://bigmir.net/?a=b&c=d&e=f#g', 'a') as url_without_a,
    cutURLParameter('http://bigmir.net/?a=b&c=d&e=f#g', ['c', 'e']) as url_without_c_and_e;

Результат:

┌─url_without_a────────────────┬─url_without_c_and_e──────┐
│ http://bigmir.net/?c=d&e=f#g │ http://bigmir.net/?a=b#g │
└──────────────────────────────┴──────────────────────────┘

Функции для работы с URL

Функции, извлекающие часть URL-а​

protocol​

domain​

domainWithoutWWW​

topLevelDomain​

firstSignificantSubdomain​

cutToFirstSignificantSubdomain​

cutToFirstSignificantSubdomainCustom​

cutToFirstSignificantSubdomainCustomWithWWW​

firstSignificantSubdomainCustom​

port(URL[, default_port = 0])​

path​

pathFull​

queryString​

fragment​

queryStringAndFragment​

extractURLParameter(URL, name)​

extractURLParameters(URL)​

extractURLParameterNames(URL)​

URLHierarchy(URL)​

URLPathHierarchy(URL)​

decodeURLComponent(URL)​

netloc​

Функции, удаляющие часть из URL-а​

cutWWW​

cutQueryString​

cutFragment​

cutQueryStringAndFragment​

cutURLParameter(URL, name)​

Функции, извлекающие часть URL-а

protocol

domain

domainWithoutWWW

topLevelDomain

firstSignificantSubdomain

cutToFirstSignificantSubdomain

cutToFirstSignificantSubdomainCustom

cutToFirstSignificantSubdomainCustomWithWWW

firstSignificantSubdomainCustom

port(URL[, default_port = 0])

path

pathFull

queryString

fragment

queryStringAndFragment

extractURLParameter(URL, name)

extractURLParameters(URL)

extractURLParameterNames(URL)

URLHierarchy(URL)

URLPathHierarchy(URL)

decodeURLComponent(URL)

netloc

Функции, удаляющие часть из URL-а

cutWWW

cutQueryString

cutFragment

cutQueryStringAndFragment

cutURLParameter(URL, name)