Description for EXTERNAL DATA SOURCE ObjectStorage has been added YQ-4026 #14127
Conversation
|
⚪ |
|
⚪ |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
dorooleg
changed the title
|
⚪ Test history | Ya make output | Test bloat
🟢 |
ydb/docs/ru/core/concepts/federated_query/s3/external_data_source.md
Outdated
Show resolved
Hide resolved
ydb/docs/ru/core/concepts/federated_query/s3/external_data_source.md
Outdated
Show resolved
Hide resolved
ydb/docs/ru/core/concepts/federated_query/s3/external_data_source.md
Outdated
Show resolved
Hide resolved
ydb/docs/ru/core/concepts/federated_query/s3/external_data_source.md
Outdated
Show resolved
Hide resolved
ydb/docs/ru/core/concepts/federated_query/s3/external_data_source.md
Outdated
Show resolved
Hide resolved
|
⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
github-actions
bot
added
documentation
| ## Creating an external connection to S3 bucket {#external-data-source-settings} | ||
|
|
||
| There are two types of buckets in S3: public and private. To connect to a public bucket, you need to use `AUTH_METHOD="NONE"`, and to connect to a private bucket, `AUTH_METHOD="AWS"`. A detailed description of `AWS` can be found [here](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_sigv-authentication-methods.html). `AUTH_METHOD="NONE"` means that no authentication should be used. In case of `AUTH_METHOD="AWS"`, you need to specify several additional parameters: | ||
|
|
||
| - `AWS_ACCESS_KEY_ID_SECRET_NAME` - reference to the name of the [secret](../../datamodel/secrets.md) where `AWS_ACCESS_KEY_ID` is stored. | ||
| - `AWS_SECRET_ACCESS_KEY_SECRET_NAME` - reference to the name of the [secret](../../datamodel/secrets.md) where `AWS_SECRET_ACCESS_KEY` is stored. | ||
| - `AWS_REGION` - region from which reading will be performed, for example `ru-central-1`. | ||
|
|
||
| To set up a connection to a public bucket, it is enough to execute the following SQL query. The query will create an external connection named `object_storage`, which will point to a specific S3 bucket named `bucket`. |
There was a problem hiding this comment.
| ## Creating an external connection to S3 bucket {#external-data-source-settings} | |
| There are two types of buckets in S3: public and private. To connect to a public bucket, you need to use `AUTH_METHOD="NONE"`, and to connect to a private bucket, `AUTH_METHOD="AWS"`. A detailed description of `AWS` can be found [here](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_sigv-authentication-methods.html). `AUTH_METHOD="NONE"` means that no authentication should be used. In case of `AUTH_METHOD="AWS"`, you need to specify several additional parameters: | |
| - `AWS_ACCESS_KEY_ID_SECRET_NAME` - reference to the name of the [secret](../../datamodel/secrets.md) where `AWS_ACCESS_KEY_ID` is stored. | |
| - `AWS_SECRET_ACCESS_KEY_SECRET_NAME` - reference to the name of the [secret](../../datamodel/secrets.md) where `AWS_SECRET_ACCESS_KEY` is stored. | |
| - `AWS_REGION` - region from which reading will be performed, for example `ru-central-1`. | |
| To set up a connection to a public bucket, it is enough to execute the following SQL query. The query will create an external connection named `object_storage`, which will point to a specific S3 bucket named `bucket`. | |
| ## Creating an external connection to an S3 bucket {#external-data-source-settings} | |
| There are two types of buckets in S3: public and private. To connect to a public bucket, use `AUTH_METHOD="NONE"`. To connect to a private bucket, use `AUTH_METHOD="AWS"`. A detailed description of `AWS` can be found [here](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_sigv-authentication-methods.html). `AUTH_METHOD="NONE"` means that no authentication is used. If `AUTH_METHOD="AWS"` is specified, several additional parameters are required: | |
| - `AWS_ACCESS_KEY_ID_SECRET_NAME` – reference to the name of the [secret](../../datamodel/secrets.md) where `AWS_ACCESS_KEY_ID` is stored. | |
| - `AWS_SECRET_ACCESS_KEY_SECRET_NAME` – reference to the name of the [secret](../../datamodel/secrets.md) where `AWS_SECRET_ACCESS_KEY` is stored. | |
| - `AWS_REGION` – region from which reading is performed, for example, `ru-central-1`. | |
| To set up a connection to a public bucket, execute the following SQL query. The query creates an external connection named `object_storage`, which points to a specific S3 bucket named `bucket`. |
| ); | ||
| ``` | ||
|
|
||
| To set up a connection to a private bucket, you need to run a few SQL queries. First, you need to create [secrets](../../datamodel/secrets.md) containing `AWS_ACCESS_KEY_ID` and `AWS_SECRET_ACCESS_KEY` |
There was a problem hiding this comment.
| To set up a connection to a private bucket, you need to run a few SQL queries. First, you need to create [secrets](../../datamodel/secrets.md) containing `AWS_ACCESS_KEY_ID` and `AWS_SECRET_ACCESS_KEY` | |
| To set up a connection to a private bucket, you need to run a few SQL queries. First, create [secrets](../../datamodel/secrets.md) containing `AWS_ACCESS_KEY_ID` and `AWS_SECRET_ACCESS_KEY`. |
| CREATE OBJECT aws_access_key (TYPE SECRET) WITH (value=`<key>`); | ||
| ``` | ||
|
|
||
| The next step is to create an external connection named `object_storage`, which will point out to a specific S3 bucket named `bucket` and also use `AUTH_METHOD="AWS"`. The parameters `AWS_ACCESS_KEY_ID_SECRET_NAME`, `AWS_SECRET_ACCESS_KEY_SECRET_NAME`, and `AWS_REGION` are filled in for `AWS`. The values of these parameters are described above |
There was a problem hiding this comment.
| The next step is to create an external connection named `object_storage`, which will point out to a specific S3 bucket named `bucket` and also use `AUTH_METHOD="AWS"`. The parameters `AWS_ACCESS_KEY_ID_SECRET_NAME`, `AWS_SECRET_ACCESS_KEY_SECRET_NAME`, and `AWS_REGION` are filled in for `AWS`. The values of these parameters are described above | |
| The next step is to create an external connection named `object_storage`, which points to a specific S3 bucket named `bucket` and uses `AUTH_METHOD="AWS"`. The parameters `AWS_ACCESS_KEY_ID_SECRET_NAME`, `AWS_SECRET_ACCESS_KEY_SECRET_NAME`, and `AWS_REGION` are filled in for `AWS`. The values of these parameters are described above. |
| ); | ||
| ``` | ||
|
|
||
| The example of using the created external connection `object_storage` can be found [here](#working_with_s3). |
There was a problem hiding this comment.
| The example of using the created external connection `object_storage` can be found [here](#working_with_s3). | |
| An example of using the created external connection `object_storage` can be found [here](#working_with_s3). |
| ); | ||
| ``` | ||
|
|
||
| The example of using the created external connection `object_storage` can be found [here](#working_with_s3). |
There was a problem hiding this comment.
This order of explanation and link back to the beginning feels odd. Instead of making people jump back and forth, we'd better create a connection first and then show how to use it.
There was a problem hiding this comment.
Согласен, действительно не логично. Поправил порядок
| ## Создание внешнего подключения на S3 бакет {#external-data-source-settings} | ||
|
|
||
| Бакеты в S3 бывают двух видов: публичные и приватные. Для подключения к публичному бакету необходимо использовать `AUTH_METHOD="NONE"`, а для подключения к приватному - `AUTH_METHOD="AWS"`. Подробное описание `AWS` можно найти [здесь](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_sigv-authentication-methods.html). `AUTH_METHOD="NONE"` означает, что не нужно использовать какую либо аутентификацию. В случае `AUTH_METHOD="AWS"` необходимо указать несколько дополнительных параметров: | ||
|
|
||
| - `AWS_ACCESS_KEY_ID_SECRET_NAME` - ссылка на имя [секрета](../../datamodel/secrets.md) в котором хранится `AWS_ACCESS_KEY_ID`. | ||
| - `AWS_SECRET_ACCESS_KEY_SECRET_NAME` - ссылка на имя [секрета](../../datamodel/secrets.md) в котором хранится `AWS_SECRET_ACCESS_KEY`. | ||
| - `AWS_REGION` - регион из которого будет происходить чтение, например `ru-central-1`. | ||
|
|
||
| Для настройки соединения к публичному бакету достаточно выполнить следующий SQL-запрос. Запрос создаст внешнее подключение с именем `object_storage`, которое будет указывать на конкретный S3 бакет с именем `bucket`. |
There was a problem hiding this comment.
| ## Создание внешнего подключения на S3 бакет {#external-data-source-settings} | |
| Бакеты в S3 бывают двух видов: публичные и приватные. Для подключения к публичному бакету необходимо использовать `AUTH_METHOD="NONE"`, а для подключения к приватному - `AUTH_METHOD="AWS"`. Подробное описание `AWS` можно найти [здесь](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_sigv-authentication-methods.html). `AUTH_METHOD="NONE"` означает, что не нужно использовать какую либо аутентификацию. В случае `AUTH_METHOD="AWS"` необходимо указать несколько дополнительных параметров: | |
| - `AWS_ACCESS_KEY_ID_SECRET_NAME` - ссылка на имя [секрета](../../datamodel/secrets.md) в котором хранится `AWS_ACCESS_KEY_ID`. | |
| - `AWS_SECRET_ACCESS_KEY_SECRET_NAME` - ссылка на имя [секрета](../../datamodel/secrets.md) в котором хранится `AWS_SECRET_ACCESS_KEY`. | |
| - `AWS_REGION` - регион из которого будет происходить чтение, например `ru-central-1`. | |
| Для настройки соединения к публичному бакету достаточно выполнить следующий SQL-запрос. Запрос создаст внешнее подключение с именем `object_storage`, которое будет указывать на конкретный S3 бакет с именем `bucket`. | |
| ## Создание внешнего подключения к S3-бакету {#external-data-source-settings} | |
| Бакеты в S3 бывают двух видов: публичные и приватные. Для подключения к публичному бакету необходимо использовать `AUTH_METHOD="NONE"`, а для подключения к приватному — `AUTH_METHOD="AWS"`. Подробное описание `AWS` можно найти [здесь](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_sigv-authentication-methods.html). `AUTH_METHOD="NONE"` означает, что аутентификация не требуется. В случае `AUTH_METHOD="AWS"` необходимо указать несколько дополнительных параметров: | |
| - `AWS_ACCESS_KEY_ID_SECRET_NAME` — ссылка на имя [секрета](../../datamodel/secrets.md), в котором хранится `AWS_ACCESS_KEY_ID`. | |
| - `AWS_SECRET_ACCESS_KEY_SECRET_NAME` — ссылка на имя [секрета](../../datamodel/secrets.md), в котором хранится `AWS_SECRET_ACCESS_KEY`. | |
| - `AWS_REGION` — регион, из которого будет происходить чтение, например `ru-central-1`. | |
| Для настройки соединения с публичным бакетом достаточно выполнить следующий SQL-запрос. Запрос создаст внешнее подключение с именем `object_storage`, которое будет указывать на конкретный S3-бакет с именем `bucket`. |
| ); | ||
| ``` | ||
|
|
||
| Для настройки соединения к приватному бакету необходимо выполнить несколько SQL-запросов. В начале нужно создать [секреты](../../datamodel/secrets.md), содержащие `AWS_ACCESS_KEY_ID` и `AWS_SECRET_ACCESS_KEY` |
There was a problem hiding this comment.
| Для настройки соединения к приватному бакету необходимо выполнить несколько SQL-запросов. В начале нужно создать [секреты](../../datamodel/secrets.md), содержащие `AWS_ACCESS_KEY_ID` и `AWS_SECRET_ACCESS_KEY` | |
| Для настройки соединения с приватным бакетом необходимо выполнить несколько SQL-запросов. Сначала нужно создать [секреты](../../datamodel/secrets.md), содержащие `AWS_ACCESS_KEY_ID` и `AWS_SECRET_ACCESS_KEY`. |
| CREATE OBJECT aws_access_key (TYPE SECRET) WITH (value=`<key>`); | ||
| ``` | ||
|
|
||
| Следующим шагом создается внешнее подключение с именем `object_storage`, которое будет указывать на конкретный S3 бакет с именем `bucket`, а также использовать `AUTH_METHOD="AWS"`, для которого заполняются параметры `AWS_ACCESS_KEY_ID_SECRET_NAME`, `AWS_SECRET_ACCESS_KEY_SECRET_NAME`, `AWS_REGION`. Значения этих параметров описаны выше |
There was a problem hiding this comment.
| Следующим шагом создается внешнее подключение с именем `object_storage`, которое будет указывать на конкретный S3 бакет с именем `bucket`, а также использовать `AUTH_METHOD="AWS"`, для которого заполняются параметры `AWS_ACCESS_KEY_ID_SECRET_NAME`, `AWS_SECRET_ACCESS_KEY_SECRET_NAME`, `AWS_REGION`. Значения этих параметров описаны выше | |
| Следующим шагом создаётся внешнее подключение с именем `object_storage`, которое будет указывать на конкретный S3-бакет с именем `bucket`, а также использовать `AUTH_METHOD="AWS"`, для которого заполняются параметры `AWS_ACCESS_KEY_ID_SECRET_NAME`, `AWS_SECRET_ACCESS_KEY_SECRET_NAME`, `AWS_REGION`. Значения этих параметров описаны выше. |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
ydb/docs/ru/core/concepts/federated_query/s3/external_data_source.md
Outdated
Show resolved
Hide resolved
…rce.md Co-authored-by: Andrey Fomichev <[email protected]>
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
Changelog entry
YQ-4026
Changelog category
Additional information
...