Skip to content

Commit 86a5e98

Browse files
committed
Add support s3 to nessie
1 parent b5d961b commit 86a5e98

2 files changed

Lines changed: 9 additions & 6 deletions

File tree

docs/en/connectors.md

Lines changed: 5 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -813,8 +813,10 @@ sink:
813813
# Or basicAuth: { username, password }
814814
815815
# Optional: Iceberg warehouse object storage (S3-compatible). Separate from Nessie REST auth above.
816-
# Set accessKeySecretRef and secretAccessKeySecretRef together. Secrets must be in the same namespace as the DataFlow (Kubernetes secretKeyRef env limitation).
817-
# Values are injected only into the processor pod env (AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY); they are not resolved into the mounted spec ConfigMap.
816+
# Set accessKeySecretRef and secretAccessKeySecretRef together.
817+
# If namespace is omitted, defaults to the DataFlow namespace and values use secretKeyRef (recommended).
818+
# If namespace points elsewhere, the operator reads those Secrets at reconcile time and sets literal env on the Deployment (values appear in the Deployment object in the API).
819+
# Credential refs stay as refs inside mounted spec JSON for Nessie sink (plaintext keys do not go through resolve into ConfigMap for these fields).
818820
# s3Endpoint: "https://storage.yandexcloud.net"
819821
# s3Region: "ru-central1"
820822
# accessKeySecretRef:
@@ -831,7 +833,7 @@ sink:
831833
- **Batch appends**: Groups messages; flush when batch size or timer (10s) is reached. Size only: `batchFlushIntervalSeconds: 0`. Timer only: `batchSize: 0`
832834
- **Auto-create table**: Creates an Iceberg table with one `data` (string) column for JSON payloads when the table does not exist.
833835
- **Authentication**: Same as source (Bearer or Basic).
834-
- **Warehouse object storage**: Optional static credentials for the Parquet warehouse (`accessKeySecretRef` + `secretAccessKeySecretRef`) set iceberg-go / AWS SDK env (`AWS_S3_ENDPOINT`, `AWS_REGION` when `s3Endpoint` / `s3Region` are set). Cross-namespace Secret references are rejected at reconcile time.
836+
- **Warehouse object storage**: Optional static credentials for the Parquet warehouse (`accessKeySecretRef` + `secretAccessKeySecretRef`) set iceberg-go / AWS SDK env (`AWS_S3_ENDPOINT`, `AWS_REGION` when `s3Endpoint` / `s3Region` are set). Same-namespace refs use `secretKeyRef`; other namespaces are resolved by the operator into Deployment env literals. Changing a referenced Secret triggers reconcile via normal Secret watches.
835837

836838
### Example: Kafka to Nessie (Iceberg)
837839

docs/ru/connectors.md

Lines changed: 4 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -861,8 +861,9 @@ sink:
861861
# Или basicAuth: { username, password }
862862
863863
# Опционально: объектное хранилище warehouse (S3-совместимое). Не путать с аутентификацией Nessie REST выше.
864-
# Задавайте accessKeySecretRef и secretAccessKeySecretRef вместе. Secret должен быть в том же namespace, что и DataFlow (ограничение Kubernetes для secretKeyRef в env).
865-
# Значения попадают только в переменные окружения пода processor (AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY); в ConfigMap со спекой они не материализуются.
864+
# Задавайте accessKeySecretRef и secretAccessKeySecretRef вместе.
865+
# Если namespace не указан, считается namespace DataFlow и используется secretKeyRef в Pod (предпочтительно).
866+
# Если указан другой namespace, оператор читает Secret при reconcile и подставляет литералы в env Deployment (аналогично другим коннекторам с секретами в ConfigMap по модели раскрытия в etcd API).
866867
# s3Endpoint: "https://storage.yandexcloud.net"
867868
# s3Region: "ru-central1"
868869
# accessKeySecretRef:
@@ -879,7 +880,7 @@ sink:
879880
- **Батч-дозапись**: Группировка сообщений и дозапись батчами в Iceberg; по умолчанию сброс при достижении `batchSize` или по таймеру (10 с). Только по размеру: `batchFlushIntervalSeconds: 0`. Только по времени: `batchSize: 0`
880881
- **Автосоздание таблицы**: Создание таблицы Iceberg с одной колонкой `data` (string) для JSON при отсутствии таблицы.
881882
- **Аутентификация**: Аналогично источнику (Bearer или Basic).
882-
- **Объектное хранилище warehouse**: Опциональные статические ключи (`accessKeySecretRef` + `secretAccessKeySecretRef`) задают переменные iceberg-go / AWS SDK; при необходимости укажите `s3Endpoint` и `s3Region` (например Yandex Object Storage). Ссылки на Secret в другом namespace отклоняются при reconcile.
883+
- **Объектное хранилище warehouse**: Опциональные статические ключи (`accessKeySecretRef` + `secretAccessKeySecretRef`) задают переменные iceberg-go / AWS SDK; при необходимости укажите `s3Endpoint` и `s3Region` (например Yandex Object Storage). В том же namespace, что DataFlow, используются `secretKeyRef`; для другого namespace оператор подставляет значения в env Deployment. Изменение целевого Secret приводит к reconcile через watch.
883884

884885
#### Пример: Kafka → Nessie (Iceberg)
885886

0 commit comments

Comments
 (0)