You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Copy file name to clipboardExpand all lines: docs/en/connectors.md
+5-3Lines changed: 5 additions & 3 deletions
Display the source diff
Display the rich diff
Original file line number
Diff line number
Diff line change
@@ -813,8 +813,10 @@ sink:
813
813
# Or basicAuth: { username, password }
814
814
815
815
# Optional: Iceberg warehouse object storage (S3-compatible). Separate from Nessie REST auth above.
816
-
# Set accessKeySecretRef and secretAccessKeySecretRef together. Secrets must be in the same namespace as the DataFlow (Kubernetes secretKeyRef env limitation).
817
-
# Values are injected only into the processor pod env (AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY); they are not resolved into the mounted spec ConfigMap.
816
+
# Set accessKeySecretRef and secretAccessKeySecretRef together.
817
+
# If namespace is omitted, defaults to the DataFlow namespace and values use secretKeyRef (recommended).
818
+
# If namespace points elsewhere, the operator reads those Secrets at reconcile time and sets literal env on the Deployment (values appear in the Deployment object in the API).
819
+
# Credential refs stay as refs inside mounted spec JSON for Nessie sink (plaintext keys do not go through resolve into ConfigMap for these fields).
818
820
# s3Endpoint: "https://storage.yandexcloud.net"
819
821
# s3Region: "ru-central1"
820
822
# accessKeySecretRef:
@@ -831,7 +833,7 @@ sink:
831
833
- **Batch appends**: Groups messages; flush when batch size or timer (10s) is reached. Size only: `batchFlushIntervalSeconds: 0`. Timer only: `batchSize: 0`
832
834
- **Auto-create table**: Creates an Iceberg table with one `data` (string) column for JSON payloads when the table does not exist.
833
835
- **Authentication**: Same as source (Bearer or Basic).
834
-
- **Warehouse object storage**: Optional static credentials for the Parquet warehouse (`accessKeySecretRef` + `secretAccessKeySecretRef`) set iceberg-go / AWS SDK env (`AWS_S3_ENDPOINT`, `AWS_REGION` when `s3Endpoint` / `s3Region` are set). Cross-namespace Secret references are rejected at reconcile time.
836
+
- **Warehouse object storage**: Optional static credentials for the Parquet warehouse (`accessKeySecretRef` + `secretAccessKeySecretRef`) set iceberg-go / AWS SDK env (`AWS_S3_ENDPOINT`, `AWS_REGION` when `s3Endpoint` / `s3Region` are set). Same-namespace refs use `secretKeyRef`; other namespaces are resolved by the operator into Deployment env literals. Changing a referenced Secret triggers reconcile via normal Secret watches.
Copy file name to clipboardExpand all lines: docs/ru/connectors.md
+4-3Lines changed: 4 additions & 3 deletions
Display the source diff
Display the rich diff
Original file line number
Diff line number
Diff line change
@@ -861,8 +861,9 @@ sink:
861
861
# Или basicAuth: { username, password }
862
862
863
863
# Опционально: объектное хранилище warehouse (S3-совместимое). Не путать с аутентификацией Nessie REST выше.
864
-
# Задавайте accessKeySecretRef и secretAccessKeySecretRef вместе. Secret должен быть в том же namespace, что и DataFlow (ограничение Kubernetes для secretKeyRef в env).
865
-
# Значения попадают только в переменные окружения пода processor (AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY); в ConfigMap со спекой они не материализуются.
864
+
# Задавайте accessKeySecretRef и secretAccessKeySecretRef вместе.
865
+
# Если namespace не указан, считается namespace DataFlow и используется secretKeyRef в Pod (предпочтительно).
866
+
# Если указан другой namespace, оператор читает Secret при reconcile и подставляет литералы в env Deployment (аналогично другим коннекторам с секретами в ConfigMap по модели раскрытия в etcd API).
866
867
# s3Endpoint: "https://storage.yandexcloud.net"
867
868
# s3Region: "ru-central1"
868
869
# accessKeySecretRef:
@@ -879,7 +880,7 @@ sink:
879
880
- **Батч-дозапись**: Группировка сообщений и дозапись батчами в Iceberg; по умолчанию сброс при достижении `batchSize` или по таймеру (10 с). Только по размеру: `batchFlushIntervalSeconds: 0`. Только по времени: `batchSize: 0`
880
881
- **Автосоздание таблицы**: Создание таблицы Iceberg с одной колонкой `data` (string) для JSON при отсутствии таблицы.
881
882
- **Аутентификация**: Аналогично источнику (Bearer или Basic).
882
-
- **Объектное хранилище warehouse**: Опциональные статические ключи (`accessKeySecretRef` + `secretAccessKeySecretRef`) задают переменные iceberg-go / AWS SDK; при необходимости укажите `s3Endpoint` и `s3Region` (например Yandex Object Storage). Ссылки на Secret в другом namespace отклоняются при reconcile.
883
+
- **Объектное хранилище warehouse**: Опциональные статические ключи (`accessKeySecretRef` + `secretAccessKeySecretRef`) задают переменные iceberg-go / AWS SDK; при необходимости укажите `s3Endpoint` и `s3Region` (например Yandex Object Storage). В том же namespace, что DataFlow, используются `secretKeyRef`; для другого namespace оператор подставляет значения в env Deployment. Изменение целевого Secret приводит к reconcile через watch.
0 commit comments