Published

edc-service — conector EDC de Carbon

Víctor Obregón
Víctor Obregón
0

Connect any source, model it as an ontology, transform it, and operationalize it, analytics, automation and machine learning, under one governed, self-hostable roof. --- Most teams stitch the...

edc-service — conector EDC de Carbon

Conector EDC propio (launcher en connector/build.gradle.kts) = conector base de los Samples + data plane S3. Fase 2 del módulo dataspaces.

Charter: ../../docs/dataspaces/README.md · Approach Fase 2: ../../docs/dataspaces/fase-2-approach.md
El PoC de Fase 1 (HTTP transfer) queda en poc/ como referencia.

Uso

docker compose up -d --build     # 2 conectores (con S3) + MinIO (stand-in de R2)
bash run-cycle-s3.sh             # ciclo DSP + transfer S3→S3, verifica el objeto
docker compose down -v           # parar y limpiar

Topología

 host ─19193→ provider ─┐                MinIO (stand-in R2)
 host ─29193→ consumer ─┤ red "edc"      · provider-src/sample.parquet  (source)
                        │  DSP entre sí   · consumer-inbox/             (destino)
 provider (data plane S3) ── AmazonS3-PUSH ──▶ consumer-inbox

Notas

  • EDC 0.17.0 (core y data-plane-aws-s3 misma versión). Samples pin cc7a7e3.
  • endpointOverride en el DataAddress → apunta a MinIO (http://minio:9000) o a R2.
  • R2 real: cambiar endpointOverride a https://<ACCOUNT_ID>.eu.r2.cloudflarestorage.com (jurisdicción EU = residencia europea), region=auto, path-style, creds vía .env (gitignored).
  • Alcance: objeto S3 como copia (Estrategia A). Zero-copy Iceberg/Lakekeeper = Fase 5.