Metadata-Version: 2.1
Name: selector-standardization-beam
Version: 0.4.6
Summary: Data Standardization pipeline in Apache Beam for Selector project
Home-page: https://github.com/Code-for-Russia/selector-pipeline
Author: Nikita Zhiltsov
Author-email: mail@codeforrussia.org
License: UNKNOWN
Project-URL: Bug Tracker, https://github.com/Code-for-Russia/selector-pipeline/issues
Platform: UNKNOWN
Classifier: Programming Language :: Python :: 3
Classifier: License :: OSI Approved :: MIT License
Classifier: Operating System :: OS Independent
Requires-Python: >=3.7
Description-Content-Type: text/markdown
License-File: LICENSE
Requires-Dist: pytest (>=6.2.4)
Requires-Dist: fastavro (>=1.4.0)
Requires-Dist: apache-beam (>=2.20.0)
Requires-Dist: selector-standardizers (>=0.5.0)

# Selector-standardation-beam

Apache beam пайплайн стандартизации:
- читает данные протоколов (например, хранящиеся на GCS)
- вызывает selector-standardizers в виде масштабируемого пайплайна (исполняемого как локально, так и, например, на Dataflow, Spark и тп.)
- сохраняет результат стандартизации в виде Avro.

> GOOGLE_APPLICATION_CREDENTIALS=/Users/nzhiltsov/airflow-installation/google-configs/carbide-program-314404-b1f3be733966.json

