Metadata-Version: 2.1
Name: SpiderKo
Version: 0.0.4
Summary: Spider Toolkit Collection
Home-page: https://github.com/fovegage/SpiderKo
Author: fovegage
Author-email: fovegage@gmail.com
License: UNKNOWN
Platform: UNKNOWN
Classifier: Programming Language :: Python :: 3
Classifier: License :: OSI Approved :: MIT License
Classifier: Operating System :: OS Independent
Description-Content-Type: text/markdown
Requires-Dist: requests
Requires-Dist: xlrd (==1.2.0)
Requires-Dist: pandas
Requires-Dist: BeautifulSoup4
Requires-Dist: simplepy
Requires-Dist: redis
Requires-Dist: pymongo

## 设计初衷

```

python setup.py sdist bdist_wheel
twine upload dist/*

SpiderKo依赖统一的状态管理数据库（Redis、ZooKeeper），SpiderKo采用二分搜索定位网页路由，
SpiderKo存储提供Elasticsearch、MongoDB、MySQL（sqlalchemy）为存储载体。


爬虫(spider) ---> 数据治理(process) ---> 数据存储（rpc、db、http） store

可以快速接入 无需关心数据存储

所有爬虫写入   日本爬虫可以直接用   异步任务调用  下载  通知
```

