Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

📢 白名单 & 限流 的公开信息 📢 #2328

Open
wzshiming opened this issue Apr 16, 2024 · 59 comments · Fixed by #9888
Open

📢 白名单 & 限流 的公开信息 📢 #2328

wzshiming opened this issue Apr 16, 2024 · 59 comments · Fixed by #9888
Labels
documentation Improvements or additions to documentation

Comments

@wzshiming
Copy link
Member

wzshiming commented Apr 16, 2024

快速部署自己的 Mirror (推荐)

仅适用于 中国大陆, 海外流量 会被重定向回源 (2024/07/14)

>>>>>>>>对于急用的可以尝试其他的镜像源<<<<<<<<<

  • docker.io
{
  "registry-mirrors": [
    "https://dockerhub.icu",
    "https://docker.chenby.cn",
    "https://docker.1panel.live",
    "https://docker.awsl9527.cn",
    "https://docker.anyhub.us.kg",
    "https://dhub.kubesre.xyz",
    "https://docker.13140521.xyz"
  ]
}

>>>>>>>>>>添加白名单<<<<<<<<<<

主动同步镜像 (要求已在白名单)

由于近期使用量剧增, 对服务做出以下调整

自 (2024/06/18) 启用白名单机制, 对于有下列特征的镜像, 不会受到支持

  • 只有构建产物没有源码的
  • 不是正经的开源项目
  • 项目 ⭐️ 过低的
  • 仅为国内用户服务的镜像 (绕一圈没必要)
  • 涉及魔法/科学, 盗版等...

可以尝试别的 镜像源和方法
建议作者放国内 阿里云镜像仓库, 华为云镜像仓库

自 (2024/06/13) 启动限流

会根据流量账单随时进行人工调整

  • 当前 blob(镜像层) 限流

    • 1024Ki/s (下载 1Mi 会先 sleep 1s 再响应, 下载 10Mi 会先 sleep 10s 再响应, 下载 1Gi 会先 sleep 约18min 再响应 以此类推...)
    • 10Mi/s (下载 1Mi 会先 sleep 0.1s 再响应, 下载 10Mi 会先 sleep 1s 再响应, 下载 1Gi 会先 sleep 约2min 再响应 以此类推...)
    • 自 (2024/11/14) 开始 📢 IP 封禁规则 📢 #34109
  • 当前 IP 限流

    • 并发限制 10 (请调低 Docker 拉取并发数, 其默认值应该为 3) (超出响应 429)
    • 20r/m (每分钟20个请求) (超出响应 429)
    • 1Gi/2h (小于 1Gi 的 blob 每2小时能获取多个, 否则每2小时只能获取一个, 达到限额将会卡住等时间到了然后再继续)
  • 禁用 _catalog (获取全部镜像)

  • 禁用 tags/list (获取镜像全部 tag)

本项目 致力于提供连接全世界的稳定可靠安全的容器镜像服务

  • 2024/11 月份, ...
  • 2024/10 月份, 流量 58.68 TiB (8号 移除镜像不限速名单)
  • 2024/09 月份, 流量 55.99 TiB
  • 2024/08 月份, 流量 55.92 TiB (部分镜像加入不限速名单)
  • 2024/07 月份, 流量 43.99 TiB
  • 2024/06 月份, 流量 55.73 TiB (6号 起流量大涨, 日约消耗 4TiB 还在逐日增加, 后续添加限流, 白名单, 等机制)
  • 2024/06 月份之前, 月均流量 10 ~ 20 TiB
Copy link
Contributor

Hi @wzshiming,
感谢您的反馈!
我们会尽快跟进.

Details

Instructions for interacting with me using comments are available here.
If you have questions or suggestions related to my behavior, please file an issue against the gh-ci-bot repository.

@wzshiming wzshiming pinned this issue Apr 16, 2024
@wzshiming wzshiming unpinned this issue Jun 3, 2024
@wzshiming wzshiming pinned this issue Jun 8, 2024
@wzshiming wzshiming unpinned this issue Jun 11, 2024
@wzshiming wzshiming pinned this issue Jun 12, 2024
@wzshiming wzshiming reopened this Jun 18, 2024
@itxmn
Copy link

itxmn commented Jun 19, 2024

考虑引入前缀白名单, 只为白名单里的提供服务

  • 只为下列 registry 提供服务

    • cr.l5d.io
    • docker.elastic.co
    • registry-1.docker.io - docker.io
    • gcr.io
    • ghcr.io
    • k8s.gcr.io
    • mcr.microsoft.com
    • nvcr.io
    • quay.io
    • registry.jujucharms.com
    • registry.k8s.io
    • registry.opensource.zalan.do
    • rocks.canonical.com
    • registry.ollama.ai - ollama.ai
    • cr.weaviate.io
    • TODO 添加新的 registry
  • TODO 细化提供服务的路径

方便j引入geoserver-cloud相关镜像服务吗

@wzshiming
Copy link
Member Author

看名字应该问题不大

@JulyFinal
Copy link

JulyFinal commented Jun 20, 2024

请求向白名单加入以下前缀

docker.io/langgenius/*
docker.io/postgres
docker.io/ubuntu/*

@525246403
Copy link

docker.io/hpcaitech

@DaoCloud DaoCloud locked as too heated and limited conversation to collaborators Jul 3, 2024
@wzshiming wzshiming added the documentation Improvements or additions to documentation label Jul 5, 2024
@wzshiming wzshiming changed the title 白名单 & 限流 & 降级 的公开信息 📢 白名单 & 限流 & 降级 的公开信息 Jul 5, 2024
@wzshiming wzshiming changed the title 📢 白名单 & 限流 & 降级 的公开信息 📢 白名单 & 限流 的公开信息 📢 Aug 1, 2024
@yyzxw
Copy link

yyzxw commented Sep 25, 2024

gcr.io/ml-pipeline/cache-deployer:2.3.0

Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
documentation Improvements or additions to documentation
Projects
None yet
Development

Successfully merging a pull request may close this issue.