个人学习记录之青龙代理池

失昼

一、搭建容器

1.创建在root文件夹下创建一个文件夹auto-proxy-pool

2.然后cd到文件夹目录 cd /root/auto-proxy-pool

3.然后运行下面代码

[Python] 纯文本查看 复制代码

docker run -dit \
--name auto-proxy-pool  \
--network bridge  \
--restart always  \
-p 12580:8080  \
-v /root/auto-proxy-pool:/run/data \
--privileged=true \
mzzsfy/auto-proxy-pool:latest

二、使用步骤1.修改参数配置文件名proxy.template.yml 为proxy.yml

代码如下：

[Python] 纯文本查看 复制代码

cp /root/auto-proxy-pool/proxy.template.yml /root/auto-proxy-pool/proxy.yml

2.打开proxy.yml修改配置,直接复制下面代码覆盖

代码如下：

[Python] 纯文本查看 复制代码

########################################
#    配置中带有default前缀的都能被覆盖     #
########################################

#!!!!!!!!!!请将本文件改名为proxy.yml,本文件每次重启都会被覆盖!!!!!!!!!!
#!!!!!!!!!!请将本文件改名为proxy.yml,本文件每次重启都会被覆盖!!!!!!!!!!
#!!!!!!!!!!请将本文件改名为proxy.yml,本文件每次重启都会被覆盖!!!!!!!!!!
#!!!!!!!!!!请将本文件改名为proxy.yml,本文件每次重启都会被覆盖!!!!!!!!!!

#注意:"空格#"为注释,所有要启用的功能只需要删除'#'号,不要随意删除空格!

#提取代理失败后策略: DIRECT(直连) REJECT(拒绝) PROXY#http://ip:port(固定代理)
#defaultFailBack: DIRECT

config:
  enableHttpIndexHtml: false #是否启用http首页自动跳转到html,关闭后首页与/help/proxy功能一致
#  logIpDesensitization: true #日志ip脱敏
#  dataCopyMode: 1 #可选e: 1,2 底层实现不一样

# 精细化日志等级,详细程度 trace>debug>info>warne>error>fatal
log:
  pool: info #代理池,主要日志
  pool.proxy.data: warn #传输日志,一般不要开太低
#  root: info #全局日志控制,一般不用改
#  pool.proxy.peek: trace #选取上游日志
#  pool.proxy: debug #代理池,代理日志
#  connect.peek: debug #收到请求,并发日志
#  connect.over: debug #请求处理完成
#  pool.pool.pull: warn #代理池,拉取代理日志

#设置本代理池的密码
#users:  
#    username: password

#核心配置
changeRequest:
  # 支持多项,从上到下匹配
  # 匹配host的正则
  - hostRegex: (.+\.jd\.com)|(.+\.isvjd\.com)|(.+\.isvjcloud\.com)
    #使用哪一个代理,这样写会尝试按顺序从proxy1取2次,然后去proxy2取一次,按最先取到有效计算
    proxy: xiequ
    loadBalanceInterval: 10 #每正常10个请求更换一次proxy
    #是否放行,true直接屏蔽该请求
    black: false
    #拒绝指定host
  - hostRegex: .+\.gov
    black: true
upstream:
  xiequ:
    #请求url,只能为get请求,要求返回为文本格式,每行一个ip:port,建议每次返回maxSize一半的数量
    apiUrl: `这里填API地址`
    #获取到的上游多久后失效,兼容格式 30s,20s100ms,0或者负数不自动生效,建议30秒过期设置25秒,1分钟过期设置55秒
    lifecycle: 25
    #代理使用一段时间后,在当前代理不过期的情况下主动去获取新的代理,合理设置请求更顺畅
    proactive: 20s  
    #请求api最低间隔,防止被封
    requestInterval: 2000ms
    #多上游时,每个上游的消耗权重,默认1,越大使用越少
    #loadBalanceMultiple: 2  
    #优先级分组,默认0,组内部全fail状态才尝试下一组,提取代理时从小到大依次尝试,多上游可用
    #groupIndex: 1  
    #提取失败后,多久内标记为不可用,格式 1h30m1s,2h,30m,10s 默认: 10m
    #failSleep: 2h
    #连续提取失败几次后标记为不可用,默认: 3
    #failThreshold: 3
    #保留几个上游,也就是代理池保留的坑位
    maxSize: 2

4.代理api地址,格式按照代码注释的 提取数量1  TXT格式  换行符/n  http代理协议 以下3个代理池都可以使用免费签到

星空代理(每天100)

携趣网络(每天1千)

巨量网络(每天1千)

5.设置好参数后重启代理池容器

重启容器

[Python] 纯文本查看 复制代码

docker restart auto-proxy-pool

查看容器日志检查是否配置错误

[Python] 纯文本查看 复制代码

docker logs -f --tail 500 auto-proxy-pool

如出现以下就表示配置没问题

6.给脚本配置代理

先安装好依赖,依赖名称:global-agent

青龙依赖管理里面-NodeJs-添加
global-agent 依赖

[Python] 纯文本查看 复制代码

[color=rgb(77, 77, 77)][font=-apple-system, "][size=16px]//js脚本开头加入这段代码 
require("global-agent/bootstrap"); 
global.GLOBAL_AGENT.HTTP_PROXY="http://代理池docker地址:12121";[/size][/font][/color]

全局代理:

[Python] 纯文本查看 复制代码

#仅支持http代理

export GLOBAL_AGENT_HTTP_PROXY=""

#支持http和https代理


export GLOBAL_AGENT_HTTPS_PROXY=""