您的位置:首页 >文章内容
爬虫如何实现http代理
来源: 作者:admin 时间:2018-11-14 17:17:29

随着现在社会的境界快速发展,网络的发展也是日新月异,经济社会逐渐走向了信息社会,网络社会。网络渗透到人们的生活和工作的方方面面,代理IP也成为了人们生活、工作不可或缺的一部分。说到代理其实代理的意思就跟带话差不多,比如说,A要跟C通信,但是没有通信渠道,这个时候就需要一个A与C之间的连接,来帮助传话,这个原理明白了,实现代理就简单易懂了。那么python 如何实现http代理呢?请看下面的代码。

  import socket

  import threading

  class ProxyServer():

  def __init__(self):

  self.ListenSock = socket()

  self.ListenSock.bind()

  self.Clients = []

  def listen_thread(self):

  self.ListenSock.listen()

  while(1):

  self.Clients.append(ProxyClient(self.ListenSock.accpet())

  def start_work(self):

  start listen_thread

  while(1):

  #从内存中踢出已经断开的连接

  for i in self.client:

  if i not alive:

  self.clients.remove(i)

  上面伪代码中的ProxyClient就是处理每个客户端的类

  class ProxyClient():

  def __init__(self, Csock):

  self.Csock = Csock

  self.Rsock = None

  start request_process_thread

  def request_process_thread(self):

  while(1):

  req = self.Csock.recv()

  #客户端断开了

  if req == '':

  return

  #从请求中获得客户端想要访问的地址

  addr = get addr from req

  if self.Rsock == None:

  self.Rsock.connect(addr)

  #把客户端的请求转出去

  self.Rscok.send(req)

  #开启接受web data的线程,把web data转发给客户端

  start recv_web_data_thread

  else:

  #如果连接已经建立就不要再去创建新的

  self.Rsock.send(req)

  def recv_web_data_thread(self):

  while(1):

  data = self.Rsock.recv()

  if data=='':

  return

  #把web data转发给客户端

  self.Csock.send(data)


 这就是小编带来的分享了,程序员大牛可以试试效果哦。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 08 2018-09
    用代理IP上网更安全吗

    我们知道,当我们上网时,我们的真实IP可能会被泄露,当被别有用心的人获取到时则可能会对我们造成一些伤害。

  • 19 2019-08
    代理IP分类有哪些?用那种代理更安全

    ​用户通常通过代理来突破限制,如局域网对上网用户的端口、目的网站、协议、游戏、即时通讯软件等的限制,网站对于IP的访问频率、访问次数的限制等;另一方面,通过代理也可以隐藏用

  • 23 2018-11
    代理服务器工作流程详解

    互联网社会,从事互联网工作的朋友免不了和代理ip、代理服务器等东西打交道,也都很关心这方面知识,小编今天给大家介绍一下代理服务器工作流程

  • 09 2019-01
    哪里才有安全好用的代理IP软件

    ​有时候跟别人提到代理IP软件,不懂的人还以为使用代理伪装自己的IP地址是为了干坏事,其实这是对代理IP软件的误解。

在线客服

QQ资讯

上班时间