设为首页收藏本站

EPS数据狗论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 64|回复: 0

超级简单的台风数据爬取

[复制链接]

10

主题

124

金钱

200

积分

入门用户

发表于 2021-7-20 16:09:52 | 显示全部楼层 |阅读模式
又是一年台风来袭季,第6号台风“烟花”还没有抵达,第7号台风“查帕卡”已将出发。都说现代生活节奏太快,现代台风也要赶场子吗?对于要遭受台风地区的小伙伴,既想要享受它带来的清凉,又不想目睹它裹挟的灾难。
关于一些台风的数据,我们是可以通过Python获取到的。首先我们找到关于台风的网址信息就可以。然后挂上代理,获取数据就可以了。完整展示如下:
<?php    // 要访问的目标页面    $url = "http://typhoon.zjwater.gov.cn";    $urls = "http://typhoon.zjwater.gov.cn";    // 代理服务器(产品官网 www.16yun.cn)    define("PROXY_SERVER", "tcp://t.16yun.cn:31111");    // 代理身份信息    define("PROXY_USER", "16GHVCJA");    define("PROXY_PASS", "077607");    $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);    // 设置 Proxy tunnel    $tunnel = rand(1,10000);    $headers = implode("\r\n", [        "Proxy-Authorization: Basic {$proxyAuth}",        "Proxy-Tunnel: ${tunnel}",    ]);    $sniServer = parse_url($urls, PHP_URL_HOST);    $options = [        "http" => [            "proxy"  => PROXY_SERVER,            "header" => $headers,            "method" => "GET",            'request_fulluri' => true,        ],        'ssl' => array(                'SNI_enabled' => true, // Disable SNI for https over http proxies                'SNI_server_name' => $sniServer        )    ];    print($url);    $context = stream_context_create($options);    $result = file_get_contents($url, false, $context);    var_dump($result);    // 访问 HTTPS 页面    print($urls);    $context = stream_context_create($options);    $result = file_get_contents($urls, false, $context);    var_dump($result);?>curlGuzzleHttp
虽然现在台风还没有正式侵入。不过假设你以后需要这些资料的时候,获取就很是方便了,最基础的requests就可以了。就算不懂爬虫的也可以做得到爬取。


您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

客服中心
关闭
在线时间:
周一~周五
8:30-17:30
QQ群:
653541906
联系电话:
010-85786021-8017
在线咨询
客服中心

意见反馈|网站地图|手机版|小黑屋|EPS数据狗论坛 ( 京ICP备09019565号-3 )   

Powered by BFIT! X3.4

© 2008-2028 BFIT Inc.

快速回复 返回顶部 返回列表