黑暗中的爆破(船讯网Ais爬虫暨爬虫实战js逆向学习经验分享)

事先声明:本文章所获得的信息均通过合法手段获得(本人为政府部门工作,爬虫行为均经过授权),爬虫需遵守各项法律法规,不该爬取的信息不爬。
最近因为做博士毕业设计需要用到ais信息,但在船讯网爬取ais的时候遇到了问题,因为之前爬取的人太多,所以网站加上了反爬措施,csdn上之前的代码全都不能用了,但在我孜孜不倦的尝试和学习下,攻克了这一难关,在学习的过程中自己的爬虫技术也获得了很大的进展,现将经验分享如下。
一:初级解决方案(爬虫入门级玩家)。我们使用简单的代码转换器和搜索接口,或者使用简单xpath工具,以及正则匹配和数据库(或者csv,能存储数据就行),可以获得我们想要的ais信息,并将它编写成代码。

import requests
import csv
#爬虫谨慎使用!爬虫过多使用会导致网站反爬修改代码导致爬虫失效!
'''
出现PermissionError: [Errno 13] Permission denied: 'ais.csv'
是因为将数据文件ais.csv打开了,将其关闭即可恢复正常。
'''
#将搜索到的信息添加进excel(csv)
def readAndWrite(totalMessage):#没有该文件csv文件的话自动生成csv文件#查询已有的mmsi列表mmsiList=[]notEmpty=False#判断文件是否为空    with open('ais.csv','a') as file:passwith open('ais.csv','r') as file:lines=file.readlines()notEmpty=bool(lines)for line 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/bicheng/87575.shtml
繁体地址,请注明出处:http://hk.pswp.cn/bicheng/87575.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

代码混淆的步骤

在 Android 开发中,代码混淆(ProGuard/R8)是保护代码安全和缩减应用体积的关键步骤。以下是详细的混淆流程和优化策略: 一、基础混淆步骤 1. 启用混淆 在 build.gradle 中配置: android {buildTypes {release {mini…

分布式集合通信--学习笔记

分布式集合通信一 基础概念 分布式系统模型 节点与进程模型 多机多卡、多机多进程通信模式 同步 、异步 集合通信定义 点对点通信 vs 集合通信 点对点通信 定义 :两个节点之间的直接数据传输,通常基于专用链路或网络路径通信范围:仅涉及两…

工业显示器五大品牌推荐及分析

在智能制造与工业自动化中,工业显示器扮演着至关重要的角色,最近好多朋友问我有没有什么卖工业显示的厂家推荐。那今天我为大家整理了5个工业显示器厂家品牌推荐,希望可以帮助您挑选到合适的工业显示器一、佳维视(JAWEST&#xff…

ComfyUI工作流:一键换背景体验不同场景

换背景效果展示 在图像编辑领域,背景替换是提升作品视觉效果与创意表达的重要手段。魔多 AI 社区推出的 “一键换背景” ComfyUI 工作流,凭借先进的 AI 技术与极简操作流程,为用户提供了高效、精准的背景替换解决方案。本文将从技术原理、功能…

图像旋转:从原理到 OpenCV 实践

在图像处理领域,图像旋转是一项基础且重要的操作。它不仅可以改变图像的方向,还在许多计算机视觉任务中发挥着关键作用,比如目标检测、图像配准等。本文将深入探讨图像旋转的原理,并结合 OpenCV 库提供具体的实现代码。 一、图像…

微服务架构下的抉择:Consul vs. Eureka,服务发现该如何选型?

微服务架构下的抉择:Consul vs. Eureka,服务发现该如何选型? 引言 想象一下,我们正在构建一个大型电商平台。在“双十一”大促期间,流量洪峰涌入,订单服务、商品服务、用户服务等都需要弹性伸缩&#xff…

基于Java+SpringBoot的宠物爱心组织管理系统

源码编号:S572 源码名称:基于SpringBoot的宠物爱心组织管理系统 用户类型:双角色,用户、管理员 数据库表数量:15 张表 主要技术:Java、Vue、ElementUl 、SpringBoot、Maven 运行环境:Windo…

数字样机:改写卫星物联网的研制范式

01. 卫星物联网:技术边界的自然延伸 随着物联网在城市、工业、农业等领域的广泛部署,万物互联的愿景正在不断逼近技术的边界。尤其是在海洋、沙漠、高原、边远山区等传统通信网络难以覆盖的区域,人们对无盲点物联网连接的需求日益增强。这一…

springsecurity---使用流程、加密机制、自定义密码匹配器、token字符串生成

目录 权限控制 相关框架 SpringSecurity springsecurity使用流程 1、搭建环境实现默认用户名和密码登录 2、使用数据库表中定义好的用户名和密码访问实现等值密码匹配 1)sql文件 2)搭建jdbc或者mybatis或者mybatis-plus环境 3)配置mybatis-plus环…

在 Ubuntu 22.04 上使用 Minikube 部署 Go 应用到 Kubernetes

文章目录 环境说明目标步骤与问题解决1. 构建 Go 应用和 Docker 镜像问题 1:Go 依赖下载卡住问题 2:Docker 镜像拉取失败 2. 设置 Minikube 集群安装 Minikube问题 3:Minikube 启动失败问题 4:Minikube 镜像拉取失败 3. 部署 Kube…

Android Studio-Git的使用指南

一、git的基本使用流程 git clone 克隆远程资源到本地目录,作为工作目录;然后在本地的克隆目录上添加或修改文件;如果远程修改了,需要同步远程的内容,直接git pull就可以更新本地的文件;本地在修改之后&…

【github】想fork的项目变为私有副本

在 GitHub 上,所有的 fork 都会继承其上游仓库(upstream)的可见性(visibility)设置: 可见性继承 如果你 fork 的原仓库是 public,那么你的 fork 也必须是 public。如果原仓库是 private&#xf…

微软发布新一代存储优化型虚拟机:Azure Laosv4、Lasv4 和 Lsv4 系列

微软宣布,全新一代存储优化型虚拟机——Azure Laosv4、Lasv4 和 Lsv4 系列已正式面世。 与前一代虚拟机系列相比,全新的 L 系列虚拟机实现了重大突破。它支持高达 23TB 的本地 NVMe SSD,在 CPU、网络以及远程存储性能方面均有显著提升。该系…

python调用pybind11导出的pyd,出现UnicodeDecodeError

python调用pybind11导出的pyd,出现UnicodeDecodeError 1. 问题描述 举个例子,当有以下C代码以及Pybind11的绑定代码时,在python访问包含中文的Name和Value会有UnicodeDecodeError的异常! class VxUserProp{public:VxUserProp();…

MySQL别名在GROUP BY中的使用规则

-- 设置变量:SET earliest_date ... 用于定义并赋值一个用户变量 earliest_date。 -- 用户定义的变量必须以 符号开头,例如 earliest_date。 -- 符号是MySQL中用户变量的标识符,用于区分系统变量和用户变量。 SET earliest_date (SELECT …

2025.7.4总结

感恩环节:感谢今日工作顺利度过,明天终于能美美的睡个懒觉了。感谢这周有个美好的双休。今日去实验室参观设备,感谢我的一个同事解答了我关于硬件设备与所做软件业务之间的关系,通过控制器控制网元等相关设备,同时,虽然…

Prompt 精通之路(五)- 构建你的“AI 指令系统”:超越简单提问的 CRISPE 与 APE 框架

🚀 Prompt 精通之路:系列文章导航 第一篇:[本文] AI 时代的新语言:到底什么是 Prompt?为什么它如此重要?第二篇:告别废话!掌握这 4 个黄金法则,让你的 Prompt 精准有效第…

#NFT艺术品哈希值唯一性与《民法典》“网络虚拟财产”认定的冲突

首席数据官高鹏律师数字经济团队创作,AI辅助 一、当区块链的「绝对唯一」遇上法律的「弹性空间」 每个NFT艺术品背后的哈希值,都像用数学密码刻在区块链上的指纹——世界上没有任何两个完全相同的编码。这种由0和1构筑的「数字DNA」,被技术信…

【arXiv2025】计算机视觉|即插即用|LBMamba:革新视觉模型效率,性能炸裂

论文地址:https://arxiv.org/pdf/2506.15976 代码地址:https://github.com/CiaoHe/bi-mamba 关注UP CV缝合怪,分享最计算机视觉新即插即用模块,并提供配套的论文资料与代码。 https://space.bilibili.com/473764881 摘要 Mamba…

【狂飙AGI】第7课:AGI-行业大模型(系列1)

目录 (一)服装史的GPT时刻(二)AI多学科诊疗系统(三)医疗大模型(四)生物医药大模型(五)教育大模型(六)心理大模型(七&#…