本文详细介绍了如何利用Python从巨潮网站爬取上市公司年报数据,解析PDF文件提取关键信息,并将数据保存到本地文件。主要内容包括:1. 从Excel或文本文件读取股票代码;2. 根据股票代码和年份爬取年报数据地址;3. 下载PDF文件到本地;4. 使用pdfplumber模块解析PDF,通过关键词检索提取审计、咨询费用等数据;5. 采用多线程技术实现股票代码解析、文件下载和解析的并行处理,提高效率。文章还分享了使用Fiddler分析网络请求、处理异常情况、避免IP被封等开发经验,并提供了完整的项目代码地址。 Python作为一门跨领域的编程语言,在数据爬取和处理方面展现出了强大的能力。本文重点探讨了如何利用Python技术,从巨潮信息网爬取上市公司的年报数据,解析这些数据中的关键信息,并最终将结果保存至本地文件。文章内容涵盖多个环节:通过读取Excel或文本文件来获取股票代码;根据这些股票代码和特定年份来确定年报数据的具体地址;然后,使用网络请求将PDF格式的年报数据下载到本地计算机中;接下来,利用pdfplumber工具对下载的PDF文件进行解析,通过设置特定的关键词来提取其中的审计费用、咨询费用等相关数据;文章还详细介绍了通过多线程技术,实现股票代码解析、文件下载和解析过程的并行处理,以提升整体的工作效率。 文章不仅仅停留在技术实现的层面,还分享了一些开发过程中的实战经验,比如如何使用Fiddler工具来分析网络请求,以及如何处理可能遇到的异常情况,这些内容对于从事相关开发工作的人员来说,具有极高的参考价值。此外,为了防止因为频繁的网络请求而遭遇IP地址被封的问题,文章还介绍了一些避免IP受限的策略。 在技术实现方面,文章提供了详细的代码实现路径,这对于希望复用代码以实现类似功能的开发者来说,是一份宝贵的资源。整个项目的代码地址也被提供,方便感兴趣的开发者进行进一步的探索和学习。 Python在这类任务中的优势在于其丰富的库支持。除了pdfplumber之外,还可以使用诸如requests进行网络请求,BeautifulSoup或lxml进行网页解析,而多线程的实现则可以借助threading或concurrent.futures模块。这些库和模块的合理利用,不仅使数据爬取和解析工作变得高效和简便,还提高了代码的可读性和可维护性。 在处理数据之后,通常还需要利用数据分析的方法对数据进行进一步的处理。虽然本文的重点在于数据的爬取和解析,但Python在数据分析领域也有着广泛的应用,如使用pandas库进行数据的清洗、整理和分析,以及使用matplotlib和seaborn库进行数据的可视化展示等。 此外,文章还强调了对于法律法规的遵守,比如在爬取和使用数据时要符合相关网站的服务条款,以及确保自己的行为不违反任何数据保护和隐私的法律要求。这一点对于任何从事数据相关工作的开发者来说都是不可忽视的。 由于Python语言的通用性和易用性,这类爬虫项目通常能够轻松跨平台使用,使得开发者可以在不同的操作系统上进行开发和部署,这对于提高工作效率和项目兼容性都有极大的帮助。 Python在爬虫和数据分析领域的应用非常广泛,本文提供的项目代码及其相关知识点,能够帮助开发者快速搭建起一个爬取和解析年报数据的基础框架,同时理解如何高效地利用多线程技术来提升开发效率,以及如何处理实际开发中可能遇到的问题。通过阅读本文,开发者不仅可以学习到具体的技术实现方法,还能够加深对Python编程在实际应用中的理解。
2026-04-06 20:24:21 18KB Python 数据分析
1
本文详细介绍了如何通过Python爬虫程序从巨潮资讯网获取A股上市公司年报链接,并将数据存入Excel表格。文章内容包括网页分析、网络抓包、数据获取与保存等具体步骤,提供了完整的代码实现和参数说明。作者还分享了2003-2022年的年报链接资源,并提到了一些代码的局限性,如进度显示溢出和重复数据处理问题。对于需要进行二次开发或定制化需求的读者,本文提供了详细的指导和参考。 在当今信息化时代,对股市相关数据的收集和分析是金融投资领域不可或缺的环节。本文深入探讨了如何通过编写Python爬虫程序来高效获取A股上市公司年报信息。文章从网页结构分析入手,讲解了如何识别和解析网页元素,以便准确抓取所需数据。网络抓包技术被用于捕捉网页加载过程中的数据包,通过分析这些数据包,作者确定了年报链接所在的网络请求和响应格式。 随后,文章详细介绍了数据获取与保存的流程。作者采用了Python中常用的第三方库,如requests用于网络请求、BeautifulSoup用于解析HTML、pandas用于数据处理,将这些工具有机结合,实现了一个自动化流程,能够自动从巨潮资讯网检索并下载指定年份的A股上市公司年报链接。此外,作者还提供了将抓取到的数据存储到Excel表格中的代码,方便用户进行进一步的分析和处理。 文中,作者还特别分享了从2003年至2022年累积的年报链接资源,这些资源对投资者和研究人员来说是宝贵的资料库。在实际操作中,作者也提到了代码在执行过程中可能出现的一些问题,例如进度显示溢出和数据重复问题,并给出了解决这些问题的建议和方法。 值得一提的是,作者在文章的后半部分提供了代码实现的完整过程和详细参数说明,这不仅使得文章具有较高的实用价值,也方便了有二次开发需求的读者。作者还贴心地对代码可能存在的局限性进行了说明,帮助读者更好地理解和使用这段代码。 对于希望学习如何使用Python进行网页数据抓取的读者来说,本文不仅是一个实用的案例分析,也是一份详尽的教程。通过对本文的学习,读者可以掌握爬虫程序的基本原理和实现方法,提高数据获取和处理的能力。同时,本文也对进行数据采集过程中可能遇到的法律和道德问题进行了简要的阐述,强调了在合法合规的前提下使用爬虫技术的重要性。 本文不仅提供了一个高效获取A股年报链接的Python爬虫程序,还分享了大量的实用技巧和宝贵资源。对于希望深入学习Python网络数据抓取技术的读者而言,这是一份不可多得的参考资料。
2026-04-06 20:19:12 189KB 软件开发 源码
1
本文详细介绍了如何使用Python爬取巨潮资讯网上的上市公司年报数据。教程从工具和环境准备开始,包括安装必要的库如requests和beautifulsoup4,然后逐步讲解如何构造请求、保存文件、批量下载PDF以及处理分页数据。文章提供了完整的代码示例,包括请求头设置、分页逻辑和文件下载功能,适合编程新手快速上手。最后,作者强调了遵守法律法规和网站协议的重要性,并鼓励读者根据需求扩展代码功能。 文章详细介绍了使用Python语言对巨潮资讯网进行数据爬取的过程,以便于获取上市公司的年度报告。文章强调了在进行网络爬虫活动之前,要确保工具和编程环境已经准备就绪。这包括安装Python语言、相关的编程库,如requests用于发送网络请求,beautifulsoup4用于解析网页内容。接着,文章一步步地展示了如何构造网络请求,以便能够正确地从目标网站上抓取数据。 在构造请求的过程中,文章重点讲解了请求头的设置,这对于模拟正常的浏览器访问、规避被网站封禁非常重要。然后,文章详细说明了如何通过编写代码实现对网页内容的解析,包括提取年报数据的链接,如何构建下载功能来保存文件,以及如何处理网站的分页数据,从而实现批量下载PDF格式的年报。 文章中提供的代码示例详尽,不仅包括了基础的请求构造和数据解析,还包括了更为复杂的逻辑处理,比如如何处理分页问题,确保可以连续下载多页数据而不遗漏。这些代码实例对于编程新手来说是非常有帮助的,它们可以作为学习如何实现网络爬虫项目的参考。 此外,文章也强调了进行网络数据爬取时应当注意的法律和伦理问题,即在获取数据的同时要遵守相关法律法规以及网站的服务协议,以免侵犯知识产权或触犯法律。作者鼓励读者在遵循这些基本准则的基础上,根据个人或项目需求对代码进行相应的扩展和改进。 整体而言,本文不仅是一份详细的网络爬虫教程,也是一份关于如何负责任地进行网络数据获取的指南。通过阅读本文,读者不仅可以学习到技术上的操作,还能够培养对网络爬虫技术法律和伦理的正确认识。
2026-04-06 17:41:32 542B
1
适用于WINCC 7.4-8.0版本的日月年报表控件,无需脚本,快速配置实现数据可视化与远程支持,WINCC高效日月年报表控件:支持多版本WINCC系统,轻松实现数据可视化与报表输出,WINCC日月年报表控件,支持博图WINCC,WINCC7.4,7.5,8.0版本,提供视频教程,提供远程支持。 无需脚本,几步配置即可,提供最值,累计值,平均值数据分析,支持打印预览,excel和pdf报表输出。 ,核心关键词: WINCC日月年报表控件; 博图WINCC支持; 配置简便; 数据分析; 视频教程; 远程支持; 打印预览; Excel和PDF报表输出。,WINCC多版本报表控件:快速配置,支持数据分析与输出
2025-08-21 11:18:55 2.03MB istio
1
2024年上半年,中文大模型取得了显著的进展,国内外大模型之间的差距进一步缩小,国内开源模型表现突出,端侧小模型在部分任务中表现优异。SuperCLUE团队发布的基准测试报告详细评估了各类大模型的性能和发展趋势。 核心结论 国内外大模型差距缩小:OpenAI的GPT-4o模型依然表现最佳,但国内大模型已将差距缩小至5%以内。 国内开源模型崛起:Qwen2-72B-Instruct模型在SuperCLUE中登顶,超过了众多闭源模型。 各任务表现:GPT-4o在文科、理科和Hard任务中综合最佳,Claude-3.5在Hard任务表现突出,Qwen2-72B在文科任务表现优异。 端侧小模型表现惊艳:部分小尺寸模型表现好于上一代大模型,提升了落地可行性。 5. 优秀模型案例介绍 5.1 Qwen2-72B-Instruct 5.2 SenseChat5.0 简介:商汤科技的大模型,参数量高达6000亿。 适合应用:汽车、工业、金融、医疗等垂直专业场景。 5.3 山海大模型4.0 简介:云知声的大语言模型,参数量未公布。 适合应用:医疗、教育等垂直专业场景。 5.4 AndesGPT ### SuperCLUE中文大模型基准测评2024年上半年报告 #### 核心结论概览 2024年上半年,中文大模型领域的研究与发展取得了显著的进步。本报告旨在全面总结和评估这一时期内的关键技术成果与趋势变化。核心结论包括: 1. **国内外大模型之间的差距进一步缩小**:OpenAI的GPT-4o模型虽然仍然是全球表现最佳的大模型之一,但中国研发的大模型已经将差距缩小到5%以内。 2. **国内开源模型崭露头角**:Qwen2-72B-Instruct作为一款开源模型,在SuperCLUE基准测试中表现出色,超越了许多国内外闭源模型。 3. **各任务领域表现各异**:GPT-4o在文科、理科以及Hard任务中表现最优;Claude-3.5则在Hard任务中脱颖而出;而Qwen2-72B在文科任务方面有着卓越的表现。 4. **端侧小模型展现出惊人的能力**:部分小尺寸模型的性能甚至优于上一代大模型,这大大提高了它们在实际应用场景中的可行性。 #### 技术趋势分析 - **国内外大模型差距的缩小**:随着中国企业在人工智能领域投入不断加大,自主研发的技术能力不断提升,国内外大模型之间的性能差距正在逐步缩小。这种趋势表明,中国在人工智能领域的竞争力日益增强。 - **国内开源模型的崛起**:开源模型的兴起为中国乃至全球的人工智能开发者提供了更多的选择,有助于促进技术创新和知识共享。Qwen2-72B-Instruct的成功证明了开源模型不仅能够达到高质量标准,还能够在国际竞争中占据有利位置。 - **任务特异性表现差异**:不同模型在不同任务上的表现各有特点,反映出特定场景下的优势和局限性。例如,GPT-4o在综合性任务中表现出色,而Claude-3.5在Hard任务中更胜一筹,这些差异对于用户根据具体需求选择合适的模型至关重要。 - **端侧小模型的发展**:端侧小模型因其体积小巧、易于部署的特点,在资源受限的设备上展现出巨大的潜力。这类模型的发展不仅推动了人工智能技术的普及,也为边缘计算和物联网技术的应用开辟了新的可能。 #### 优秀模型案例介绍 - **Qwen2-72B-Instruct**:作为国内开源模型的代表,Qwen2-72B-Instruct在SuperCLUE基准测试中取得了优异的成绩。该模型通过深度学习技术训练而成,具备强大的语言理解和生成能力,适用于多种自然语言处理任务。 - **SenseChat5.0**:由商汤科技开发,是一款参数量高达6000亿的大模型。SenseChat5.0专为汽车、工业、金融和医疗等垂直专业场景设计,能够提供精准的专业咨询和服务。 - **山海大模型4.0**:云知声研发的一款大语言模型,虽然参数量未知,但在医疗和教育等垂直领域有着广泛的应用前景。 - **AndesGPT**:OPPO发布的这款模型在特定领域也展现出了不俗的能力。 #### 结论 2024年上半年的中文大模型发展呈现出多元化的趋势,不仅国内外差距缩小,而且国内开源模型展现出强大的竞争力。此外,端侧小模型的进步也预示着人工智能技术在未来更加广泛的实用化前景。随着技术的不断发展和完善,中文大模型将在更多领域发挥重要作用。
2024-08-16 09:54:32 16.57MB
1
2019 年 1-6 月,广东市场化交易总成交电量 1771 亿千 瓦时,其中,一级市场(年度双边协商、年度集中竞争、月 度集中竞争)总成交电量 1661.1 亿千瓦时,同比增长 25.6%, 平均成交价差-42.2 厘/千瓦时;二级市场(发电合同转让) 总成交电量 109.9 亿千瓦时,平均成交价格 327.7 厘/千瓦时。2019 年 1-6 月,年度合同电量集中交易成交电量 200 亿 千瓦时,平均价差-38.7 厘/千瓦时。 2019 年 1-6 月,共组织月度发电合同转让交易 12 次, 累计成交电量 109.9 亿千瓦时,同比增加 57.8%,成交均价 327.7 厘/千瓦时。其中
2023-11-02 09:08:42 1.09MB
1
润华服务:2022年报.PDF
2023-08-16 18:40:08 6.62MB
1
维天运通:2022年报.PDF
2023-08-01 18:27:29 5.87MB
1
python批量从上市公司年报中获取指定内容.rar
2023-04-05 02:08:51 20KB python
1
中国农村经营管理统计年报(2015-2020年).zip
2022-12-07 20:32:17 174.23MB 数据集