csdn推荐
项目背景:
系统主要是通过爬取京东和淘宝的的商品数据进行分析。爬虫python脚本通过打开浏览器授权登录后按照搜索“手机”关键字后出现的商品列表进行爬取,获取标题名,解析付款人数,品牌,评论人数,发货地,包邮等标签,通过发货地和高德API获取经纬度,然后将数据入库,为后续可视化页面做铺垫。可视化页面主要是通过bootstarp+Echarts+JQuery构造;后端采用了flask框架编写接口。页面功能包括首页可视化展示,京东数据源列表管理,淘宝数据源管理,可视化大屏(可以切换数据源),手机推荐(按照用户输入进行推荐)
“基于大数据的手机销售数据分析可视化系统”。该系统主要包括以下核心组成部分和功能:
数据获取阶段:
电商数据API接口使用Python编写的网络爬虫脚本,针对京东和淘宝电商平台进行数据抓取。
爬虫通过模拟浏览器进行授权登录操作,针对关键词“手机”搜索结果的商品列表进行数据采集。
抓取的数据包含商品标题、付款人数、品牌信息、评论人数、发货地以及是否包邮等关键指标。
通过调用高德地图API,将文本形式的发货地转换为经纬度坐标,以丰富地理位置信息。
数据存储阶段:
收集到的原始数据经过处理后被整合入库,准备用于后续的数据分析和可视化展示。
后端架构与数据接口:
采用Flask作为后端开发框架,构建了一系列API接口,用于管理和提供前端所需的数据服务。
前端可视化页面:
页面布局和样式采用Bootstrap进行构建,确保响应式和美观性。
数据可视化部分运用Echarts图表库,动态展示手机销售的各种统计分析结果。
利用JQuery增强页面交互效果,实现在可视化大屏上切换不同数据源(京东或淘宝)的功能。
页面功能模块包括:首页综合可视化展示、京东和淘宝各自的数据源列表管理、手机销售推荐功能,可以根据用户输入的条件进行个性化推荐。
整个系统旨在通过对电商平台的大数据进行深度挖掘和直观展示,为用户提供有价值的市场洞察和购买建议。
京东按关键字搜索商品 API 返回值说明 item_search-按关键字搜索商品 API测试注册 jd.item_search
公共参数
名称类型必须描述
key
String
是
调用key(必须以GET方式拼接在URL中)
secret
String
是
调用密钥
api_name
String
是
API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等]
cache
String
否
[yes,no]默认yes,将调用缓存的数据,速度比较快
result_type
String
否
[json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读
lang
String
否
[cn,en,ru]翻译语言,默认cn简体中文
version
String
否
API版本
请求参数
请求参数:q=女装&start_price=0&end_price=0&page=1&cat=0&discount_only=&sort=&seller_info=no&nick=&seller_info=&nick=&ppath=&imgid=&filter=
参数说明:q:搜索关键字
sort:排序[bid,_bid,_sale,_review,_new]
(bid:总价,sale:销量,review评论数,new新品,加_前缀为从大到小排序)<
page:
响应参数
Version: Date:
名称类型必须示例值描述
items
items[]
按关键字搜索商品
接口类型:
此API目前支持以下基本接口:
文章来源:https://blog.csdn.net/TinagirlAPI/article/details/139403919
微信扫描下方的二维码阅读本文
暂无评论内容