批量查询地址经纬度信息

抓包

1. 打开https://jingweidu.51240.com/
2. F12键(mac电脑快捷键option+command+I)打开开发者工具Network面板
3. 搜索框输入查询地址，回车查询
4. 开发者工具Network会看到截图中的网址
5. 点击Preview，能看到具体信息

经纬度查询爬虫函数query

1. 根据抓包分析，构造网址模板template
2. 使用requests库发起访问
3. 使用正则表达式re库解析出经纬度信息

import requests

def query(addr):
    #查询addr的经纬度
    template = 'https://apis.map.qq.com/jsapi?qt=geoc&addr={addr}&key=UGMBZ-CINWR-DDRW5-W52AK-D3ENK-ZEBRC&output=jsonp&pf=jsapi&ref=jsapi&cb=qq.maps._svcb2.geocoder0'
    url = template.format(addr=addr)
    resp = requests.get(url)
    x = re.findall('pointx":"(.*?)",',resp.text)[0]
    y = re.findall('pointy":"(.*?)",',resp.text)[0]
    return x,y

query(addr="南京师范大学")

resp = requests.get(url) 的返回值：

qq.maps._svcb2.geocoder0&&qq.maps._svcb2.geocoder0({
"info":{
"type":45,
 "error":0,
 "time":0 
 },
"detail":{
"name":"南京师范大学(中北学院)",
"city":"南京市", 
"district":"栖霞区",
"adcode":"320113",
"pointx":"118.909073",
"pointy":"32.115414",
"gps_type":"11",
"reliability":"7",
"province":"江苏省", 
"deviation":"1000.000000", 
"pcd_conflict_flag":"0", 
"query_status":"0", 
"server_retcode":"0", 
"similarity":"0.800000" ,
"split_addr":"" ,
"street":"" ,
"street_number":"", 
"key_poi":"南京师范大学", 
"category_code":"", 
"address_type":"1" , 
"poi_id":"1787570519875429111", 
"town":"仙林街道", 
"town_code":"320113007", 
"key_role":"" 
}
})

通过正则表达式查询获取最后的经纬度信息。

('118.909073', '32.115414')

测试数据

import pandas as pd

df = pd.read_csv("test.csv")
df

df['addr']

0    山东省潍坊市安丘市兴安街道
1        浙江省杭州市萧山区
2        广东省广州市番禺区
3        陕西省西安市莲湖区
Name: addr, dtype: object

批量查询

使用apply方法调用query函数批量查询经纬度

df['addr'].apply(query)

0    (119.161423, 36.331699)
1    (120.264570, 30.185340)
2    (113.384240, 22.937720)
3    (108.940200, 34.267030)
Name: addr, dtype: object

保存

df['经纬度']=df['addr'].apply(query)
df

导出csv

结果导出到 csv 中

df.to_csv('result.csv')

参考

• 爬虫小案例 | 批量查询地址经纬度信息