设为首页 - 加入收藏 温岭网 (http://www.themebuff.com)- 致力于打造温岭最大的资讯信息平台!
热搜: 2019 签约 美国
当前位置: 主页 > 百科 > 正文

凯旋门娱乐手机版

发布时间:2020-06-30 02:23 所属栏目:[百科] 来源:网
导读:Beautiful Soup and Unicode Problems 详细解释 unicodedata.normalize('NFKD',string) 实际作用??? Scrapy : Select tag with non-breaking space with xpath selector.xpath(u'''... //p[normalize-space()]... [not(contains(normalize-space(), "\u

Beautiful Soup and Unicode Problems

详细解释

unicodedata.normalize('NFKD',string) 实际作用???

Scrapy : Select tag with non-breaking space with xpath

>>> selector.xpath(u''' ... //p[normalize-space()] ... [not(contains(normalize-space(), "\u00a0"))]

normalize-space() 实际作用???

In [244]: sel.css('.content')
Out[244]: [<Selector xpath=u"descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' content ')]" data=u'<pexternal nofollow" target="_blank" href="https://en.wikipedia.org/wiki/Comparison_of_text_editors">https://en.wikipedia.org/wiki/Comparison_of_text_editors

定位元素显示为 &npsp;

网页源代码表示为  

<tr> <td>memory</td> <td>= Limited by available memory   </td> <td>No (64 KB)</td> <td>= Some limit less than available memory (give max size if known)</td> </tr> </table>

实际传输Hex为:

不间断空格的unicode表示为 u\xa0',保存的时候编码 utf-8 则是 '\xc2\xa0'

In [211]: for tr in response.xpath('//table[8]/tr[2]'):
...: print [u''.join(i.xpath('.//text()').extract()) for i in tr.xpath('./*')]
...:

[u'memory', u'= Limited by available memory \xa0\xa0', u'No (64\xa0KB)', u'= Some limit less than available memory (give max size if known)']

In [212]: u'No (64\xa0KB)'.encode('utf-8')
Out[212]: 'No (64\xc2\xa0KB)'

In [213]: u'No (64\xa0KB)'.encode('utf-8').decode('utf-8')
Out[213]: u'No (64\xa0KB)'

保存 csv 直接使用 excel 打开会有乱码(默认ANSI utf-8 打开???,u'\xa0' 超出 utf-8 能够编码范围???),使用记事本或notepad++能够自动以 utf-8 正常打开。

使用记事本打开csv文件,另存为 ANSI 编码,之后 excel 正常打开。超出 utf-8 编码范围的替换为'?'

3.如何处理

.extract_first().replace(u'\xa0', u' ').strip().encode('utf-8','replace')

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章