關于2000W數據

前幾天在博客園首頁看到這個2000W數據的消息，剛好這個學期正在SQL入門，加上好奇心的驅使，把這個下載下來。

一個是600多M的CSV文件，還有一個是1.7G的SQL Server的備份文件，解壓后都接近8G了，試著在sql server2000上導入一下，貌似直接就說太多了……汗

所以，只好先看看這個CSV文件了，這個解壓后也接近2G了，一般的文本編輯器似乎都沒轍了，excel之類的東西更是別指望了，好吧，我先承認我的電腦很差，80G的硬盤，并口，ATA/133……呃

我用HEX編輯軟件查看了一下，居然是UTF8的編碼，那就先用Python簡單寫段查詢，看看有沒有村里人中槍吧，哈哈

# -*- coding: utf-8 -*- def cn(s):return s.decode("utf8").encode("gbk")try:fp=file("2000w.csv","r")while 1:fp.seek(0)word=raw_input(cn("查詢關鍵詞:"))fout=file(word+".txt","w")#sline=int(raw_input(cn("起始行:")))if word=='exit':breakword=word.decode("gbk").encode("utf8")i=0print "start..."while 1:i=i+1datl=fp.readline()if datl=="":breakif i%10000==0:print i#if i<sline:continueif datl.find(word)>0:tstr=cn("【Line:%d】%s"%(i,datl))print tstr,print>>fout,tstr,#pmt=raw_input(cn("是否繼續(y/n):"))#if pmt=='n':breakprint "end"fout.close() finally:fp.close()fout.close()

順便把查詢記錄也保存為一個文件，結果……似乎沒發現認識的人，看來他們的保密措施做的不錯，哈哈。

終歸還是為了練習SQL的，所以還是要將數據導入到sql server先。

在此吐槽一下微軟的東西，安裝包越做越大，裝個軟件好幾個小時，記得去年裝個VS2012Express居然花了整整一上午！！！

所以，對于我這種偏執狂以及標準窮屌絲來說，VC用6.0，sql server用2000的，還是云端版，才幾十M，入門學習足夠了，哈哈。

回正題，我試著將CSV文件導入到SQL Server里去，發現編碼方式只能選擇ANSI或者Unicode之類的，選Unicode后英文字符都不正確了，ANSI的話中文肯定亂碼，所以還是用Python將編碼轉成UTF8，插了下資料，UTF8的文本文件有個3字節的文件頭，EFBBBF，我直接把它忽略了，哈哈

#MAXLIST=1000frp=file("2000w_utf8.csv","r") fwp=file("2000w_ansi.csv","w") i=1 dat=frp.readline() fwp.write(dat[3:]) try:while 1:i=i+1if i%10000==0:print idat=frp.readline()if dat=="":break#if i>MAXLIST:breakelse:try:dat_w=dat.decode("utf8").encode("gbk")except UnicodeEncodeError:print "gbk encode error"fwp.write(dat)fwp.write(dat_w) except Exception,e:print e finally:frp.close()fwp.close() print "ok"

這樣，導入SQLServer就正確了。

PS：我的數據似乎只有1200多萬，沒有2000W啊，不知是不是沒有下載到完整版，嘿嘿

轉載于:https://www.cnblogs.com/fwindpeak/p/3392955.html