poetry(python依賴管理和構建工具Poetry的原理以及用法)

依賴管理一直都在編程語言中占據著至關重要的地位,無論是Python、JavaScript還是Java、Go。

雖然不同編程語言的依賴管理工具不盡相同,但是它們追求的目標都是大同小異的。能夠對項目以來進行更加輕松統一的管理,能夠更加便捷的進行項目遷移和部署。

因此,就出現了maven、npm、pip這些依賴包管理工具,但是,對比于Java和JS,Python在依賴管理方面更加特殊。所以,先后出現了多款不同的管理工具,每一次升級都是為了更好的做好Python的依賴包管理工具。

Python在依賴包管理方面主要的特殊性就來自于,不僅需要考慮項目以來的第三方包,還要著重考慮虛擬環境。這一點,是由于Python和Java、JS這些編程語言本質上存在差異導致的。

Java、JS是以項目進行隔離,每當開發一個項目,依賴包都是安裝在項目工程路徑下。每個工程之間是隔離的,這樣,即便是不同工程用到同一個包的不同版本,它們之間也不會產生沖突。

但是,Python則不同,在Python中無法通過工程對依賴包進行隔離。

當我們之間使用pip安裝第三方包時,所有的依賴都會安裝到安裝目錄下的site-packages。

試想一下,如果我們開發A工程,用到了TensorFlowv0.1。但是,開發B工程,需要用到TensorFlowv0.2。這時候,site-packages下的依賴包就會產生沖突,后面安裝的依賴包就會把前面已經安裝的版本卸載掉然后再安裝新版本依賴包。

顯然,這樣是非常不友好的。

為了解決這個問題,虛擬環境就起到了至關重要的作用。

在開發不同的工程時,可以創建并激活不同的虛擬環境。這樣,不同的工程就會用到不同環境下的解析器,我們也可以把依賴包安裝到不同虛擬環境的site-packages路徑下。

因此,在Python中依賴管理一般指代依賴管理+虛擬環境。

以往,針對Python依賴管理和虛擬環境經常會用到2個工具:pip和virtualenv。

其中pip用于依賴包的管理,virtualenv用于虛擬環境的管理。

這樣雖然解決了不同工程之間環境隔離的問題,但是也存在著明顯的不足:

• 需要同時依賴2款管理工具

• 不能動態更新requirements.txt

其中比較突出的問題就是第2點。

在工程開發過程中,需要一個配置文件來記錄依賴包和環境參數,例如,maven的pom.xml、npm的package.json。

而在Python中常用的就是requirements.txt。

這種純文本的格式只能用于記錄依賴包的名稱,而不能像yaml、json、xml這些文本存儲格式一樣記錄更多環境參數信息。

另外,更致命的一點就是,每次導出依賴包都需要手動執行pip freeze > requirements.txt命令。很明顯,這樣是非常不合理的。試想一下,如果由于忙碌忘記手動執行這項操作,那么費九牛二虎之力部署到生產環境之后發現報錯,這樣會造成很大的損失。

因此,pipenv就誕生了。

pipenv

pipenv是由requests、flask等知名工具包的作者Kenneth Reitz于2017年發布的一款Python依賴包管理工具。

pipenv可以看成是pip+virtualenv兩款工具的合體,它集合了pip的依賴包管理和virtualenv虛擬環境管理于一身。另外,在依賴包記錄方面使用Pipfile替代原來的requirements.txt。而且,它能夠自動記錄并更新記錄文件,這樣就不再需要手動執行命令來更新requirements.txt。

pipenv的出現的確大大降低了Python依賴包管理的復雜度,提升了項目開發、工程遷移的效率。

因此,近幾年關于pipenv的評價一直都非常好,各大內容平臺對于pipenv稱頌的文章更是多如牛毛。

但是,我至今沒有成為pipenv的忠實用戶,而且,也不會選擇pipenv來代替原來pip+virtualenv的方案。

我相信,那些滿篇稱頌pipenv的作者也未必是它的忠實用戶。

不可否認,pipenv在Python依賴包管理方面提供了一個很好的解決方案。但是,它依然有一些致命的缺陷,比原來pip+virtualenv方案的繁瑣、手動操作更為棘手。

• Lock速度緩慢

• 強行更新不相干依賴

• 依賴處理效果較差

這里舉個例子來解釋一下第3點。

使用pipenv安裝一個包,

$pipenvinstalloslo.utils==1.4.0

這時候就會發生報錯,

Couldnotfindaversionthatmatchespbr!=0.7,!=2.1.0,<1.0,>=0.6,>=2.0.0

這個報錯的含義是無法找到合適版本的pbr,即便是有合適的版本,pipenv也會簡單粗暴的拋出錯誤,無法完成依賴包的處理和安裝。

這時,更為優秀的工具包出現了,它就是poetry。

poetry

poetry是一款可以管理Python依賴、環境,同時可以用于Python工程打包和發布的一款第三方工具包。

poetry通過配置文件pyproject.toml來完成依賴管理、環境配置、基本信息配置等功能。相當于把Python項目中的Pipfile、setup.py、setup.cfg、requirements.txt、MANIFEST.in融合到一起。

通過pyproject.toml文件,不僅可以配置依賴包,還可以用于區分開發、測試、生產環境、配置源路徑。

為什么選擇poetry?

poetry相比于pipenv具有很多明顯優勢的功能:

• 更強大的依賴處理功能

• 易于打包和構建Python工程

• 易于發布工具包

• 結構化展示依賴關系

更強大的依賴處理功能

以前面介紹pipenv的例子來介紹poetry在依賴處理方面的強大之處。

pipenv在安裝工具包遇到直觀的問題時會直接報錯,并終止。

而使用poetry安裝則不會,

$poetryaddoslo.utils=1.4.0-Installingpytz(2018.3)-Installingnetifaces(0.10.6)-Installingnetaddr(0.7.19)-Installingoslo.i18n(2.1.0)-Installingiso8601(0.1.12)-Installingsix(1.11.0)-Installingbabel(2.5.3)-Installingpbr(0.11.1)-Installingoslo.utils(1.4.0)

poetry在遇到pbr (>=0.6,!=0.7,<1.0)這個限定條件時,它會嘗試去安裝最新的pbr(0.11.1版),同時會選擇oslo.i18n==3.20.0,但是,這時候發現oslo.i18n的版本和pbr最新版本沖突。如果在pipenv中則會報錯。但是poetry會嘗試找出解決方案,最后發現oslo.i18n==2.1.0時可以滿足所有相互依賴關系的要求。最終,成功安裝依賴包。

易于打包和構建Python工程

在工程開發過程中,項目遷移和工程化部署是無法繞開的問題。

如果需要把我們的工程部署到生產環境服務器上,這時候就需要用到Python的打包和安裝功能。

在以往,會寫繁瑣的setup.py、setup.cfg。而在poetry中,一行命令就可以解決,

$poetrybuildBuildingpoetry(1.0.0)-Buildingsdist-Builtpoetry-1.0.0.tar.gz-Buildingwheel-Builtpoetry-1.0.0-py2.py3-none-any.whl

易于發布工具包

如果想要把工程發布到PyPI倉庫怎么辦?

在poetry中,只需要簡單配置一下pyproject.toml,就可以實現一行命令發布工具包,

$poetrypublishPublishingpoetry(1.0.0)toPyPI-Uploadingpoetry-1.0.0.tar.gz100%-Uploadingpoetry-1.0.0-py2.py3-none-any.whl58%

結構化展示依賴關系

Python是一款對第三方工具包依賴很強的一種編程語言,一個項目中會用到很多款不同的工具包,而這些包的依賴關系是什么樣的,很多開發者對其了解卻很少。

poetry可以實現結構化展示每個工具包的依賴關系,讓工程的依賴一目了然,

$poetryshow--treerequests-toolbelt0.8.0Autilitybeltforadvancedusers...└──requests<3.0.0,>=2.0.1├──certifi>=2017.4.17├──chardet>=3.0.2,<3.1.0├──idna>=2.5,<2.7└──urllib3<1.23,>=1.21.1$poetryshow--latestpendulum2.0.41.4.5Pythondatetimesmadeeasy.django1.11.112.0.3Ahigh-levelPythonWebframework...requests2.18.42.18.4PythonHTTPforHumans.

如何使用poetry?

安裝

poetry提供多種安裝方式,個人推薦從以下2種方式中選擇:

方式一:(推薦)

$curl-sSLhttps://raw.githubusercontent.com/python-poetry/poetry/master/get-poetry.py|python

方式二:(pip)

$pipinstall--userpoetry

工程初始化

如果當前還沒有創建工程,可以使用poetry新建工程:

$poetrynewpoetry-demo

這時候,會創建一個包含如下內容的工程,

poetry-demo├──pyproject.toml├──README.rst├──poetry_demo│└──__init__.py└──tests├──__init__.py└──test_poetry_demo.py

除了新建工程,還可以在已有工程的基礎上進行創建,

$poetryinit

這時候,它會讓你輸入包名稱、版本號等信息,你可以選擇輸入,也可以選擇按下ENTER鍵使用默認值。

依賴包管理

• 安裝依賴包

可以使用add命令來安裝一款Python工具包,

$poetryaddnumpy

還可以,通過添加配置參數--dev來區分不同環境下的依賴包。

可以使用install命令直接解析并安裝pyproject.toml的依賴包,

$poetryinstall

• 更新依賴包

更新所有鎖定版本的依賴包,

$poetryupdate

更新指定依賴包,

$poetryupdatenumpy

• 卸載依賴包

$poetryremovenumpy

虛擬環境管理

• 創建虛擬環境

創建虛擬環境有2種方式:

方式1:

如果在配置文件中配置了virtualenvs.create=true,執行poetry install時會檢查是否有虛擬環境,否則會自動創建。

方式2:

利用poetry env use命令,

$poetryenvusepython3.7

• 激活虛擬環境

$poetryshell

• 查看虛擬環境信息

$poetryenvinfo

• 顯示虛擬環境列表

$poetryenvlist

• 刪除虛擬環境

$poetryenvremovepython3.7

poetry或許目前依然存在著某些不足之處,但是,它的確提供了一套當前最為完善的Python依賴包管理解決方案。相對與當前的pip、pipenv具有很多顯而易見的優勢,而在GitHub上該項目也已經獲得高達11.2k顆star。

如果喜歡嘗鮮,可以嘗試使用poetry替換pip+virtualenv或者pipenv進行依賴包管理和虛擬環境管理。很多新事物的出現,都會伴隨著一些學習成本,例如,Java的spring boot、JS的umi。剛開始會耗費很多精力去理解這些新鮮事物,但是一旦熟悉它的使用,就會發現會大大提升開發效

以上就是python依賴管理和構建工具Poetry的原理以及用法,小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注本站行業資訊頻道。