10个加速Python数据分析的简单的小技巧

 一些小的技巧在编程领域可能会非常有用，在数据科学领域同样如此。数据科学爱好者 Parul Pandey 在近日发表了一篇博文，分享了在数据科学中非常实用的 10 个小技巧。

十余年的博兴网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。营销型网站建设的优势是能够根据用户设备显示端的尺寸不同，自动调整博兴建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联建站从事“博兴网站设计”,“博兴网站推广”以来，每个客户项目都认真落实执行。

有时候，一点小小的黑客行为可以节省时间，挽救生命。一个小小的快捷方式或附加组件有时会被证明是天赐之物，并且可以真正提高生产力。所以，下面是我最喜欢的一些技巧，我以本文的形式一起使用和编译它们。其中，有些可能是相当有名的，有些可能是新的，但我相信下次您从事数据分析项目时，它们会非常有用。

1.Profiling the pandas dataframe

Profiling 是一个帮助我们理解数据的程序，而 Pandas Profiling 正是实现这一点的一个 python 包。这是对 pandas 数据帧进行探索性数据分析的一种简单快速的方法。pandas df.describe()和 df.info()函数通常用作 EDA 过程的第一步。但是，它只提供了非常基本的数据概述，对于大型数据集没有太大帮助。另一方面，pandas 分析函数使用 df.profile_report()扩展 pandas 数据帧，以便快速进行数据分析。它用一行代码显示了大量信息，在交互式 HTML 报告中也显示了这些信息。对于给定的数据集，pandas 分析包计算以下统计信息：

 

Pandas Profiling 包计算统计信息

安装

 
 
 
 
    
  
  
  
  
  1. pip install pandas-profiling 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. --或者 
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. conda install -c anaconda pandas-profiling 
    6.

使用

让我们使用古老的 Titanic 数据集来演示通用的 Python 分析器的功能。

 
 
 
 
    
  
  
  
  
  1. #importing the necessary packages 
    2. 
  
  
  
  
  2. import pandas as pd 
    3. 
  
  
  
  
  3. import pandas_profiling 
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. # Depreciated: pre 2.0.0 version 
    6. 
  
  
  
  
  6. df = pd.read_csv('titanic/train.csv') 
    7. 
  
  
  
  
  7. pandas_profiling.ProfileReport(df) 
    8.

注：在这篇文章发表一周后，Pandas-Profiling 发布了一个升级版本 2.0.0。其语法发生了一些变化，事实上，功能已经包含在 pandas 中，报告也变得更加全面。以下是最新的语法用法：

使用

要在 Jupyter notebook 中显示报告，请运行：

 
 
 
 
    
  
  
  
  
  1. #Pandas-Profiling 2.0.0 
    2. 
  
  
  
  
  2. df.profile_report() 
    3.

这一行代码就是在 Jupyter notebook 中显示数据分析报告所需的全部代码。报告非常详细，必要时包括图表。

 

还可以将报告导出到具有以下代码的交互式 HTML 文件中。

 
 
 
 
    
  
  
  
  
  1. profile = df.profile_report(title='Pandas Profiling Report') 
    2. 
  
  
  
  
  2. profile.to_file(outputfile="Titanic data profiling.html") 
    3.

2.为 pandas plots 带来交互性

pandas 有一个内置的.plot()函数作为数据帧类的一部分。然而，用这个函数呈现的可视化并不是交互式的，这使得它不那么吸引人。相反，也不能排除使用 pandas.dataframe.plot()函数绘制图表的易用性。如果我们不需要对代码进行重大修改，就可以像绘制 pandas plots 那样绘出交互式图表呢?你可以在 Cufflinks 库的帮助下做到这一点。Cufflinks 将 plotly 的力量与 pandas 的灵活性结合起来，便于绘制。现在让我们来看看如何安装这个库并让它在 pandas 中工作。

安装

 
 
 
 
    
  
  
  
  
  1. pip install plotly # Plotly is a pre-requisite before installing cufflinks 
    2. 
  
  
  
  
  2. pip install cufflinks 
    3.

使用

 
 
 
 
    
  
  
  
  
  1. #importing Pandas 
    2. 
  
  
  
  
  2. import pandas as pd 
    3. 
  
  
  
  
  3. #importing plotly and cufflinks in offline mode 
    4. 
  
  
  
  
  4. import cufflinks as cf 
    5. 
  
  
  
  
  5.  
    6. 
  
  
  
  
  6. import plotly.offline 
    7. 
  
  
  
  
  7. cf.go_offline() 
    8. 
  
  
  
  
  8. cf.set_config_file(offline=False, world_readable=True) 
    9.

是时候用 Titanic 数据集来展示它的魔法了。

 
 
 
 
    
  
  
  
  
  1. df.iplot() 
    2.

 

 
 
 
 
    
  
  
  
  
  1. df.iplot() vs df.plot() 
    2.

右视图显示的是静态图表，左图表是交互式的，更详细地说，所有这一切在语法上都没有重大变化。

3.一点点 Magic

Magic 命令是 Jupyter notebook 中的一组方便的函数，旨在解决标准数据分析中的一些常见问题。在%lsmagic 的帮助下，您可以看到所有可用的 magic。

 

所有可用的 magic 函数列表

magic 命令有两种：行 magics(前缀为一个% 字符并在一行输入上操作)和单元 magics(用%% 前缀关联并在多行输入上操作)。如果设置为 1，则可以调用 magic 函数，而无需键入初始百分比。

让我们看看其中一些在常见数据分析任务中可能有用的功能：

% pastebin

%Pastebin 将代码上载到 Pastebin 并返回 URL。Pastebin 是一种在线内容托管服务，我们可以在其中存储纯文本(如源代码片段)，然后可以与其他人共享 URL。事实上，Github gist 也类似于 Pastebin，尽管有版本控制。

考虑使用包含以下内容的 python script file.py：

 
 
 
 
    
  
  
  
  
  1. #file.py 
    2. 
  
  
  
  
  2. def foo(x): 
    3. 
  
  
  
  
  3.     return x 
    4.

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

 

%matplotlib notebook

%matplotlib inline 函数用于呈现 Jupyter noteboo 中的静态 matplotlib 绘图。尝试用 notebook 替换内嵌部件，以轻松获得可缩放和可调整大小的绘图。确保在导入 Matplotlib 库之前调用了函数。

 

%matplotlib inline vs %matplotlib notebook

  • %run

%run 函数在 notebook 内运行 python 脚本。

 
 
 
 
    
  
  
  
  
  1. %run file.py 
    2.
  • %%writefile

%WriteFile 将单元格的内容写入文件。在这里，代码将被写入一个名为 foo 的文件，并保存在当前目录中。

 

  • %%latex

%%latex 函数将单元格内容呈现为 LaTeX。它可用于在单元中编写数学公式和方程。

 

4.发现和消除错误

interactive debugger 也是一个神奇的函数，但我已经为它提供了自己的一个类别。如果在运行代码单元时遇到异常，请在新行中键入%debug 并运行它。这将打开一个交互式调试环境，将您带到发生异常的位置。您还可以检查程序中分配的变量值，并在此处执行操作。要退出调试器，请单击 q。

5.输出也可以很漂亮

如果您想为数据结构生成美观的表示，pprint 是你想要的模块，它在打印字典或 JSON 数据时特别有用。让我们来看一个使用 print 和 pprint 显示输出的示例。

 

6.突出报警框

我们可以在您的 Jupyter 笔记本中使用警告/注释框来突出显示重要的内容或任何需要突出显示的内容。注释的颜色取决于警报的类型。只需在需要突出显示的单元格中添加以下代码。

蓝色警报框：信息提示

  

 
 
 
 
    
  
  
  
  
  1.  
    2. 
  
  
  
  
  2. Tip: Use blue boxes (alert-info) for tips and notes. 
    3. 
  
  
  
  
  3. If it’s a note, you don’t have to include the word “Note”. 
    4.
 

黄色警报框：警告

  

 
 
 
 
    
  
  
  
  
  1.  
    2. 
  
  
  
  
  2. Example: Yellow Boxes are generally used to include additional examples or mathematical formulas. 
    3.
 

绿色警报框：成功

  

 
 
 
 
    
  
  
  
  
  1.  
    2. 
  
  
  
  
  2. Use green box only when necessary like to display links to related content. 
    3.
 

红色警报框：危险

  

 
 
 
 
    
  
  
  
  
  1.  
    2. 
  
  
  
  
  2. It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc. 
    3. 
  
  
  
  
  3.  
    4.

7.打印单元格的所有输出

考虑一个包含以下代码行的 Jupyter notebook 单元：

 
 
 
 
    
  
  
  
  
  1. In [1]: 10+5           
    2. 
  
  
  
  
  2.          11+6 
    3.

 

 
 
 
 
    
  
  
  
  
  1. Out [1]: 17 
    2.

通常情况下，单元格中只有最后一个输出会被打印出来，对于其他输出，我们需要添加 print()函数。好吧，其实我们只需在 notebook 顶部添加以下代码片段就可以打印所有输出。

 
 
 
 
    
  
  
  
  
  1. from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all" 
    2.

现在所有的输出都被一个接一个地打印出来

 
 
 
 
    
  
  
  
  
  1. In [1]: 10+5           
    2. 
  
  
  
  
  2.          11+6 
    3. 
  
  
  
  
  3.          12+7 
    4.

 

 
 
 
 
    
  
  
  
  
  1. Out [1]: 15 
    2. 
  
  
  
  
  2. Out [1]: 17 
    3. 
  
  
  
  
  3. Out [1]: 19 
    4.

要恢复到原始设置：

 
 
 
 
    
  
  
  
  
  1. InteractiveShell.ast_node_interactivity = "last_expr" 
    2.

8.使用「i」文件运行 python 脚本

从命令行运行 python 脚本的一种典型方法是：python hello.py。但是，如果您在运行同一脚本(如 python)时添加了一个额外的-i hello.py，那么它提供了更多的优势。让我们看看怎么做。首先，只要程序不结束，python 就不会退出解释器。因此，我们可以检查变量的值以及程序中定义的函数的正确性。

其次，我们可以通过以下方式轻松调用 Python 调试器，因为我们仍在解释器中：

 
 
 
 
    
  
  
  
  
  1. import pdb 
    2. 
  
  
  
  
  2. pdb.pm() 
    3.

这将使我们进入异常发生的位置，然后我们可以处理代码。

 

查看来源可以点击这里。

9.自动注释代码

ctrl/cmd+/自动将单元格中选定的行注释掉，再次点击组合将取消对同一行代码的注释。

10.删除容易恢复难

你有没有不小心删除了 Jupyter notebook 上的一个单元的经历?如果有，那么这里有一个快捷方式可以撤消删除操作。如果删除了单元格的内容，则可以通过按 ctrl/cmd+z 轻松恢复该内容。如果需要恢复整个已删除单元格，请按 Esc+Z 或 EDIT > Undo 撤销删除单元格。

结论

在本文中，我列出了在使用 Python 和 Jupyter notebook 时收集到的主要技巧。我相信它们会对你有用，你会从这篇文章中收回一些东西。好了，开始快乐的编码之旅吧!.

网页标题：10个加速Python数据分析的简单的小技巧
网页地址：http://www.stwzsj.com/qtweb/news28/4428.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

虚拟主机知识

分类信息网站

全网营销　　 　成都主机租用　　 　品牌网站建设　　 　成都微信开发　　 　高端定制网站设计　　 　泸州做网站　　 　简阳电信服务器托管　　 　免备案空间　　 　自动门　　 　温江网站制作　　 　成都服务器机柜租用　　 　网络口碑营销　　 　蜀锦在线　　 　成都ssl证书申请　　 　成都名片印刷　　 　定制网站　　 　网络营销推广　　 　网站定制　　 　微信小程序开发　　 　深圳惠宜防蚊纱窗