【数据分析从业者必看,10 个加速 python 数据分析的简单的小技巧】

时间:2019-08-06 来源: 旅游
?

  雷锋网 AI 科技评论按,一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者 Parul Pandey 在近日发表了一篇博文,分享了在数据科学中非常实用的 10 个小技巧。雷锋网 AI 科技评论将他的文章编译整理如下。

  有时候,一点小小的黑客行为可以节省时间,挽救生命。一个小小的快捷方式或附加组件有时会被证明是天赐之物,并且可以真正提高生产力。所以,下面是我最喜欢的一些技巧,我以本文的形式一起使用和编译它们。其中,有些可能是相当有名的,有些可能是新的,但我相信下次您从事数据分析项目时,它们会非常有用。

  1.Profiling the pandas dataframe

  Profiling 是一个帮助我们理解数据的程序,而 Pandas Profiling 正是实现这一点的一个 python 包。这是对 pandas 数据帧进行探索性数据分析的一种简单快速的方法。pandas df.describe和 df.info函数通常用作 EDA 过程的第一步。但是,它只提供了非常基本的数据概述,对于大型数据集没有太大帮助。另一方面,pandas 分析函数使用 df.profile_report扩展 pandas 数据帧,以便快速进行数据分析。它用一行代码显示了大量信息,在交互式 HTML 报告中也显示了这些信息。

  对于给定的数据集,pandas 分析包计算以下统计信息:

  

  Pandas Profiling 包计算统计信息

  安装

  pip install pandas-profiling

  or

  conda install -c anaconda pandas-profiling

  使用

  让我们使用古老的 Titanic 数据集来演示通用的 Python 分析器的功能。

  #importing the necessary packages

  import pandas as pd

  import pandas_profiling

  # Depreciated: pre 2.0.0 version

  df=pd.read_csv('titanic/train.csv')

  pandas_profiling.ProfileReport(df)

  注:在这篇文章发表一周后,Pandas-Profiling 发布了一个升级版本 2.0.0。其语法发生了一些变化,事实上,功能已经包含在 pandas 中,报告也变得更加全面。以下是最新的语法用法:

  使用

  要在 Jupyter notebook 中显示报告,请运行:

  #Pandas-Profiling 2.0.0

  df.profile_report

  这一行代码就是在 Jupyter notebook 中显示数据分析报告所需的全部代码。报告非常详细,必要时包括图表。

  

  还可以将报告导出到具有以下代码的交互式 HTML 文件中。

  profile=df.profile_report(title='Pandas Profiling Report')

  profile.to_file(outputfile="Titanic data profiling.html")

  有关更多详细信息和示例,请参阅这个文档。

  2.第二步,为 pandas plots 带来交互性

  pandas 有一个内置的.plot函数作为数据帧类的一部分。然而,用这个函数呈现的可视化并不是交互式的,这使得它不那么吸引人。相反,也不能排除使用 pandas.dataframe.plot函数绘制图表的易用性。如果我们不需要对代码进行重大修改,就可以像绘制 pandas plots 那样绘出交互式图表呢?你可以在 Cufflinks 库的帮助下做到这一点。

  Cufflinks 将 plotly 的力量与 pandas 的灵活性结合起来,便于绘制。现在让我们来看看如何安装这个库并让它在 pandas 中工作。

  安装

  pip install plotly # Plotly is a pre-requisite before installing cufflinks

  pip install cufflinks

  使用

  #importing Pandas

  import pandas as pd

  #importing plotly and cufflinks in offline mode

  import cufflinks as cf

  import plotly.offline

  cf.go_offline

  cf.set_config_file(offline=False, world_readable=True)

  是时候用 Titanic 数据集来展示它的魔法了。

  df.iplot

  

  df.iplot vs df.plot

  右视图显示的是静态图表,左图表是交互式的,更详细地说,所有这一切在语法上都没有重大变化。

  这里获取更多的示例。

  3.一点点 Magic

  Magic 命令是 Jupyter notebook 中的一组方便的函数,旨在解决标准数据分析中的一些常见问题。在%lsmagic 的帮助下,您可以看到所有可用的 magic。

  

  所有可用的 magic 函数列表

  magic 命令有两种:行 magics(前缀为一个% 字符并在一行输入上操作)和单元 magics(用%% 前缀关联并在多行输入上操作)。如果设置为 1,则可以调用 magic 函数,而无需键入初始百分比。

  让我们看看其中一些在常见数据分析任务中可能有用的功能:

  % pastebin

  %Pastebin 将代码上载到 Pastebin 并返回 URL。Pastebin 是一种在线内容托管服务,我们可以在其中存储纯文本(如源代码片段),然后可以与其他人共享 URL。事实上,Github gist 也类似于 Pastebin,尽管有版本控制。

  考虑使用包含以下内容的 python script file.py:

  #file.py

  def foo(x):

  return x

  使用 Jupyter notebook 中的%pastebin 生成 pastebin url

  

  %matplotlib notebook

  %matplotlib inline 函数用于呈现 Jupyter noteboo 中的静态 matplotlib 绘图。尝试用 notebook 替换内嵌部件,以轻松获得可缩放和可调整大小的绘图。确保在导入 Matplotlib 库之前调用了函数。

  

  %matplotlib inline vs %matplotlib notebook

  %run

  %run 函数在 notebook 内运行 python 脚本。

  %run file.py

  %%writefile

  %WriteFile 将单元格的内容写入文件。在这里,代码将被写入一个名为 foo 的文件,并保存在当前目录中。

  

  %%latex

  %%latex 函数将单元格内容呈现为 LaTeX。它可用于在单元中编写数学公式和方程。

  

  4.发现和消除错误

  interactive debugger 也是一个神奇的函数,但我已经为它提供了自己的一个类别。如果在运行代码单元时遇到异常,请在新行中键入%debug 并运行它。这将打开一个交互式调试环境,将您带到发生异常的位置。您还可以检查程序中分配的变量值,并在此处执行操作。要退出调试器,请单击 q。

  

  5.输出也可以很漂亮

  如果您想为数据结构生成美观的表示,pprint 是你想要的模块,它在打印字典或 JSON 数据时特别有用。让我们来看一个使用 print 和 pprint 显示输出的示例。

  

  

  6.突出报警框

  我们可以在您的 Jupyter 笔记本中使用警告/注释框来突出显示重要的内容或任何需要突出显示的内容。注释的颜色取决于警报的类型。只需在需要突出显示的单元格中添加以下代码。

  蓝色警报框:信息提示

  Tip: Use blue boxes (alert-info) for tips and notes.

  If it』s a note, you don』t have to include the word「Note」.

  黄色警报框:警告

  Example: Yellow Boxes are generally used to include additional examples or mathematical formulas.

  绿色警报框:成功

  Use green box only when necessary like to display links to related content.

  红色警报框:危险

  It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

  7.打印单元格的所有输出

  考虑一个包含以下代码行的 Jupyter notebook 单元:

  In [1]: 10+5

  11+6

  Out [1]: 17

  通常情况下,单元格中只有最后一个输出会被打印出来,对于其他输出,我们需要添加 print函数。好吧,其实我们只需在 notebook 顶部添加以下代码片段就可以打印所有输出。

  from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity="all"

  现在所有的输出都被一个接一个地打印出来

  In [1]: 10+5

  11+6

  12+7

  Out [1]: 15

  Out [1]: 17

  Out [1]: 19

  要恢复到原始设置:

  InteractiveShell.ast_node_interactivity="last_expr"

  8.使用「i」文件运行 python 脚本

  从命令行运行 python 脚本的一种典型方法是:python hello.py。但是,如果您在运行同一脚本(如 python)时添加了一个额外的-i hello.py,那么它提供了更多的优势。让我们看看怎么做。

  首先,只要程序不结束,python 就不会退出解释器。因此,我们可以检查变量的值以及程序中定义的函数的正确性。

  

  其次,我们可以通过以下方式轻松调用 Python 调试器,因为我们仍在解释器中:

  import pdb

  pdb.pm

  这将使我们进入异常发生的位置,然后我们可以处理代码。

  

  查看来源可以点击这里。

  9.自动注释代码

  ctrl/cmd+/自动将单元格中选定的行注释掉,再次点击组合将取消对同一行代码的注释。

  

  10.删除容易恢复难

  你有没有不小心删除了 Jupyter notebook 上的一个单元的经历?如果有,那么这里有一个快捷方式可以撤消删除操作。

  如果删除了单元格的内容,则可以通过按 ctrl/cmd+z 轻松恢复该内容。

  如果需要恢复整个已删除单元格,请按 Esc+Z 或 EDIT > Undo 撤销删除单元格。

  

  结论

  在本文中,我列出了在使用 Python 和 Jupyter notebook 时收集到的主要技巧。我相信它们会对你有用,你会从这篇文章中收回一些东西。好了,开始快乐的编码之旅吧!.

  via:

  雷锋网雷锋网

  一点资讯正在帮你跳转到原文

频道热点
  1. Remedy官方宣布新作《控制》开发完成准时于8月27日发塞尔日(7月24日)Remedy正式宣布其已有三年历史的动作
  2. 的内容,人们非常好玩,显然在上海,但在北京有用词。此外,虽然主角使用了他自己原创的声音,但是每个人都
  3.   太平洋电脑网2天前我要分享  近日,《家用水槽洗碗机》小组标准设定的开始将在宁波举行。中国质量检?
  4. ?  雷锋网AI科技评论按,一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者ParulPandey在近日发表了一篇博文,分享了在数据科学中非常实用的10个小技巧。雷锋网AI
  5. ?  贝克汉姆还是当年那个帅气有型的贝克汉姆,女儿小七却在一点点的成长变化中,成了亭亭玉立的小公主一枚。8岁的小七,已经是妈妈维多利亚打造下,时尚潮流的领先者。超级奶爸贝克汉姆,还是将小七宠成,全世界
  6. ?  大家好我是没有感情的游戏日报江小风。IG战队近日表现在不好。面对公认的“钓鱼队”VG团队,它甚至被一座精致的塔楼击败。虽然终于赢了,但这并不是因为VG失明的优秀表现,我担心最后的结果仍然不会被人
  7. ?    最近赵薇又重新回归娱乐圈了,也开始接演影视作品,这对广大喜欢赵薇的朋友来说,自然是一件再好不过的事情了,因此每每赵薇在等戏的时候,都会引起很多人的关注,所以网上也有一些赵薇在片场等戏的照片流
  8. 的内容,人们非常好玩,显然在上海,但在北京有用词。此外,虽然主角使用了他自己原创的声音,但是每个人都
  9. ?  雷锋网AI科技评论按,一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者ParulPandey在近日发表了一篇博文,分享了在数据科学中非常实用的10个小技巧。雷锋网AI
  10. ?  大家好我是没有感情的游戏日报江小风。IG战队近日表现在不好。面对公认的“钓鱼队”VG团队,它甚至被一座精致的塔楼击败。虽然终于赢了,但这并不是因为VG失明的优秀表现,我担心最后的结果仍然不会被人
新闻排行
  1. ?  雷锋网AI科技评论按,一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者ParulPandey在近日发表了一篇博文,分享了在数据科学中非常实用的10个小技巧。雷锋网AI

    ?  雷锋网AI科技评论按,一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者ParulPandey在近日发表了一篇博文,分享了在数据科学中非常实用的10个小技巧。雷锋网AI...

  2. 美兰区白龙街开启了文明实践,微观传统文化培训活动的新纪元人们的网络新闻“新刷子的刷子用胶水密封。你可

    美兰区白龙街开启了文明实践,微观传统文化培训活动的新纪元人们的网络新闻“新刷子的刷子用胶水密封。你可...

  3.   太平洋电脑网2天前我要分享  近日,《家用水槽洗碗机》小组标准设定的开始将在宁波举行。中国质量检?

      太平洋电脑网2天前我要分享  近日,《家用水槽洗碗机》小组标准设定的开始将在宁波举行。中国质量检?...

  4. 作者|于玉哲在唐代历史上,有一个涉及“燃烧长安”的案件,也发生在天宝时期。这是李林伟与杨国忠斗争的结?

    作者|于玉哲在唐代历史上,有一个涉及“燃烧长安”的案件,也发生在天宝时期。这是李林伟与杨国忠斗争的结?...

  5. ?  雷锋网AI科技评论按,一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者ParulPandey在近日发表了一篇博文,分享了在数据科学中非常实用的10个小技巧。雷锋网AI

    ?  雷锋网AI科技评论按,一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者ParulPandey在近日发表了一篇博文,分享了在数据科学中非常实用的10个小技巧。雷锋网AI...

  6. 作者|于玉哲在唐代历史上,有一个涉及“燃烧长安”的案件,也发生在天宝时期。这是李林伟与杨国忠斗争的结?

    作者|于玉哲在唐代历史上,有一个涉及“燃烧长安”的案件,也发生在天宝时期。这是李林伟与杨国忠斗争的结?...

  7. ?    最近赵薇又重新回归娱乐圈了,也开始接演影视作品,这对广大喜欢赵薇的朋友来说,自然是一件再好不过的事情了,因此每每赵薇在等戏的时候,都会引起很多人的关注,所以网上也有一些赵薇在片场等戏的照片流

    ?    最近赵薇又重新回归娱乐圈了,也开始接演影视作品,这对广大喜欢赵薇的朋友来说,自然是一件再好不过的事情了,因此每每赵薇在等戏的时候,都会引起很多人的关注,所以网上也有一些赵薇在片场等戏的照片流...

  8. ?  Po数码3天前我要分享历经旗舰技术的多次下放,千元机完成升级迭代之后,在使用体验上获得极大提升。无论是颜值、拍照、性能,亦或者是续航,均积累了高人气与好口碑。近期一款vivoY7s凭借着「内外有

    ?  Po数码3天前我要分享历经旗舰技术的多次下放,千元机完成升级迭代之后,在使用体验上获得极大提升。无论是颜值、拍照、性能,亦或者是续航,均积累了高人气与好口碑。近期一款vivoY7s凭借着「内外有...

  9. ?  Po数码3天前我要分享历经旗舰技术的多次下放,千元机完成升级迭代之后,在使用体验上获得极大提升。无论是颜值、拍照、性能,亦或者是续航,均积累了高人气与好口碑。近期一款vivoY7s凭借着「内外有

    ?  Po数码3天前我要分享历经旗舰技术的多次下放,千元机完成升级迭代之后,在使用体验上获得极大提升。无论是颜值、拍照、性能,亦或者是续航,均积累了高人气与好口碑。近期一款vivoY7s凭借着「内外有...

  10. 美兰区白龙街开启了文明实践,微观传统文化培训活动的新纪元人们的网络新闻“新刷子的刷子用胶水密封。你可

    美兰区白龙街开启了文明实践,微观传统文化培训活动的新纪元人们的网络新闻“新刷子的刷子用胶水密封。你可...