Python开发者宝典：10个有用的机器学习实践！

有时作为数据科学家，我们忘了自己是干什么的。我们主要是开发者，然后是研究者，最后可能是数学家。我们的首要责任是快速开发没有错误的解决方案。

为平房等地区用户提供了全套网页设计制作服务，及平房网站建设行业解决方案。主营业务为网站设计、成都做网站、平房网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

就因为我们能构建模型并不意味着我们就是神，这没有给我们编写垃圾代码的自由。

自一开始，我犯过很多错误，想透露一下我认为是机器学习工程最常见的技能。我认为，这也是眼下业界最缺乏的技能。

我称他们为不懂软件的数据科学家，因为他们中很多人都是不是计算机专业科班出身的工程师。而我本人就是那样。

如果要聘一位优秀的数据科学家和一位优秀的机器学习工程师，我会聘后者。

1. 学习编写抽象类。

一旦你开始编写抽象类，就知道可以如何让你的代码库清晰许多。它们强制执行同样的方法和方法名称。如果很多人从事同一个项目，每个人会开始采用不同的方法。这会造成严重的混乱。

 
 
 
 
      
  
  
  
  1. import os  
    2.   
  
  
  
  2. from abc import ABCMeta, abstractmethod  
    3.   
  
  
  
  3. class DataProcessor(metaclass=ABCMeta):  
    4.   
  
  
  
  4. """Base processor to be used for all preparation."""  
    5.   
  
  
  
  5. def __init__(self, input_directory, output_directory):  
    6.   
  
  
  
  6. self.input_directory = input_directory  
    7.   
  
  
  
  7. self.output_directory = output_directory  
    8.   
  
  
  
  8. @abstractmethod  
    9.   
  
  
  
  9. def read(self):  
    10.   
  
  
  
  10. """Read raw data."""  
    11.   
  
  
  
  11. @abstractmethod  
    12.   
  
  
  
  12. def process(self):  
    13.   
  
  
  
  13. """Processes raw data. This step should create the raw dataframe with all the required features. Shouldn't implement statistical or text cleaning."""  
    14.   
  
  
  
  14. @abstractmethod  
    15.   
  
  
  
  15. def save(self):  
    16.   
  
  
  
  16. """Saves processed data."""  
    17.   
  
  
  
  17. class Trainer(metaclass=ABCMeta):  
    18.   
  
  
  
  18. """Base trainer to be used for all models."""  
    19.   
  
  
  
  19. def __init__(self, directory):  
    20.   
  
  
  
  20. self.directory = directory  
    21.   
  
  
  
  21. self.model_directory = os.path.join(directory, 'models')  
    22.   
  
  
  
  22. @abstractmethod  
    23.   
  
  
  
  23. def preprocess(self):  
    24.   
  
  
  
  24. """This takes the preprocessed data and returns clean data. This is more about statistical or text cleaning."""  
    25.   
  
  
  
  25. @abstractmethod  
    26.   
  
  
  
  26. def set_model(self):  
    27.   
  
  
  
  27. """Define model here."""  
    28.   
  
  
  
  28. @abstractmethod  
    29.   
  
  
  
  29. def fit_model(self):  
    30.   
  
  
  
  30. """This takes the vectorised data and returns a trained model."""  
    31.   
  
  
  
  31. @abstractmethod  
    32.   
  
  
  
  32. def generate_metrics(self):  
    33.   
  
  
  
  33. """Generates metric with trained model and test data.""" 
    34.   
  
  
  
  34. @abstractmethod  
    35.   
  
  
  
  35. def save_model(self, model_name):  
    36.   
  
  
  
  36. """This method saves the model in our required format."""  
    37.   
  
  
  
  37. class Predict(metaclass=ABCMeta):  
    38.   
  
  
  
  38. """Base predictor to be used for all models.""" 
    39.   
  
  
  
  39. def __init__(self, directory):  
    40.   
  
  
  
  40. self.directory = directory  
    41.   
  
  
  
  41. self.model_directory = os.path.join(directory, 'models')  
    42.   
  
  
  
  42. @abstractmethod  
    43.   
  
  
  
  43. def load_model(self):  
    44.   
  
  
  
  44. """Load model here."""  
    45.   
  
  
  
  45. @abstractmethod  
    46.   
  
  
  
  46. def preprocess(self):  
    47.   
  
  
  
  47. """This takes the raw data and returns clean data for prediction.""" 
    48.   
  
  
  
  48. @abstractmethod  
    49.   
  
  
  
  49. def predict(self):  
    50.   
  
  
  
  50. """This is used for prediction."""  
    51.   
  
  
  
  51. class BaseDB(metaclass=ABCMeta): 
    52.   
  
  
  
  52. """ Base database class to be used for all DB connectors."""  
    53.   
  
  
  
  53. @abstractmethod  
    54.   
  
  
  
  54. def get_connection(self):  
    55.   
  
  
  
  55. """This creates a new DB connection."""  
    56.   
  
  
  
  56. @abstractmethod  
    57.   
  
  
  
  57. def close_connection(self):  
    58.   
  
  
  
  58. """This closes the DB connection."""  
    59.

2. 搞定最上面的seed。

试验的可重现性很重要，而seed是大敌。处理好seed。不然，它会导致神经网络中训练/测试数据的不同分隔和权重的不同初始化。这会导致结果不一致。

 
 
 
 
      
  
  
  
  1. def set_seed(args):  
    2.   
  
  
  
  2. random.seed(args.seed)  
    3.   
  
  
  
  3. np.random.seed(args.seed)  
    4.   
  
  
  
  4. torch.manual_seed(args.seed)  
    5.   
  
  
  
  5. if args.n_gpu > 0:  
    6.   
  
  
  
  6. torch.cuda.manual_seed_all(args.seed)  
    7.

3. 从几行入手。

如果你的数据太庞大，又处在编程的后期阶段(比如清理数据或建模)，就使用nrows避免每次加载庞大数据。如果你只想测试代码、不想实际运行全部代码，就使用这招。

如果你的本地PC配置不足以处理数据大小，这一招很有用，但你喜欢在Jupyter/VS code/Atom上进行本地开发。

 
 
 
 
      
  
  
  
  1. df_train = pd.read_csv(‘train.csv’, nrows=1000) 
    2.

4. 预料失败(这是成熟开发者的标志)。

始终检查数据中的NA，因为这些会在以后给你带来问题。即便你目前的数据没有任何NA，也并不意味着它不会出现在将来的再训练循环中。所以无论如何要检查。

 
 
 
 
      
  
  
  
  1. print(len(df))  
    2.   
  
  
  
  2. df.isna().sum()  
    3.   
  
  
  
  3. df.dropna()  
    4.   
  
  
  
  4. print(len(df))  
    5.

5. 显示处理的进度。

你在处理庞大数据时，知道要花多少时间、处于整个处理过程中的哪个环节，绝对让人安心。

方法1 — tqdm

 
 
 
 
      
  
  
  
  1. from tqdm import tqdm  
    2.   
  
  
  
  2. import time  
    3.   
  
  
  
  3. tqdm.pandas()  
    4.   
  
  
  
  4. df['col'] = df['col'].progress_apply(lambda x: x**2)  
    5.   
  
  
  
  5. text = ""  
    6.   
  
  
  
  6. for char in tqdm(["a", "b", "c", "d"]):  
    7.   
  
  
  
  7. time.sleep(0.25)  
    8.   
  
  
  
  8. text = text + char  
    9.

方法2 — fastprogress

 
 
 
 
      
  
  
  
  1. from fastprogress.fastprogress import master_bar, progress_bar  
    2.   
  
  
  
  2. from time import sleep  
    3.   
  
  
  
  3. mb = master_bar(range(10))  
    4.   
  
  
  
  4. for i in mb:  
    5.   
  
  
  
  5. for j in progress_bar(range(100), parent=mb):  
    6.   
  
  
  
  6. sleep(0.01)  
    7.   
  
  
  
  7. mb.child.comment = f'second bar stat'  
    8.   
  
  
  
  8. mb.first_bar.comment = f'first bar stat'  
    9.   
  
  
  
  9. mb.write(f'Finished loop {i}.')  
    10.

6. Pandas可能很慢。

如果你接触过pandas，就知道它有时会变得多慢，尤其是执行groupby操作时。不必绞尽脑汁为提速寻找“出色的”解决方案，只要更改一行代码，使用modin就行。

 
 
 
 
      
  
  
  
  1. import modin.pandas as pd 
    2.

7. 为函数计时。

不是所有函数都是一样的。

即便全部代码没问题，也不意味着你编写的是出色的代码。一些软错误实际上会使代码运行起来比较慢，有必要把它们找出来。使用这个装饰器来记录函数的时间。

 
 
 
 
      
  
  
  
  1. import time  
    2.   
  
  
  
  2. def timing(f):  
    3.   
  
  
  
  3. """Decorator for timing functions  
    4.   
  
  
  
  4. Usage:  
    5.   
  
  
  
  5. @timing  
    6.   
  
  
  
  6. def function(a):  
    7.   
  
  
  
  7. pass 
    8.   
  
  
  
  8. """  
    9.   
  
  
  
  9. @wraps(f)  
    10.   
  
  
  
  10. def wrapper(*args, **kwargs):  
    11.   
  
  
  
  11. start = time.time()  
    12.   
  
  
  
  12. result = f(*args, **kwargs)  
    13.   
  
  
  
  13. end = time.time()  
    14.   
  
  
  
  14. print('function:%r took: %2.2f sec' % (f.__name__, end - start)) 
    15.   
  
  
  
  15. return result  
    16.   
  
  
  
  16. return wrapper  
    17.

8. 别把钱耗费在云上。

没人喜欢浪费云资源的工程师。

一些试验可能持续数小时。很难跟踪试验、云实例用完后关闭。本人就犯过这种错误，也见过有人任由实例运行数天。

只是在执行结束时调用该函数，永远不会有麻烦!

但用try包主代码，并用except再采用这种方法，那样如果出现了错误，服务器不会处于继续运行的状态。是的，我也处理过这种情况。

不妨负责任一点，别生成二氧化碳了。

 
 
 
 
      
  
  
  
  1. import os  
    2.   
  
  
  
  2. def run_command(cmd):  
    3.   
  
  
  
  3. return os.system(cmd)  
    4.   
  
  
  
  4. def shutdown(seconds=0, os='linux'):  
    5.   
  
  
  
  5. """Shutdown system after seconds given. Useful for shutting EC2 to save costs."""  
    6.   
  
  
  
  6. if os == 'linux':  
    7.   
  
  
  
  7. run_command('sudo shutdown -h -t sec %s' % seconds)  
    8.   
  
  
  
  8. elif os == 'windows':  
    9.   
  
  
  
  9. run_command('shutdown -s -t %s' % seconds)  
    10.

9. 创建和保存报告。

建模中某个点之后，所有宝贵的信息只来自错误和度量分析。确保为你自己和你的经理创建和保存格式完好的报告。

不管怎样，管理层爱看报告，不是吗?

 
 
 
 
      
  
  
  
  1. import json  
    2.   
  
  
  
  2. import os  
    3.   
  
  
  
  3. from sklearn.metrics import (accuracy_score, classification_report,  
    4.   
  
  
  
  4. confusion_matrix, f1_score, fbeta_score)  
    5.   
  
  
  
  5. def get_metrics(y, y_pred, beta=2, average_method='macro', y_encoder=None):  
    6.   
  
  
  
  6. if y_encoder:  
    7.   
  
  
  
  7. y = y_encoder.inverse_transform(y)  
    8.   
  
  
  
  8. y_pred = y_encoder.inverse_transform(y_pred)  
    9.   
  
  
  
  9. return {  
    10.   
  
  
  
  10. 'accuracy': round(accuracy_score(y, y_pred), 4),  
    11.   
  
  
  
  11. 'f1_score_macro': round(f1_score(y, y_pred, average=average_method), 4),  
    12.   
  
  
  
  12. 'fbeta_score_macro': round(fbeta_score(y, y_pred, beta, average=average_method), 4),  
    13.   
  
  
  
  13. 'report': classification_report(y, y_pred, output_dict=True),  
    14.   
  
  
  
  14. 'report_csv': classification_report(y, y_pred, output_dict=False).replace('\n','\r\n')  
    15.   
  
  
  
  15. }  
    16.   
  
  
  
  16. def save_metrics(metrics: dict, model_directory, file_name):  
    17.   
  
  
  
  17. path = os.path.join(model_directory, file_name + '_report.txt')  
    18.   
  
  
  
  18. classification_report_to_csv(metrics['report_csv'], path)  
    19.   
  
  
  
  19. metrics.pop('report_csv')  
    20.   
  
  
  
  20. path = os.path.join(model_directory, file_name + '_metrics.json')  
    21.   
  
  
  
  21. json.dump(metrics, open(path, 'w'), indent=4)  
    22.

10. 编写出色的API。

所有结尾不好的代码都是不好的。

你的数据清理和建模可能做得很好，但最后还是会造成大混乱。经验告诉我，许多人不清楚如何编写优秀的API、文档和服务器配置。

以下是负载不太高(比如1000/分钟)的典型的机器学习和深度学习部署的好方法。

不妨见识这对组合Fastapi + uvicorn

  • 最快：用fastapi编写API，因为就I/O型操作而言它是速度最快的(https://www.techempower.com/benchmarks/#section=test&runid=7464e520-0dc2-473d-bd34-dbdfd7e85911&hw=ph&test=query&l=zijzen-7)，原因在此(https://fastapi.tiangolo.com/benchmarks/)有解释。
  • 说明文档：用fastapi编写API为我们在http:url/docs提供了免费文档和测试端点→我们更改代码时，由fastapi自动生成和更新。
  • Workers：使用uvicorn部署API。

运行这些命令使用4个workers来部署。通过负载测试来优化workers的数量。

 
 
 
 
      
  
  
  
  1. pip install fastapi uvicorn  
    2.   
  
  
  
  2. uvicorn main:app --workers 4 --host 0.0.0.0 --port 8000  
    3.

分享题目：Python开发者宝典：10个有用的机器学习实践！
URL地址：http://www.stwzsj.com/qtweb/news23/2173.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

小程序开发知识

分类信息网站

云服务器　　 　成都网站推广　　 　卡多尼人工智　　 　众诚伟业　　 　成都微信小程序开发　　 　短视频拍摄　　 　seo优化　　 　明安消防器材　　 　交互设计　　 　网站运维托管　　 　app软件定制开发　　 　成都营销型网站建设　　 　免备案空间　　 　成都众诚伟业　　 　香港四川國際商會　　 　教育培训网站建设方案　　 　成都网站制作　　 　成都做网站　　 　响应式网站建设方案　　 　做手机网站