TI-ONE 平台 Notebook 使用教程---jennyxu

背景

在这篇文章中，我们向您介绍智能钛机器学习平台（TI-ONE）Notebook 的使用流程。以下内容和数据路径均为示例，仅演示流程，并非比赛官方数据。在使用之前，请确保您已经完成了注册与开通服务。

一、创建实例登录智能钛机器学习平台控制台 ，单击菜单栏的【Notebook】，页面将跳转至 Notebook 的实例列表页面，此页面将罗列用户创建的所有 Notebook 实例。在 Notebook 实例列表页，单击左上角【新增实例】，跳转至创建 Notebook 实例的设置页面。填写说明如下：地区：此字段不可修改，将自动显示平台选择的地区。Notebook 名称：设置此 Notebook 实例的名称。资源选择：选择此实例需要配置的资源。（注意：只要 Notebook 实例处于运行中，都将对配置的资源进行按时收费。 ）卷大小：您的笔记本实例的卷大小 (以 GB 为单位)，最小值为 10GB 且为 10 的倍数，注意：请大于当前硬盘值，最大值为 16384GB (16TB)。Root 权限：选择是否赋予 root 权限来访问 Notebook。如果启用 Root 权限，则所有 Notebook 实例用户具有管理员权限，并且可以访问和编辑实例上的所有文件。VPC：用户可以选择配置自有的 VPC 网络。配置价格：平台根据您选择的资源配置显示相关价格。 单击【创建】，Notebook 列表中将新增一条实例记录，请用户自行刷新页面，当实例状态由【创建中】变为【运行中】时，单击【打开】进入 Notebook 实例内部。进入实例内部后，您可以根据需要设置内核环境。本案例使用conda_tensorflow_py3。二、数据导入首先，您需要在大赛官网报名，并获取比赛数据的 COS 路径。本测试案例路径为：https://tesla-ap-guangzhou-1256322946.cos.ap-guangzhou.myqcloud.com/cephfs/tesla_common/deeplearning/dataset/contest/demo.zip。在Notebook中导入所需数据。如果需要安装外部依赖包，详情可参考智能钛官方文档安装第三方库。!pip install wget import wget, tarfile filename = wget.download("https://tesla-ap-guangzhou-1256322946.cos.ap-guangzhou.myqcloud.com/cephfs/tesla_common/deeplearning/dataset/contest/demo.zip") print(filename)import zipfile zFile = zipfile.ZipFile(filename, "r") for fileM in zFile.namelist(): zFile.extract(fileM, "./") print(fileM) zFile.close();三、模型训练

您可以自行编写代码进行模型构建、模型训练、模型评估。

import pandas as pd import tensorflow as tf CSV_COLUMN_NAMES = ['SepalLength', 'SepalWidth', 'PetalLength', 'PetalWidth', 'Species'] SPECIES = ['Setosa', 'Versicolor', 'Virginica'] def load_train_data(train_path, y_name='Species'): """Returns the iris dataset as (train_x, train_y)""" train = pd.read_csv(train_path, names=CSV_COLUMN_NAMES, header=0) train_x, train_y = train, train.pop(y_name) return (train_x, train_y) def load_test_data(test_path): """Returns the iris dataset as test_x""" test = pd.read_csv(test_path, names=CSV_COLUMN_NAMES[:-1], header=0) return test def train_input_fn(features, labels, batch_size): """An input function for training""" # Convert the inputs to a Dataset. dataset = tf.data.Dataset.from_tensor_slices((dict(features), labels)) # Shuffle, repeat, and batch the examples. dataset = dataset.shuffle(1000).repeat().batch(batch_size) # Return the dataset. return dataset def eval_input_fn(features, labels, batch_size): """An input function for evaluation or prediction""" features=dict(features) if labels is None: # No labels, use only features. inputs = features else: inputs = (features, labels) # Convert the inputs to a Dataset. dataset = tf.data.Dataset.from_tensor_slices(inputs) # Batch the examples assert batch_size is not None, "batch_size must not be None" dataset = dataset.batch(batch_size) # Return the dataset. return datasetimport os def main(): batch_size = 100 train_steps = 1000 # Fetch the data (train_x, train_y) = load_train_data("iris_training.csv") # Feature columns describe how to use the input. my_feature_columns = [] for key in train_x.keys(): my_feature_columns.append(tf.feature_column.numeric_column(key=key)) # Build 2 hidden layer DNN with 10, 10 units respectively. classifier = tf.estimator.DNNClassifier( feature_columns=my_feature_columns, # Two hidden layers of 10 nodes each. hidden_units=[10, 10], # The model must choose between 3 classes. n_classes=3, ) # Train the Model. classifier.train( input_fn=lambda: train_input_fn(train_x, train_y, batch_size), steps=train_steps) # Generate predictions from the model test_x = load_test_data("iris_test.csv") predictions = classifier.predict( input_fn=lambda: eval_input_fn(test_x, labels=None, batch_size=batch_size)) result = [] template = 'Prediction is "{}" ({:.1f}%)' for pred_dict in predictions: class_id = pred_dict['class_ids'][0] probability = pred_dict['probabilities'][class_id] print(template.format(SPECIES[class_id], 100 * probability)) result.append(class_id) result_df = pd.DataFrame(data=result) result_df.to_csv("result_file", index=False) print("result file is saved") main()四、结果上传1. 结果文件路径

您可以自行指定结果保存的 COS 路径。

path：结果文件的路径

bucket：指定存储桶。

key_prefix：存储桶下cos路径的。

from ti import session ti_session = session.Session() inputs = ti_session.upload_data(path="result_file", bucket="demo-project-ap-guangzhou-1259675134", key_prefix="contest")2. 结果文件查看

您可以到 COS 中您指定的路径下查看结果文件。此外，您可以自行下载文件，点击【详情】，还可在详情页面获取【对象地址】。后续您可以在官网进行结果上传。

至此，我们完成了使用智能钛机器学习平台的 Notebook 训练模型的流程。在使用过程中，如果您想了解更多的操作详情，请参考TI-ONE 官方文档。

---来自腾讯云社区的---jennyxu