Fetch the repository succeeded.
PLOTO：自动驾驶研发平台，集合业界优秀伙伴提供专业的自动驾驶研发工具。
前端使用vue框架，后端采用Django框架。
为自动驾驶全链路提供可靠服务（数据采集、数据传输、数据脱敏、场景数据提取、数据标注、AI训练、仿真测试、评估评价、OTA升级全链路流程）。
├── huaweicloud-solution-ploto --主目录
├── config
├── initutils --初始化项目目录
├── ploto --后端项目目录
| ├── ae_trace --事件告警功能目录
| ├── commmon --通用函数工具
| ├── conf --配置目录
| ├── data_mgt --数据管理目录
| ├── logs --日志文件目录
| ├── monitor --大屏数据目录
| ├── ploto --ploto应用目录
| ├── __init__.py --模块声明文件
| ├── user --用户管理目录
| ├── manage.py --Django管理文件
| └── requirements.txt --python环境依赖列表
├── src --前端源码目录
├── public
├── vue.config.js
└── README.md
Python版本：Python 3.7及以上版本
运行环境：CentOS 7.6
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel
yum -y install epel-release
yum install python-pip
yum install -y python3-pip
pip install wget
wget https://mirrors.huaweicloud.com/python/3.7.2/Python-3.7.2.tgz
# 解压缩
tar -zxvf Python-3.7.2.tgz
# 进入解压后的目录
cd Python-3.7.2
# 手动编译
./configure prefix=/usr/local/python3
make && make install
ln -s /usr/local/python3/bin/python3.7 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3.7 /usr/bin/pip3
[root@loaclhost ~]# python3 --version
Python 3.7.2
[root@loaclhost ~]# pip3 --version
pip 10.0.1
pip3 install -r requirements.txt
Redis：用于当作Monitor查询的缓存数据，Celery的任务队列，以及登录查询和告警相关功能
推荐使用华为云分布式缓存服务DCS服务快速部署，操作指引参考https://support.huaweicloud.com/qs-dcs/index.html
Mysql，用于存储平台的用户、车辆、任务等相关信息
推荐使用华为云数据库RDS快速部署，操作指引参考https://support.huaweicloud.com/qs-rds/zh-cn_topic_0046585334.html
ElasticSesrch：用于加速事件告警功能的查询
推荐使用华为云搜索服务CSS，操作指引参考https://support.huaweicloud.com/qs-css/index.html#toTop
安装node.js，用于在服务器运行前端环境
下载文件并解压，推荐使用华为云镜像加速https://repo.huaweicloud.com/nodejs/
wget https://repo.huaweicloud.com/nodejs/v16.16.0/node-v16.16.0-linux-arm64.tar.gz
tar -xzf node-v16.16.0-linux-arm64.tar.gz
设置软连接（根据实际安装的node路径修改），连接到/usr/local/bin/
ln -s /root/node-v16.16.0-linux-x64/bin/npm /usr/local/bin/
ln -s /root/node-v16.16.0-linux-x64/bin/node /usr/local/bin/
在/root/目录下验证是否安装成功，打印出版本号则安装成功
node -v
npm -v
安装nginx，用于转发前端收到的请求
yum install nginx
切换到主目录huaweicloud-solution-ploto执行
npm install
修改服务器地址信息
在主目录下vue.config.js中host修改前端服务器所在的地址，端口默认为80
devServer: {
host: '127.0.0.1', # 前端服务器地址,若为本机运行则使用本机地址
port: '80',
open: true
}
主目录下编译运行，生成dist文件（任何对前端文件的修改都需要重新编译生成）
npm run build
若nginx安装路径为**/usr/local**目录下，修改 /usr/local/nginx/conf/nginx.conf配置文件，监听80端口的服务，**location/**中root对应build之后生成的dist文件目录，将前端的访问路径通过nginx代理转发到后端服务的8000端口
server {
listen 80;
server_name localhost;
location / {
root /root/huaweicloud-solution-ploto/dist/; # 修改为上一步生成的dist目录
index index.html index.htm;
}
location /login{
proxy_pass http://localhost:8000;
}
location /monitor{
proxy_pass http://localhost:8000;
}
location /data{
proxy_pass http://localhost:8000;
}
location /ADlogin{
proxy_pass http://localhost:8000;
}
location /logout{
proxy_pass http://localhost:8000;
}
location /admin{
proxy_pass http://localhost:8000;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
启动或重启nginx使配置生效
/usr/local/nginx/sbin/nginx start
/usr/local/nginx/sbin/nginx -s reload
在ploto/ploto/settings/dev.py中填入数据库，Redis，ElasticSearch的连接信息
其中DATABASES 为数据库配置信息，先在mysql中创建一个数据库ploto_test，作为项目使用的数据库，并将其配置参数添加至字段中
# 数据库配置
DATABASES = {
"default": {
"ENGINE": "django.db.backends.mysql",
"NAME": "ploto_test", # 创建的数据库名
"USER": "root", # 用户名默认为root
"PASSWORD": "****", # 数据库登录密码
"HOST": "127.0.0.1", # 数据库服务器地址
"PORT": "3306", # 数据库连接端口，默认3306
}
}
# ElasticSearch 配置
ES_HOST = '127.0.0.1' # CSS服务中的服务器地址
ES_PORT = '9200' # 服务器连接端口，默认9200
ES_USERNAME = '*****'
ES_PASSWORD = '*****'
# Redis 配置
REDIS_HOST = '127.0.0.1' # Redis服务器地址
REDIS_PORT = '6379' # Redis服务器连接端口，默认6379
REDIS_PASSWORD = '*****'
配置IAM认证信息
存放海量自动驾驶数据，推荐使用华为云对象存储服务OBS，操作指引https://support.huaweicloud.com/qs-obs/obs_qs_1000.html，同时华为云平台提供强大的模型训练平台ModelArts，并且提供了丰富的API可供用户调用。
在华为云的控制台中的用户名下拉菜单中->“ 我的凭证”，在访问密钥中新增访问密钥，获得Access Key和Secret Key（请妥善保管并定期更新）
在华为云的对象存储服务OBS中，创建一个桶（桶名为ploto-test）
在ploto/conf/conf.py填写ak，sk，以及OBS的桶名bucket_name和终端节点endpoint，场景提取输出路径，IAM账号认证信息
obs_ak = "*****" # Access Key
obs_sk = "*****" # Secret Key
obs_endpoint = "obs.XXX.myhuaweicloud.com" # OBS终端节点地址
obs_bucket_name = ploto-test
# 场景提取输出路径，根据实际情况修改
scene_cut_output_dir = "obs://{}/ploto_file/scene".format(obs_bucket_name)
# IAM账号认证信息，用于模型训练相关操作
IAMDomain = "*********"
IAMUser = "*********"
IAMPassword = "*********"
IAMproject = "*********"
切换到manage.py所在的目录下，通过终端启动数据库迁移服务
python3 manage.py makemigrations
python3 manage.py migrate
python3 manage.py createsuperuser
python3 manage.py runserver 0.0.0.0:8000
创建账户与登录
本地访问 http://0.0.0.0:8000/admin/auth/user/，若在服务器外访问则使用服务器地址，使用刚刚创建的超级用户登录Django后台
创建用户ploto_test，在用户权限中给予相应权限；
增加Ploto users，选择新建的用户ploto_test，保存后该用户即被激活（不进行此操作无法登录）,并给用户配置相应权限
通过 http://0.0.0.0:8000/ 访问系统页面，或者通过服务器地址进行访问
创建ES索引
python3 manage.py serach_index --rebuild
启动Celery的异步任务
celery -A ploto worker -l info -P eventlet
启动Celery定时任务
celery -A ploto beat
可以运行initutils工具类中的脚本对平台数据进行填充、删除
fill_obs.py：对obs的填充测试数据
fill_db.py : 对数据库进行填充测试数据
delete_test_data.py：删除测试数据
使用python3的启动方式适合进行开发调试，log信息直接打印在控制台，上线运行可选择用uWSGI托管Django，log记录在uwsgi.log中，不输出至终端。
先安装uwsgi模块：
pip3 install uwsgi
在主目录/ploto文件夹下创建uwsgi.ini文件，文件内容如下：
[uwsgi]
# 应用目录
chdir = /usr/local/huaweicloud-solution-ploto/ploto
# 服务访问链接
http = 0.0.0.0:8000
# wsgi文件目录
wsgi-file = /usr/local/huaweicloud-solution-ploto/ploto/wsgi.py
# 工作进程数
processes = 4
# 启动主进程来管理其他子进程
master = true
http-timeout = 60
# 退出时清空环境
vacuum = true
# 指定pid文件
pidfile = /usr/local/huaweicloud-solution-ploto/ploto/uwsgi.pid
# log文件路径
daemonize = /usr/local/huaweicloud-solution-ploto/ploto/uwsgi.log
# 加载wsgi模块
module=ploto.wsgi:application
配置完成后cd到uwsgi.ini所在文件夹，使用以下命令启动或停止
uwsgi --ini uwsgi.ini # 启动
uwsgi --stop uwsgi.pid # 停止
uwsgi --reload uwsgi.pid # 重启
killall -8 uwsgi # 强制停止
如果需要对密码明文的敏感信息进行加密，可参考本小结实现加密。
对密码明文信息进行加密，并实现密钥密文分离，使用AEC_GCM加密算法，以数据库密码加密为例：
生成加密密钥aes_gcm_key AES GCM加密算法的秘钥配置，秘钥长度32字节，填写密钥ascii码的base64格式字符串。可以使用以下代码生成加密密钥，把获取的aes_gcm_key填写到ploto/conf/conf.py中。建议周期性替换秘钥，修改密码。
import binascii
from Crypto import Random
aes_gcm_key = binascii.b2a_base64(Random.get_random_bytes(32))
生成密文信息
在ploto/common/common_crypt.py中，填入“密码明文”，使用之前生成的aes_gcm_key进行加密，输出加密后的密文信息（bytes格式），使用后删除明文信息。
from conf.conf import aes_gcm_key # 加密密钥
mysql_pwd, mysql_aes_gcm_tag, mysql_aes_gcm_iv = encrypt_aes256gcm("密码明文", key=aes_gcm_key, tag_len=16)
输出:
crypt_text： b'*****' #加密密文
tag： b'*****' #密文校验信息
iv： b'*****' #随机初始向量
在ploto/ploto/dev.py中数据库连接配置可参考以下方式
import sys
sys.path.append("..")
from common import common_crypte
mysql_pwd: b"*****" # 密码密文
mysql_aes_gcm_tag：b"*****" # 密文校验信息
mysql_aes_gcm_iv： b"*****" # 随机初始向量
# 数据库配置
DATABASES = {
"default": {
"ENGINE": "django.db.backends.mysql",
"NAME": "ploto_test",
"USER": "root",
# 调用解密函数获得密码
"PASSWORD": common_crypte.decrypt_aes256gcm(mysql_pwd, aes_gcm_key, mysql_aes_gcm_iv, mysql_aes_gcm_tag),
"HOST": "127.0.0.1",
"PORT": "3306",
},
部署Webviz工具，针对ros打包的bag格式数据在Web端进行可视化预览，并可实现远端数据在线预览。
推荐使用Docker镜像部署，下载官方镜像后运行
docker run -p 8080:8080 cruise/webviz
源码部署方式参考官方教程：https://github.com/cruise-automation/webviz
部署后浏览器访问http://127.0.0.1:8080即可使用服务，可将本地bag文件拖拽进页面预览，支持读取3D点云数据，图像数据，以及数据Plot等功能；
部署在远程主机上则在主目录/ploto/conf/conf.py中配置Webviz服务地址
webviz_url = 'http://localhost:8080' # webviz服务路径
rosbridge_url = 'ws://localhost:9090' #（可选）rosbridge 链接
layout_key = 'ploto_file/layout.json' #（可选）自定义layout在桶中的对象key
支持通过授权链接访问远程数据，以OBS为例，需要配置桶的CORS规则：
| 配置项 | 参数 |
|---|---|
| 允许的来源 | * |
| 允许的方法 | GET, HEAD |
| 允许的头域 | * |
| 补充头域 | ETag Content-Type Content-Length Cache-Control Content-Disposition Content-Encoding Content-Language Expires x-obs-request-id Accept-Ranges |
| 缓存时间 | 100 |
获取桶内数据的带授权链接，可参考OBS的SDK（https://support.huaweicloud.com/sdk-python-devg-obs/obs_22_1301.html），或使用OBS Browser+进行分享，在服务链接后带参数“remote-bag-url=授权链接”，如
http://127.0.0.1:8080?/remote-bag-url=http://remote-bag-url.com
注意：授权链接需要进行urlEncode编码，对部分特殊字符（如&）转义
支持布局的保存和读取，可对这个页面或单个panel板块的布局进行保存或导入，生成layout.json文件，也可访问桶内的布局文件，需携带参数"layout-url"在访问链接中，如
http://127.0.0.1:8080?/remote-bag-url=http://remote-bag-url.com&layout-url=http://layout_json.com
更多工具相关功能参考官方链接或服务页面的帮助文档。
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
1. Open source ecosystem
2. Collaboration, People, Software
3. Evaluation model
马建仓 AI 助手