李春田
李春田

DataHub 0.8.14.1安装方法

好像跟之前我写的那个在安装上有区别

修改pip 源
建议用阿里云的源，豆瓣源有问题

python3 -m pip config set global.index-url  https://mirrors.aliyun.com/pypi/simple/
Writing to /root/.config/pip/pip.conf

或者

python3 -m pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

参考官方文档

python3 -m pip install --upgrade pip wheel setuptools
python3 -m pip uninstall datahub acryl-datahub || true  # sanity check - ok if it fails
python3 -m pip install --upgrade acryl-datahubdatahub version

插件检测及安装

 python3 -m datahub check plugins
Sources:
athena         (disabled)
azure-ad
bigquery       (disabled)
bigquery-usage (disabled)
datahub-business-glossary
dbt
druid          (disabled)
feast
file
glue           (disabled)
hive           (disabled)
kafka          (disabled)
kafka-connect  (disabled)
ldap           (disabled)
looker         (disabled)
lookml         (disabled)
mongodb        (disabled)
mssql          (disabled)
mysql          (disabled)
okta           (disabled)
oracle         (disabled)
postgres       (disabled)
redash         (disabled)
redshift       (disabled)
sagemaker      (disabled)
snowflake      (disabled)
snowflake-usage(disabled)
sqlalchemy     (disabled)
superset

Sinks:
console
datahub-kafka  (disabled)
datahub-rest
file

Transformers:
add_dataset_ownership
add_dataset_tags
mark_dataset_status
pattern_add_dataset_ownership
set_dataset_browse_path
simple_add_dataset_ownership
simple_add_dataset_tags
simple_remove_dataset_ownership

For details on why a plugin is disabled, rerun with '--verbose'
If a plugin is disabled, try running: pip install 'acryl-datahub[]'

根据官方文档安装mysql及postgresql插件

python3 -m pip install 'acryl-datahub[postgres]'
python3 -m pip install 'acryl-datahub[mysql]'

postgresql
python3 -m pip install 'acryl-datahub[postgres]'
Requirement already satisfied: acryl-datahub[postgres] in /usr/local/python3/lib/python3.8/site-packages (0.8.14.1)
Requirement already satisfied: typing-inspect in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (0.7.1)
Requirement already satisfied: entrypoints in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (0.3)
Requirement already satisfied: toml>=0.10.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (0.10.2)
Requirement already satisfied: tabulate in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (0.8.9)
Requirement already satisfied: mypy-extensions>=0.4.3 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (0.4.3)
Requirement already satisfied: expandvars>=0.6.5 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (0.7.0)
Requirement already satisfied: python-dateutil>=2.8.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (2.8.2)
Requirement already satisfied: avro-python3>=1.8.2 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (1.10.1)
Requirement already satisfied: pydantic>=1.5.1 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (1.8.2)
Requirement already satisfied: click>=6.0.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (8.0.1)
Requirement already satisfied: click-default-group in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (1.2.2)
Requirement already satisfied: stackprinter in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (0.2.5)
Requirement already satisfied: docker in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (4.4.1)
Requirement already satisfied: PyYAML in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (5.3.1)
Requirement already satisfied: avro-gen3==0.6.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[postgres]) (0.6.0)
Collecting sqlalchemy==1.3.24
  Downloading SQLAlchemy-1.3.24-cp38-cp38-manylinux2010_x86_64.whl (1.3 MB)
     |████████████████████████████████| 1.3 MB 194 kB/s 
Collecting GeoAlchemy2
  Downloading GeoAlchemy2-0.9.4-py2.py3-none-any.whl (32 kB)
Collecting psycopg2-binary
  Downloading psycopg2_binary-2.9.1-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (3.4 MB)
     |████████████████████████████████| 3.4 MB 3.8 MB/s 
Requirement already satisfied: pytz in /usr/local/python3/lib/python3.8/site-packages (from avro-gen3==0.6.0->acryl-datahub[postgres]) (2021.1)
Requirement already satisfied: tzlocal in /usr/local/python3/lib/python3.8/site-packages (from avro-gen3==0.6.0->acryl-datahub[postgres]) (3.0)
Requirement already satisfied: six in /usr/local/python3/lib/python3.8/site-packages (from avro-gen3==0.6.0->acryl-datahub[postgres]) (1.15.0)
Requirement already satisfied: typing-extensions>=3.7.4.3 in /usr/local/python3/lib/python3.8/site-packages (from pydantic>=1.5.1->acryl-datahub[postgres]) (3.10.0.2)
Requirement already satisfied: websocket-client>=0.32.0 in /usr/local/python3/lib/python3.8/site-packages (from docker->acryl-datahub[postgres]) (0.57.0)
Requirement already satisfied: requests!=2.18.0,>=2.14.2 in /usr/local/python3/lib/python3.8/site-packages (from docker->acryl-datahub[postgres]) (2.25.1)
Requirement already satisfied: chardet<5,>=3.0.2 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub[postgres]) (4.0.0)
Requirement already satisfied: idna<3,>=2.5 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub[postgres]) (2.10)
Requirement already satisfied: urllib3<1.27,>=1.21.1 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub[postgres]) (1.26.2)
Requirement already satisfied: certifi>=2017.4.17 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub[postgres]) (2020.12.5)
Collecting packaging
  Downloading packaging-21.0-py3-none-any.whl (40 kB)
     |████████████████████████████████| 40 kB 124 kB/s 
Collecting pyparsing>=2.0.2
  Downloading pyparsing-2.4.7-py2.py3-none-any.whl (67 kB)
     |████████████████████████████████| 67 kB 116 kB/s 
Requirement already satisfied: backports.zoneinfo in /usr/local/python3/lib/python3.8/site-packages (from tzlocal->avro-gen3==0.6.0->acryl-datahub[postgres]) (0.2.1)
Installing collected packages: pyparsing, sqlalchemy, packaging, psycopg2-binary, GeoAlchemy2
Successfully installed GeoAlchemy2-0.9.4 packaging-21.0 psycopg2-binary-2.9.1 pyparsing-2.4.7 sqlalchemy-1.3.24
WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv
mysql
python3 -m pip install 'acryl-datahub[mysql]'
Requirement already satisfied: acryl-datahub[mysql] in /usr/local/python3/lib/python3.8/site-packages (0.8.14.1)
Requirement already satisfied: pydantic>=1.5.1 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (1.8.2)
Requirement already satisfied: typing-inspect in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (0.7.1)
Requirement already satisfied: stackprinter in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (0.2.5)
Requirement already satisfied: tabulate in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (0.8.9)
Requirement already satisfied: click>=6.0.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (8.0.1)
Requirement already satisfied: entrypoints in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (0.3)
Requirement already satisfied: click-default-group in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (1.2.2)
Requirement already satisfied: mypy-extensions>=0.4.3 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (0.4.3)
Requirement already satisfied: python-dateutil>=2.8.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (2.8.2)
Requirement already satisfied: docker in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (4.4.1)
Requirement already satisfied: expandvars>=0.6.5 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (0.7.0)
Requirement already satisfied: toml>=0.10.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (0.10.2)
Requirement already satisfied: PyYAML in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (5.3.1)
Requirement already satisfied: avro-python3>=1.8.2 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (1.10.1)
Requirement already satisfied: avro-gen3==0.6.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (0.6.0)
Requirement already satisfied: sqlalchemy==1.3.24 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub[mysql]) (1.3.24)
Collecting pymysql>=1.0.2
  Downloading PyMySQL-1.0.2-py3-none-any.whl (43 kB)
     |████████████████████████████████| 43 kB 18 kB/s 
Requirement already satisfied: tzlocal in /usr/local/python3/lib/python3.8/site-packages (from avro-gen3==0.6.0->acryl-datahub[mysql]) (3.0)
Requirement already satisfied: pytz in /usr/local/python3/lib/python3.8/site-packages (from avro-gen3==0.6.0->acryl-datahub[mysql]) (2021.1)
Requirement already satisfied: six in /usr/local/python3/lib/python3.8/site-packages (from avro-gen3==0.6.0->acryl-datahub[mysql]) (1.15.0)
Requirement already satisfied: typing-extensions>=3.7.4.3 in /usr/local/python3/lib/python3.8/site-packages (from pydantic>=1.5.1->acryl-datahub[mysql]) (3.10.0.2)
Requirement already satisfied: requests!=2.18.0,>=2.14.2 in /usr/local/python3/lib/python3.8/site-packages (from docker->acryl-datahub[mysql]) (2.25.1)
Requirement already satisfied: websocket-client>=0.32.0 in /usr/local/python3/lib/python3.8/site-packages (from docker->acryl-datahub[mysql]) (0.57.0)
Requirement already satisfied: idna<3,>=2.5 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub[mysql]) (2.10)
Requirement already satisfied: certifi>=2017.4.17 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub[mysql]) (2020.12.5)
Requirement already satisfied: urllib3<1.27,>=1.21.1 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub[mysql]) (1.26.2)
Requirement already satisfied: chardet<5,>=3.0.2 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub[mysql]) (4.0.0)
Requirement already satisfied: backports.zoneinfo in /usr/local/python3/lib/python3.8/site-packages (from tzlocal->avro-gen3==0.6.0->acryl-datahub[mysql]) (0.2.1)
Installing collected packages: pymysql
Successfully installed pymysql-1.0.2
WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv
这个时候mysql和postgresql已经是非disabled的状态了
 python3 -m datahub check plugins
Sources:
athena
azure-ad
bigquery       (disabled)
bigquery-usage (disabled)
datahub-business-glossary
dbt
druid          (disabled)
feast
file
glue           (disabled)
hive           (disabled)
kafka          (disabled)
kafka-connect
ldap           (disabled)
looker         (disabled)
lookml         (disabled)
mongodb        (disabled)
mssql          (disabled)
mysql
okta           (disabled)
oracle         (disabled)
postgres
redash         (disabled)
redshift       (disabled)
sagemaker      (disabled)
snowflake      (disabled)
snowflake-usage(disabled)
sqlalchemy
superset

Sinks:
console
datahub-kafka  (disabled)
datahub-rest
file

Transformers:
add_dataset_ownership
add_dataset_tags
mark_dataset_status
pattern_add_dataset_ownership
set_dataset_browse_path
simple_add_dataset_ownership
simple_add_dataset_tags
simple_remove_dataset_ownership

For details on why a plugin is disabled, rerun with '--verbose'
If a plugin is disabled, try running: pip install 'acryl-datahub[]'

运行第3个的时候有报错，但是再跑的时候好像又没有报错了

python3 -m pip install --upgrade acryl-datahub 
Requirement already satisfied: acryl-datahub in /usr/local/python3/lib/python3.8/site-packages (0.8.14.1)
Requirement already satisfied: docker in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (4.4.1)
Requirement already satisfied: python-dateutil>=2.8.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (2.8.2)
Requirement already satisfied: mypy-extensions>=0.4.3 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (0.4.3)
Requirement already satisfied: toml>=0.10.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (0.10.2)
Requirement already satisfied: PyYAML in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (5.3.1)
Requirement already satisfied: avro-python3>=1.8.2 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (1.10.1)
Requirement already satisfied: expandvars>=0.6.5 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (0.7.0)
Requirement already satisfied: click-default-group in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (1.2.2)
Requirement already satisfied: pydantic>=1.5.1 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (1.8.2)
Requirement already satisfied: click>=6.0.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (8.0.1)
Requirement already satisfied: typing-inspect in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (0.7.1)
Requirement already satisfied: entrypoints in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (0.3)
Requirement already satisfied: tabulate in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (0.8.9)
Requirement already satisfied: stackprinter in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (0.2.5)
Requirement already satisfied: avro-gen3==0.6.0 in /usr/local/python3/lib/python3.8/site-packages (from acryl-datahub) (0.6.0)
Requirement already satisfied: tzlocal in /usr/local/python3/lib/python3.8/site-packages (from avro-gen3==0.6.0->acryl-datahub) (3.0)
Requirement already satisfied: six in /usr/local/python3/lib/python3.8/site-packages (from avro-gen3==0.6.0->acryl-datahub) (1.15.0)
Requirement already satisfied: pytz in /usr/local/python3/lib/python3.8/site-packages (from avro-gen3==0.6.0->acryl-datahub) (2021.1)
Requirement already satisfied: typing-extensions>=3.7.4.3 in /usr/local/python3/lib/python3.8/site-packages (from pydantic>=1.5.1->acryl-datahub) (3.10.0.2)
Requirement already satisfied: requests!=2.18.0,>=2.14.2 in /usr/local/python3/lib/python3.8/site-packages (from docker->acryl-datahub) (2.25.1)
Requirement already satisfied: websocket-client>=0.32.0 in /usr/local/python3/lib/python3.8/site-packages (from docker->acryl-datahub) (0.57.0)
Requirement already satisfied: urllib3<1.27,>=1.21.1 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub) (1.26.2)
Requirement already satisfied: idna<3,>=2.5 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub) (2.10)
Requirement already satisfied: chardet<5,>=3.0.2 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub) (4.0.0)
Requirement already satisfied: certifi>=2017.4.17 in /usr/local/python3/lib/python3.8/site-packages (from requests!=2.18.0,>=2.14.2->docker->acryl-datahub) (2020.12.5)
Requirement already satisfied: backports.zoneinfo in /usr/local/python3/lib/python3.8/site-packages (from tzlocal->avro-gen3==0.6.0->acryl-datahub) (0.2.1)
WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv

是这个样子的

 python3 -m datahub version
DataHub CLI version: 0.8.14.1
Python version: 3.8.0 (default, Jan  4 2021, 16:47:18) 
[GCC 6.3.1 20170216 (Red Hat 6.3.1-3)]

安装docker

python3 -m datahub docker quickstart

 python3 -m datahub docker quickstart 
Fetching docker-compose file from GitHub
Datahub Neo4j volume found, starting with neo4j as graph service.
If you want to run using elastic, run `datahub docker nuke` and re-ingest your data.

Pulling elasticsearch          ... downloading (21.6%)
Pulling elasticsearch-setup    ... waiting
Pulling mysql                  ... waiting
Pulling datahub-gms            ... downloading (19.8%)
Pulling datahub-frontend-react ... downloading (24.5%)
Pulling mysql-setup            ... done
Pulling neo4j                  ... downloading (45.3%)
Pulling zookeeper              ... done
Pulling broker                 ... done
Pulling schema-registry        ... done
Pulling kafka-setup            ... extracting (100.0%)

这几天没有看就变样了啊，连安装方法都不一样了

查看所有镜像
 docker images

1、启动所有容器

docker start $(docker ps -a | awk '{ print $1}' | tail -n +2)

2、关闭所有容器

docker stop $(docker ps -a | awk '{ print $1}' | tail -n +2)

3、删除所有容器

docker rm $(docker ps -a | awk '{ print $1}' | tail -n +2)

4、删除所有镜像（慎用）

docker rmi $(docker images | awk '{print $3}' |tail -n +2)

systemctl status docker 

docker container ls

报错1

 python3 -m datahub docker quickstart 
Fetching docker-compose file from GitHub
No Datahub Neo4j volume found, starting with elasticsearch as graph service.
To use neo4j as a graph backend, run 
`datahub docker quickstart --quickstart-compose-file ./docker/quickstart/docker-compose.quickstart.yml`
from the root of the datahub repo

Pulling elasticsearch          ... done
Pulling elasticsearch-setup    ... done
Pulling mysql                  ... waiting
Pulling datahub-gms            ... waiting
Pulling datahub-frontend-react ... done
Pulling mysql-setup            ... done
Pulling zookeeper              ... done
Pulling broker                 ... done
Pulling schema-registry        ... done
Pulling kafka-setup            ... done

ERROR: for mysql  error pulling image configuration: unknown blob

ERROR: for datahub-gms  error pulling image configuration: unknown blob
ERROR: error pulling image configuration: unknown blob
[2021-09-22 16:20:45,776] ERROR    {datahub.entrypoints:99} - File "/usr/local/python3/lib/python3.8/site-packages/datahub/entrypoints.py", line 91, in main
    88   def main(**kwargs):
    89       # This wrapper prevents click from suppressing errors.
    90       try:
--> 91           sys.exit(datahub(standalone_mode=False, **kwargs))
    92       except click.exceptions.Abort:
    ..................................................
     kwargs = {'prog_name': 'python3 -m datahub'}
     datahub = 
     click.exceptions.Abort = 
    ..................................................

File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 829, in __call__
    827  def __call__(self, *args, **kwargs):
 (...)
--> 829      return self.main(*args, **kwargs)
    ..................................................
     self = 
     args = ()
     kwargs = {'standalone_mode': False,
               'prog_name': 'python3 -m datahub'}
    ..................................................

File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 782, in main
    rv = self.invoke(ctx)
File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 1259, in invoke
    return _process_result(sub_ctx.command.invoke(sub_ctx))
File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 1259, in invoke
    return _process_result(sub_ctx.command.invoke(sub_ctx))
File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 1066, in invoke
    return ctx.invoke(self.callback, **ctx.params)
File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 610, in invoke
    return callback(*args, **kwargs)
File "/usr/local/python3/lib/python3.8/site-packages/datahub/cli/docker.py", line 196, in quickstart
    145  def quickstart(
    146      version: str,
    147      build_locally: bool,
    148      quickstart_compose_file: List[pathlib.Path],
    149      dump_logs_on_failure: bool,
    150      graph_service_impl: Optional[str],
    151  ) -> None:
 (...)
    192          "datahub",
    193      ]
    194  
    195      # Pull and possibly build the latest containers.
--> 196      subprocess.run(
    197          [
    ..................................................
     quickstart = 
     version = 'head'
     build_locally = False
     quickstart_compose_file = [PosixPath('/tmp/tmpttnj9c2j.yml'), ]
     List = typing.List
     pathlib.Path = 
     dump_logs_on_failure = False
     graph_service_impl = None
     Optional = typing.Optional
     subprocess.run = 
    ..................................................

File "/usr/local/python3/lib/python3.8/subprocess.py", line 512, in run
    448  def run(*popenargs,
    449          input=None, capture_output=False, timeout=None, check=False, **kwargs):
 (...)
    508              # We don't call process.wait() as .__exit__ does that for us.
    509              raise
    510          retcode = process.poll()
    511          if check and retcode:
--> 512              raise CalledProcessError(retcode, process.args,
    513                                       output=stdout, stderr=stderr)
    ..................................................
     popenargs = (['docker-compose', '-f', '/tmp/tmpttnj9c2j.yml', '-p', 'datahub', 'pull', ], )
     input = None
     capture_output = False
     timeout = None
     check = True
     kwargs = {}
     retcode = 1
     process.poll =  subprocess.py:1048>
     CalledProcessError = 
     process.args = ['docker-compose', '-f', '/tmp/tmpttnj9c2j.yml', '-p', 'datahub', 'pull', ]
     stdout = None
     stderr = None
    ..................................................

---- (full traceback above) ----
File "/usr/local/python3/lib/python3.8/site-packages/datahub/entrypoints.py", line 91, in main
    sys.exit(datahub(standalone_mode=False, **kwargs))
File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 829, in __call__
    return self.main(*args, **kwargs)
File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 782, in main
    rv = self.invoke(ctx)
File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 1259, in invoke
    return _process_result(sub_ctx.command.invoke(sub_ctx))
File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 1259, in invoke
    return _process_result(sub_ctx.command.invoke(sub_ctx))
File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 1066, in invoke
    return ctx.invoke(self.callback, **ctx.params)
File "/usr/local/python3/lib/python3.8/site-packages/click/core.py", line 610, in invoke
    return callback(*args, **kwargs)
File "/usr/local/python3/lib/python3.8/site-packages/datahub/cli/docker.py", line 196, in quickstart
    subprocess.run(
File "/usr/local/python3/lib/python3.8/subprocess.py", line 512, in run
    raise CalledProcessError(retcode, process.args,

CalledProcessError: Command '['docker-compose', '-f', '/tmp/tmpttnj9c2j.yml', '-p', 'datahub', 'pull']' returned non-zero exit status 1.

跟以下好像都没有关系，升吧，无所谓

python3 -m pip install pyopenssl ndg-httpsclient pyasn1

python3 -m pip install -U urllib3

python3 -m pip install -U channels

python3 -m pip --cert /Users/user/cacert.pem install -U channels

python3 -m pip install requests[security]

核心问题是这个！！！！docker启用了国内源！！！或者说只有国内源，因此建议暂时关闭docker的国内源！

cp /etc/docker/daemon.json  /etc/docker/daemon.jsonbak
rm /etc/docker/daemon.json 
systemctl restart docker

一切正常

python3 -m datahub docker quickstart 
Fetching docker-compose file from GitHub
No Datahub Neo4j volume found, starting with elasticsearch as graph service.
To use neo4j as a graph backend, run 
`datahub docker quickstart --quickstart-compose-file ./docker/quickstart/docker-compose.quickstart.yml`
from the root of the datahub repo

Pulling elasticsearch          ... done
Pulling elasticsearch-setup    ... done
Pulling mysql                  ... done
Pulling datahub-gms            ... done
Pulling datahub-frontend-react ... done
Pulling mysql-setup            ... done
Pulling zookeeper              ... done
Pulling broker                 ... done
Pulling schema-registry        ... done
Pulling kafka-setup            ... done

Creating network "datahub_network" with the default driver
Creating volume "datahub_esdata" with default driver
Creating volume "datahub_mysqldata" with default driver
Creating volume "datahub_zkdata" with default driver
Creating mysql         ... done
Creating zookeeper     ... done
Creating elasticsearch ... done
Creating datahub-gms         ... done
Creating elasticsearch-setup ... done
Creating broker              ... done
Creating mysql-setup         ... done
Creating datahub-frontend-react ... done
Creating schema-registry        ... done
Creating kafka-setup            ... done
....
elasticsearch is up-to-date
mysql is up-to-date
zookeeper is up-to-date
elasticsearch-setup is up-to-date
mysql-setup is up-to-date
datahub-gms is up-to-date
broker is up-to-date
datahub-frontend-react is up-to-date
schema-registry is up-to-date
kafka-setup is up-to-date
.............
zookeeper is up-to-date
Starting mysql ... 
elasticsearch is up-to-date
broker is up-to-date
elasticsearch-setup is up-to-date
schema-registry is up-to-date
Starting mysql ... done
mysql-setup is up-to-date
datahub-gms is up-to-date
datahub-frontend-react is up-to-date
.........
zookeeper is up-to-date
mysql is up-to-date
elasticsearch is up-to-date
broker is up-to-date
datahub-gms is up-to-date
Starting mysql-setup ... 
Starting elasticsearch-setup ... 
schema-registry is up-to-date
Starting mysql-setup         ... done
Starting elasticsearch-setup ... done
...........
elasticsearch is up-to-date
mysql is up-to-date
Starting elasticsearch-setup ... 
zookeeper is up-to-date
Starting mysql-setup         ... 
datahub-gms is up-to-date
broker is up-to-date
Starting elasticsearch-setup ... done
Starting mysql-setup         ... done
Starting kafka-setup         ... done
.............
zookeeper is up-to-date
mysql is up-to-date
elasticsearch is up-to-date
broker is up-to-date
Starting mysql-setup ... 
datahub-gms is up-to-date
Starting elasticsearch-setup ... 
schema-registry is up-to-date
Starting mysql-setup         ... done
Starting elasticsearch-setup ... done
.......
✔ DataHub is now running
Ingest some demo data using `datahub docker ingest-sample-data`,
or head to http://localhost:9002 (username: datahub, password: datahub) to play around with the frontend.
Need support? Get in touch on Slack: https://slack.datahubproject.io/

截图留念

微信截图_20210922163316.png

你可能感兴趣的:(DataHub 0.8.14.1安装方法)

  • python 标准库之openpyxl的常规操作 真的学不了一点。。。 Python学习python
    目录openpyxl（Excel文件处理模块）读sheet读sheet中单元格合并单元格openpyxl模块基本用法安装方法基本使用读取Excel文档（一）获取工作表（二）获取单元格（三）获取行和列写入Excel文档（一）写入单元格（二）保存文件设置单元格样式（一）字体（二）对齐方式（三）边框（四）设置行高和列宽（五）合并和拆分单元格openpyxl(Excel文件处理模块)读sheet读取Exc
  • python 编译器spyder 安装_离线安装spyder的Python环境 weixin_39552037 python编译器spyder安装
    一、介绍：要求在不联网、无法使用anaconda的情况下，在一台离线的win7设备上配置Spyder的python的开发环境，用于提高数据处理效率，且安装方法在win732位和64位的各种设备上均可流畅安装。二、问题难点总结：1.离线安装Python的第三方函数库Python在联网情况下安装第三方包很容易，但离线安装操作比较复杂，如某第三方库a，联网状态下仅一行代码pipinstalla，然而离线
  • Python库之Numpy的简介、安装、使用方法详细攻略 shadowtalon Pythonpythonnumpy开发语言
    Python库之Numpy的简介、安装、使用方法详细攻略引言在Python的数据处理和科学计算领域，Numpy库无疑是最核心的库之一。它提供了高性能的多维数组对象和一系列用于操作这些数组的工具。本篇文章将详细介绍Numpy的基本概念、安装方法以及如何使用Numpy进行数据处理。一、Numpy简介1.1什么是NumpyNumpy（NumericalPython）是一个开源的Python科学计算库，它
  • CentOS下php安装mcrypt扩展 天咋哭了
    （以下步骤均为本人实际操作，可能与你的安装方法有所区别，但我会尽量排除疑惑）大致步骤（1）安装mcrypt，（2）安装php对mcrypt的扩展，（3）重启apache（1）、确认你的linux没有安装mcrypt库，如果已安装，跳过安装步骤[root@test-206~]#yumlistinstalled|grepmcryptlibmcrypt.x86_642.5.8-4.el5.centosi
  • Python学习指南——1.常用库说明 r135792uuuu python-机器学习python
    说在前面在开发之前，要去python库官网上查看是否有帮助的库。结合百度和pypi.org网站直接寻找需要的库。库安装方法：1pip安装2.文件安装：UCI页面需要https://www.lfd.uci.edu/~gohlke/pythonlibs或者conda提供的那些网站也行。文件安装：下载UCI、whl文件之后，又要使用pipinstall文件来安装放到lib文件夹vscode特殊：通常把要
  • ubuntu opencv 安装 科学的发展-只不过是读大自然写的代码 opencv基础ubuntuopencvlinux
    1.ubuntuopencv安装在Ubuntu系统中安装OpenCV，可以通过多种方式进行，以下是一种常用的安装方法，包括从源代码编译安装。请注意，安装步骤可能会因OpenCV的版本和Ubuntu系统的具体版本而略有不同。一、安装准备更新系统（确保你的Ubuntu系统是最新的）：sudoaptupdatesudoaptupgrade安装必要的依赖项：sudoaptinstallbuild-esse
  • CentOS 安装 Openstack --按 rdo 方式 weixin_44251398 centosopenstack
    安装方式：OpenStack是一个开源的云计算管理平台项目，能支持几乎所有类型的云环境。OpenStack提供了基础设施即服务（IaaS）的解决方案，每个服务都可提供API以进行集成。OpenStack覆盖了网络、虚拟化、操作系统、服务器等各个方面。openstack安装方法有很多种，主流有四种方式，包括（1）手动一步一步安装，（2）fuel安装，（3）devstack安装和（4）rdo安装，RD
  • python第三方库手动安装教程_为了应对异常情况，提供最原始的python第三方库的安装方法：手动安装。往往是Windows用户需要用到这种方法。... weixin_39735247
    进入pypi.python.org，搜索你要安装的库的名字，这时候有3中可能：第一种是exe文件，这种最方便，下载满足你的电脑系统和python环境的对应的exe，再一路点击next就可以安装。第二种是.whl类文件，好处在于可以自动安装依赖包。第三种是源码，大概都是zip、tar.zip、tar.bz2格式的压缩包，这个方法要求用户已经安装了这个包所依赖的其他包。例如pandas依赖于numpy
  • Python高层神经网络 API库之Keras使用详解 Rocky006 pythonkeras开发语言
    概要随着深度学习在各个领域的广泛应用，许多开发者开始使用各种框架来构建和训练神经网络模型。Keras是一个高层神经网络API，使用Python编写，并能够运行在TensorFlow、CNTK和Theano之上。Keras旨在简化深度学习模型的构建过程，使得开发者能够更加专注于实验和研究。本文将详细介绍Keras库，包括其安装方法、主要特性、基本和高级功能，以及实际应用场景，帮助全面了解并掌握该库的
  • VS Code 调试带标准输入的 Golang 程序 编号41734362
    VSCode调试带标准输入的Golang程序操作系统:Ubuntu18.04LTSVSCode版本:1.44.2Go插件版本:ms-vscode.go0.14.1最近被迫接触Go，使用VSCode进行常规调试时(打断点，直接F5)，发现无法在DebugConsole里进行标准输入操作(直接EOF)。网上查了半天，才找到几个解决方法。记录如下。插件的安装方法就不赘述了，百度都有仅供参考，请结合实际情
  • 《经验分享：Ubuntu 22.04 安装微信》 陈在天box ubuntulinux运维
    一、引言在Ubuntu22.04系统中，虽然有很多优秀的开源软件可供使用，但对于一些习惯了使用微信进行沟通和办公的用户来说，能够在Ubuntu上安装微信是非常必要的。本文将分享在Ubuntu22.04上安装微信的方法，希望能帮助到有需要的人。二、安装方法方法一：通过Snap安装打开终端。检查Snap是否已经安装，如果没有安装，可以使用以下命令进行安装：sudoaptinstallsnapd安装微信
  • Python中的matplotlib库安装教程：多种方法详解 代码前哨站 pythonmatplotlib开发语言
    在数据可视化的世界里，matplotlib是一个非常重要的工具库。它提供了一整套绘图功能，帮助我们将数据可视化为图表。无论你是数据科学家、工程师，还是只是在数据处理领域有所涉猎，掌握matplotlib的安装方法都能让你的工作更加高效。本文将详细介绍几种在Python中安装matplotlib的方法。方法一：使用pip安装pip是Python包管理工具，使用它安装matplotlib非常简单。以下
  • python3.8安装详细教程 晓的阳 python开发语言
    python3.8下载及安装详细教程Python3.8是一个重要的Python版本，它引入了一系列新功能和改进。以下是对Python3.8的详细概述，包括其关键特性、安装方法以及版本状态等信息。Python3.8的关键特性海象运算符（WalrusOperator）：Python3.8引入了一个新的赋值表达式语法:=，被称为“海象运算符”。它允许在表达式内部直接进行赋值并返回赋值结果，有助于减少重复
  • node.js通过typeorm连接mysql/mariadb Xamsach. nodejsmysqlmariadb
    本文示范node.js通过typeorm实现插入和访问mariadb1）.通过npm全局安装typeorm包（由于npm安装过程网上的示例太多本文不再演示，没安装的可以自行查找安装方法）注：可能需要管理员身份运行commandnpminstalltypeorm-g1.1）.检查安装是否成功2）.创建一个新的typeormdemotypeorminit--nameMyProject--databas
  • Python篇-openpyxl库 大卫软件测试 pythonjava数据库
    安装openpyxl安装方法：pipinstallopenpyxl国内镜像安装：pipinstall-ihttps://mirrors.aliyun.com/pypi/simple/openpyxl（推荐，安装更快）中文文档：https://www.osgeo.cn/openpyxl/index.html#usage-examples工作簿、工作表、单元格之间的关系：一个工作簿(workbook)
  • 使Emacs支持语法分析器 bison ManateeLazyCat
    前几天写了一个flex.el,今天看了一下bison-mode.el的代码,也太陈旧了,顺手再写一个bison.elbisonmodebison支持bison的标记定义和规则代码区域的语法高亮.安装方法下载bison里面的bison.el放到~/elisp目录把下面的配置加入到~/.emacs中(add-to-list'load-path(expand-file-name"~/elisp"))(r
  • 远程链接腾讯云Redis-遇到的坑 __Jack redisrediscentos7腾讯云
    开门见山：1、配置腾讯安全组（不用重启机器）：首先找到默认的安全组：一个实例必须有一个安全组，即这个。点进去，就会进入安全组下全部的安全策略，根据需要配置：2、更改Redis配置redis.conf：注意：1、一定找到启动Redis对应的redis.conf，不然更改没用。（按照网上给的安装方法，启动的redis.conf有时不是安装目录下的那个）2、全局搜索“bind”关键字，一定找全bind后
  • Python任务编排和工作流管理库之prefect使用详解 Rocky006 python人工智能大数据
    概要在数据工程和科学的世界中，任务编排和工作流管理变得越来越重要。随着数据处理任务的复杂性增加，开发人员需要一种可靠且易于使用的工具来设计、监控和管理这些任务。Prefect是一个用于构建、监控和管理数据管道的Python库，它简化了工作流的创建和执行，同时提供了强大的错误处理和重试机制。本文将详细介绍Prefect库，包括其安装方法、主要特性、基本和高级功能，以及实际应用场景，帮助全面了解并掌握
  • Linux文件共享 写代码的小阿帆 运维linux运维服务器
    FTPtcp协议的传输文件标准，安装方法yuminstall-yvsftpd，使用systemctlstartvsftpd开启服务，使用setenforce0和systemctlstopfirewalld关闭SELinux和防火墙，避免对ftp协议的干扰。客户端使用yum-yinstallftp安装ftp组件，使用时直接ftp目的ip即可建立ftp链接。配置文件在/etc/vsftpd/vsftp
  • Git安装及配置 启航学途 git专栏gitgit安装git配置git帐号配置git环境配置git使用git入门
    Git安装在你开始使用Git前，需要将它安装在你的计算机上。即便已经安装，最好将它升级到最新的版本。你可以通过软件包或者其它安装程序来安装，或者下载源码编译安装。下面，我们将会介绍不同操作系统上Git的安装方法。在Windows上安装在Windows上安装Git的方法如下：使用官方版本安装官方版本可以在Git官方网站下载。打开https://git-scm.com/download/win，然后选
  • Python配置管理工具库之hydra使用详解 Rocky006 python人工智能开发语言
    概要在开发复杂的Python应用程序时，配置管理往往是一个重要但容易被忽视的部分。Hydra是一个强大的配置管理工具，它旨在简化配置文件的管理和使用，尤其是在涉及多个配置文件和参数组合的场景下。Hydra提供了一种优雅的方式来组织和访问配置数据，并支持动态生成和组合配置。这对于机器学习、数据科学和大型Python应用程序开发来说尤其有用。本文将详细介绍Hydra库，包括其安装方法、主要特性、基本和
  • Docker使用指南：从入门到实践 小于负无穷 docker容器运维ubuntu运维开发
    Docker是一种开源的容器化技术，旨在为开发人员和系统管理员提供一种轻量级、可移植的环境，以便于应用程序的开发、部署和运行。通过Docker，你可以将应用程序及其依赖项打包在一个可移植的容器中，并在任何环境中一致地运行。本文将介绍Docker的基本概念、安装方法、常用命令和实际应用场景，帮助你快速上手并应用Docker。一、Docker的基本概念在深入使用Docker之前，了解以下几个关键概念非
  • Python分布式任务处理库之dramatiq使用详解 Rocky006 python开发语言
    概要在现代Web应用和数据处理任务中，异步任务处理是一个至关重要的部分。Dramatiq是一个用于分布式任务处理的Python库，旨在提供简单、可靠的任务队列解决方案。与其他任务队列库相比，Dramatiq更加轻量级，且易于上手。它的设计目标是帮助开发者轻松地将耗时的任务放到后台处理，从而提升应用程序的响应速度。本文将详细介绍Dramatiq库，包括其安装方法、主要特性、基本和高级功能，以及实际应
  • 【Faiss】构建高效搜索系统 - Faiss向量数据库的搭建 何遇mirror 大数据faiss
    目录编辑1.引言2.Faiss简介3.安装与配置3.1在不同操作系统上的安装方法3.1.1Windows3.1.2macOS3.1.3Linux3.2配置开发环境3.2.1使用virtualenv3.2.2使用Anaconda1.引言在当今这个数据爆炸的时代，快速有效地处理海量数据已经成为企业和研究机构面临的重大挑战之一。特别是在计算机视觉、自然语言处理等领域，面对大量的高维向量数据，传统的数据库
  • Ubuntu 22.04上安装微信的几种方法 我的运维人生 ubuntu微信wechat安装消息
    在Ubuntu22.04上安装微信，虽然微信官方并未直接提供Linux版本的客户端，但用户可以通过多种第三方工具或方法来实现。以下是一些常见的安装方法：一、使用Snap安装Snap是Ubuntu上的一种软件打包方式，它允许应用程序在不同的Linux发行版上轻松安装和运行。对于大多数用户来说，这是安装微信最简单快捷的方式。确认Snap已安装：Ubuntu22.04通常已经预装了Snap，但你可以通过
  • Python+selenium+chromedriver实现爬虫示例代码 程序员Baby~ pythonselenium软件测试程序员接口测试自动化测试测试工程师
    下载好所需程序1.Selenium简介Selenium是一个用于Web应用程序测试的工具，直接运行在浏览器中，就像真正的用户在操作一样。2.Selenium安装方法一：在Windows命令行（cmd）输入pipinstallselenium即可自动安装，安装完成后，输入pipshowselenium可查看当前的版本方法二：直接下载selenium包：selenium下载网址Pychome安装sel
  • 文心快码（Baidu Comate）初体验 ruanxiaoqi 百度python
    文心快码（BaiduComate）初体验1文心快码简介和安装：简要介绍文心快码（BaiduComate）、安装方法、使用方法等；BaiduComate是由百度自主研发，基于文心大模型，结合百度丰富的编程现场大数据和外部优秀开源数据，为软件工程师打造的一款AI原生智能代码助手，覆盖研发全流程，大大提升编码效率，同时增强工程师幸福感。目前支持100多种主流语言和VSCode、JetBrains全系列等
  • ComfyUI IPAdapter plus的模型应该怎么装-免费版-2024.8.25 聚梦小课堂 ipadapter模型安装comfyui节点节点安装
    背景ipadapter相关的节点大家应该都不陌生，具体是做什么的就不详细介绍了，但是还是有很多新入门的朋友不太了解这个节点相关的这一堆模型到底应该怎么安装。这里就借着官方节点的介绍来大概讲下这个话题。涉及到的节点源地址：https://github.com/cubiq/ComfyUI_IPAdapter_plus安装方法大家在安装这个节点的时候，可能会发现很多up，包括我自己之前分享过的一些ipa
  • ubuntu18.04+cuda11.4+nccl安装 袁泽斌的学习记录 ubuntu
    本文参考自，但更加详细的介绍了安装方法，避免走弯路ubuntu下安装nccl具体教程_ubuntu安装nccl-CSDN博客文章浏览阅读1w次，点赞5次，收藏12次。使用paddlepaddle框架进行多卡训练时报错：Traceback(mostrecentcalllast):File"train.py",line210,indo_train()File"train.py",line91,indo
  • AE已支持M1芯片mac安装（After Effects 20直装版M1安装方法）M1芯片处理器安装AE问题教程 麦克bookAPP mac
    作为一名视频编辑创作者，一直都是用苹果的Mac电脑运行AE制作影片，就在今年11月份,苹果发布了基于AppleSiliconM1SoC芯片打造新Mac产品，全新的M1处理器的诞生带来了很多革命性的变化，因为这标志着苹果正式开启了从Intel的x86CPU过渡到该公司自己基于Arm架构设计！这次因为非常看重M1芯片的性能提升，所以毫不犹豫在购买的新款搭载M1芯片的Mac！但是之前好多在互联网上下载的
  • Enum用法 不懂事的小屁孩 enum
    以前的时候知道enum，但是真心不怎么用，在实际开发中，经常会用到以下代码: protected final static String XJ = "XJ"; protected final static String YHK = "YHK"; protected final static String PQ = "PQ";
  • 【Spark九十七】RDD API之aggregateByKey bit1129 spark
    1. aggregateByKey的运行机制   /** * Aggregate the values of each key, using given combine functions and a neutral "zero value". * This function can return a different result type
  • hive创建表是报错： Specified key was too long; max key length is 767 bytes daizj hive
    今天在hive客户端创建表时报错，具体操作如下   hive> create table test2(id string); FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataSto
  • Map 与 JavaBean之间的转换 周凡杨 java自省转换反射
    最近项目里需要一个工具类，它的功能是传入一个Map后可以返回一个JavaBean对象。很喜欢写这样的Java服务，首先我想到的是要通过Java 的反射去实现匿名类的方法调用，这样才可以把Map里的值set 到JavaBean里。其实这里用Java的自省会更方便，下面两个方法就是一个通过反射，一个通过自省来实现本功能。 1：JavaBean类 1 &nb
  • java连接ftp下载 g21121 java
    有的时候需要用到java连接ftp服务器下载，上传一些操作，下面写了一个小例子。 /** ftp服务器地址 */ private String ftpHost; /** ftp服务器用户名 */ private String ftpName; /** ftp服务器密码 */ private String ftpPass; /** ftp根目录 */ private String f
  • web报表工具FineReport使用中遇到的常见报错及解决办法（二） 老A不折腾 finereportweb报表java报表总结
      抛砖引玉，希望大家能把自己整理的问题及解决方法晾出来，Mark一下，利人利己。   出现问题先搜一下文档上有没有，再看看度娘有没有，再看看论坛有没有。有报错要看日志。下面简单罗列下常见的问题，大多文档上都有提到的。   1、没有返回数据集： 在存储过程中的操作语句之前加上set nocount on 或者在数据集exec调用存储过程的前面加上这句。当S
  • linux 系统cpu 内存等信息查看 墙头上一根草 cpu内存liunx
    1 查看CPU 　　1.1 查看CPU个数 　　# cat /proc/cpuinfo | grep "physical id" | uniq | wc -l 　　2 　　**uniq命令：删除重复行;wc –l命令：统计行数** 　　1.2 查看CPU核数 　　# cat /proc/cpuinfo | grep "cpu cores" | u
  • Spring中的AOP aijuans springAOP
      Spring中的AOP Written by Tony Jiang @ 2012-1-18 （转）何为AOP AOP，面向切面编程。 在不改动代码的前提下，灵活的在现有代码的执行顺序前后，添加进新规机能。 来一个简单的Sample: 目标类： [java]  view plain copy print ? package&nb
  • placeholder(HTML 5) IE 兼容插件 alxw4616 JavaScriptjquery jQuery插件
    placeholder 这个属性被越来越频繁的使用. 但为做HTML 5 特性IE没能实现这东西. 以下的jQuery插件就是用来在IE上实现该属性的. /** * [placeholder(HTML 5) IE 实现.IE9以下通过测试.] * v 1.0 by oTwo 2014年7月31日 11:45:29 */ $.fn.placeholder = function
  • Object类,值域,泛型等总结(适合有基础的人看) 百合不是茶 泛型的继承和通配符变量的值域Object类转换
    java的作用域在编程的时候经常会遇到,而我经常会搞不清楚这个 问题,所以在家的这几天回忆一下过去不知道的每个小知识点   变量的值域;   package 基础; /** * 作用域的范围 * * @author Administrator * */ public class zuoyongyu { public static vo
  • JDK1.5 Condition接口 bijian1013 javathreadConditionjava多线程
    Condition 将 Object 监视器方法（wait、notify和 notifyAll）分解成截然不同的对象，以便通过将这些对象与任意 Lock 实现组合使用，为每个对象提供多个等待 set （wait-set）。其中，Lock 替代了 synchronized 方法和语句的使用，Condition 替代了 Object 监视器方法的使用。 条件（也称为条件队列或条件变量）为线程提供了一
  • 开源中国OSC源创会记录 bijian1013 hadoopsparkMemSQL
    一.Strata+Hadoop World（SHW）大会         是全世界最大的大数据大会之一。SHW大会为各种技术提供了深度交流的机会，还会看到最领先的大数据技术、最广泛的应用场景、最有趣的用例教学以及最全面的大数据行业和趋势探讨。          二.Hadoop   &nbs
  • 【Java范型七】范型消除 bit1129 java
    范型是Java1.5引入的语言特性，它是编译时的一个语法现象，也就是说，对于一个类，不管是范型类还是非范型类，编译得到的字节码是一样的，差别仅在于通过范型这种语法来进行编译时的类型检查，在运行时是没有范型或者类型参数这个说法的。 范型跟反射刚好相反，反射是一种运行时行为，所以编译时不能访问的变量或者方法(比如private)，在运行时通过反射是可以访问的，也就是说，可见性也是一种编译时的行为，在
  • 【Spark九十四】spark-sql工具的使用 bit1129 spark
    spark-sql是Spark bin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过 hive>输入的指令可以通过spark-sql>输入的指令来完成。 spark-sql可以使用内置的Hive metadata-store，也可以使用已经独立安装的Hive的metadata store   关于Hive build into Spark
  • js做的各种倒计时 ronin47 js 倒计时
    第一种：精确到秒的javascript倒计时代码      HTML代码:   <form name="form1">   <div align="center" align="middle"
  • java-37.有n 个长为m+1 的字符串，如果某个字符串的最后m 个字符与某个字符串的前m 个字符匹配，则两个字符串可以联接 bylijinnan java
    public class MaxCatenate { /* * Q.37 有n 个长为m+1 的字符串，如果某个字符串的最后m 个字符与某个字符串的前m 个字符匹配，则两个字符串可以联接， * 问这n 个字符串最多可以连成一个多长的字符串，如果出现循环，则返回错误。 */ public static void main(String[] args){
  • mongoDB安装 开窍的石头 mongodb安装 基本操作
    mongoDB的安装          1:mongoDB下载   https://www.mongodb.org/downloads         2:下载mongoDB下载后解压     
  • [开源项目]引擎的关键意义 comsci 开源项目
         一个系统，最核心的东西就是引擎。。。。。       而要设计和制造出引擎，最关键的是要坚持。。。。。。       现在最先进的引擎技术，也是从莱特兄弟那里出现的，但是中间一直没有断过研发的    
  • 软件度量的一些方法 cuiyadll 方法
    软件度量的一些方法http://cuiyingfeng.blog.51cto.com/43841/6775/在前面我们已介绍了组成软件度量的几个方面。在这里我们将先给出关于这几个方面的一个纲要介绍。在后面我们还会作进一步具体的阐述。当我们不从高层次的概念级来看软件度量及其目标的时候，我们很容易把这些活动看成是不同而且毫不相干的。我们现在希望表明他们是怎样恰如其分地嵌入我们的框架的。也就是我们度量的
  • XSD中的targetNameSpace解释 darrenzhu xmlnamespacexsdtargetnamespace
    参考链接: http://blog.csdn.net/colin1014/article/details/357694 xsd文件中定义了一个targetNameSpace后，其内部定义的元素，属性，类型等都属于该targetNameSpace,其自身或外部xsd文件使用这些元素，属性等都必须从定义的targetNameSpace中找： 例如：以下xsd文件，就出现了该错误，即便是在一
  • 什么是RAID0、RAID1、RAID0+1、RAID5，等磁盘阵列模式? dcj3sjt126com raid
    RAID 1又称为Mirror或Mirroring，它的宗旨是最大限度的保证用户数据的可用性和可修复性。 RAID 1的操作方式是把用户写入硬盘的数据百分之百地自动复制到另外一个硬盘上。由于对存储的数据进行百分之百的备份，在所有RAID级别中，RAID 1提供最高的数据安全保障。同样，由于数据的百分之百备份，备份数据占了总存储空间的一半，因而，Mirror的磁盘空间利用率低，存储成本高。 Mir
  • yii2 restful web服务快速入门 dcj3sjt126com PHPyii2
    快速入门 Yii 提供了一整套用来简化实现 RESTful 风格的 Web Service 服务的 API。 特别是，Yii 支持以下关于 RESTful 风格的 API： 支持 Active Record 类的通用API的快速原型 涉及的响应格式（在默认情况下支持 JSON 和 XML) 支持可选输出字段的定制对象序列化 适当的格式的数据采集和验证错误
  • MongoDB查询(3)——内嵌文档查询（七） eksliang MongoDB查询内嵌文档MongoDB查询内嵌数组
    MongoDB查询内嵌文档 转载请出自出处：http://eksliang.iteye.com/blog/2177301 一、概述        有两种方法可以查询内嵌文档：查询整个文档；针对键值对进行查询。这两种方式是不同的，下面我通过例子进行分别说明。   二、查询整个文档 例如:有如下文档 db.emp.insert({ &qu
  • android4.4从系统图库无法加载图片的问题 gundumw100 android
    典型的使用场景就是要设置一个头像，头像需要从系统图库或者拍照获得，在android4.4之前，我用的代码没问题，但是今天使用android4.4的时候突然发现不灵了。baidu了一圈，终于解决了。 下面是解决方案： private String[] items = new String[] { "图库","拍照" }; /* 头像名称 */
  • 网页特效大全 jQuery等 ini JavaScriptjquerycsshtml5ini
    HTML5和CSS3知识和特效 asp.net ajax jquery实例 分享一个下雪的特效 jQuery倾斜的动画导航菜单 选美大赛示例 你会选谁 jQuery实现HTML5时钟 功能强大的滚动播放插件JQ-Slide 万圣节快乐！！！ 向上弹出菜单jQuery插件 htm5视差动画 jquery将列表倒转顺序 推荐一个jQuery分页插件 jquery animate
  • swift objc_setAssociatedObject block(version1.2 xcode6.4) 啸笑天 version
      import UIKit class LSObjectWrapper: NSObject { let value: ((barButton: UIButton?) -> Void)? init(value: (barButton: UIButton?) -> Void) { self.value = value
  • Aegis 默认的 Xfire 绑定方式，将 XML 映射为 POJO MagicMa_007 javaPOJOxmlAegisxfire
          Aegis 是一个默认的 Xfire 绑定方式，它将 XML 映射为 POJO, 支持代码先行的开发.你开发服 务类与 POJO,它为你生成 XML schema/wsdl XML 和 注解映射概览       默认情况下，你的 POJO 类被是基于他们的名字与命名空间被序列化。如果
  • js get max value in (json) Array qiaolevip 每天进步一点点学习永无止境max纵观千象
    // Max value in Array var arr = [1,2,3,5,3,2];Math.max.apply(null, arr); // 5 // Max value in Jaon Array var arr = [{"x":"8/11/2009","y":0.026572007},{"x"
  • XMLhttpRequest 请求 XML,JSON ,POJO 数据 Luob. POJOjsonAjaxxmlXMLhttpREquest
    在使用XMlhttpRequest对象发送请求和响应之前，必须首先使用javaScript对象创建一个XMLHttpRquest对象。 var xmlhttp； function getXMLHttpRequest(){ if(window.ActiveXObject){ xmlhttp:new ActiveXObject("Microsoft.XMLHTTP
  • jquery wuai jquery
    以下防止文档在完全加载之前运行Jquery代码，否则会出现试图隐藏一个不存在的元素、获得未完全加载的图像的大小 等等 $(document).ready(function(){ jquery代码; }); <script type="text/javascript" src="c:/scripts/jquery-1.4.2.min.js&quo
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他