Crawlab(·Ö²¼Ê½ÅÀ³æ¹ÜÀíƽ̨)

Crawlab(·Ö²¼Ê½ÅÀ³æ¹ÜÀíƽ̨)

V0.5.1Ãâ·Ñ°æ
Crawlab(·Ö²¼Ê½ÅÀ³æ¹ÜÀíƽ̨)

Crawlab(·Ö²¼Ê½ÅÀ³æ¹ÜÀíƽ̨)

[V0.5.1Ãâ·Ñ°æ]
È˹¤¼ì²â£¬°²ÐÄÏÂÔØ
Èí¼þͶËß
·ÖÀà
ÍøÒ³Ô´Âë
´óС
1.1MB
ÓïÑÔ
¼òÌåÖÐÎÄ
Èí¼þÊÚȨ
Ãâ·ÑÈí¼þ
ƽ̨
WinAll
¸üÐÂʱ¼ä
2020-10-29

CrawlabÊǸù¾ÝGolangµÄ·Ö²¼Ê½ÅÀ³æ¹ÜÀíϵͳ£¬ÊÊÓÃPython¡¢NodeJS¡¢Go¡¢Java¡¢PHPµÈ¶àÖÖ¶àÑù¼ÆËã»úÓïÑÔ¼°Æä¶àÖÖ¶àÑùÅÀ³æ¼Ü¹¹£¬·Ö³ÉDocker¡¢Á¢¼´²¼Êð¡¢KubernetesÈýÖÖ°²Ñb·½·¨£¡

Èí¼þ¼ò½é

¡¡¡¡Crawlab¼Ü¹¹£º

¡¡¡¡CrawlabµÄ¼Ü¹¹°üº¬ÁËÒ»¸öÖ÷½Úµã£¨Master Node£©ºÍºÃ¼¸¸ö¹¤×÷½Úµã£¨Worker Node£©£¬¼°Æä³Ðµ£Í¨Ñ¶ºÍÊý¾ÝÐÅÏ¢´¢´æµÄ360030.html">RedisºÍMongoDBÊý¾Ý¿â²éѯ¡£

¡¡¡¡Ç°¶Ë¿ª·¢ÔËÓÃÏòÖ÷½ÚµãÒªÇóÊý¾ÝÐÅÏ¢£¬Ö÷½Úµã¸ù¾ÝMongoDBºÍRedisÀ´Ö´ÐÐÈÎÎñ·¢·ÅÉú²úµ÷¶È¼°Æä²¼Ê𣬹¤×÷½Úµã½Óµ½Ã¿ÈÕÈÎÎñÒԺ󣬸տªÊ¼ÊµÐÐÅÀ³æÿÈÕÈÎÎñ£¬²¢½«Ã¿ÈÕÈÎÎñ½Y¹û´¢´æµ½MongoDB¡£¼Ü¹¹Ïà¶ÔÐÔÓÚv0.3.0ÒÔÇ°µÄCelery°æ±¾ºÅÓÐÒ»¶¨µÄ¾«¼õ£¬È¥³ý¿ª¶àÓàµÄ½Úµã¼à¹Ü¿ØÖÆÄ£¿éFlower£¬½Úµã¼à¹Ü¹Ø¼üÓÉRedis½øÐС£

¡¡¡¡Ö÷½Úµã

¡¡¡¡Ö÷½ÚµãÊÇÈ«²¿Crawlab¼Ü¹¹µÄ¹Ø¼ü£¬¹éÊôÓÚCrawlabµÄ¶àýÌåϵͳ¡£Ö÷½Úµã³Ðµ£ÓëÇ°¶Ë¿ª·¢ÔËÓÿªÕ¹Í¨Ñ¶£¬²¢¸ù¾ÝRedis½«ÅÀ³æÿÈÕÈÎÎñÅÉ·¢Ë͸ø¹¤×÷½Úµã¡£ÁíÍ⣬Ö÷½Úµã»áͬši£¨²¼Êð£©ÅÀ³æ¸ø¹¤×÷½Úµã£¬¸ù¾ÝRedisºÍMongoDBµÄGridFS¡£

¡¡¡¡¹¤×÷½Úµã

¡¡¡¡¹¤×÷½ÚµãµÄ¹Ø¼ü×÷ÓÃÊÇʵÐÐÅÀ³æÿÈÕÈÎÎñºÍ´¢´æÅÀÈ¡Êý¾ÝÐÅÏ¢ÓëϵͳÈÕÖ¾£¬¶øÇÒ¸ù¾ÝRedisµÄPubSub¸úÖ÷½ÚµãͨѶ¡£¸ù¾ÝÌáÉý¹¤×÷½Úµã×ÜÊý£¬CrawlabÄܹ»±£Ö¤ºá×ÅÍØÕ¹£¬²»Ò»ÑùµÄÅÀ³æÿÈÕÈÎÎñÄܹ»·ÖÅɵ½²»Ò»ÑùµÄ½ÚµãÉÏʵÐС£

¡¡¡¡MongoDB

¡¡¡¡MongoDBÊÇCrawlabµÄÔË×÷Êý¾Ý¿â²éѯ£¬´¢´æÓнڵ㡢ÅÀ³æ¡¢Ã¿ÈÕÈÎÎñ¡¢¼Æ»®ÈÎÎñµÈÊý¾ÝÐÅÏ¢£¬´ËÍâGridFSÎĵµ´¢´æ·½·¨ÊÇÖ÷½Úµã´¢´æÅÀ³æÎĵµ²¢Í¬šiµ½¹¤×÷½ÚµãµÄÕýÖмäýÌå¡£

¡¡¡¡Redis

¡¡¡¡RedisÊÇÊ®·Ö»ð±¬µÄKey-ValueÊý¾Ý¿â²éѯ£¬ÔÚCrawlabÖйؼüÍê³É½Úµã¼äÊý¾ÝͨѶµÄ×÷ÓᣱÈÈ磬½Úµã»á½«×ÔÉíÐÅÏ¢ÄÚÈݸù¾ÝHSET´¢´æÔÚRedisµÄnodeshachĿ¼ÖУ¬Ö÷½ÚµãÒÀ¾ÝhachĿ¼À´·Ö±æÏßÉϽڵ㡣

¡¡¡¡Ç°¶Ë¿ª·¢

¡¡¡¡Ç°¶Ë¿ª·¢ÊÇÒ»¸ö¸ù¾ÝVue-Element-AdminµÄµ¥Ò³Ó¦Óá£ÔÚÆäÖÐÆ÷ÖØÁËÐí¶à Element-UIµÄ¿ØÖÆÀ´ÊÊÓÃÏà¶ÔµÄÕ¹ÏÖ¡£

Ïà¹ØרÌâ
ÈÎÎñÇåµ¥Èí¼þ 34¿î

£»ÏÂÃæµÄС°æ±¾ÍƼöÁËһЩʵÓõÄÒƶ¯ÈÎÎñÁбíÈí¼þ£¬Ëü·Ç³£ÊʺÏÉÌÎñ°×Áì¡¢¼ÒÍ¥Ö÷¸¾¡¢×游ĸºÍѧÉú¸´Ï°¿¼ÊÔ¡£Í¨³££¬ÒòΪÓÐÌ«¶àµÄÊÂÇéÐèÒªµ£ÐÄ£¬ÓÐЩÊÂÇé¿ÉÄܻᱻÍü¼ÇÈ¥×ö£¬»òÕßÊDz»ºÏÀíµÄ¡£¼Æ»®°²ÅÅ×öÊÂÇ飬µ¼ÖÂÊÂÇ飬ÈÎÎñûÓÐÍê³É£¬ËùÒÔÏÂÃæÇë´ó¼Ò¿´¿´Ð¡±à´øÀ´µÄÊÖ»úÈÎÎñÁбíÈí¼þ¡£¶àÌØÊÖÓÎרÌâΪÄúÌṩÈÎÎñÇåµ¥Èí¼þ,ÿÈÕÈÎÎñÇåµ¥Èí¼þ¡£°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£

MACÁбíÉú³É¹¤¾ß
MACÁбíÉú³É¹¤¾ß
¸üÐÂÈÕÆÚ£º2022-09-07
HanLinѧϰÈÎÎñ½ø¶ÈÈí¼þ
HanLinѧϰÈÎÎñ½ø¶ÈÈí¼þ
¸üÐÂÈÕÆÚ£º2022-11-08
͸Ã÷ÈÎÎñÀ¸Èí¼þ
͸Ã÷ÈÎÎñÀ¸Èí¼þ
¸üÐÂÈÕÆÚ£º2022-11-07
ToDoList(ÈÎÎñ¹ÜÀíÈí¼þ)
ToDoList(ÈÎÎñ¹ÜÀíÈí¼þ)
¸üÐÂÈÕÆÚ£º2023-10-27
Ñ°ÕÒÎó»áÎÒµÄÊÂÇé
Ñ°ÕÒÎó»áÎÒµÄÊÂÇé
¸üÐÂÈÕÆÚ£º2022-10-18
¡¶ºÃÊÂÇé¡·PPTÏÂÔØ
¡¶ºÃÊÂÇé¡·PPTÏÂÔØ
¸üÐÂÈÕÆÚ£º2022-11-08
¡¶ºÃÊÂÇé¡·PPT¿Î¼þ
¡¶ºÃÊÂÇé¡·PPT¿Î¼þ
¸üÐÂÈÕÆÚ£º2022-11-08
´óÄðïÄú¼ÇÊÂÇé
´óÄðïÄú¼ÇÊÂÇé
¸üÐÂÈÕÆÚ£º2022-11-07
¸ãÊÂÇé°¡±íÇé°ü
¸ãÊÂÇé°¡±íÇé°ü
¸üÐÂÈÕÆÚ£º2022-11-07
ÅÀ³æÈí¼þ 41¿î

ÍøÂçÅÀ³æÊǸù¾ÝÒ»¶¨µÄ¹æÔò×Ô¶¯»ñÈ¡ÍòάÍøÐÅÏ¢µÄ³ÌÐò»ò½Å±¾¡£ÍøÂçÅÀ³æÊÇÒ»¸ö×Ô¶¯ÌáÈ¡ÍøÒ³µÄ³ÌÐò¡£Ëü´ÓÍòάÍøÏÂÔØËÑË÷ÒýÇæµÄÍøÒ³¡£ËüÊÇËÑË÷ÒýÇæµÄÖØÒª×é³É²¿·Ö¡£ÅÀ³æÈí¼þµÄÖ÷Òª¹¦ÄÜÊǶÔÍøÒ³Êý¾Ý½øÐÐÅÀ³æ¡£ÊÕ¼¯Æ÷Èí¼þÊÇʹÓÃÍøÂçÅÀ³æ¹¦ÄÜ£¬ÎªÄúÊÕ¼¯Ò»Ð©Õ¾µãµÄÅÀ³æÈí¼þ£¬¹©ÄúÏÂÔغÍʹÓ㡶àÌØÈí¼þרÌâΪÄúÌṩÅÀ³æÈí¼þ,×îºÃµÄÅÀ³æÈí¼þ,ÅÀ³æÈí¼þ¸ÉÂïÓ᣶àÌØÈí¼þÕ¾Ö»ÌṩÂÌÉ«¡¢ÎÞ¶¾¡¢ÎÞ²å¼þ¡¢ÎÞľÂíµÄ´¿ÂÌÉ«Èí¼þÏÂÔØ¡£

ÓÎÃñÅÀ³æ
ÓÎÃñÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-08-19
ÃÔÄãÅÀ³æ
ÃÔÄãÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-08-22
С˵ÅÀ³æ
С˵ÅÀ³æ
¸üÐÂÈÕÆÚ£º2020-05-13
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-11-11
ÅÀ³æÅÑÂÒ
ÅÀ³æÅÑÂÒ
¸üÐÂÈÕÆÚ£º2023-05-12
ÍøÒ³ÏÂÔØÆ÷(freshwebsuction)
ÍøÒ³ÏÂÔØÆ÷(freshwebsuction)
¸üÐÂÈÕÆÚ£º2022-11-07
ÍøÒ³Ô´ÂëÏÂÔØÆ÷
ÍøÒ³Ô´ÂëÏÂÔØÆ÷
¸üÐÂÈÕÆÚ£º2022-08-15
ÍøÒ³ÅúÁ¿ÏÂÔØÆ÷
ÍøÒ³ÅúÁ¿ÏÂÔØÆ÷
¸üÐÂÈÕÆÚ£º2022-08-15
WebVideoDownloader(ÍøÒ³ÊÓƵÏÂÔØ)
WebVideoDownloader(ÍøÒ³ÊÓƵÏÂÔØ)
¸üÐÂÈÕÆÚ£º2023-11-10
ÈÎÎñÈí¼þ 40¿î

¶àÌØÈí¼þרÌâΪÄúÌṩÈÎÎñÈí¼þ,ÈÎÎñÈí¼þapp,¸öÈËÈÎÎñÈí¼þ£¬°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£

°²×¿Êý¾Ý»Ö¸´Èí¼þ
°²×¿Êý¾Ý»Ö¸´Èí¼þ
¸üÐÂÈÕÆÚ£º2022-11-07
¿¼ÑÐÕþÖÎרÌâÁ·Ï°
¿¼ÑÐÕþÖÎרÌâÁ·Ï°
¸üÐÂÈÕÆÚ£º2020-10-12
AspרÌâÎĵµ¼¯
AspרÌâÎĵµ¼¯
¸üÐÂÈÕÆÚ£º2014-06-15
SynciosÆ»¹û°²×¿¹ÜÀí¹¤¾ß
SynciosÆ»¹û°²×¿¹ÜÀí¹¤¾ß
¸üÐÂÈÕÆÚ£º2021-02-18
ÐÒ´æÕß:ÈÎÎñ°²×¿°æ
ÐÒ´æÕß:ÈÎÎñ°²×¿°æ
¸üÐÂÈÕÆÚ£º2022-11-08
ÈÎÎñÊØÎÀÕß°²×¿°æ
ÈÎÎñÊØÎÀÕß°²×¿°æ
¸üÐÂÈÕÆÚ£º2022-11-08
zfontÈí¼þ°²×¿
zfontÈí¼þ°²×¿
¸üÐÂÈÕÆÚ£º2022-11-07
°²×¿ÍƱ³Í¼Èí¼þ
°²×¿ÍƱ³Í¼Èí¼þ
¸üÐÂÈÕÆÚ£º2022-11-07
ÅÀ³æ¹¤¾ß 41¿î

¶àÌØÈí¼þרÌâΪÄúÌṩÅÀ³æ¹¤¾ß,ÍøÕ¾ÅÀ³æ¹¤¾ß,ÍøÒ³ÅÀ³æ¹¤¾ß;°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£¶àÌØÈí¼þÕ¾Ö»ÌṩÂÌÉ«¡¢ÎÞ¶¾¡¢ÎÞ²å¼þ¡¢ÎÞľÂíµÄ´¿ÂÌÉ«¹¤¾ßÏÂÔØ

»¥ÁªÍø×ÊѶÅÀ³æ¹¤¾ß
»¥ÁªÍø×ÊѶÅÀ³æ¹¤¾ß
¸üÐÂÈÕÆÚ£º2022-08-10
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-11-07
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-11-07
С˵ÅÀ³æ
С˵ÅÀ³æ
¸üÐÂÈÕÆÚ£º2020-05-13
ÃÔÄãÅÀ³æ
ÃÔÄãÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-08-22
ÓÎÃñÅÀ³æ
ÓÎÃñÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-08-19
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-11-11
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-11-08
ÅÀ³æÂÃÓÎ
ÅÀ³æÂÃÓÎ
¸üÐÂÈÕÆÚ£º2022-11-08
ÍøÂçÅÀ³æ¹¤¾ß 41¿î

¶àÌØÈí¼þרÌâΪÄúÌṩÍøÂçÅÀ³æ¹¤¾ß,ÍøÂçÅÀ³æ¹¤¾ßÕõÇ®,2024ÄêÍøÂçÅÀ³æ¹¤¾ß;°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£¶àÌØÈí¼þÕ¾Ö»ÌṩÂÌÉ«¡¢ÎÞ¶¾¡¢ÎÞ²å¼þ¡¢ÎÞľÂíµÄ´¿ÂÌÉ«¹¤¾ßÏÂÔØ

ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-11-07
ÅÀ³æÂÃÓÎ
ÅÀ³æÂÃÓÎ
¸üÐÂÈÕÆÚ£º2022-11-08
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-11-08
ÅÀÅÀ³æ
ÅÀÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-10-18
ÓÎÃñÅÀ³æ
ÓÎÃñÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-08-19
ÃÔÄãÅÀ³æ
ÃÔÄãÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-08-22
СÅÀ³æ
СÅÀ³æ
¸üÐÂÈÕÆÚ£º2009-05-18
С˵ÅÀ³æ
С˵ÅÀ³æ
¸üÐÂÈÕÆÚ£º2020-05-13
ͼƬÅÀ³æ
ͼƬÅÀ³æ
¸üÐÂÈÕÆÚ£º2022-11-11
ÍøÓÑÆÀÂÛ
ÓÑÇéÁ´½Ó
ÎÂÜ°Ìáʾ
ÄúºÃ:
¸ÐлÄúÏÂÔر¾Èí¼þ¡£
ÏÖÑûÇëÄú¹Ø×¢ÎÒÃǵÄ΢ÐŹ«Öںš£
Äú½«»ñÈ¡µ½´ËÈí¼þµÄ°²×°Ê¹Óý̳̼°Èí¼þµÄÏà¹Ø¿Î³Ìѧϰ¡£
ÈçÓÐÒÉÎÊÒ²¿ÉÔÚ΢ÐŹ«ÖÚºÅÖлظ´ÎÊÌ⣬½«»áÓÐÈ˹¤¿Í·þΪÄú½â´ð¡£
ºÃµÄ£¬ÎÒÖªµÀÁË